EP4309141A1 - Method, computer program, control unit and motor vehicle for carrying out an automated driving function - Google Patents

Method, computer program, control unit and motor vehicle for carrying out an automated driving function

Info

Publication number
EP4309141A1
EP4309141A1 EP22706531.5A EP22706531A EP4309141A1 EP 4309141 A1 EP4309141 A1 EP 4309141A1 EP 22706531 A EP22706531 A EP 22706531A EP 4309141 A1 EP4309141 A1 EP 4309141A1
Authority
EP
European Patent Office
Prior art keywords
motor vehicle
noddj
computer
object classes
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22706531.5A
Other languages
German (de)
French (fr)
Inventor
Frank Bonarens
Seyed Eghbal Ghobadi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stellantis Auto SAS
Original Assignee
Stellantis Auto SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stellantis Auto SAS filed Critical Stellantis Auto SAS
Publication of EP4309141A1 publication Critical patent/EP4309141A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19113—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system

Definitions

  • a computer-implemented method for performing an automated driving function, a computer program product, a control unit and a motor vehicle are described here.
  • the first semi-automated vehicles (corresponds to SAE Level 2 according to SAE J3016) have reached series maturity in recent years.
  • a sensor fusion system including a sensor system for providing environmental status information and a folded neural network (CNN) are planned.
  • the CNN includes a receiving interface configured to receive the environmental state information from the sensor system, a common convolutional layer configured to extract traffic information from the received environmental state information, and a plurality of fully connected layers configured to to recognize objects belonging to different object classes based on the extracted traffic information, wherein the object classes include at least one of a road feature class, a static object class and a dynamic object class.
  • DNNs deep neural networks
  • the task therefore arises of further developing computer-implemented methods for carrying out an automated driving function, computer program products, control units and motor vehicles of the type mentioned at the outset in such a way that greater computing efficiency can be ensured compared to conventional methods.
  • the object is achieved by a computer-implemented method for performing an automated driving function according to claim 1, a computer program product according to the independent claim 10, a control unit according to the independent claim 12 and a motor vehicle according to the independent claim 13. Further refinements and developments are the subject of the dependent Expectations.
  • a computer-implemented method for performing an automated driving function of an autonomous or semi-autonomous motor vehicle is described below using at least one algorithm, the algorithm being executed in at least one control unit, the control unit intervening in aggregates of the motor vehicle on the basis of input data, the algorithm has a trained neural network which is designed for object recognition, with a detection algorithm being provided which uses an object class library of different object classes (nODDJ, nADD_i) for recognizing objects in the area surrounding the motor vehicle objects, wherein a) a number of base object classes (nODDJ) is selected, the number of base object classes (nODDJ) being smaller than the total number of object classes (nODDJ, nADD_i) in the object class library; b) at least one input signal with information about a section of road ahead of the motor vehicle is received, at least one additional object class (nADD_i) being determined from the information, the at least one additional object class (nADD_i) being used in addition to the basic object classes (nODDJ) to detect im Sur
  • the control unit can be a separate control unit of the motor vehicle or part of a control unit with additional functions not described here. For reasons of operational safety, a corresponding control unit can have a discrete design. Provision can also be made for the control unit to be configured redundantly or for the method described here to be executed redundantly on one or more computing units.
  • the detection algorithm can be part of the algorithm executing the method or can be designed separately. This makes it possible to carry out the detection algorithm entirely or partially in a decentralized manner, e.g. in the firmware of a camera used accordingly.
  • current data relating to the environment can be considered as input data, for example data obtained by means of various sensors.
  • sensors can include, for example, cameras, radar, lidar and/or ultrasonic sensors, but also other sensors such as position sensors, e.g. GPS, magnetic field detecting sensors and the like.
  • color planning data for example from a Navigation destination can be obtained, and possibly traffic data that determine the traffic flow on the route.
  • Further data can be communication data, for example, obtained from car-to-car or car-to-infrastructure systems, e.g. on traffic light phases or similar.
  • the information could thus be obtained that there are people on the road in a specific area ahead.
  • This causes at least one additional object class, eg people and animals, to be loaded and used in the object recognition.
  • the relevant object data which can be recorded via the motor vehicle sensor system, is used as input data for the detection algorithm.
  • the detection algorithm has a deep neural network.
  • the self-learning neural network can be based on various learning principles, in particular it can use methods of reinforcement learning.
  • Reinforcement learning stands for a set of methods of machine learning in which the neural network autonomously learns a strategy in order to maximize the rewards received.
  • the neural network is not shown which action is the best in which situation, but receives a reward at certain points in time, which can also be negative. Using these rewards, it approximates a utility function that describes the value of a particular state or action.
  • deep neural networks In addition to an input level and an output level, deep neural networks have at least one hidden level and are able to analyze and evaluate complex situations.
  • n_ODD_i the number of basic object classes
  • Such driving situations can be route-, time-of-day-, season- and region-specific. For example, it may be appropriate to keep an "animals" object class always loaded when driving at night, since there are frequent deer crossings at night.
  • Another example is routes that are crossed by railway lines.
  • the corresponding object class will not be used on other routes, so it is not necessary to process the input data there using a “rail vehicles” object class.
  • nODDJ base object classes
  • nADD_i additional object class
  • the at least one additional object class (nADD_i) is deselected when the motor vehicle leaves the section of the route.
  • nODDJ basic object classes
  • the probability of people crossing the lane is greater than on freeways, so it makes sense to always use the object class people in inner-city areas.
  • the detection algorithm uses detection thresholds for the object classes (nODDJ, nADD_i), with at least one detection threshold for the at least one additional object class determined from the information being lowered compared to a standard value.
  • the input signal is transmitted by a receiving system, the information being traffic information and/or the input signal containing a sensor signal from a motor vehicle sensor.
  • current traffic information can be processed in the first case, for example information relating to people or animals or other objects on a roadway.
  • environmental information can be obtained from motor vehicle sensors as an alternative or in addition, e.g. signs can be recognized by cameras, pointing out objects, for example temporary construction site signs or seasonal deer crossing signs.
  • the input signal contains map data of a map of the surroundings.
  • Such map data can come from a map stored in the motor vehicle or a map received by means of long-distance communication, the map being enriched with additional information, for example regions with strong changes in the landscape or regions in which other obstacles, e.g. quarries, moraines or sand drifts, can occasionally occur .
  • a first independent subject relates to a device for performing an automated driving function of an autonomous or semi-autonomous motor vehicle using at least one algorithm, the algorithm being executed in at least one control unit, the control unit being integrated into aggregates of the motor vehicle on the basis of input data intervenes, the algorithm having a trained neural network which is designed for object recognition, with a detection algorithm being provided which uses an object class library of different object classes (nODDJ, nADD_i) to recognize objects in the area surrounding the motor vehicle, the Device is set up to: a) select a number of base object classes (nODDJ), the number of base object classes (nODDJ) being smaller than the total number of object classes (nODDJ, nADDJ) in the object class library; b) to receive at least one input signal with information about a route section in front of the motor vehicle by means of an input and to determine at least one additional object class (nADDJ) from the information, the at least one additional object class (nADDJ) in addition to the basic object classes (nODDJ)
  • the device is set up to select the number of basic object classes (n_ODD_i) depending on the driving situation.
  • the device is set up to recognize if at least one of the objects in the area cannot be recognized using the base object classes (nODDJ) and the at least one additional object class (nADD_i). other known object classes (nODDJ).
  • the device is set up to deselect the at least one additional object class (nADD_i) when the motor vehicle leaves the route section.
  • the device is set up to make the selection of the basic object classes (nODDJ) depending on the type of route traveled.
  • the detection algorithm uses detection thresholds for the object classes (nODDJ, nADDJ), the device being set up to lower at least one detection threshold for the at least one additional object class determined from the information compared to a standard value.
  • the input signal is transmitted by a receiving system, the information being traffic information and/or the input signal containing a sensor signal from a motor vehicle sensor.
  • the input signal contains map data of a map of the surroundings.
  • Another independent subject relates to a computer program product with a permanent, computer-readable storage medium on which instructions are embedded which, when executed by at least one processing unit, cause the at least processing unit to be set up to perform the method of the aforementioned type .
  • the method can be distributed on one or more computing units, so that certain method steps are executed on one computing unit and other method steps are executed on at least one other computing unit, with calculated data being able to be transmitted between the computing units if necessary.
  • the processing unit can be part of the control unit.
  • the commands have the computer program product module of the type described above.
  • Another independent subject relates to a control unit with a permanent, computer-readable storage medium, with a computer program product of the type described above being stored on the storage medium.
  • Another independent subject relates to a motor vehicle with a control unit of the type described above.
  • the computing unit is part of the control unit.
  • control unit provision can be made for the control unit to be networked with environmental sensors and a receiving system.
  • 1 shows a motor vehicle that is set up for automated or autonomous driving
  • FIG. 2 shows a control unit of the motor vehicle from FIG. 1 ;
  • Fig. 3 an environment with the motor vehicle from Fig. 1, and
  • Fig. 1 shows a motor vehicle 2, which is set up for automated or autonomous driving.
  • the motor vehicle 2 has a control unit 4 with a computing unit 6 and a memory 8 .
  • a computer program product is stored in memory 8, which will be described in more detail below in connection with FIGS.
  • the control unit 4 is connected on the one hand to a series of environmental sensors that allow the current position of the motor vehicle 2 and the respective traffic situation to be detected. These include environmental sensors 10, 11 at the front of the motor vehicle 2, environmental sensors 12, 13 at the rear of the motor vehicle 2, a camera 14 and a GPS module 16.
  • the environmental sensors 10 to 13 can, for example, be radar, lidar and/or Include ultrasonic sensors.
  • sensors for detecting the state of motor vehicle 2 are provided, including wheel speed sensors 16, acceleration sensors 18 and pedal sensors 20, which are connected to control unit 4.
  • the current state of motor vehicle 2 can be reliably detected with the aid of this motor vehicle sensor system.
  • the computing unit 6 has loaded the computer program product stored in the memory 8 and executes it. On the basis of an algorithm and the input signals, the arithmetic unit 6 decides on the control of the motor vehicle 2, which the arithmetic unit 6 on intervention in the steering 22, Motor control 24 and brakes 26 would reach, which are each connected to the control unit 4.
  • Data from the sensors 10 to 20 are continuously buffered in the memory 8 and discarded after a predetermined period of time so that these environmental data can be made available for further evaluation.
  • the algorithm was trained according to the procedure described below.
  • RDS Radio Data System
  • other communication paths can be used to receive relevant traffic information, for example via a car-to-infrastructure or a car-to-car network or a cellular network.
  • Fig. 2 shows the control unit 4 from Fig. 1.
  • the control device 4 has the computing unit 6 in which a computer program product module 28 (framed in dashed lines) is executed, which has an algorithm 30 for executing an autonomous driving function.
  • the autonomous driving function can be a traffic jam assistant, a brake assistant, a collision warning assistant or the like, for example.
  • a component of the algorithm 30 is a detection algorithm 32 (framed by dashed lines), which has a neural network 34 .
  • the neural network 34 is a deep neural network (DNN) that has at least one hidden layer in addition to an input layer and an output layer.
  • DNN deep neural network
  • the self-learning neural network 34 learns using methods of reinforcement learning, ie the algorithm 30 tries in a training phase to obtain rewards for improved behavior according to one or more metrics or benchmarks, i.e. for improvements in the algorithm 30, by varying the neural network 34.
  • known learning methods of the monitored and unsupervised learning and combinations of these learning methods are known.
  • the neural network 34 can essentially be a matrix of values, usually called weights, which define a complex filter function which determines the behavior of the algorithm 34 depending on input variables which are presently received via the environmental sensors 10-20 and control signals for controlling the motor vehicle 2 are generated.
  • the computer program product module 28 can be used both in the motor vehicle 2 and outside of the motor vehicle 2 . It is thus possible to train the computer program product module 28 both in a real environment and in a simulation environment.
  • the object recognition algorithm 32 accesses an object class library 36 (framed in dashed lines) stored in the memory 8, which has a number of base object classes nODDJ (nODD_1, nODD_2, ... nODDJ), and additional object classes (nADD_1, nADD_2, ... nADD_i).
  • nODDJ base object classes
  • nADD_1, nADD_2, ... nADD_i additional object classes
  • the relevant object classes nODDJ, nADDJ are loaded situationally by the detection algorithm 32 and used for object recognition.
  • the situational selection of the object classes nODDJ, nADDJ depends, among other things, on the route.
  • Another input variable is traffic reports, which are received by the RDS module 27 and from which information relating to a route ahead or a route section ahead is extracted.
  • Fig. 3 shows a highway 38.
  • two motor vehicles 40, 42 are driving on the freeway 38 in different lanes. There is an animal 46 on the roadway on a stretch of road 44 ahead (identified by dashed lines across the freeway 38).
  • the method described here only loads and uses a selection of base object classes nODDJ suitable for freeways, which significantly speeds up the object recognition process compared to conventional methods in which all object classes are used. From the data obtained via the RDS module 27, it is possible to isolate the information that the animal 46 represents a danger to traffic in the route section 44. On the basis of this information, the detection algorithm 32 can load at least one additional object class nADD_i relating to animals from the memory 8 and use it in the object recognition.
  • a route for motor vehicle 2 is first retrieved.
  • Route types are extracted from the route of the motor vehicle 2 and base object classes are selected on the basis of the route types. With the aid of the selected basic object classes, the detection then takes place using the detection algorithm.
  • traffic information is called up and analyzed at regular intervals. If there are indications of danger in the traffic information, for example due to objects in the sections of road ahead, relevant object classes are extracted in a subsequent step.
  • the additional object classes are then loaded and detection thresholds for the loaded additional object classes are lowered.
  • Object recognition is then carried out using the base object classes used and the additional object classes.
  • the route section can be a route section defined by the route or by the traffic information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

The invention relates to a method for carrying out an automated driving function of a motor vehicle by means of at least one algorithm, which algorithm has a detection algorithm which uses an object class library comprising various object classes for recognizing objects located in the surroundings of the motor vehicle, wherein: a number of base object classes are selected and traffic information about a section of the road located in front of the motor vehicle is received; at least one additional object class is extracted from the traffic information; and the at least one additional object class is selected in addition to the base object classes for recognizing objects located in the surroundings of the motor vehicle.

Description

VERFAHREN, COMPUTERPROGRAMM, STEUEREINHEIT SOWIE KRAFTFAHRZEUG ZUM DURCHFÜHREN EINER AUTOMATISIERTEN FAHRFUNKTION METHOD, COMPUTER PROGRAM, CONTROL UNIT AND MOTOR VEHICLE FOR CARRYING OUT AN AUTOMATED DRIVING FUNCTION
Vorliegend werden ein computerimplementiertes Verfahren zum Durchführen einer auto matisierten Fahrfunktion, ein Computerprogrammprodukt, eine Steuereinheit sowie ein Kraftfahrzeug beschrieben. A computer-implemented method for performing an automated driving function, a computer program product, a control unit and a motor vehicle are described here.
Computerimplementierte Verfahren zum Durchführen einer automatisierten Fahrfunktion, Computerprogrammprodukte, Steuereinheiten sowie Kraftfahrzeuge der eingangs ge nannten Art sind im Stand der Technik bekannt. Computer-implemented methods for performing an automated driving function, computer program products, control units and motor vehicles of the type mentioned at the outset are known in the prior art.
Verfahren, Computerprogrammprodukte, Kraftfahrzeuge sowie Systeme der eingangs ge nannten Art sind im Stand der Technik bekannt. Die ersten teil-automatisiert (entspricht SAE Level 2 gemäß SAE J3016) fahrenden Kraftfahrzeuge sind in den vergangenen Jah ren zur Serienreife gelangt. Automatisiert (entspricht SAE Level >=3 gemäß SAE J3016) bzw. autonom (entspricht SAE Level 4/5 gemäß SAE J3016) fahrende Kraftfahrzeuge müssen anhand vielfältiger Vorgaben, zum Beispiel Fahrtziel und Einhaltung gängiger Verkehrsregeln, mit maximaler Sicherheit auf unbekannte Verkehrssituationen selbständig reagieren. Da die Verkehrswirklichkeit aufgrund der Unvorhersehbarkeit des Verhaltens anderer Verkehrsteilnehmer hoch komplex ist, gilt es als nahezu unmöglich, entspre chende Steuergeräte von Kraftfahrzeugen mit herkömmlichen Methoden und auf der Grundlage von menschengemachten Regeln zu programmieren. Methods, computer program products, motor vehicles and systems of the type mentioned at the outset are known in the prior art. The first semi-automated vehicles (corresponds to SAE Level 2 according to SAE J3016) have reached series maturity in recent years. Automated (corresponds to SAE Level >=3 according to SAE J3016) or autonomously (corresponds to SAE Level 4/5 according to SAE J3016) driving motor vehicles have to react independently to unknown traffic situations with maximum safety based on a variety of specifications, e.g. destination and compliance with current traffic regulations. Since the reality of traffic is highly complex due to the unpredictability of the behavior of other road users, it is considered almost impossible to program the corresponding control units in motor vehicles using conventional methods and on the basis of man-made rules.
Stattdessen ist es bekannt, mit Methoden des maschinellen Lernens bzw. der künstlichen Intelligenz Algorithmen zu entwickeln. Solche Algorithmen können einerseits maßvoller auf komplexe Verkehrssituationen reagieren als traditionelle Algorithmen. Andererseits ist es mithilfe künstlicher Intelligenz prinzipiell möglich, die Algorithmen während des Ent wicklungsprozesses und im Alltag durch ständiges Lernen weiterzuentwickeln. Alternativ wird ein Stand nach der Beendigung der Trainingsphase im Entwicklungsprozesses durch den Hersteller eingefroren. Instead, it is known to develop algorithms using methods of machine learning or artificial intelligence. On the one hand, such algorithms can react more moderately to complex traffic situations than traditional algorithms. On the other hand, with the help of artificial intelligence, it is in principle possible to further develop the algorithms during the development process and in everyday life through constant learning. Alternatively, a status is frozen by the manufacturer after the end of the training phase in the development process.
Aus der DE 102018 117 777 A1 sind Verfahren und Systeme zum Steuern eines autono men Fahrzeugs beschrieben. Ein Sensorfusionssystem mit einem Sensorsystem zum Be reitstellen von Umgebungszustandsinformationen und ein gefaltetes neuronales Netzwerk (CNN) sind vorgesehen. Das CNN beinhaltet eine Empfangsschnittstelle, die konfiguriert ist, um die Umgebungszustandsinformationen vom Sensorsystem zu empfangen, eine ge meinsame Faltungsschicht, die konfiguriert ist, um Verkehrsinformationen aus den emp fangenen Umgebungszustandsinformationen zu extrahieren, und eine Vielzahl von voll ständig verbundenen Schichten, die konfiguriert sind, um Objekte zu erkennen, die zu ver schiedenen Objektklassen gehören, basierend auf den extrahierten Verkehrsinformatio nen, worin die Objektklassen mindestens eine von einer Straßenmerkmalklasse, einer statischen Objektklasse und einer dynamischen Objektklasse beinhalten. DE 102018 117 777 A1 describes methods and systems for controlling an autonomous vehicle. A sensor fusion system including a sensor system for providing environmental status information and a folded neural network (CNN) are planned. The CNN includes a receiving interface configured to receive the environmental state information from the sensor system, a common convolutional layer configured to extract traffic information from the received environmental state information, and a plurality of fully connected layers configured to to recognize objects belonging to different object classes based on the extracted traffic information, wherein the object classes include at least one of a road feature class, a static object class and a dynamic object class.
Bei der Objekterkennung in Bilddaten, insbesondere 2D-Bilddaten haben sich tiefe neuro nale Netze (DNNs) als überlegen hinsichtlich ihrer Leistungsfähigkeit gegenüber klassi schen Methoden der Bildverarbeitung erwiesen. Der Einsatz solcher Methoden bei auto matisierten Fahrfunktionen erfordert schnelle und effiziente Prozesse, da zur Gewährleis tung der Fahrsicherheit eine schnelle Verarbeitung der Eingangsdaten erforderlich ist. When it comes to object recognition in image data, especially 2D image data, deep neural networks (DNNs) have proven to be superior in terms of their performance compared to classic methods of image processing. The use of such methods in automated driving functions requires fast and efficient processes, as rapid processing of the input data is necessary to ensure driving safety.
Somit stellt sich die Aufgabe, computerimplementierte Verfahren zum Durchführen einer automatisierten Fahrfunktion, Computerprogrammprodukte, Steuereinheiten sowie Kraft fahrzeuge der eingangs genannten Art dahingehend weiterzubilden, dass eine gegenüber herkömmlichen Verfahren erhöhte Recheneffizienz sichergestellt werden kann. The task therefore arises of further developing computer-implemented methods for carrying out an automated driving function, computer program products, control units and motor vehicles of the type mentioned at the outset in such a way that greater computing efficiency can be ensured compared to conventional methods.
Die Aufgabe wird gelöst durch ein computerimplementiertes Verfahren zum Durchführen einer automatisierten Fahrfunktion gemäß Anspruch 1, ein Computerprogrammprodukt gemäß dem nebengeordneten Anspruch 10, eine Steuereinheit gemäß dem nebengeord neten Anspruch 12 sowie ein Kraftfahrzeug gemäß dem nebengeordneten Anspruch 13. Weiterführende Ausgestaltungen und Weiterbildungen sind Gegenstand der abhängigen Ansprüche. The object is achieved by a computer-implemented method for performing an automated driving function according to claim 1, a computer program product according to the independent claim 10, a control unit according to the independent claim 12 and a motor vehicle according to the independent claim 13. Further refinements and developments are the subject of the dependent Expectations.
Nachfolgend wird ein computerimplementiertes Verfahren zum Durchführen einer automa tisierten Fahrfunktion eines autonom oder teilautonom fahrenden Kraftfahrzeugs mittels wenigstens eines Algorithmus beschrieben, wobei der Algorithmus in wenigstens einer Steuereinheit ausgeführt wird, wobei die Steuereinheit in Aggregate des Kraftfahrzeugs auf der Grundlage von Eingangsdaten eingreift, wobei der Algorithmus ein trainiertes neu ronales Netz aufweist, das zur Objekterkennung ausgebildet ist, wobei ein Detektionsal gorithmus vorgesehen ist, der eine Objektklassenbibliothek von unterschiedlichen Objekt klassen (nODDJ, nADD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten anwendet, wobei a) eine Anzahl an Basisobjektklassen (nODDJ) ausgewählt wird, wobei die Anzahl an Ba sisobjektklassen (nODDJ) kleiner ist als die gesamte Anzahl an Objektklassen (nODDJ, nADD_i) in der Objektklassenbibliothek; b) wenigstens ein Eingangssignal mit Informationen über einen vor dem Kraftfahrzeug lie genden Streckenabschnitt empfangen wird, wobei aus den Informationen wenigstens eine Zusatzobjektklasse (nADD_i) ermittelt wird, wobei die wenigstens eine Zusatzobjektklasse (nADD_i) zusätzlich zu den Basisobjektklassen (nODDJ) zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten ausgewählt wird; c) mittels Kraftfahrzeugsensorik Umgebungsinformationen einer Umgebung des Kraftfahr zeugs aufgenommen und an den Detektionsalgorithmus weitergeleitet werden; d) mittels des Detektionsalgorithmus anhand der Umgebungsinformationen unter Anwen dung der Basisobjektklassen (nODDJ) und der wenigstens einen Zusatzobjektklasse (nADDJ) in der Umgebung des Kraftfahrzeugs befindliche Objekte erkannt werden und dem Algorithmus entsprechende Objektdaten zur Verfügung gestellt werden. A computer-implemented method for performing an automated driving function of an autonomous or semi-autonomous motor vehicle is described below using at least one algorithm, the algorithm being executed in at least one control unit, the control unit intervening in aggregates of the motor vehicle on the basis of input data, the algorithm has a trained neural network which is designed for object recognition, with a detection algorithm being provided which uses an object class library of different object classes (nODDJ, nADD_i) for recognizing objects in the area surrounding the motor vehicle objects, wherein a) a number of base object classes (nODDJ) is selected, the number of base object classes (nODDJ) being smaller than the total number of object classes (nODDJ, nADD_i) in the object class library; b) at least one input signal with information about a section of road ahead of the motor vehicle is received, at least one additional object class (nADD_i) being determined from the information, the at least one additional object class (nADD_i) being used in addition to the basic object classes (nODDJ) to detect im Surroundings of the motor vehicle located objects is selected; c) information about the surroundings of the motor vehicle is recorded by means of motor vehicle sensors and forwarded to the detection algorithm; d) objects located in the vicinity of the motor vehicle are detected by means of the detection algorithm based on the environmental information using the basic object classes (nODDJ) and the at least one additional object class (nADDJ) and the algorithm is provided with corresponding object data.
Die Steuereinheit kann eine separate Steuereinheit des Kraftfahrzeugs oder Teil einer Steuereinheit mit weiteren, hier nicht beschriebenen Funktionen sein. Aus Gründen der Betriebssicherheit kann eine entsprechende Steuereinheit diskret aufgebaut sein. Auch kann vorgesehen sein, dass die Steuereinheit redundant ausgebildet ist bzw. das hier be schriebene Verfahren redundant auf einer oder mehreren Recheneinheiten ausgeführt werden. The control unit can be a separate control unit of the motor vehicle or part of a control unit with additional functions not described here. For reasons of operational safety, a corresponding control unit can have a discrete design. Provision can also be made for the control unit to be configured redundantly or for the method described here to be executed redundantly on one or more computing units.
Der Detektionsalgorithmus kann Bestandteil des das Verfahren ausführenden Algorithmus sein oder separat dazu ausgebildet sein. Hierdurch ist es möglich, den Detektionsalgorith mus ganz oder teilweise dezentral auszuführen, z.B. in einer Firmware einer entspre chend verwendeten Kamera. The detection algorithm can be part of the algorithm executing the method or can be designed separately. This makes it possible to carry out the detection algorithm entirely or partially in a decentralized manner, e.g. in the firmware of a camera used accordingly.
Als Eingangsdaten kommen generell aktuelle, die Umgebung betreffende Daten infrage, zum Beispiel mittels verschiedener Sensoren gewonnene Daten. Solche Sensoren kön nen beispielsweise Kameras, Radar-, Lidar- und/oder Ultraschall-Sensoren umfassen, aber auch andere Sensoren wie zum Beispiel Positionssensoren, z.B. GPS, Magnetfeld- detektierende Sensoren und dergleichen. In general, current data relating to the environment can be considered as input data, for example data obtained by means of various sensors. Such sensors can include, for example, cameras, radar, lidar and/or ultrasonic sensors, but also other sensors such as position sensors, e.g. GPS, magnetic field detecting sensors and the like.
Weitere mögliche Eingangsdaten sind Farbplanungsdaten, die beispielsweise aus einem Navigationsziel gewonnen werden, sowie unter Umständen Verkehrsdaten, die den Ver kehrsfluss auf der Route bestimmen. Weitere Daten können Kommunikationsdaten sein, die beispielsweise aus Car-to-Car- oder Car-to-lnfrastructure-Systemen gewonnen wer den, z.B. zu Ampelphasen o.ä.. Other possible input data are color planning data, for example from a Navigation destination can be obtained, and possibly traffic data that determine the traffic flow on the route. Further data can be communication data, for example, obtained from car-to-car or car-to-infrastructure systems, e.g. on traffic light phases or similar.
Im Straßenverkehr befinden sich eine Vielzahl unterschiedlicher Objekte, die sich in ver schiedene Klassen einteilen lassen, z.B. andere Verkehrsteilnehmer in motorisierten Fahrzeugen, Verkehrsteilnehmer in unmotorisierten Fahrzeugen, Fußgänger, Tiere, Ob jekte, Straßenzeichen etc. There are many different objects on the road that can be divided into different classes, e.g. other road users in motorized vehicles, road users in non-motorized vehicles, pedestrians, animals, objects, road signs, etc.
Bei der Objekterkennung ist es im Stand der Technik erforderlich, die Eingangsdaten auf sämtliche Objektklassen anzuwenden, um eine vollständige Klassifizierung der in der Um gebung des Kraftfahrzeugs befindlichen Objekte zu erreichen. Dafür ist ein gewisser Re chenaufwand erforderlich. Eine Verringerung der Objektklassen kann die Durchführung des Verfahrens beschleunigen. In object recognition, it is necessary in the prior art to apply the input data to all object classes in order to achieve a complete classification of the objects in the area surrounding the motor vehicle. A certain amount of computation is required for this. A reduction in the object classes can speed up the implementation of the method.
Es ist bekannt, dass auf bestimmten Straßenarten bestimmte Objektarten selten oder gar nicht Vorkommen. Z.B. sollten sich auf einer Autobahn in der Regel keine Fußgänger, Radfahrer oder Tiere befinden. Dies ist aber nicht vollständig ausschließbar, z.B. kommt es immer wieder vor, dass sich Personen auf der Fahrbahn befinden, z.B. bei einem Un fall. Insoweit ist es nicht möglich, z.B. eine Objektklasse „Personen“ vollständig zu deakti vieren, wenn das betreffende Kraftfahrzeug sich auf einer Autobahn befindet. It is known that on certain types of roads, certain types of objects occur rarely or not at all. For example, there should generally be no pedestrians, cyclists or animals on a freeway. However, this cannot be completely ruled out, e.g. it happens again and again that people are on the road, e.g. in the event of an accident. In this respect, it is not possible, for example, to completely deactivate a “People” object class if the motor vehicle in question is on a freeway.
Mit dem oben beschriebenen Verfahren ist es dennoch möglich, eine Reduktion der ange wendeten Objektklassen und dadurch eine zielgerichtete Gestaltung der Anforderungen zu erreichen. Dadurch, dass wenigstens ein Eingangssignal mit Informationen über einen vor dem Kraftfahrzeug liegenden Streckenabschnitt empfangen werden, können zusätz lich zu den, ggf. straßentypabhängigen, ausgewählten Objektklassen oder für den jeweili gen Straßentyp ausgewählte Basisobjektklassen gezielt um zusätzliche Objektklassen er weitern. With the method described above, it is nevertheless possible to reduce the number of object classes used and thus achieve a targeted design of the requirements. Because at least one input signal with information about a section of road ahead of the motor vehicle is received, additional object classes can be added to the selected object classes, which may be dependent on the road type, or basic object classes selected for the respective road type.
Im Falle eines vorausliegenden Unfalls könnten somit die Informationen erhalten werden, dass sich in einem bestimmten, vorausliegenden Bereich Menschen auf der Fahrbahn be finden. Hierdurch veranlasst wird wenigstens eine Zusatzobjektklasse, z.B. Personen und Tiere, geladen und bei der Objekterkennung angewendet. Die betreffenden Objektdaten, die über die Kraftfahrzeugsensorik aufgenommen werden können, werden als Eingangsdaten für den Detektionsalgorithmus verwendet. In the event of an upcoming accident, the information could thus be obtained that there are people on the road in a specific area ahead. This causes at least one additional object class, eg people and animals, to be loaded and used in the object recognition. The relevant object data, which can be recorded via the motor vehicle sensor system, is used as input data for the detection algorithm.
In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass der Detekti onsalgorithmus ein tiefes neuronales Netz aufweist. In a first further development it can be provided that the detection algorithm has a deep neural network.
Das selbstlernende neuronale Netz kann auf verschiedenen Lernprinzipien aufgebaut sein, insbesondere kann es Verfahren des verstärkenden Lernens anwenden. Verstärken des Lernen (englisch reinforcement learning) steht für eine Reihe von Methoden des ma schinellen Lernens, bei denen das neuronale Netz selbstständig eine Strategie erlernt, um erhaltene Belohnungen zu maximieren. Dabei wird dem neuronalen Netz nicht vorgezeigt, welche Aktion in welcher Situation die beste ist, sondern es erhält zu bestimmten Zeit punkten eine Belohnung, die auch negativ sein kann. Anhand dieser Belohnungen appro ximiert es eine Nutzenfunktion, die beschreibt, welchen Wert ein bestimmter Zustand oder eine bestimmte Aktion hat. The self-learning neural network can be based on various learning principles, in particular it can use methods of reinforcement learning. Reinforcement learning stands for a set of methods of machine learning in which the neural network autonomously learns a strategy in order to maximize the rewards received. The neural network is not shown which action is the best in which situation, but receives a reward at certain points in time, which can also be negative. Using these rewards, it approximates a utility function that describes the value of a particular state or action.
Tiefe neuronale Netze (deep neural network) weisen neben einer Eingabeebene und ei ner Ausgabeebene wenigstens eine versteckte Ebene (hidden layer) auf und sind in der Lage, komplexe Situationen zu analysieren und zu bewerten. In addition to an input level and an output level, deep neural networks have at least one hidden level and are able to analyze and evaluate complex situations.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Anzahl von Basisobjektklassen (n_ODD_i) fahrsituationsabhängig ausgewählt wird. In a further refinement, it can be provided that the number of basic object classes (n_ODD_i) is selected as a function of the driving situation.
Solche Fahrsituationen können strecken-, tageszeit-, jahreszeit- und regionsspezifisch sein. So kann es z.B. angemessen sein, bei Nachtfahrten eine Objektklasse „Tiere“ stets geladen zu halten, da in der Nacht häufige Wildwechsel stattfinden. Such driving situations can be route-, time-of-day-, season- and region-specific. For example, it may be appropriate to keep an "animals" object class always loaded when driving at night, since there are frequent deer crossings at night.
Ein anderes Beispiel sind Strecken, die von Eisenbahnstrecken gekreuzt werden. Die ent sprechende Objektklasse wird an anderen Strecken nicht zur Anwendung kommen, inso weit ist die Prozessierung der Eingangsdaten mittels einer Objektklasse „Schienenfahr zeuge“ dort nicht nötig. Another example is routes that are crossed by railway lines. The corresponding object class will not be used on other routes, so it is not necessary to process the input data there using a “rail vehicles” object class.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass, wenn we nigstens eines der in der Umgebung befindlichen Objekte nicht anhand der Basisobjekt klassen (nODDJ) und der wenigstens einen Zusatzobjektklasse (nADD_i) erkannt werden kann, eine Erkennung an übrigen bekannten Objektklassen (nODDJ) vorgenommen wird. Auf diese Weise kann sichergestellt werden, dass jedes gefundene Objekt richtig klassifi ziert werden kann, auch wenn es nicht einer der angewendeten Basisobjektklassen oder Zusatzobjektklassen entspricht. In a further refinement, it can be provided that if at least one of the objects in the environment cannot be recognized using the base object classes (nODDJ) and the at least one additional object class (nADD_i), recognition using other known object classes (nODDJ) is made. In this way it can be ensured that each object found can be classified correctly, even if it does not correspond to one of the base object classes or additional object classes used.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die wenigs tens eine Zusatzobjektklasse (nADD_i) abgewählt wird, wenn das Kraftfahrzeug den Stre ckenabschnitt verlässt. In a further refinement, it can be provided that the at least one additional object class (nADD_i) is deselected when the motor vehicle leaves the section of the route.
Auf diese Weise kann das Verfahren nach Verlassen des Streckenabschnitts wieder be schleunigt werden. In this way, the process can be accelerated again after leaving the route section.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Auswahl der Basisobjektklassen (nODDJ) abhängig vom befahrenen Streckentyp getroffen wird. In a further advanced embodiment it can be provided that the selection of the basic object classes (nODDJ) is made depending on the type of route traveled.
Auf innerörtlichen Straßen ist zum Beispiel die Wahrscheinlichkeit von Personen, die die Fahrbahn kreuzen, größer als auf Autobahnen, insoweit ist es sinnvoll, innerorts stets die Objektklasse Personen anzuwenden. On inner-city streets, for example, the probability of people crossing the lane is greater than on freeways, so it makes sense to always use the object class people in inner-city areas.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass der Detekti onsalgorithmus Detektionsschwellen für die Objektklassen (nODDJ, nADD_i) anwendet, wobei wenigstens eine Detektionsschwelle für die wenigstens eine aus den Informationen ermittelte Zusatzobjektklasse gegenüber einem Standardwert abgesenkt wird. In a further refinement, it can be provided that the detection algorithm uses detection thresholds for the object classes (nODDJ, nADD_i), with at least one detection threshold for the at least one additional object class determined from the information being lowered compared to a standard value.
Auf diese Weise kann eine Priorisierung der Objektklassen erreicht werden. In this way, a prioritization of the object classes can be achieved.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Ein gangssignal von einem Empfangssystem übermittelt wird, wobei die Informationen Ver kehrsinformationen sind, und/oder wobei das Eingangssignal ein Sensorsignal eines Kraftfahrzeugsensors enthält. In a further refinement, it can be provided that the input signal is transmitted by a receiving system, the information being traffic information and/or the input signal containing a sensor signal from a motor vehicle sensor.
Hierdurch können im ersten Fall aktuelle Verkehrsinformationen verarbeitet werden, zum Beispiel solche betreffend Personen oder Tiere oder andere Objekte auf einer Fahrbahn. As a result, current traffic information can be processed in the first case, for example information relating to people or animals or other objects on a roadway.
Im zweiten Fall können alternativ oder zusätzlich Umgebungsinformationen aus Kraftfahr zeugsensorik gewonnen werden, z.B. können mittels Kameras Schilder erkannt werden, die auf Objekte hinweisen, zum Beispiel temporäre Baustellenschilder oder saisonale Wildwechselschilder. In the second case, environmental information can be obtained from motor vehicle sensors as an alternative or in addition, e.g. signs can be recognized by cameras, pointing out objects, for example temporary construction site signs or seasonal deer crossing signs.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Ein gangssignal Kartendaten einer Umgebungskarte enthält. In a further refinement, it can be provided that the input signal contains map data of a map of the surroundings.
Solche Kartendaten können von einer im Kraftfahrzeug gespeicherten Karte oder einer mittels Fernkommunikationsmitteln empfangenen Karte stammen, wobei die Karte mit Zu satzinformationen angereichert ist, zum Beispiel Regionen mit starkem Wldwechsel oder Regionen, in denen gelegentlich andere Hindernisse, z.B. Steinbruch, Moränen oder Sandwehen, auftreten können. Such map data can come from a map stored in the motor vehicle or a map received by means of long-distance communication, the map being enriched with additional information, for example regions with strong changes in the landscape or regions in which other obstacles, e.g. quarries, moraines or sand drifts, can occasionally occur .
Ein erster unabhängiger Gegenstand betrifft eine Vorrichtung zum Durchführen einer au tomatisierten Fahrfunktion eines autonom oder teilautonom fahrenden Kraftfahrzeugs mit tels wenigstens eines Algorithmus beschrieben, wobei der Algorithmus in wenigstens ei ner Steuereinheit ausgeführt wird, wobei die Steuereinheit in Aggregate des Kraftfahr zeugs auf der Grundlage von Eingangsdaten eingreift, wobei der Algorithmus ein trainier tes neuronales Netz aufweist, das zur Objekterkennung ausgebildet ist, wobei ein Detekti onsalgorithmus vorgesehen ist, der eine Objektklassenbibliothek von unterschiedlichen Objektklassen (nODDJ, nADD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs be findlichen Objekten anwendet, wobei die Vorrichtung dazu eingerichtet ist: a) eine Anzahl an Basisobjektklassen (nODDJ) auszuwählen, wobei die Anzahl an Basis objektklassen (nODDJ) kleiner ist als die gesamte Anzahl an Objektklassen (nODDJ, nADDJ) in der Objektklassenbibliothek; b) mittels eines Eingangs wenigstens ein Eingangssignal mit Informationen über einen vor dem Kraftfahrzeug liegenden Streckenabschnitt zu empfangen und aus den Informationen wenigstens eine Zusatzobjektklasse (nADDJ) zu ermitteln, wobei die wenigstens eine Zu satzobjektklasse (nADDJ) zusätzlich zu den Basisobjektklassen (nODDJ) zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten ausgewählt wird; c) mittels Kraftfahrzeugsensorik Umgebungsinformationen einer Umgebung des Kraftfahr zeugs aufzunehmen und an den Detektionsalgorithmus weiterzuleiten; d) mittels des Detektionsalgorithmus anhand der Umgebungsinformationen unter Anwen dung der Basisobjektklassen (nODDJ) und der wenigstens einen Zusatzobjektklasse (nADDJ) in der Umgebung des Kraftfahrzeugs befindliche Objekte zu erkennen und dem Algorithmus entsprechende Objektdaten zur Verfügung zu stellen. In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass der Detekti onsalgorithmus ein tiefes neuronales Netz aufweist. A first independent subject relates to a device for performing an automated driving function of an autonomous or semi-autonomous motor vehicle using at least one algorithm, the algorithm being executed in at least one control unit, the control unit being integrated into aggregates of the motor vehicle on the basis of input data intervenes, the algorithm having a trained neural network which is designed for object recognition, with a detection algorithm being provided which uses an object class library of different object classes (nODDJ, nADD_i) to recognize objects in the area surrounding the motor vehicle, the Device is set up to: a) select a number of base object classes (nODDJ), the number of base object classes (nODDJ) being smaller than the total number of object classes (nODDJ, nADDJ) in the object class library; b) to receive at least one input signal with information about a route section in front of the motor vehicle by means of an input and to determine at least one additional object class (nADDJ) from the information, the at least one additional object class (nADDJ) in addition to the basic object classes (nODDJ) for recognition is selected from objects located in the area surrounding the motor vehicle; c) recording environmental information of an environment of the motor vehicle by means of motor vehicle sensors and forwarding it to the detection algorithm; d) using the detection algorithm based on the environmental information using the base object classes (nODDJ) and the at least one additional object class (nADDJ) to detect objects located in the vicinity of the motor vehicle and to provide the algorithm with corresponding object data. In a first further development it can be provided that the detection algorithm has a deep neural network.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu eingerichtet ist, die Anzahl von Basisobjektklassen (n_ODD_i) fahrsituationsab hängig auszuwählen. In a further refinement, it can be provided that the device is set up to select the number of basic object classes (n_ODD_i) depending on the driving situation.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu eingerichtet ist, wenn wenigstens eines der in der Umgebung befindlichen Ob jekte nicht anhand der Basisobjektklassen (nODDJ) und der wenigstens einen Zusatzob jektklasse (nADD_i) erkannt werden kann, eine Erkennung an übrigen bekannten Objekt klassen (nODDJ) vorzunehmen. In a further refinement, it can be provided that the device is set up to recognize if at least one of the objects in the area cannot be recognized using the base object classes (nODDJ) and the at least one additional object class (nADD_i). other known object classes (nODDJ).
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu eingerichtet ist, die wenigstens eine Zusatzobjektklasse (nADD_i) abzuwählen, wenn das Kraftfahrzeug den Streckenabschnitt verlässt. In a further refinement, it can be provided that the device is set up to deselect the at least one additional object class (nADD_i) when the motor vehicle leaves the route section.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu eingerichtet ist, die Auswahl der Basisobjektklassen (nODDJ) abhängig vom befahrenen Streckentyp zu treffen. In a further refinement, it can be provided that the device is set up to make the selection of the basic object classes (nODDJ) depending on the type of route traveled.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass der Detekti onsalgorithmus Detektionsschwellen für die Objektklassen (nODDJ, nADDJ) anwendet, wobei die Vorrichtung dazu eingerichtet ist, wenigstens eine Detektionsschwelle für die wenigstens eine aus den Informationen ermittelte Zusatzobjektklasse gegenüber einem Standardwert abzusenken. In a further refinement, it can be provided that the detection algorithm uses detection thresholds for the object classes (nODDJ, nADDJ), the device being set up to lower at least one detection threshold for the at least one additional object class determined from the information compared to a standard value.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Ein gangssignal von einem Empfangssystem übermittelt wird, wobei die Informationen Ver kehrsinformationen sind, und/oder wobei das Eingangssignal ein Sensorsignal eines Kraftfahrzeugsensors enthält. In a further refinement, it can be provided that the input signal is transmitted by a receiving system, the information being traffic information and/or the input signal containing a sensor signal from a motor vehicle sensor.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Ein gangssignal Kartendaten einer Umgebungskarte enthält. Ein weiterer unabhängiger Gegenstand betrifft ein Computerprogrammprodukt, mit einem dauerhaften, computerlesbaren Speichermedium, auf dem Befehle eingebettet sind, die, wenn sie von wenigstens einer Recheneinheit ausgeführt werden, bewirken, dass die we nigstens Recheneinheit dazu eingerichtet ist, das Verfahren der vorgenannten Art auszu führen. In a further refinement, it can be provided that the input signal contains map data of a map of the surroundings. Another independent subject relates to a computer program product with a permanent, computer-readable storage medium on which instructions are embedded which, when executed by at least one processing unit, cause the at least processing unit to be set up to perform the method of the aforementioned type .
Das Verfahren kann auf einer oder auf mehreren Recheneinheiten verteilt ausgeführt wer den, sodass bestimmte Verfahrensschritte auf der einen Recheneinheit und andere Ver fahrensschritte auf wenigstens einer weiteren Recheneinheit ausgeführt werden, wobei berechnete Daten sofern notwendig zwischen den Recheneinheiten übermittelt werden können. The method can be distributed on one or more computing units, so that certain method steps are executed on one computing unit and other method steps are executed on at least one other computing unit, with calculated data being able to be transmitted between the computing units if necessary.
Die Recheneinheit kann Bestandteil der Steuereinheit sein. The processing unit can be part of the control unit.
In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass die Befehle das Computerprogrammproduktmodul der zuvor beschriebenen Art aufweisen. In a first further development, it can be provided that the commands have the computer program product module of the type described above.
Ein weiterer unabhängiger Gegenstand betrifft eine Steuereinheit mit einem dauerhaften, computerlesbaren Speichermedium, wobei auf dem Speichermedium ein Computerpro grammprodukt der zuvor beschriebenen Art gespeichert ist. Another independent subject relates to a control unit with a permanent, computer-readable storage medium, with a computer program product of the type described above being stored on the storage medium.
Ein weiterer unabhängiger Gegenstand betrifft ein Kraftfahrzeug mit einer Steuereinheit der zuvor beschriebenen Art. Another independent subject relates to a motor vehicle with a control unit of the type described above.
In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass wobei die Re cheneinheit Bestandteil der Steuereinheit ist. In a first further development it can be provided that the computing unit is part of the control unit.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Steuer einheit mit Umgebungssensoren und einem Empfangssystem vernetzt ist. In a further refinement, provision can be made for the control unit to be networked with environmental sensors and a receiving system.
Weitere Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbei spiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale bilden für sich oder in beliebiger, sinnvoller Kombination den Gegenstand, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegen- stand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funk tionsgleiche Teile sind mit gleichen Bezugszeichen versehen. Dabei zeigen schematisch: Further features and details emerge from the following description, in which at least one exemplary embodiment is described in detail, possibly with reference to the drawing. Described and/or illustrated features form the subject matter on their own or in any meaningful combination, possibly also independently of the claims, and can in particular also also be counter- stand for one or more separate application(s). Identical, similar and/or functionally identical parts are provided with the same reference symbols. They show schematically:
Fig. 1 ein Kraftfahrzeug, das zum automatisierten bzw. autonomen Fahren einge richtet ist; 1 shows a motor vehicle that is set up for automated or autonomous driving;
Fig. 2 ein Steuergerät des Kraftfahrzeugs aus Fig. 1 ; FIG. 2 shows a control unit of the motor vehicle from FIG. 1 ;
Fig. 3 eine Umgebung mit dem Kraftfahrzeug aus Fig. 1, sowie Fig. 3 an environment with the motor vehicle from Fig. 1, and
Fig. 4 ein Ablaufdiagramm des Verfahrens. 4 shows a flow chart of the method.
Fig. 1 zeigt ein Kraftfahrzeug 2, das zum automatisierten bzw. autonomen Fahren einge richtet ist. Fig. 1 shows a motor vehicle 2, which is set up for automated or autonomous driving.
Das Kraftfahrzeug 2 weist ein Steuergerät 4 mit einer Recheneinheit 6 und einem Spei cher 8 auf. Im Speicher 8 ist ein Computerprogrammprodukt gespeichert, das im Nachfol genden im Zusammenhang mit den Fig. 2 bis 4 noch eingehender beschrieben wird. The motor vehicle 2 has a control unit 4 with a computing unit 6 and a memory 8 . A computer program product is stored in memory 8, which will be described in more detail below in connection with FIGS.
Das Steuergerät 4 ist einerseits mit einer Reihe von Umgebungssensoren verbunden, die eine Erfassung der aktuellen Lage des Kraftfahrzeugs 2 sowie der jeweiligen Verkehrssi tuation erlauben. Hierzu zählen Umgebungssensoren 10, 11 an der Front des Kraftfahr zeugs 2, Umgebungssensoren 12, 13 am Heck des Kraftfahrzeugs 2, eine Kamera 14 so wie ein GPS-Modul 16. Die Umgebungssensoren 10 bis 13 können z.B. Radar-, Lidar- und/oder Ultraschallsensoren umfassen. The control unit 4 is connected on the one hand to a series of environmental sensors that allow the current position of the motor vehicle 2 and the respective traffic situation to be detected. These include environmental sensors 10, 11 at the front of the motor vehicle 2, environmental sensors 12, 13 at the rear of the motor vehicle 2, a camera 14 and a GPS module 16. The environmental sensors 10 to 13 can, for example, be radar, lidar and/or Include ultrasonic sensors.
Des Weiteren sind Sensoren zur Erfassung des Zustands des Kraftfahrzeugs 2 vorgese hen, unter anderem Raddrehzahlsensoren 16, Beschleunigungssensoren 18 und Pe dalsensoren 20, die mit dem Steuergerät 4 verbunden sind. Mithilfe dieser Kraftfahr zeugsensorik kann der momentane Zustand des Kraftfahrzeuges 2 zuverlässig erfasst werden. Furthermore, sensors for detecting the state of motor vehicle 2 are provided, including wheel speed sensors 16, acceleration sensors 18 and pedal sensors 20, which are connected to control unit 4. The current state of motor vehicle 2 can be reliably detected with the aid of this motor vehicle sensor system.
Während des Betriebs des Kraftfahrzeugs 2 hat die Recheneinheit 6 das im Speicher 8 abgelegte Computerprogrammprodukt geladen und führt dieses aus. Auf der Grundlage eines Algorithmus und der Eingangssignale entscheidet die Recheneinheit 6 über die Steuerung des Kraftfahrzeugs 2, die die Recheneinheit 6 über Eingriff in die Lenkung 22, Motorsteuerung 24 sowie Bremsen 26 erreichen würde, die jeweils mit dem Steuergerät 4 verbunden sind. During the operation of the motor vehicle 2, the computing unit 6 has loaded the computer program product stored in the memory 8 and executes it. On the basis of an algorithm and the input signals, the arithmetic unit 6 decides on the control of the motor vehicle 2, which the arithmetic unit 6 on intervention in the steering 22, Motor control 24 and brakes 26 would reach, which are each connected to the control unit 4.
Daten der Sensoren 10 bis 20 werden fortlaufend im Speicher 8 zwischengespeichert und nach einer vorgegebenen Zeitdauer verworfen, damit diese Umgebungsdaten zur weite ren Auswertung zur Verfügung stehen können. Data from the sensors 10 to 20 are continuously buffered in the memory 8 and discarded after a predetermined period of time so that these environmental data can be made available for further evaluation.
Der Algorithmus wurde nach dem nachfolgend beschriebenen Verfahren trainiert. The algorithm was trained according to the procedure described below.
Des Weiteren ist ein RDS-Modul 27 (RDS = Radio Data System) vorgesehen, über das mittels Verkehrsfunk Verkehrs- und Streckeninformationen empfangen werden. Das RDS- Modul 27 ist mit dem Steuergerät 4 verbunden. Furthermore, an RDS module 27 (RDS=Radio Data System) is provided, via which traffic and route information is received by means of traffic radio. The RDS module 27 is connected to the control unit 4.
In anderen Ausführungsformen können zusätzlich oder alternativ zu einem RDS-Modul andere Kommunikationswege zum Empfang von relevanten Verkehrsinformationen ver wendet werden, beispielsweise über ein Auto-zu-lnfrastruktur- oder ein Auto-zu-Auto- Netzwerk oder ein Mobilfunknetzwerk. In other embodiments, in addition to or as an alternative to an RDS module, other communication paths can be used to receive relevant traffic information, for example via a car-to-infrastructure or a car-to-car network or a cellular network.
Fig. 2 zeigt das Steuergerät 4 aus Fig. 1. Fig. 2 shows the control unit 4 from Fig. 1.
Das Steuergerät 4 weist die Recheneinheit 6 auf, in der ein Computerprogrammprodukt modul 28 (gestrichelt umrahmt) ausgeführt wird, das einen Algorithmus 30 zur Ausführung einer autonomen Fahrfunktion aufweist. Die autonome Fahrfunktion kann beispielsweise ein Stauassistent, ein Bremsassistent, ein Kollisionswarnassistent oder dergleichen sein. The control device 4 has the computing unit 6 in which a computer program product module 28 (framed in dashed lines) is executed, which has an algorithm 30 for executing an autonomous driving function. The autonomous driving function can be a traffic jam assistant, a brake assistant, a collision warning assistant or the like, for example.
Bestandteil des Algorithmus 30 ist ein Detektionsalgorithmus 32 (gestrichelt umrahmt), der ein neuronales Netz 34 aufweist. A component of the algorithm 30 is a detection algorithm 32 (framed by dashed lines), which has a neural network 34 .
Das neuronale Netz 34 ist ein tiefes neuronales Netz (deep neural network, DNN), das neben einer Eingabeebene (input layer) und einer Ausgabeebene (output layer) wenigs tens eine versteckte Ebene (hidden layer) aufweist. The neural network 34 is a deep neural network (DNN) that has at least one hidden layer in addition to an input layer and an output layer.
Das selbstlernende neuronale Netz 34 lernt nach Methoden des bestärkenden Lernens, d. h. der Algorithmus 30 versucht in einer Trainingsphase, durch Variation des neuronalen Netzes 34 Belohnungen für ein verbessertes Verhalten entsprechend einer oder mehrerer Metriken oder Maßstäbe, also für Verbesserungen des Algorithmus 30 zu erhalten. In an deren Ausführungsformen können auch bekannte Lernverfahren des überwachten und unüberwachten Lernens, sowie Kombinationen dieser Lernverfahren, verwendet werden. The self-learning neural network 34 learns using methods of reinforcement learning, ie the algorithm 30 tries in a training phase to obtain rewards for improved behavior according to one or more metrics or benchmarks, i.e. for improvements in the algorithm 30, by varying the neural network 34. In other embodiments, known learning methods of the monitored and unsupervised learning and combinations of these learning methods.
Das neuronale Netz 34 kann im Wesentlichen eine Matrix aus Werten, in der Regel Ge wichte genannt, sein, die eine komplexe Filterfunktion definieren, die das Verhalten des Algorithmus 34 abhängig von Eingangsgrößen, welche vorliegend über die Umgebungs sensoren 10 bis 20 aufgenommen werden, bestimmt und Steuersignale zur Steuerung des Kraftfahrzeugs 2 generiert. The neural network 34 can essentially be a matrix of values, usually called weights, which define a complex filter function which determines the behavior of the algorithm 34 depending on input variables which are presently received via the environmental sensors 10-20 and control signals for controlling the motor vehicle 2 are generated.
Das Computerprogrammproduktmodul 28 kann sowohl im Kraftfahrzeug 2 als auch au ßerhalb des Kraftfahrzeugs 2 zum Einsatz gebracht werden. Somit ist es möglich, das Computerprogrammproduktmodul 28 sowohl in einer realen Umgebung als auch in einer Simulationsumgebung zu trainieren. The computer program product module 28 can be used both in the motor vehicle 2 and outside of the motor vehicle 2 . It is thus possible to train the computer program product module 28 both in a real environment and in a simulation environment.
Der Objekterkennungsalgorithmus 32 greift auf eine im Speicher 8 gespeicherte Objekt klassenbibliothek 36 (gestrichelt umrahmt) zu, die mehrere Basisobjektklassen nODDJ (nODD_1 , nODD_2, ... nODDJ), und Zusatzobjektklassen (nADD_1 , nADD_2, ... nADD_i) aufweist. The object recognition algorithm 32 accesses an object class library 36 (framed in dashed lines) stored in the memory 8, which has a number of base object classes nODDJ (nODD_1, nODD_2, ... nODDJ), and additional object classes (nADD_1, nADD_2, ... nADD_i).
Die betreffenden Objektklassen nODDJ, nADDJ werden situativ vom Detektionsalgorith mus 32 geladen und zur Objekterkennung angewendet. Die situative Auswahl der Objekt klassen nODDJ, nADDJ hängt unter anderem von der Strecke ab. Eine weitere Ein gangsgröße sind Verkehrsmeldungen, die mittels des RDS-Moduls 27 empfangen werden und aus denen Informationen in Bezug auf eine vorausliegende Strecke bzw. einen vor ausliegenden Streckenabschnitt extrahiert werden. The relevant object classes nODDJ, nADDJ are loaded situationally by the detection algorithm 32 and used for object recognition. The situational selection of the object classes nODDJ, nADDJ depends, among other things, on the route. Another input variable is traffic reports, which are received by the RDS module 27 and from which information relating to a route ahead or a route section ahead is extracted.
Fig. 3 zeigt eine Autobahn 38. Fig. 3 shows a highway 38.
Auf der Autobahn 38 fahren zusätzlich zu dem Kraftfahrzeug auf verschiedenen Spuren zwei Kraftfahrzeuge 40, 42. Auf einen vorausliegenden Streckenabschnitt 44 (gekenn zeichnet durch gestrichelte Linien quer zur Autobahn 38) befindet sich ein Tier 46 auf der Fahrbahn. In addition to the motor vehicle, two motor vehicles 40, 42 are driving on the freeway 38 in different lanes. There is an animal 46 on the roadway on a stretch of road 44 ahead (identified by dashed lines across the freeway 38).
Im Rahmen des hier beschriebenen Verfahrens ist es vorgesehen, nur eine für Autobah nen geeignete Auswahl an Basisobjektklassen nODDJ zu laden und anzuwenden, wodurch sich der Objekterkennungsprozess gegenüber herkömmlichen Verfahren, bei de nen sämtliche Objektklassen angewendet werden, erheblich zu beschleunigen. Aus den über das RDS-Modul 27 gewonnenen Daten ist es möglich, die Information zu isolieren, dass im Streckenabschnitt 44 das Tier 46 eine Gefahr für den Verkehr darstellt. Auf der Grundlage dieser Informationen kann der Detektionsalgorithmus 32 aus dem Speicher 8 wenigstens eine Zusatzobjektklasse nADD_i betreffend Tiere laden und bei der Objekterkennung anwenden. The method described here only loads and uses a selection of base object classes nODDJ suitable for freeways, which significantly speeds up the object recognition process compared to conventional methods in which all object classes are used. From the data obtained via the RDS module 27, it is possible to isolate the information that the animal 46 represents a danger to traffic in the route section 44. On the basis of this information, the detection algorithm 32 can load at least one additional object class nADD_i relating to animals from the memory 8 and use it in the object recognition.
Fig. 4 zeigt ein Ablaufdiagramm des Verfahrens. 4 shows a flow chart of the method.
Zu Beginn des Verfahrens wird zunächst eine Route des Kraftfahrzeugs 2 abgerufen. Aus der Route des Kraftfahrzeugs 2 werden Streckentypen extrahiert und anhand der Stre ckentypen Basisobjektklassen selektiert. Mithilfe der selektierten Basisobjektklassen fin det sodann die Erkennung unter Verwendung des Detektionsalgorithmus statt. At the start of the method, a route for motor vehicle 2 is first retrieved. Route types are extracted from the route of the motor vehicle 2 and base object classes are selected on the basis of the route types. With the aid of the selected basic object classes, the detection then takes place using the detection algorithm.
Parallel dazu werden in regelmäßigen Abständen Verkehrsinformationen abgerufen und analysiert. Finden sich in den Verkehrsinformationen Hinweise auf Gefahren, beispiels weise durch Objekte in vorausliegenden Streckenabschnitten, werden in einem darauffol genden Schritt relevante Objektklassen extrahiert. At the same time, traffic information is called up and analyzed at regular intervals. If there are indications of danger in the traffic information, for example due to objects in the sections of road ahead, relevant object classes are extracted in a subsequent step.
Darauffolgend werden die Zusatzobjektklassen geladen und Detektionsschwellen für die geladenen Zusatzobjektklassen abgesenkt. Die Objekterkennung wird dann anhand der angewendeten Basisobjektklassen und der Zusatzobjektklassen durchgeführt. The additional object classes are then loaded and detection thresholds for the loaded additional object classes are lowered. Object recognition is then carried out using the base object classes used and the additional object classes.
Um jeweils passende Basisobjektklassen anzuwenden und um eine Akkumulation von zwischenzeitlich geladenen Zusatzobjektklassen zu vermeiden, wird regelmäßig geprüft, ob ein bestimmter Streckenabschnitt verlassen wurde. Der Streckenabschnitt kann ein durch die Route oder durch die Verkehrsinformationen definierter Streckenabschnitt sein.In order to use suitable base object classes in each case and to avoid an accumulation of additional object classes that have been loaded in the meantime, it is regularly checked whether a certain route section has been left. The route section can be a route section defined by the route or by the traffic information.
Obwohl der Gegenstand im Detail durch Ausführungsbeispiele näher illustriert und erläu tert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass bei spielhaft genannte Ausführungsformen nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Be schreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbar ten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Ele mente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa einer weitergehenden Erläuterung in der Beschreibung, definiert wird. Although the subject matter has been illustrated and explained in more detail by exemplary embodiments, the invention is not restricted by the examples disclosed and other variations can be derived therefrom by a person skilled in the art. It is therefore clear that a large number of possible variations exist. It is also understood that exemplified embodiments are only examples and should not be construed as limiting in any way such as the scope, applications, or configuration of the invention. Rather, the preceding description and the description of the figures enable the person skilled in the art to concretely implement the exemplary embodiments, with the person skilled in the art being aware of the disclosed inventive concept being able to make a variety of changes, for example with regard to the function or the arrangement of individual elements mentioned in an exemplary embodiment, without departing from the scope of protection defined by the claims and their legal equivalents, such as a further explanation in the description.
Bezugszeichenliste Reference List
2 Kraftfahrzeug 2 motor vehicle
4 Steuergerät 4 control unit
6 Recheneinheit 6 unit of account
8 Speicher 8 memory
10 Umgebungssensor 10 environmental sensor
11 Umgebungssensor 11 environmental sensor
12 Umgebungssensor 12 environmental sensor
13 Umgebungssensor 13 environment sensor
14 Kamera 14 camera
15 GPS-Modul 15 GPS module
16 Raddrehzahlsensor 16 wheel speed sensor
18 Beschleunigungssensor 18 acceleration sensor
20 Pedalsensor 20 pedal sensor
22 Lenkung 22 steering
24 Motorsteuerung 24 engine control
26 Bremsen 26 brakes
27 RDS-Modul 27 RDS module
28 Computerprogrammproduktmodul28 computer program product module
30 Algorithmus 30 algorithm
32 Detektionsalgorithmus 32 detection algorithm
34 neuronales Netz 34 neural network
36 Objektklassenbibliothek 36 object class library
38 Autobahn 38 highway
40, 42 Kraftfahrzeug 44 Streckenabschnitt 40, 42 motor vehicle 44 route section
46 Tier nODDJ Basisobjektklasse nADD_i Zusatzobjektklasse 46 Tier nODDJ Base object class nADD_i Additional object class

Claims

Patentansprüche patent claims
1. Computerimplementiertes Verfahren zum Durchführen einer automatisierten Fahr funktion eines autonom oder teilautonom fahrenden Kraftfahrzeugs (2) mittels we nigstens eines Algorithmus (30), wobei der Algorithmus (30) in wenigstens einer Steuereinheit (4) ausgeführt wird, wobei die Steuereinheit (4) in Aggregate (22, 24, 26) des Kraftfahrzeugs (2) auf der Grundlage von Eingangsdaten eingreift, wobei der Algorithmus (30) ein trainiertes neuronales Netz (34) aufweist, das zur Objekter kennung ausgebildet ist, wobei ein Detektionsalgorithmus (32) vorgesehen ist, der eine Objektklassenbibliothek (36) von unterschiedlichen Objektklassen (nODDJ, nADD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs (2) befindlichen Objekten (40, 42, 46) anwendet, wobei a) eine Anzahl an Basisobjektklassen (nODDJ) ausgewählt wird, wobei die Anzahl an Basisobjektklassen (nODDJ) kleiner ist als die gesamte Anzahl an Objektklas sen (nODDJ, nADDJ) in der Objektklassenbibliothek (36); b) wenigstens ein Eingangssignal mit Informationen über einen vor dem Kraftfahr zeug (2) liegenden Streckenabschnitt (44) empfangen wird, wobei aus den Informa tionen wenigstens eine Zusatzobjektklasse (nADDJ) ermittelt wird, wobei die we nigstens eine Zusatzobjektklasse (nADDJ) zusätzlich zu den Basisobjektklassen (nODDJ) zur Erkennung von im Umfeld des Kraftfahrzeugs (2) befindlichen Objek ten (40, 42, 46) ausgewählt wird; c) mittels Kraftfahrzeugsensorik (10, 11, 12, 13, 14, 15) Umgebungsinformationen einer Umgebung des Kraftfahrzeugs (2) aufgenommen und an den Detektionsalgo rithmus (32) weitergeleitet werden; d) mittels des Detektionsalgorithmus (32) anhand der Umgebungsinformationen un ter Anwendung der Basisobjektklassen (nODDJ) und der wenigstens einen Zusatz objektklasse (nADDJ) in der Umgebung des Kraftfahrzeugs (2) befindliche Objekte (40, 42, 44) erkannt werden und dem Algorithmus (30) entsprechende Objektdaten zur Verfügung gestellt werden. 1. Computer-implemented method for performing an automated driving function of an autonomously or semi-autonomously driving motor vehicle (2) by means of at least one algorithm (30), the algorithm (30) being executed in at least one control unit (4), the control unit (4) intervenes in aggregates (22, 24, 26) of the motor vehicle (2) on the basis of input data, the algorithm (30) having a trained neural network (34) which is designed for object recognition, with a detection algorithm (32) being provided is that uses an object class library (36) of different object classes (nODDJ, nADD_i) to detect objects (40, 42, 46) in the area surrounding the motor vehicle (2), wherein a) a number of basic object classes (nODDJ) is selected, wherein the number of base object classes (nODDJ) is less than the total number of object classes (nODDJ, nADDJ) in the object class library (36); b) at least one input signal with information about a route section (44) in front of the motor vehicle (2) is received, with at least one additional object class (nADDJ) being determined from the information, with the at least one additional object class (nADDJ) in addition to the Basic object classes (nODDJ) for detecting objects (40, 42, 46) located in the area surrounding the motor vehicle (2); c) by means of motor vehicle sensors (10, 11, 12, 13, 14, 15) information about the surroundings of the motor vehicle (2) is recorded and forwarded to the detection algorithm (32); d) objects (40, 42, 44) located in the vicinity of the motor vehicle (2) are detected by means of the detection algorithm (32) based on the environmental information using the basic object classes (nODDJ) and the at least one additional object class (nADDJ) and the algorithm (30) corresponding object data are made available.
2. Computerimplementiertes Verfahren nach Anspruch 1 , wobei der Detektionsalgo rithmus (32) ein tiefes neuronales Netz (34) aufweist. 2. Computer-implemented method according to claim 1, wherein the detection algorithm (32) has a deep neural network (34).
3. Computerimplementiertes Verfahren nach Anspruch 1 oder 2, wobei die Anzahl von Basisobjektklassen (n_ODD_i) fahrsituationsabhängig ausgewählt wird. 3. Computer-implemented method according to claim 1 or 2, wherein the number of base object classes (n_ODD_i) is selected depending on the driving situation.
4. Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei, wenn wenigstens eines der in der Umgebung befindlichen Objekte (40, 42, 44) nicht anhand der Basisobjektklassen (nODDJ) und der wenigstens einen Zu satzobjektklasse (nADD_i) erkannt werden kann, eine Erkennung an übrigen be kannten Objektklassen (nODDJ) vorgenommen wird. 4. Computer-implemented method according to one of the preceding claims, wherein if at least one of the objects (40, 42, 44) in the environment cannot be recognized using the base object classes (nODDJ) and the at least one additional object class (nADD_i), a recognition is carried out on other known object classes (nODDJ).
5. Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei die wenigstens eine Zusatzobjektklasse (nADD_i) abgewählt wird, wenn das Kraftfahrzeug (2) den Streckenabschnitt (44) verlässt. 5. Computer-implemented method according to one of the preceding claims, wherein the at least one additional object class (nADD_i) is deselected when the motor vehicle (2) leaves the route section (44).
6. Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei die Auswahl der Basisobjektklassen (nODDJ) abhängig vom befahrenen Streckentyp getroffen wird. 6. Computer-implemented method according to one of the preceding claims, wherein the selection of the base object classes (nODDJ) is made depending on the type of route traveled.
7. Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei der Detektionsalgorithmus (32) Detektionsschwellen für die Objektklassen (nODDJ, nADDJ) anwendet, wobei wenigstens eine Detektionsschwelle für die we nigstens eine aus den Verkehrsinformationen extrahierte Zusatzobjektklasse (nADDJ) gegenüber einem Standardwert abgesenkt wird. 7. Computer-implemented method according to one of the preceding claims, wherein the detection algorithm (32) uses detection thresholds for the object classes (nODDJ, nADDJ), at least one detection threshold for the at least one additional object class (nADDJ) extracted from the traffic information being lowered compared to a standard value.
8. Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei das Eingangssignal von einem Empfangssystem (27) übermittelt wird, wobei die Informationen Verkehrsinformationen sind, und/oder wobei das Eingangssignal ein Sensorsignal eines Kraftfahrzeugsensors (14) enthält. 8. Computer-implemented method according to any one of the preceding claims, wherein the input signal is transmitted by a receiving system (27), wherein the information is traffic information, and/or wherein the input signal contains a sensor signal of a motor vehicle sensor (14).
9. Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei das Eingangssignal Kartendaten einer Umgebungskarte enthält. 9. Computer-implemented method according to any one of the preceding claims, wherein the input signal contains map data of an environment map.
10. Computerprogrammprodukt, mit einem dauerhaften, computerlesbaren Speicherme dium (8), auf dem Befehle eingebettet sind, die, wenn sie von wenigstens einer Re cheneinheit (6) ausgeführt werden, bewirken, dass die wenigstens eine Rechenein- heit (6) dazu eingerichtet ist, das Verfahren nach einem der vorangegangenen An sprüche auszuführen. 10. Computer program product with a permanent, computer-readable storage medium (8) on which instructions are embedded which, when they are executed by at least one arithmetic unit (6), cause the at least one arithmetic unit Unit (6) is set up to carry out the method according to any one of the preceding claims.
11. Computerprogrammprodukt nach Anspruch 10, wobei die Befehle das Computer programmproduktmodul (28) nach einem der Ansprüche 1 bis 9 aufweisen. 11. Computer program product according to claim 10, wherein the instructions comprise the computer program product module (28) according to any one of claims 1 to 9.
12. Steuereinheit (4) mit einem dauerhaften, computerlesbaren Speichermedium (8), wobei auf dem Speichermedium (8) ein Computerprogrammprodukt nach Anspruch 10 oder 11 gespeichert ist. 12. Control unit (4) with a permanent, computer-readable storage medium (8), wherein a computer program product according to claim 10 or 11 is stored on the storage medium (8).
13. Kraftfahrzeug mit einer Steuereinheit (4) nach Anspruch 12. 13. Motor vehicle with a control unit (4) according to claim 12.
14. Kraftfahrzeug nach Anspruch 13, wobei die Recheneinheit (6) Bestandteil der Steu ereinheit (4) ist. 14. Motor vehicle according to claim 13, wherein the computing unit (6) is part of the control unit (4).
15. Kraftfahrzeug nach einem der Ansprüche 13 oder14, wobei die Steuereinheit (4) mit Umgebungssensoren (10, 11, 12, 13, 14, 15) und einem Empfangssystem (27) ver netzt ist. 15. Motor vehicle according to one of claims 13 or 14, wherein the control unit (4) is networked with environment sensors (10, 11, 12, 13, 14, 15) and a receiving system (27).
EP22706531.5A 2021-03-16 2022-02-02 Method, computer program, control unit and motor vehicle for carrying out an automated driving function Pending EP4309141A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021202526.9A DE102021202526A1 (en) 2021-03-16 2021-03-16 Computer-implemented method for performing an automated driving function, computer program product, control unit and motor vehicle
PCT/EP2022/052454 WO2022194440A1 (en) 2021-03-16 2022-02-02 Method, computer program, control unit and motor vehicle for carrying out an automated driving function

Publications (1)

Publication Number Publication Date
EP4309141A1 true EP4309141A1 (en) 2024-01-24

Family

ID=80623987

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22706531.5A Pending EP4309141A1 (en) 2021-03-16 2022-02-02 Method, computer program, control unit and motor vehicle for carrying out an automated driving function

Country Status (3)

Country Link
EP (1) EP4309141A1 (en)
DE (1) DE102021202526A1 (en)
WO (1) WO2022194440A1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10395144B2 (en) 2017-07-24 2019-08-27 GM Global Technology Operations LLC Deeply integrated fusion architecture for automated driving systems
WO2019161300A1 (en) * 2018-02-18 2019-08-22 Nvidia Corporation Detecting objects and determining confidence scores
DE102019213061A1 (en) * 2019-08-29 2021-03-04 Volkswagen Aktiengesellschaft Classification of AI modules

Also Published As

Publication number Publication date
DE102021202526A1 (en) 2022-09-22
WO2022194440A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
EP3160813B1 (en) Method for producing a model of the surroundings of a vehicle
DE102016007899B4 (en) Method for operating a device for traffic situation analysis, motor vehicle and data processing device
DE102016210534A1 (en) Method for classifying an environment of a vehicle
WO2015062781A1 (en) Situation analysis for a driver assistance system
DE102017211556A1 (en) Method for route planning for a motor vehicle with an automated vehicle system and motor vehicle with an automated vehicle system
DE102020122837A1 (en) METHOD AND DEVICE FOR CREATING A TURNING PATH IN A MULTI-SHIFT LEARNING-BASED AUTONOMOUS VEHICLE
DE102019003963A1 (en) Method for determining a driving strategy of a vehicle, in particular a commercial vehicle
DE102017211387A1 (en) System and method for automated maneuvering of an ego vehicle
EP2964503B1 (en) Estimation of the future speed and/or distance of a vehicle from a reference point and estimation of the future acceleration
DE102018133457B4 (en) Method and system for providing environmental data
DE102007015227B4 (en) Method and arrangement for the approximate determination of a lane currently being traveled by a vehicle
DE102019104974A1 (en) Method and system for determining a driving maneuver
DE102020108508B3 (en) Procedure for evaluating route sections
DE102016003935A1 (en) Method for determining edge development information in a motor vehicle and motor vehicle
DE102021000792A1 (en) Method for operating a vehicle
DE102020201931A1 (en) Method for training at least one algorithm for a control unit of a motor vehicle, method for optimizing a traffic flow in a region, computer program product and motor vehicle
DE102020129802A1 (en) VEHICLE OPERATIONAL IDENTIFICATION
DE102005043838A1 (en) Motor vehicle driving maneuver e.g. lane change, detecting method, involves defining bayes networks for specifying probability of presence of maneuver based on preset state variables, and calculating probability of presence of maneuver
DE102019129737A1 (en) Method for classifying an environment of a vehicle
EP4309141A1 (en) Method, computer program, control unit and motor vehicle for carrying out an automated driving function
DE102021212493A1 (en) Method for infrastructure-supported assistance in a motor vehicle
DE102018218172B3 (en) Method and device for evaluating a driving situation ahead of a vehicle in the direction of travel for automated bypassing of a traffic obstacle in front
DE102021124736A1 (en) Method and device for determining a position hypothesis
DE102021202083A1 (en) Computer-implemented method for training at least one algorithm for a control unit of a motor vehicle, computer program product, control unit and motor vehicle
DE102019004931A1 (en) Method of operating a vehicle

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230718

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)