DE102021202526A1 - Computer-implemented method for performing an automated driving function, computer program product, control unit and motor vehicle - Google Patents
Computer-implemented method for performing an automated driving function, computer program product, control unit and motor vehicle Download PDFInfo
- Publication number
- DE102021202526A1 DE102021202526A1 DE102021202526.9A DE102021202526A DE102021202526A1 DE 102021202526 A1 DE102021202526 A1 DE 102021202526A1 DE 102021202526 A DE102021202526 A DE 102021202526A DE 102021202526 A1 DE102021202526 A1 DE 102021202526A1
- Authority
- DE
- Germany
- Prior art keywords
- motor vehicle
- computer
- nodd
- nadd
- object classes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004590 computer program Methods 0.000 title claims description 19
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 230000007613 environmental effect Effects 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 14
- 241001465754 Metazoa Species 0.000 description 9
- 238000011161 development Methods 0.000 description 7
- 230000018109 developmental process Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 241000282994 Cervidae Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19113—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
Beschrieben wird ein Verfahren zum Durchführen einer automatisierten Fahrfunktion eines Kraftfahrzeugs mittels wenigstens eines Algorithmus, der Algorithmus einen Detektionsalgorithmus vorgesehen aufweist, der eine Objektklassenbibliothek von unterschiedlichen Objektklassen zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten anwendet, wobei eine Anzahl an Basisobjektklassen ausgewählt wird, Verkehrsinformationen über einen vor dem Kraftfahrzeug liegenden Streckenabschnitt empfangen werden, wobei aus den Verkehrsinformationen wenigstens eine Zusatzobjektklasse extrahiert wird, wobei die wenigstens eine Zusatzobjektklasse zusätzlich zu den Basisobjektklassen zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten ausgewählt wird.Described is a method for performing an automated driving function of a motor vehicle by means of at least one algorithm, the algorithm has a detection algorithm that uses an object class library of different object classes to identify objects in the area surrounding the motor vehicle, with a number of basic object classes being selected, traffic information about a route section in front of the motor vehicle is received, at least one additional object class being extracted from the traffic information, the at least one additional object class being selected in addition to the basic object classes for recognizing objects in the area surrounding the motor vehicle.
Description
Vorliegend werden ein computerimplementiertes Verfahren zum Durchführen einer automatisierten Fahrfunktion, ein Computerprogrammprodukt, eine Steuereinheit sowie ein Kraftfahrzeug beschrieben.A computer-implemented method for performing an automated driving function, a computer program product, a control unit and a motor vehicle are described here.
Computerimplementierte Verfahren zum Durchführen einer automatisierten Fahrfunktion, Computerprogrammprodukte, Steuereinheiten sowie Kraftfahrzeuge der eingangs genannten Art sind im Stand der Technik bekannt.Computer-implemented methods for performing an automated driving function, computer program products, control units and motor vehicles of the type mentioned at the outset are known in the prior art.
Verfahren, Computerprogrammprodukte, Kraftfahrzeuge sowie Systeme der eingangs genannten Art sind im Stand der Technik bekannt. Die ersten teil-automatisiert (entspricht SAE Level 2 gemäß SAE J3016) fahrenden Kraftfahrzeuge sind in den vergangenen Jahren zur Serienreife gelangt. Automatisiert (entspricht SAE Level >=3 gemäß SAE J3016) bzw. autonom (entspricht SAE Level 4/5 gemäß SAE J3016) fahrende Kraftfahrzeuge müssen anhand vielfältiger Vorgaben, zum Beispiel Fahrtziel und Einhaltung gängiger Verkehrsregeln, mit maximaler Sicherheit auf unbekannte Verkehrssituationen selbständig reagieren. Da die Verkehrswirklichkeit aufgrund der Unvorhersehbarkeit des Verhaltens anderer Verkehrsteilnehmer hoch komplex ist, gilt es als nahezu unmöglich, entsprechende Steuergeräte von Kraftfahrzeugen mit herkömmlichen Methoden und auf der Grundlage von menschengemachten Regeln zu programmieren.Methods, computer program products, motor vehicles and systems of the type mentioned at the outset are known in the prior art. The first semi-automated vehicles (corresponds to
Stattdessen ist es bekannt, mit Methoden des maschinellen Lernens bzw. der künstlichen Intelligenz Algorithmen zu entwickeln. Solche Algorithmen können einerseits maßvoller auf komplexe Verkehrssituationen reagieren als traditionelle Algorithmen. Andererseits ist es mithilfe künstlicher Intelligenz prinzipiell möglich, die Algorithmen während des Entwicklungsprozesses und im Alltag durch ständiges Lernen weiterzuentwickeln. Alternativ wird ein Stand nach der Beendigung der Trainingsphase im Entwicklungsprozesses durch den Hersteller eingefroren.Instead, it is known to develop algorithms using methods of machine learning or artificial intelligence. On the one hand, such algorithms can react more moderately to complex traffic situations than traditional algorithms. On the other hand, with the help of artificial intelligence, it is in principle possible to further develop the algorithms during the development process and in everyday life through constant learning. Alternatively, a status is frozen by the manufacturer after the end of the training phase in the development process.
Aus der
Bei der Objekterkennung in Bilddaten, insbesondere 2D-Bilddaten haben sich tiefe neuronale Netze (DNNs) als überlegen hinsichtlich ihrer Leistungsfähigkeit gegenüber klassischen Methoden der Bildverarbeitung erwiesen. Der Einsatz solcher Methoden bei automatisierten Fahrfunktionen erfordert schnelle und effiziente Prozesse, da zur Gewährleistung der Fahrsicherheit eine schnelle Verarbeitung der Eingangsdaten erforderlich ist.When it comes to object recognition in image data, especially 2D image data, deep neural networks (DNNs) have proven to be superior in terms of their performance compared to traditional image processing methods. The use of such methods in automated driving functions requires fast and efficient processes, since rapid processing of the input data is required to ensure driving safety.
Somit stellt sich die Aufgabe, computerimplementierte Verfahren zum Durchführen einer automatisierten Fahrfunktion, Computerprogrammprodukte, Steuereinheiten sowie Kraftfahrzeuge der eingangs genannten Art dahingehend weiterzubilden, dass eine gegenüber herkömmlichen Verfahren erhöhte Recheneffizienz sichergestellt werden kann.The object is therefore to further develop computer-implemented methods for carrying out an automated driving function, computer program products, control units and motor vehicles of the type mentioned at the outset such that increased computing efficiency can be ensured compared to conventional methods.
Die Aufgabe wird gelöst durch ein computerimplementiertes Verfahren zum Durchführen einer automatisierten Fahrfunktion gemäß Anspruch 1, ein Computerprogrammprodukt gemäß dem nebengeordneten Anspruch 10, eine Steuereinheit gemäß dem nebengeordneten Anspruch 12 sowie ein Kraftfahrzeug gemäß dem nebengeordneten Anspruch 13. Weiterführende Ausgestaltungen und Weiterbildungen sind Gegenstand der abhängigen Ansprüche.The object is achieved by a computer-implemented method for performing an automated driving function according to
Nachfolgend wird ein computerimplementiertes Verfahren zum Durchführen einer automatisierten Fahrfunktion eines autonom oder teilautonom fahrenden Kraftfahrzeugs mittels wenigstens eines Algorithmus beschrieben, wobei der Algorithmus in wenigstens einer Steuereinheit ausgeführt wird, wobei die Steuereinheit in Aggregate des Kraftfahrzeugs auf der Grundlage von Eingangsdaten eingreift, wobei der Algorithmus ein trainiertes neuronales Netz aufweist, das zur Objekterkennung ausgebildet ist, wobei ein Detektionsalgorithmus vorgesehen ist, der eine Objektklassenbibliothek von unterschiedlichen Objektklassen (nODD_i, nADD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten anwendet, wobei
- a) eine Anzahl an Basisobjektklassen (nODD_i) ausgewählt wird, wobei die Anzahl an Basisobjektklassen (nODD_i) kleiner ist als die gesamte Anzahl an Objektklassen (nODD_i, nADD_i) in der Objektklassenbibliothek;
- b) wenigstens ein Eingangssignal mit Informationen über einen vor dem Kraftfahrzeug liegenden Streckenabschnitt empfangen wird, wobei aus den Informationen wenigstens eine Zusatzobjektklasse (nADD_i) ermittelt wird, wobei die wenigstens eine Zusatzobjektklasse (nADD_i) zusätzlich zu den Basisobjektklassen (nODD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten ausgewählt wird;
- c) mittels Kraftfahrzeugsensorik Umgebungsinformationen einer Umgebung des Kraftfahrzeugs aufgenommen und an den Detektionsalgorithmus weitergeleitet werden;
- d) mittels des Detektionsalgorithmus anhand der Umgebungsinformationen unter Anwendung der Basisobjektklassen (nODD_i) und der wenigstens einen Zusatzobjektklasse (nADD_i) in der Umgebung des Kraftfahrzeugs befindliche Objekte erkannt werden und dem Algorithmus entsprechende Objektdaten zur Verfügung gestellt werden.
- a) a number of base object classes (nODD_i) is selected, the number of base object classes (nODD_i) being smaller than the total number of object classes (nODD_i, nADD_i) in the object class library;
- b) at least one input signal with information about one in front of the motor vehicle the route section is received, at least one additional object class (nADD_i) being determined from the information, the at least one additional object class (nADD_i) being selected in addition to the basic object classes (nODD_i) for detecting objects located in the area surrounding the motor vehicle;
- c) environmental information of an environment of the motor vehicle is recorded by means of motor vehicle sensors and forwarded to the detection algorithm;
- d) objects located in the vicinity of the motor vehicle are detected by means of the detection algorithm based on the environmental information using the base object classes (nODD_i) and the at least one additional object class (nADD_i) and the algorithm is provided with corresponding object data.
Die Steuereinheit kann eine separate Steuereinheit des Kraftfahrzeugs oder Teil einer Steuereinheit mit weiteren, hier nicht beschriebenen Funktionen sein. Aus Gründen der Betriebssicherheit kann eine entsprechende Steuereinheit diskret aufgebaut sein. Auch kann vorgesehen sein, dass die Steuereinheit redundant ausgebildet ist bzw. das hier beschriebene Verfahren redundant auf einer oder mehreren Recheneinheiten ausgeführt werden.The control unit can be a separate control unit of the motor vehicle or part of a control unit with additional functions not described here. For reasons of operational safety, a corresponding control unit can have a discrete design. Provision can also be made for the control unit to be configured redundantly or for the method described here to be executed redundantly on one or more computing units.
Der Detektionsalgorithmus kann Bestandteil des das Verfahren ausführenden Algorithmus sein oder separat dazu ausgebildet sein. Hierdurch ist es möglich, den Detektionsalgorithmus ganz oder teilweise dezentral auszuführen, z.B. in einer Firmware einer entsprechend verwendeten Kamera.The detection algorithm can be part of the algorithm executing the method or can be designed separately. This makes it possible to carry out the detection algorithm entirely or partially in a decentralized manner, e.g. in the firmware of a camera used accordingly.
Als Eingangsdaten kommen generell aktuelle, die Umgebung betreffende Daten infrage, zum Beispiel mittels verschiedener Sensoren gewonnene Daten. Solche Sensoren können beispielsweise Kameras, Radar-, Lidar- und/oder Ultraschall-Sensoren umfassen, aber auch andere Sensoren wie zum Beispiel Positionssensoren, z.B. GPS, Magnetfelddetektierende Sensoren und dergleichen.In general, current data relating to the environment can be considered as input data, for example data obtained by means of various sensors. Such sensors can include, for example, cameras, radar, lidar and/or ultrasonic sensors, but also other sensors such as position sensors, e.g. GPS, magnetic field detecting sensors and the like.
Weitere mögliche Eingangsdaten sind Farbplanungsdaten, die beispielsweise aus einem Navigationsziel gewonnen werden, sowie unter Umständen Verkehrsdaten, die den Verkehrsfluss auf der Route bestimmen. Weitere Daten können Kommunikationsdaten sein, die beispielsweise aus Car-to-Car- oder Car-to-Infrastructure-Systemen gewonnen werden, z.B. zu Ampelphasen o.ä..Further possible input data are color planning data, which are obtained from a navigation destination, for example, and possibly traffic data, which determine the traffic flow on the route. Further data can be communication data, which is obtained from car-to-car or car-to-infrastructure systems, e.g. on traffic light phases or similar.
Im Straßenverkehr befinden sich eine Vielzahl unterschiedlicher Objekte, die sich in verschiedene Klassen einteilen lassen, z.B. andere Verkehrsteilnehmer in motorisierten Fahrzeugen, Verkehrsteilnehmer in unmotorisierten Fahrzeugen, Fußgänger, Tiere, Objekte, Straßenzeichen etc.There are a number of different objects in road traffic that can be divided into different classes, e.g. other road users in motorized vehicles, road users in non-motorized vehicles, pedestrians, animals, objects, road signs, etc.
Bei der Objekterkennung ist es im Stand der Technik erforderlich, die Eingangsdaten auf sämtliche Objektklassen anzuwenden, um eine vollständige Klassifizierung der in der Umgebung des Kraftfahrzeugs befindlichen Objekte zu erreichen. Dafür ist ein gewisser Rechenaufwand erforderlich. Eine Verringerung der Objektklassen kann die Durchführung des Verfahrens beschleunigen.In object recognition, it is necessary in the prior art to apply the input data to all object classes in order to achieve a complete classification of the objects in the area surrounding the motor vehicle. This requires a certain computational effort. A reduction in the object classes can speed up the implementation of the method.
Es ist bekannt, dass auf bestimmten Straßenarten bestimmte Objektarten selten oder gar nicht vorkommen. Z.B. sollten sich auf einer Autobahn in der Regel keine Fußgänger, Radfahrer oder Tiere befinden. Dies ist aber nicht vollständig ausschließbar, z.B. kommt es immer wieder vor, dass sich Personen auf der Fahrbahn befinden, z.B. bei einem Unfall. Insoweit ist es nicht möglich, z.B. eine Objektklasse „Personen“ vollständig zu deaktivieren, wenn das betreffende Kraftfahrzeug sich auf einer Autobahn befindet.It is known that on certain types of roads, certain object types occur rarely or not at all. For example, there should generally be no pedestrians, cyclists or animals on a freeway. However, this cannot be completely ruled out, e.g. it happens again and again that people are on the road, e.g. in the event of an accident. In this respect, it is not possible, for example, to completely deactivate an object class "People" if the motor vehicle in question is on a freeway.
Mit dem oben beschriebenen Verfahren ist es dennoch möglich, eine Reduktion der angewendeten Objektklassen und dadurch eine zielgerichtete Gestaltung der Anforderungen zu erreichen. Dadurch, dass wenigstens ein Eingangssignal mit Informationen über einen vor dem Kraftfahrzeug liegenden Streckenabschnitt empfangen werden, können zusätzlich zu den, ggf. straßentypabhängigen, ausgewählten Objektklassen oder für den jeweiligen Straßentyp ausgewählte Basisobjektklassen gezielt um zusätzliche Objektklassen erweitern.With the method described above, it is nevertheless possible to reduce the number of object classes used and thus achieve a targeted design of the requirements. Because at least one input signal with information about a section of road ahead of the motor vehicle is received, additional object classes can be added to the selected object classes, which may be dependent on the road type, or basic object classes selected for the respective road type.
Im Falle eines vorausliegenden Unfalls könnten somit die Informationen erhalten werden, dass sich in einem bestimmten, vorausliegenden Bereich Menschen auf der Fahrbahn befinden. Hierdurch veranlasst wird wenigstens eine Zusatzobjektklasse, z.B. Personen und Tiere, geladen und bei der Objekterkennung angewendet.In the event of an upcoming accident, the information could thus be obtained that there are people on the road in a specific area ahead. This causes at least one additional object class, e.g. people and animals, to be loaded and used for object recognition.
Die betreffenden Objektdaten, die über die Kraftfahrzeugsensorik aufgenommen werden können, werden als Eingangsdaten für den Detektionsalgorithmus verwendet.The relevant object data, which can be recorded via the motor vehicle sensor system, is used as input data for the detection algorithm.
In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass der Detektionsalgorithmus ein tiefes neuronales Netz aufweist.In a first further development, it can be provided that the detection algorithm has a deep neural network.
Das selbstlernende neuronale Netz kann auf verschiedenen Lernprinzipien aufgebaut sein, insbesondere kann es Verfahren des verstärkenden Lernens anwenden. Verstärkendes Lernen (englisch reinforcement learning) steht für eine Reihe von Methoden des maschinellen Lernens, bei denen das neuronale Netz selbstständig eine Strategie erlernt, um erhaltene Belohnungen zu maximieren. Dabei wird dem neuronalen Netz nicht vorgezeigt, welche Aktion in welcher Situation die beste ist, sondern es erhält zu bestimmten Zeitpunkten eine Belohnung, die auch negativ sein kann. Anhand dieser Belohnungen approximiert es eine Nutzenfunktion, die beschreibt, welchen Wert ein bestimmter Zustand oder eine bestimmte Aktion hat.The self-learning neural network can be based on various learning principles, in particular it can use methods of reinforcement learning. Reinforcement learning stands for a number of Machine learning methods in which the neural network autonomously learns a strategy to maximize rewards received. The neural network is not shown which action is best in which situation, but receives a reward at certain times, which can also be negative. Using these rewards, it approximates a utility function that describes the value of a particular state or action.
Tiefe neuronale Netze (deep neural network) weisen neben einer Eingabeebene und einer Ausgabeebene wenigstens eine versteckte Ebene (hidden layer) auf und sind in der Lage, komplexe Situationen zu analysieren und zu bewerten.In addition to an input level and an output level, deep neural networks have at least one hidden level (hidden layer) and are able to analyze and evaluate complex situations.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Anzahl von Basisobjektklassen (n_ODD_i) fahrsituationsabhängig ausgewählt wird.In a further refinement, it can be provided that the number of basic object classes (n_ODD_i) is selected as a function of the driving situation.
Solche Fahrsituationen können strecken-, tageszeit-, jahreszeit- und regionsspezifisch sein. So kann es z.B. angemessen sein, bei Nachtfahrten eine Objektklasse „Tiere“ stets geladen zu halten, da in der Nacht häufige Wildwechsel stattfinden.Such driving situations can be route-, time-of-day-, season- and region-specific. For example, it may be appropriate to keep an "animals" object class always loaded when driving at night, since there are frequent deer crossings at night.
Ein anderes Beispiel sind Strecken, die von Eisenbahnstrecken gekreuzt werden. Die entsprechende Objektklasse wird an anderen Strecken nicht zur Anwendung kommen, insoweit ist die Prozessierung der Eingangsdaten mittels einer Objektklasse „Schienenfahrzeuge“ dort nicht nötig.Another example is routes that are crossed by railway lines. The corresponding object class will not be used on other routes, so the processing of the input data using an object class “rail vehicles” is not necessary there.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass, wenn wenigstens eines der in der Umgebung befindlichen Objekte nicht anhand der Basisobjektklassen (nODD_i) und der wenigstens einen Zusatzobjektklasse (nADD_i) erkannt werden kann, eine Erkennung an übrigen bekannten Objektklassen (nODDJ) vorgenommen wird. In a further refinement, it can be provided that if at least one of the objects in the surrounding area cannot be recognized using the base object classes (nODD_i) and the at least one additional object class (nADD_i), recognition is carried out using the other known object classes (nODDJ). .
Auf diese Weise kann sichergestellt werden, dass jedes gefundene Objekt richtig klassifiziert werden kann, auch wenn es nicht einer der angewendeten Basisobjektklassen oder Zusatzobjektklassen entspricht.In this way it can be ensured that each object found can be classified correctly, even if it does not correspond to one of the base object classes or additional object classes used.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die wenigstens eine Zusatzobjektklasse (nADD_i) abgewählt wird, wenn das Kraftfahrzeug den Streckenabschnitt verlässt.In a further refinement, it can be provided that the at least one additional object class (nADD_i) is deselected when the motor vehicle leaves the route section.
Auf diese Weise kann das Verfahren nach Verlassen des Streckenabschnitts wieder beschleunigt werden.In this way, the process can be accelerated again after leaving the route section.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Auswahl der Basisobjektklassen (nODD_i) abhängig vom befahrenen Streckentyp getroffen wird.In a further refinement, provision can be made for the selection of the basic object classes (nODD_i) to be made depending on the type of route traveled.
Auf innerörtlichen Straßen ist zum Beispiel die Wahrscheinlichkeit von Personen, die die Fahrbahn kreuzen, größer als auf Autobahnen, insoweit ist es sinnvoll, innerorts stets die Objektklasse Personen anzuwenden.On inner-city streets, for example, the probability of people crossing the lane is greater than on freeways, so it makes sense to always use the object class people in inner-city areas.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass der Detektionsalgorithmus Detektionsschwellen für die Objektklassen (nODD_i, nADD_i) anwendet, wobei wenigstens eine Detektionsschwelle für die wenigstens eine aus den Informationen ermittelte Zusatzobjektklasse gegenüber einem Standardwert abgesenkt wird.In a further refinement, it can be provided that the detection algorithm uses detection thresholds for the object classes (nODD_i, nADD_i), with at least one detection threshold for the at least one additional object class determined from the information being lowered compared to a standard value.
Auf diese Weise kann eine Priorisierung der Objektklassen erreicht werden.In this way, a prioritization of the object classes can be achieved.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Eingangssignal von einem Empfangssystem übermittelt wird, wobei die Informationen Verkehrsinformationen sind, und/oder wobei das Eingangssignal ein Sensorsignal eines Kraftfahrzeugsensors enthält.In a further refinement, it can be provided that the input signal is transmitted by a receiving system, with the information being traffic information and/or with the input signal containing a sensor signal from a motor vehicle sensor.
Hierdurch können im ersten Fall aktuelle Verkehrsinformationen verarbeitet werden, zum Beispiel solche betreffend Personen oder Tiere oder andere Objekte auf einer Fahrbahn.As a result, current traffic information can be processed in the first case, for example information relating to people or animals or other objects on a roadway.
Im zweiten Fall können alternativ oder zusätzlich Umgebungsinformationen aus Kraftfahrzeugsensorik gewonnen werden, z.B. können mittels Kameras Schilder erkannt werden, die auf Objekte hinweisen, zum Beispiel temporäre Baustellenschilder oder saisonale Wildwechselschilder.In the second case, environmental information can alternatively or additionally be obtained from motor vehicle sensors, e.g. cameras can be used to recognize signs that indicate objects, for example temporary construction site signs or seasonal wildlife crossing signs.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Eingangssignal Kartendaten einer Umgebungskarte enthält.In a further refinement, it can be provided that the input signal contains map data of a map of the surroundings.
Solche Kartendaten können von einer im Kraftfahrzeug gespeicherten Karte oder einer mittels Fernkommunikationsmitteln empfangenen Karte stammen, wobei die Karte mit Zusatzinformationen angereichert ist, zum Beispiel Regionen mit starkem Wildwechsel oder Regionen, in denen gelegentlich andere Hindernisse, z.B. Steinbruch, Moränen oder Sandwehen, auftreten können.Such map data can come from a map stored in the motor vehicle or a map received by means of long-distance communication, the map being enriched with additional information, for example regions with frequent game crossings or regions in which other obstacles, e.g. quarries, moraines or sand drifts, can occasionally occur.
Ein erster unabhängiger Gegenstand betrifft eine Vorrichtung zum Durchführen einer automatisierten Fahrfunktion eines autonom oder teilautonom fahrenden Kraftfahrzeugs mittels wenigstens eines Algorithmus beschrieben, wobei der Algorithmus in wenigstens einer Steuereinheit ausgeführt wird, wobei die Steuereinheit in Aggregate des Kraftfahrzeugs auf der Grundlage von Eingangsdaten eingreift, wobei der Algorithmus ein trainiertes neuronales Netz aufweist, das zur Objekterkennung ausgebildet ist, wobei ein Detektionsalgorithmus vorgesehen ist, der eine Objektklassenbibliothek von unterschiedlichen Objektklassen (nODD_i, nADD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten anwendet, wobei die Vorrichtung dazu eingerichtet ist:
- a) eine Anzahl an Basisobjektklassen (nODD_i) auszuwählen, wobei die Anzahl an Basisobjektklassen (nODD_i) kleiner ist als die gesamte Anzahl an Objektklassen (nODD_i, nADD_i) in der Objektklassenbibliothek;
- b) mittels eines Eingangs wenigstens ein Eingangssignal mit Informationen über einen vor dem Kraftfahrzeug liegenden Streckenabschnitt zu empfangen und aus den Informationen wenigstens eine Zusatzobjektklasse (nADD_i) zu ermitteln, wobei die wenigstens eine Zusatzobjektklasse (nADD_i) zusätzlich zu den Basisobjektklassen (nODD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten ausgewählt wird;
- c) mittels Kraftfahrzeugsensorik Umgebungsinformationen einer Umgebung des Kraftfahrzeugs aufzunehmen und an den Detektionsalgorithmus weiterzuleiten;
- d) mittels des Detektionsalgorithmus anhand der Umgebungsinformationen unter Anwendung der Basisobjektklassen (nODD_i) und der wenigstens einen Zusatzobjektklasse (nADD_i) in der Umgebung des Kraftfahrzeugs befindliche Objekte zu erkennen und dem Algorithmus entsprechende Objektdaten zur Verfügung zu stellen.
- a) select a number of base object classes (nODD_i), the number of base object classes (nODD_i) being less than the total number of object classes (nODD_i, nADD_i) in the object class library;
- b) using an input to receive at least one input signal with information about a route section in front of the motor vehicle and to determine at least one additional object class (nADD_i) from the information, the at least one additional object class (nADD_i) in addition to the basic object classes (nODD_i) for recognizing objects located in the environment of the motor vehicle is selected;
- c) recording environmental information of an environment of the motor vehicle by means of motor vehicle sensors and forwarding it to the detection algorithm;
- d) using the detection algorithm based on the environmental information using the base object classes (nODD_i) and the at least one additional object class (nADD_i) to recognize objects in the vicinity of the motor vehicle and to provide the algorithm with corresponding object data.
In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass der Detektionsalgorithmus ein tiefes neuronales Netz aufweist.In a first further development, it can be provided that the detection algorithm has a deep neural network.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrichtung dazu eingerichtet ist, die Anzahl von Basisobjektklassen (n_ODD_i) fahrsituationsabhängig auszuwählen.In a further refinement, it can be provided that the device is set up to select the number of basic object classes (n_ODD_i) depending on the driving situation.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrichtung dazu eingerichtet ist, wenn wenigstens eines der in der Umgebung befindlichen Objekte nicht anhand der Basisobjektklassen (nODD_i) und der wenigstens einen Zusatzobjektklasse (nADD_i) erkannt werden kann, eine Erkennung an übrigen bekannten Objektklassen (nODD_j) vorzunehmen.In a further refinement, it can be provided that the device is set up to recognize other known object classes if at least one of the objects in the area cannot be recognized using the base object classes (nODD_i) and the at least one additional object class (nADD_i). (nODD_j) to be made.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrichtung dazu eingerichtet ist, die wenigstens eine Zusatzobjektklasse (nADD_i) abzuwählen, wenn das Kraftfahrzeug den Streckenabschnitt verlässt.In a further refinement, it can be provided that the device is set up to deselect the at least one additional object class (nADD_i) when the motor vehicle leaves the route section.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrichtung dazu eingerichtet ist, die Auswahl der Basisobjektklassen (nODD_i) abhängig vom befahrenen Streckentyp zu treffen.In a further refinement, it can be provided that the device is set up to make the selection of the basic object classes (nODD_i) depending on the type of route traveled.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass der Detektionsalgorithmus Detektionsschwellen für die Objektklassen (nODD_i, nADD_i) anwendet, wobei die Vorrichtung dazu eingerichtet ist, wenigstens eine Detektionsschwelle für die wenigstens eine aus den Informationen ermittelte Zusatzobjektklasse gegenüber einem Standardwert abzusenken.In a further refinement, it can be provided that the detection algorithm uses detection thresholds for the object classes (nODD_i, nADD_i), the device being set up to lower at least one detection threshold for the at least one additional object class determined from the information compared to a standard value.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Eingangssignal von einem Empfangssystem übermittelt wird, wobei die Informationen Verkehrsinformationen sind, und/oder wobei das Eingangssignal ein Sensorsignal eines Kraftfahrzeugsensors enthält.In a further refinement, it can be provided that the input signal is transmitted by a receiving system, with the information being traffic information and/or with the input signal containing a sensor signal from a motor vehicle sensor.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Eingangssignal Kartendaten einer Umgebungskarte enthält.In a further refinement, it can be provided that the input signal contains map data of a map of the surroundings.
Ein weiterer unabhängiger Gegenstand betrifft ein Computerprogrammprodukt, mit einem dauerhaften, computerlesbaren Speichermedium, auf dem Befehle eingebettet sind, die, wenn sie von wenigstens einer Recheneinheit ausgeführt werden, bewirken, dass die wenigstens Recheneinheit dazu eingerichtet ist, das Verfahren der vorgenannten Art auszuführen.Another independent subject relates to a computer program product with a permanent, computer-readable storage medium on which instructions are embedded which, when executed by at least one processing unit, cause the at least one processing unit to be set up to carry out the method of the aforementioned type.
Das Verfahren kann auf einer oder auf mehreren Recheneinheiten verteilt ausgeführt werden, sodass bestimmte Verfahrensschritte auf der einen Recheneinheit und andere Verfahrensschritte auf wenigstens einer weiteren Recheneinheit ausgeführt werden, wobei berechnete Daten sofern notwendig zwischen den Recheneinheiten übermittelt werden können.The method can be executed on one or more computing units so that certain method steps are executed on one computing unit and other method steps are executed on at least one other computing unit, with calculated data being able to be transmitted between the computing units if necessary.
Die Recheneinheit kann Bestandteil der Steuereinheit sein.The processing unit can be part of the control unit.
In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass die Befehle das Computerprogrammproduktmodul der zuvor beschriebenen Art aufweisen.In a first further development, it can be provided that the commands have the computer program product module of the type described above.
Ein weiterer unabhängiger Gegenstand betrifft eine Steuereinheit mit einem dauerhaften, computerlesbaren Speichermedium, wobei auf dem Speichermedium ein Computerprogrammprodukt der zuvor beschriebenen Art gespeichert ist.Another independent item concerns a control unit with a permanent, computer-readable storage medium, wherein a computer program product of the type described above is stored on the storage medium.
Ein weiterer unabhängiger Gegenstand betrifft ein Kraftfahrzeug mit einer Steuereinheit der zuvor beschriebenen Art.Another independent subject relates to a motor vehicle with a control unit of the type described above.
In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass wobei die Recheneinheit Bestandteil der Steuereinheit ist.In a first further development it can be provided that the arithmetic unit is part of the control unit.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Steuereinheit mit Umgebungssensoren und einem Empfangssystem vernetzt ist.In a further refinement, provision can be made for the control unit to be networked with environmental sensors and a receiving system.
Weitere Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale bilden für sich oder in beliebiger, sinnvoller Kombination den Gegenstand, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen. Dabei zeigen schematisch:
-
1 ein Kraftfahrzeug, das zum automatisierten bzw. autonomen Fahren eingerichtet ist; -
2 ein Steuergerätdes Kraftfahrzeugs aus 1 ; -
3 eine Umgebung mitdem Kraftfahrzeug aus 1 , sowie -
4 ein Ablaufdiagramm des Verfahrens.
-
1 a motor vehicle that is set up for automated or autonomous driving; -
2 a control unit of themotor vehicle 1 ; -
3 an environment with themotor vehicle 1 , such as -
4 a flowchart of the process.
Das Kraftfahrzeug 2 weist ein Steuergerät 4 mit einer Recheneinheit 6 und einem Speicher 8 auf. Im Speicher 8 ist ein Computerprogrammprodukt gespeichert, das im Nachfolgenden im Zusammenhang mit den
Das Steuergerät 4 ist einerseits mit einer Reihe von Umgebungssensoren verbunden, die eine Erfassung der aktuellen Lage des Kraftfahrzeugs 2 sowie der jeweiligen Verkehrssituation erlauben. Hierzu zählen Umgebungssensoren 10, 11 an der Front des Kraftfahrzeugs 2, Umgebungssensoren 12, 13 am Heck des Kraftfahrzeugs 2, eine Kamera 14 sowie ein GPS-Modul 16. Die Umgebungssensoren 10 bis 13 können z.B. Radar-, Lidar- und/oder Ultraschallsensoren umfassen.The
Des Weiteren sind Sensoren zur Erfassung des Zustands des Kraftfahrzeugs 2 vorgesehen, unter anderem Raddrehzahlsensoren 16, Beschleunigungssensoren 18 und Pedalsensoren 20, die mit dem Steuergerät 4 verbunden sind. Mithilfe dieser Kraftfahrzeugsensorik kann der momentane Zustand des Kraftfahrzeuges 2 zuverlässig erfasst werden.Furthermore, sensors for detecting the state of
Während des Betriebs des Kraftfahrzeugs 2 hat die Recheneinheit 6 das im Speicher 8 abgelegte Computerprogrammprodukt geladen und führt dieses aus. Auf der Grundlage eines Algorithmus und der Eingangssignale entscheidet die Recheneinheit 6 über die Steuerung des Kraftfahrzeugs 2, die die Recheneinheit 6 über Eingriff in die Lenkung 22, Motorsteuerung 24 sowie Bremsen 26 erreichen würde, die jeweils mit dem Steuergerät 4 verbunden sind.During the operation of the
Daten der Sensoren 10 bis 20 werden fortlaufend im Speicher 8 zwischengespeichert und nach einer vorgegebenen Zeitdauer verworfen, damit diese Umgebungsdaten zur weiteren Auswertung zur Verfügung stehen können.Data from the
Der Algorithmus wurde nach dem nachfolgend beschriebenen Verfahren trainiert.The algorithm was trained according to the procedure described below.
Des Weiteren ist ein RDS-Modul 27 (RDS = Radio Data System) vorgesehen, über das mittels Verkehrsfunk Verkehrs- und Streckeninformationen empfangen werden. Das RDS-Modul 27 ist mit dem Steuergerät 4 verbunden.Furthermore, an RDS module 27 (RDS=Radio Data System) is provided, via which traffic and route information is received by means of traffic radio. The
In anderen Ausführungsformen können zusätzlich oder alternativ zu einem RDS-Modul andere Kommunikationswege zum Empfang von relevanten Verkehrsinformationen verwendet werden, beispielsweise über ein Auto-zu-Infrastruktur- oder ein Auto-zu-Auto-Netzwerk oder ein Mobilfunknetzwerk.In other embodiments, in addition to or as an alternative to an RDS module, other communication paths can be used to receive relevant traffic information, for example via a car-to-infrastructure or a car-to-car network or a cellular network.
Das Steuergerät 4 weist die Recheneinheit 6 auf, in der ein Computerprogrammproduktmodul 28 (gestrichelt umrahmt) ausgeführt wird, das einen Algorithmus 30 zur Ausführung einer autonomen Fahrfunktion aufweist. Die autonome Fahrfunktion kann beispielsweise ein Stauassistent, ein Bremsassistent, ein Kollisionswarnassistent oder dergleichen sein.The
Bestandteil des Algorithmus 30 ist ein Detektionsalgorithmus 32 (gestrichelt umrahmt), der ein neuronales Netz 34 aufweist.A component of the
Das neuronale Netz 34 ist ein tiefes neuronales Netz (deep neural network, DNN), das neben einer Eingabeebene (input layer) und einer Ausgabeebene (output layer) wenigstens eine versteckte Ebene (hidden layer) aufweist.The
Das selbstlernende neuronale Netz 34 lernt nach Methoden des bestärkenden Lernens, d. h. der Algorithmus 30 versucht in einer Trainingsphase, durch Variation des neuronalen Netzes 34 Belohnungen für ein verbessertes Verhalten entsprechend einer oder mehrerer Metriken oder Maßstäbe, also für Verbesserungen des Algorithmus 30 zu erhalten. In anderen Ausführungsformen können auch bekannte Lernverfahren des überwachten und unüberwachten Lernens, sowie Kombinationen dieser Lernverfahren, verwendet werden.The self-learning
Das neuronale Netz 34 kann im Wesentlichen eine Matrix aus Werten, in der Regel Gewichte genannt, sein, die eine komplexe Filterfunktion definieren, die das Verhalten des Algorithmus 34 abhängig von Eingangsgrößen, welche vorliegend über die Umgebungssensoren 10 bis 20 aufgenommen werden, bestimmt und Steuersignale zur Steuerung des Kraftfahrzeugs 2 generiert.The
Das Computerprogrammproduktmodul 28 kann sowohl im Kraftfahrzeug 2 als auch außerhalb des Kraftfahrzeugs 2 zum Einsatz gebracht werden. Somit ist es möglich, das Computerprogrammproduktmodul 28 sowohl in einer realen Umgebung als auch in einer Simulationsumgebung zu trainieren.The computer
Der Objekterkennungsalgorithmus 32 greift auf eine im Speicher 8 gespeicherte Objektklassenbibliothek 36 (gestrichelt umrahmt) zu, die mehrere Basisobjektklassen nODD_i (nODD_1, nODD_2, ... nODD_i), und Zusatzobjektklassen (nADD_1, nADD_2, ... nADD_i) aufweist.The
Die betreffenden Objektklassen nODD_i, nADD_i werden situativ vom Detektionsalgorithmus 32 geladen und zur Objekterkennung angewendet. Die situative Auswahl der Objektklassen nODD_i, nADD_i hängt unter anderem von der Strecke ab. Eine weitere Eingangsgröße sind Verkehrsmeldungen, die mittels des RDS-Moduls 27 empfangen werden und aus denen Informationen in Bezug auf eine vorausliegende Strecke bzw. einen vorausliegenden Streckenabschnitt extrahiert werden.The relevant object classes nODD_i, nADD_i are loaded by the
Auf der Autobahn 38 fahren zusätzlich zu dem Kraftfahrzeug auf verschiedenen Spuren zwei Kraftfahrzeuge 40, 42. Auf einen vorausliegenden Streckenabschnitt 44 (gekennzeichnet durch gestrichelte Linien quer zur Autobahn 38) befindet sich ein Tier 46 auf der Fahrbahn.In addition to the motor vehicle, two
Im Rahmen des hier beschriebenen Verfahrens ist es vorgesehen, nur eine für Autobahnen geeignete Auswahl an Basisobjektklassen nODD_i zu laden und anzuwenden, wodurch sich der Objekterkennungsprozess gegenüber herkömmlichen Verfahren, bei denen sämtliche Objektklassen angewendet werden, erheblich zu beschleunigen.The method described here only loads and uses a selection of base object classes nODD_i that is suitable for freeways, which significantly speeds up the object recognition process compared to conventional methods in which all object classes are used.
Aus den über das RDS-Modul 27 gewonnenen Daten ist es möglich, die Information zu isolieren, dass im Streckenabschnitt 44 das Tier 46 eine Gefahr für den Verkehr darstellt. Auf der Grundlage dieser Informationen kann der Detektionsalgorithmus 32 aus dem Speicher 8 wenigstens eine Zusatzobjektklasse nADD_i betreffend Tiere laden und bei der Objekterkennung anwenden.From the data obtained via the
Zu Beginn des Verfahrens wird zunächst eine Route des Kraftfahrzeugs 2 abgerufen. Aus der Route des Kraftfahrzeugs 2 werden Streckentypen extrahiert und anhand der Streckentypen Basisobjektklassen selektiert. Mithilfe der selektierten Basisobjektklassen findet sodann die Erkennung unter Verwendung des Detektionsalgorithmus statt.At the start of the method, a route for
Parallel dazu werden in regelmäßigen Abständen Verkehrsinformationen abgerufen und analysiert. Finden sich in den Verkehrsinformationen Hinweise auf Gefahren, beispielsweise durch Objekte in vorausliegenden Streckenabschnitten, werden in einem darauffolgenden Schritt relevante Objektklassen extrahiert.At the same time, traffic information is called up and analyzed at regular intervals. If there are indications of danger in the traffic information, for example due to objects in the road sections ahead, relevant object classes are extracted in a subsequent step.
Darauffolgend werden die Zusatzobjektklassen geladen und Detektionsschwellen für die geladenen Zusatzobjektklassen abgesenkt. Die Objekterkennung wird dann anhand der angewendeten Basisobjektklassen und der Zusatzobjektklassen durchgeführt.The additional object classes are then loaded and detection thresholds for the loaded additional object classes are lowered. Object recognition is then carried out using the base object classes used and the additional object classes.
Um jeweils passende Basisobjektklassen anzuwenden und um eine Akkumulation von zwischenzeitlich geladenen Zusatzobjektklassen zu vermeiden, wird regelmäßig geprüft, ob ein bestimmter Streckenabschnitt verlassen wurde. Der Streckenabschnitt kann ein durch die Route oder durch die Verkehrsinformationen definierter Streckenabschnitt sein.In order to use suitable base object classes in each case and to avoid an accumulation of additional object classes that have been loaded in the meantime, it is regularly checked whether a certain route section has been left. The route section can be a route section defined by the route or by the traffic information.
Obwohl der Gegenstand im Detail durch Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa einer weitergehenden Erläuterung in der Beschreibung, definiert wird.Although the subject matter has been illustrated and explained in more detail by exemplary embodiments, the invention is not restricted by the disclosed examples and other variations can be derived therefrom by a person skilled in the art. It is therefore clear that a large number of possible variations exist. It is also clear that exemplary embodiments are only examples which are not to be construed in any way as limiting such as the scope, applications, or configuration of the invention. Rather, the preceding description and the description of the figures enable the person skilled in the art to concretely implement the exemplary embodiments, whereby the person skilled in the art, knowing the disclosed inventive concept, can make a variety of changes, for example with regard to the function or the arrangement of individual elements mentioned in an exemplary embodiment, without having to Leaving the scope of protection defined by the claims and their legal equivalents, such as a further explanation in the description.
BezugszeichenlisteReference List
- 22
- Kraftfahrzeugmotor vehicle
- 44
- Steuergerätcontrol unit
- 66
- Recheneinheitunit of account
- 88th
- SpeicherStorage
- 1010
- Umgebungssensorenvironmental sensor
- 1111
- Umgebungssensorenvironmental sensor
- 1212
- Umgebungssensorenvironmental sensor
- 1313
- Umgebungssensorenvironmental sensor
- 1414
- Kameracamera
- 1515
- GPS-ModulGPS module
- 1616
- Raddrehzahlsensorwheel speed sensor
- 1818
- Beschleunigungssensoraccelerometer
- 2020
- Pedalsensorpedal sensor
- 2222
- Lenkungsteering
- 2424
- Motorsteuerungengine control
- 2626
- Bremsenbrakes
- 2727
- RDS-ModulRDS module
- 2828
- Computerprogrammproduktmodulcomputer program product module
- 3030
- Algorithmusalgorithm
- 3232
- Detektionsalgorithmusdetection algorithm
- 3434
- neuronales Netzneural network
- 3636
- Objektklassenbibliothekobject class library
- 3838
- AutobahnFreeway
- 40, 4240, 42
- Kraftfahrzeugmotor vehicle
- 4444
- Streckenabschnitttrack section
- 4646
- Tier animal
- nODD_inODD_i
- Basisobjektklassebase feature class
- nADD_inADD_i
- Zusatzobjektklasseadditional object class
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent Literature Cited
- DE 102018117777 A1 [0005]DE 102018117777 A1 [0005]
Claims (15)
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021202526.9A DE102021202526A1 (en) | 2021-03-16 | 2021-03-16 | Computer-implemented method for performing an automated driving function, computer program product, control unit and motor vehicle |
EP22706531.5A EP4309141A1 (en) | 2021-03-16 | 2022-02-02 | Method, computer program, control unit and motor vehicle for carrying out an automated driving function |
PCT/EP2022/052454 WO2022194440A1 (en) | 2021-03-16 | 2022-02-02 | Method, computer program, control unit and motor vehicle for carrying out an automated driving function |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021202526.9A DE102021202526A1 (en) | 2021-03-16 | 2021-03-16 | Computer-implemented method for performing an automated driving function, computer program product, control unit and motor vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102021202526A1 true DE102021202526A1 (en) | 2022-09-22 |
Family
ID=80623987
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102021202526.9A Pending DE102021202526A1 (en) | 2021-03-16 | 2021-03-16 | Computer-implemented method for performing an automated driving function, computer program product, control unit and motor vehicle |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4309141A1 (en) |
DE (1) | DE102021202526A1 (en) |
WO (1) | WO2022194440A1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018117777A1 (en) | 2017-07-24 | 2019-01-24 | GM Global Technology Operations LLC | Deeply integrated fusion architecture for automated driving systems |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019161300A1 (en) * | 2018-02-18 | 2019-08-22 | Nvidia Corporation | Detecting objects and determining confidence scores |
DE102019213061A1 (en) * | 2019-08-29 | 2021-03-04 | Volkswagen Aktiengesellschaft | Classification of AI modules |
-
2021
- 2021-03-16 DE DE102021202526.9A patent/DE102021202526A1/en active Pending
-
2022
- 2022-02-02 WO PCT/EP2022/052454 patent/WO2022194440A1/en active Application Filing
- 2022-02-02 EP EP22706531.5A patent/EP4309141A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018117777A1 (en) | 2017-07-24 | 2019-01-24 | GM Global Technology Operations LLC | Deeply integrated fusion architecture for automated driving systems |
Non-Patent Citations (1)
Title |
---|
H. Winner et al.: Handbuch Fahrerassistenzsysteme. Wiesbaden : Springer Vieweg, 2015. 395-420. - ISBN 978-3-658-05733-6 |
Also Published As
Publication number | Publication date |
---|---|
EP4309141A1 (en) | 2024-01-24 |
WO2022194440A1 (en) | 2022-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102016000493B4 (en) | Method for operating a vehicle system and motor vehicle | |
DE102016220913A1 (en) | Method and device for generating test cases for autonomous vehicles | |
DE102016007899B4 (en) | Method for operating a device for traffic situation analysis, motor vehicle and data processing device | |
DE102016210534A1 (en) | Method for classifying an environment of a vehicle | |
DE102016119502A1 (en) | Categorization of vehicles in the vicinity of a motor vehicle | |
DE102017211556A1 (en) | Method for route planning for a motor vehicle with an automated vehicle system and motor vehicle with an automated vehicle system | |
DE102022002339A1 (en) | Method for configuring and operating a wildlife crossing warning system of a vehicle | |
EP3063732A1 (en) | Situation analysis for a driver assistance system | |
DE102020122837A1 (en) | METHOD AND DEVICE FOR CREATING A TURNING PATH IN A MULTI-SHIFT LEARNING-BASED AUTONOMOUS VEHICLE | |
DE102019003963A1 (en) | Method for determining a driving strategy of a vehicle, in particular a commercial vehicle | |
DE102017211387A1 (en) | System and method for automated maneuvering of an ego vehicle | |
DE102007015227B4 (en) | Method and arrangement for the approximate determination of a lane currently being traveled by a vehicle | |
DE102012222931A1 (en) | Method for determining e.g. position and/or type of road sign, involves reading set of records, where each record comprises positional data representing different geographical positions, transaction data and vehicle specifications | |
DE102013203908A1 (en) | Estimate the future speed of a vehicle | |
DE102021000792A1 (en) | Method for operating a vehicle | |
DE102019129737A1 (en) | Method for classifying an environment of a vehicle | |
DE102020201931A1 (en) | Method for training at least one algorithm for a control unit of a motor vehicle, method for optimizing a traffic flow in a region, computer program product and motor vehicle | |
DE102017209370B4 (en) | Method for determining overtaking information | |
DE102018007022A1 (en) | Method and device for operating an assistance system of a vehicle and vehicle | |
DE102021202526A1 (en) | Computer-implemented method for performing an automated driving function, computer program product, control unit and motor vehicle | |
DE102018220844A1 (en) | Method for controlling a driver assistance system, driver assistance system, motor vehicle and central data processing device | |
DE102021212493A1 (en) | Method for infrastructure-supported assistance in a motor vehicle | |
DE102021202083A1 (en) | Computer-implemented method for training at least one algorithm for a control unit of a motor vehicle, computer program product, control unit and motor vehicle | |
DE102018218172B3 (en) | Method and device for evaluating a driving situation ahead of a vehicle in the direction of travel for automated bypassing of a traffic obstacle in front | |
DE102019002598A1 (en) | Method for guiding an autonomously moving vehicle on a snow-covered road and an autonomously driving vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R084 | Declaration of willingness to licence | ||
R163 | Identified publications notified | ||
R081 | Change of applicant/patentee |
Owner name: STELLANTIS AUTO SAS, FR Free format text: FORMER OWNER: PSA AUTOMOBILES SA, POISSY, FR |