DE102021202526A1 - Computer-implemented method for performing an automated driving function, computer program product, control unit and motor vehicle - Google Patents

Computer-implemented method for performing an automated driving function, computer program product, control unit and motor vehicle Download PDF

Info

Publication number
DE102021202526A1
DE102021202526A1 DE102021202526.9A DE102021202526A DE102021202526A1 DE 102021202526 A1 DE102021202526 A1 DE 102021202526A1 DE 102021202526 A DE102021202526 A DE 102021202526A DE 102021202526 A1 DE102021202526 A1 DE 102021202526A1
Authority
DE
Germany
Prior art keywords
motor vehicle
computer
nodd
nadd
object classes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021202526.9A
Other languages
German (de)
Inventor
Frank Bonarens
Seyed Eghbal Ghobadi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STELLANTIS AUTO SAS, FR
Original Assignee
PSA Automobiles SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PSA Automobiles SA filed Critical PSA Automobiles SA
Priority to DE102021202526.9A priority Critical patent/DE102021202526A1/en
Priority to EP22706531.5A priority patent/EP4309141A1/en
Priority to PCT/EP2022/052454 priority patent/WO2022194440A1/en
Publication of DE102021202526A1 publication Critical patent/DE102021202526A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19113Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

Beschrieben wird ein Verfahren zum Durchführen einer automatisierten Fahrfunktion eines Kraftfahrzeugs mittels wenigstens eines Algorithmus, der Algorithmus einen Detektionsalgorithmus vorgesehen aufweist, der eine Objektklassenbibliothek von unterschiedlichen Objektklassen zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten anwendet, wobei eine Anzahl an Basisobjektklassen ausgewählt wird, Verkehrsinformationen über einen vor dem Kraftfahrzeug liegenden Streckenabschnitt empfangen werden, wobei aus den Verkehrsinformationen wenigstens eine Zusatzobjektklasse extrahiert wird, wobei die wenigstens eine Zusatzobjektklasse zusätzlich zu den Basisobjektklassen zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten ausgewählt wird.Described is a method for performing an automated driving function of a motor vehicle by means of at least one algorithm, the algorithm has a detection algorithm that uses an object class library of different object classes to identify objects in the area surrounding the motor vehicle, with a number of basic object classes being selected, traffic information about a route section in front of the motor vehicle is received, at least one additional object class being extracted from the traffic information, the at least one additional object class being selected in addition to the basic object classes for recognizing objects in the area surrounding the motor vehicle.

Description

Vorliegend werden ein computerimplementiertes Verfahren zum Durchführen einer automatisierten Fahrfunktion, ein Computerprogrammprodukt, eine Steuereinheit sowie ein Kraftfahrzeug beschrieben.A computer-implemented method for performing an automated driving function, a computer program product, a control unit and a motor vehicle are described here.

Computerimplementierte Verfahren zum Durchführen einer automatisierten Fahrfunktion, Computerprogrammprodukte, Steuereinheiten sowie Kraftfahrzeuge der eingangs genannten Art sind im Stand der Technik bekannt.Computer-implemented methods for performing an automated driving function, computer program products, control units and motor vehicles of the type mentioned at the outset are known in the prior art.

Verfahren, Computerprogrammprodukte, Kraftfahrzeuge sowie Systeme der eingangs genannten Art sind im Stand der Technik bekannt. Die ersten teil-automatisiert (entspricht SAE Level 2 gemäß SAE J3016) fahrenden Kraftfahrzeuge sind in den vergangenen Jahren zur Serienreife gelangt. Automatisiert (entspricht SAE Level >=3 gemäß SAE J3016) bzw. autonom (entspricht SAE Level 4/5 gemäß SAE J3016) fahrende Kraftfahrzeuge müssen anhand vielfältiger Vorgaben, zum Beispiel Fahrtziel und Einhaltung gängiger Verkehrsregeln, mit maximaler Sicherheit auf unbekannte Verkehrssituationen selbständig reagieren. Da die Verkehrswirklichkeit aufgrund der Unvorhersehbarkeit des Verhaltens anderer Verkehrsteilnehmer hoch komplex ist, gilt es als nahezu unmöglich, entsprechende Steuergeräte von Kraftfahrzeugen mit herkömmlichen Methoden und auf der Grundlage von menschengemachten Regeln zu programmieren.Methods, computer program products, motor vehicles and systems of the type mentioned at the outset are known in the prior art. The first semi-automated vehicles (corresponds to SAE Level 2 according to SAE J3016) have reached series maturity in recent years. Automated (corresponds to SAE Level >=3 according to SAE J3016) or autonomously (corresponds to SAE Level 4/5 according to SAE J3016) driving motor vehicles have to react independently to unknown traffic situations with maximum safety based on a variety of specifications, e.g. destination and compliance with current traffic regulations. Since the reality of traffic is highly complex due to the unpredictability of the behavior of other road users, it is considered almost impossible to program corresponding control units in motor vehicles using conventional methods and on the basis of man-made rules.

Stattdessen ist es bekannt, mit Methoden des maschinellen Lernens bzw. der künstlichen Intelligenz Algorithmen zu entwickeln. Solche Algorithmen können einerseits maßvoller auf komplexe Verkehrssituationen reagieren als traditionelle Algorithmen. Andererseits ist es mithilfe künstlicher Intelligenz prinzipiell möglich, die Algorithmen während des Entwicklungsprozesses und im Alltag durch ständiges Lernen weiterzuentwickeln. Alternativ wird ein Stand nach der Beendigung der Trainingsphase im Entwicklungsprozesses durch den Hersteller eingefroren.Instead, it is known to develop algorithms using methods of machine learning or artificial intelligence. On the one hand, such algorithms can react more moderately to complex traffic situations than traditional algorithms. On the other hand, with the help of artificial intelligence, it is in principle possible to further develop the algorithms during the development process and in everyday life through constant learning. Alternatively, a status is frozen by the manufacturer after the end of the training phase in the development process.

Aus der DE 10 2018 117 777 A1 sind Verfahren und Systeme zum Steuern eines autonomen Fahrzeugs beschrieben. Ein Sensorfusionssystem mit einem Sensorsystem zum Bereitstellen von Umgebungszustandsinformationen und ein gefaltetes neuronales Netzwerk (CNN) sind vorgesehen. Das CNN beinhaltet eine Empfangsschnittstelle, die konfiguriert ist, um die Umgebungszustandsinformationen vom Sensorsystem zu empfangen, eine gemeinsame Faltungsschicht, die konfiguriert ist, um Verkehrsinformationen aus den empfangenen Umgebungszustandsinformationen zu extrahieren, und eine Vielzahl von vollständig verbundenen Schichten, die konfiguriert sind, um Objekte zu erkennen, die zu verschiedenen Objektklassen gehören, basierend auf den extrahierten Verkehrsinformationen, worin die Objektklassen mindestens eine von einer Straßenmerkmalklasse, einer statischen Objektklasse und einer dynamischen Objektklasse beinhalten.From the DE 10 2018 117 777 A1 methods and systems for controlling an autonomous vehicle are described. A sensor fusion system including a sensor system for providing environmental status information and a folded neural network (CNN) is provided. The CNN includes a receiving interface configured to receive the environmental state information from the sensor system, a common convolution layer configured to extract traffic information from the received environmental state information, and a plurality of fully connected layers configured to objects recognize belonging to different object classes based on the extracted traffic information, wherein the object classes include at least one of a road feature class, a static object class and a dynamic object class.

Bei der Objekterkennung in Bilddaten, insbesondere 2D-Bilddaten haben sich tiefe neuronale Netze (DNNs) als überlegen hinsichtlich ihrer Leistungsfähigkeit gegenüber klassischen Methoden der Bildverarbeitung erwiesen. Der Einsatz solcher Methoden bei automatisierten Fahrfunktionen erfordert schnelle und effiziente Prozesse, da zur Gewährleistung der Fahrsicherheit eine schnelle Verarbeitung der Eingangsdaten erforderlich ist.When it comes to object recognition in image data, especially 2D image data, deep neural networks (DNNs) have proven to be superior in terms of their performance compared to traditional image processing methods. The use of such methods in automated driving functions requires fast and efficient processes, since rapid processing of the input data is required to ensure driving safety.

Somit stellt sich die Aufgabe, computerimplementierte Verfahren zum Durchführen einer automatisierten Fahrfunktion, Computerprogrammprodukte, Steuereinheiten sowie Kraftfahrzeuge der eingangs genannten Art dahingehend weiterzubilden, dass eine gegenüber herkömmlichen Verfahren erhöhte Recheneffizienz sichergestellt werden kann.The object is therefore to further develop computer-implemented methods for carrying out an automated driving function, computer program products, control units and motor vehicles of the type mentioned at the outset such that increased computing efficiency can be ensured compared to conventional methods.

Die Aufgabe wird gelöst durch ein computerimplementiertes Verfahren zum Durchführen einer automatisierten Fahrfunktion gemäß Anspruch 1, ein Computerprogrammprodukt gemäß dem nebengeordneten Anspruch 10, eine Steuereinheit gemäß dem nebengeordneten Anspruch 12 sowie ein Kraftfahrzeug gemäß dem nebengeordneten Anspruch 13. Weiterführende Ausgestaltungen und Weiterbildungen sind Gegenstand der abhängigen Ansprüche.The object is achieved by a computer-implemented method for performing an automated driving function according to claim 1, a computer program product according to the independent claim 10, a control unit according to the independent claim 12 and a motor vehicle according to the independent claim 13. Further refinements and developments are the subject of the dependent claims .

Nachfolgend wird ein computerimplementiertes Verfahren zum Durchführen einer automatisierten Fahrfunktion eines autonom oder teilautonom fahrenden Kraftfahrzeugs mittels wenigstens eines Algorithmus beschrieben, wobei der Algorithmus in wenigstens einer Steuereinheit ausgeführt wird, wobei die Steuereinheit in Aggregate des Kraftfahrzeugs auf der Grundlage von Eingangsdaten eingreift, wobei der Algorithmus ein trainiertes neuronales Netz aufweist, das zur Objekterkennung ausgebildet ist, wobei ein Detektionsalgorithmus vorgesehen ist, der eine Objektklassenbibliothek von unterschiedlichen Objektklassen (nODD_i, nADD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten anwendet, wobei

  1. a) eine Anzahl an Basisobjektklassen (nODD_i) ausgewählt wird, wobei die Anzahl an Basisobjektklassen (nODD_i) kleiner ist als die gesamte Anzahl an Objektklassen (nODD_i, nADD_i) in der Objektklassenbibliothek;
  2. b) wenigstens ein Eingangssignal mit Informationen über einen vor dem Kraftfahrzeug liegenden Streckenabschnitt empfangen wird, wobei aus den Informationen wenigstens eine Zusatzobjektklasse (nADD_i) ermittelt wird, wobei die wenigstens eine Zusatzobjektklasse (nADD_i) zusätzlich zu den Basisobjektklassen (nODD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten ausgewählt wird;
  3. c) mittels Kraftfahrzeugsensorik Umgebungsinformationen einer Umgebung des Kraftfahrzeugs aufgenommen und an den Detektionsalgorithmus weitergeleitet werden;
  4. d) mittels des Detektionsalgorithmus anhand der Umgebungsinformationen unter Anwendung der Basisobjektklassen (nODD_i) und der wenigstens einen Zusatzobjektklasse (nADD_i) in der Umgebung des Kraftfahrzeugs befindliche Objekte erkannt werden und dem Algorithmus entsprechende Objektdaten zur Verfügung gestellt werden.
A computer-implemented method for performing an automated driving function of an autonomously or semi-autonomously driving motor vehicle is described below using at least one algorithm, the algorithm being executed in at least one control unit, the control unit intervening in aggregates of the motor vehicle on the basis of input data, the algorithm being activated has a trained neural network, which is designed for object recognition, a detection algorithm being provided which uses an object class library of different object classes (nODD_i, nADD_i) to recognize objects located in the area surrounding the motor vehicle, wherein
  1. a) a number of base object classes (nODD_i) is selected, the number of base object classes (nODD_i) being smaller than the total number of object classes (nODD_i, nADD_i) in the object class library;
  2. b) at least one input signal with information about one in front of the motor vehicle the route section is received, at least one additional object class (nADD_i) being determined from the information, the at least one additional object class (nADD_i) being selected in addition to the basic object classes (nODD_i) for detecting objects located in the area surrounding the motor vehicle;
  3. c) environmental information of an environment of the motor vehicle is recorded by means of motor vehicle sensors and forwarded to the detection algorithm;
  4. d) objects located in the vicinity of the motor vehicle are detected by means of the detection algorithm based on the environmental information using the base object classes (nODD_i) and the at least one additional object class (nADD_i) and the algorithm is provided with corresponding object data.

Die Steuereinheit kann eine separate Steuereinheit des Kraftfahrzeugs oder Teil einer Steuereinheit mit weiteren, hier nicht beschriebenen Funktionen sein. Aus Gründen der Betriebssicherheit kann eine entsprechende Steuereinheit diskret aufgebaut sein. Auch kann vorgesehen sein, dass die Steuereinheit redundant ausgebildet ist bzw. das hier beschriebene Verfahren redundant auf einer oder mehreren Recheneinheiten ausgeführt werden.The control unit can be a separate control unit of the motor vehicle or part of a control unit with additional functions not described here. For reasons of operational safety, a corresponding control unit can have a discrete design. Provision can also be made for the control unit to be configured redundantly or for the method described here to be executed redundantly on one or more computing units.

Der Detektionsalgorithmus kann Bestandteil des das Verfahren ausführenden Algorithmus sein oder separat dazu ausgebildet sein. Hierdurch ist es möglich, den Detektionsalgorithmus ganz oder teilweise dezentral auszuführen, z.B. in einer Firmware einer entsprechend verwendeten Kamera.The detection algorithm can be part of the algorithm executing the method or can be designed separately. This makes it possible to carry out the detection algorithm entirely or partially in a decentralized manner, e.g. in the firmware of a camera used accordingly.

Als Eingangsdaten kommen generell aktuelle, die Umgebung betreffende Daten infrage, zum Beispiel mittels verschiedener Sensoren gewonnene Daten. Solche Sensoren können beispielsweise Kameras, Radar-, Lidar- und/oder Ultraschall-Sensoren umfassen, aber auch andere Sensoren wie zum Beispiel Positionssensoren, z.B. GPS, Magnetfelddetektierende Sensoren und dergleichen.In general, current data relating to the environment can be considered as input data, for example data obtained by means of various sensors. Such sensors can include, for example, cameras, radar, lidar and/or ultrasonic sensors, but also other sensors such as position sensors, e.g. GPS, magnetic field detecting sensors and the like.

Weitere mögliche Eingangsdaten sind Farbplanungsdaten, die beispielsweise aus einem Navigationsziel gewonnen werden, sowie unter Umständen Verkehrsdaten, die den Verkehrsfluss auf der Route bestimmen. Weitere Daten können Kommunikationsdaten sein, die beispielsweise aus Car-to-Car- oder Car-to-Infrastructure-Systemen gewonnen werden, z.B. zu Ampelphasen o.ä..Further possible input data are color planning data, which are obtained from a navigation destination, for example, and possibly traffic data, which determine the traffic flow on the route. Further data can be communication data, which is obtained from car-to-car or car-to-infrastructure systems, e.g. on traffic light phases or similar.

Im Straßenverkehr befinden sich eine Vielzahl unterschiedlicher Objekte, die sich in verschiedene Klassen einteilen lassen, z.B. andere Verkehrsteilnehmer in motorisierten Fahrzeugen, Verkehrsteilnehmer in unmotorisierten Fahrzeugen, Fußgänger, Tiere, Objekte, Straßenzeichen etc.There are a number of different objects in road traffic that can be divided into different classes, e.g. other road users in motorized vehicles, road users in non-motorized vehicles, pedestrians, animals, objects, road signs, etc.

Bei der Objekterkennung ist es im Stand der Technik erforderlich, die Eingangsdaten auf sämtliche Objektklassen anzuwenden, um eine vollständige Klassifizierung der in der Umgebung des Kraftfahrzeugs befindlichen Objekte zu erreichen. Dafür ist ein gewisser Rechenaufwand erforderlich. Eine Verringerung der Objektklassen kann die Durchführung des Verfahrens beschleunigen.In object recognition, it is necessary in the prior art to apply the input data to all object classes in order to achieve a complete classification of the objects in the area surrounding the motor vehicle. This requires a certain computational effort. A reduction in the object classes can speed up the implementation of the method.

Es ist bekannt, dass auf bestimmten Straßenarten bestimmte Objektarten selten oder gar nicht vorkommen. Z.B. sollten sich auf einer Autobahn in der Regel keine Fußgänger, Radfahrer oder Tiere befinden. Dies ist aber nicht vollständig ausschließbar, z.B. kommt es immer wieder vor, dass sich Personen auf der Fahrbahn befinden, z.B. bei einem Unfall. Insoweit ist es nicht möglich, z.B. eine Objektklasse „Personen“ vollständig zu deaktivieren, wenn das betreffende Kraftfahrzeug sich auf einer Autobahn befindet.It is known that on certain types of roads, certain object types occur rarely or not at all. For example, there should generally be no pedestrians, cyclists or animals on a freeway. However, this cannot be completely ruled out, e.g. it happens again and again that people are on the road, e.g. in the event of an accident. In this respect, it is not possible, for example, to completely deactivate an object class "People" if the motor vehicle in question is on a freeway.

Mit dem oben beschriebenen Verfahren ist es dennoch möglich, eine Reduktion der angewendeten Objektklassen und dadurch eine zielgerichtete Gestaltung der Anforderungen zu erreichen. Dadurch, dass wenigstens ein Eingangssignal mit Informationen über einen vor dem Kraftfahrzeug liegenden Streckenabschnitt empfangen werden, können zusätzlich zu den, ggf. straßentypabhängigen, ausgewählten Objektklassen oder für den jeweiligen Straßentyp ausgewählte Basisobjektklassen gezielt um zusätzliche Objektklassen erweitern.With the method described above, it is nevertheless possible to reduce the number of object classes used and thus achieve a targeted design of the requirements. Because at least one input signal with information about a section of road ahead of the motor vehicle is received, additional object classes can be added to the selected object classes, which may be dependent on the road type, or basic object classes selected for the respective road type.

Im Falle eines vorausliegenden Unfalls könnten somit die Informationen erhalten werden, dass sich in einem bestimmten, vorausliegenden Bereich Menschen auf der Fahrbahn befinden. Hierdurch veranlasst wird wenigstens eine Zusatzobjektklasse, z.B. Personen und Tiere, geladen und bei der Objekterkennung angewendet.In the event of an upcoming accident, the information could thus be obtained that there are people on the road in a specific area ahead. This causes at least one additional object class, e.g. people and animals, to be loaded and used for object recognition.

Die betreffenden Objektdaten, die über die Kraftfahrzeugsensorik aufgenommen werden können, werden als Eingangsdaten für den Detektionsalgorithmus verwendet.The relevant object data, which can be recorded via the motor vehicle sensor system, is used as input data for the detection algorithm.

In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass der Detektionsalgorithmus ein tiefes neuronales Netz aufweist.In a first further development, it can be provided that the detection algorithm has a deep neural network.

Das selbstlernende neuronale Netz kann auf verschiedenen Lernprinzipien aufgebaut sein, insbesondere kann es Verfahren des verstärkenden Lernens anwenden. Verstärkendes Lernen (englisch reinforcement learning) steht für eine Reihe von Methoden des maschinellen Lernens, bei denen das neuronale Netz selbstständig eine Strategie erlernt, um erhaltene Belohnungen zu maximieren. Dabei wird dem neuronalen Netz nicht vorgezeigt, welche Aktion in welcher Situation die beste ist, sondern es erhält zu bestimmten Zeitpunkten eine Belohnung, die auch negativ sein kann. Anhand dieser Belohnungen approximiert es eine Nutzenfunktion, die beschreibt, welchen Wert ein bestimmter Zustand oder eine bestimmte Aktion hat.The self-learning neural network can be based on various learning principles, in particular it can use methods of reinforcement learning. Reinforcement learning stands for a number of Machine learning methods in which the neural network autonomously learns a strategy to maximize rewards received. The neural network is not shown which action is best in which situation, but receives a reward at certain times, which can also be negative. Using these rewards, it approximates a utility function that describes the value of a particular state or action.

Tiefe neuronale Netze (deep neural network) weisen neben einer Eingabeebene und einer Ausgabeebene wenigstens eine versteckte Ebene (hidden layer) auf und sind in der Lage, komplexe Situationen zu analysieren und zu bewerten.In addition to an input level and an output level, deep neural networks have at least one hidden level (hidden layer) and are able to analyze and evaluate complex situations.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Anzahl von Basisobjektklassen (n_ODD_i) fahrsituationsabhängig ausgewählt wird.In a further refinement, it can be provided that the number of basic object classes (n_ODD_i) is selected as a function of the driving situation.

Solche Fahrsituationen können strecken-, tageszeit-, jahreszeit- und regionsspezifisch sein. So kann es z.B. angemessen sein, bei Nachtfahrten eine Objektklasse „Tiere“ stets geladen zu halten, da in der Nacht häufige Wildwechsel stattfinden.Such driving situations can be route-, time-of-day-, season- and region-specific. For example, it may be appropriate to keep an "animals" object class always loaded when driving at night, since there are frequent deer crossings at night.

Ein anderes Beispiel sind Strecken, die von Eisenbahnstrecken gekreuzt werden. Die entsprechende Objektklasse wird an anderen Strecken nicht zur Anwendung kommen, insoweit ist die Prozessierung der Eingangsdaten mittels einer Objektklasse „Schienenfahrzeuge“ dort nicht nötig.Another example is routes that are crossed by railway lines. The corresponding object class will not be used on other routes, so the processing of the input data using an object class “rail vehicles” is not necessary there.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass, wenn wenigstens eines der in der Umgebung befindlichen Objekte nicht anhand der Basisobjektklassen (nODD_i) und der wenigstens einen Zusatzobjektklasse (nADD_i) erkannt werden kann, eine Erkennung an übrigen bekannten Objektklassen (nODDJ) vorgenommen wird. In a further refinement, it can be provided that if at least one of the objects in the surrounding area cannot be recognized using the base object classes (nODD_i) and the at least one additional object class (nADD_i), recognition is carried out using the other known object classes (nODDJ). .

Auf diese Weise kann sichergestellt werden, dass jedes gefundene Objekt richtig klassifiziert werden kann, auch wenn es nicht einer der angewendeten Basisobjektklassen oder Zusatzobjektklassen entspricht.In this way it can be ensured that each object found can be classified correctly, even if it does not correspond to one of the base object classes or additional object classes used.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die wenigstens eine Zusatzobjektklasse (nADD_i) abgewählt wird, wenn das Kraftfahrzeug den Streckenabschnitt verlässt.In a further refinement, it can be provided that the at least one additional object class (nADD_i) is deselected when the motor vehicle leaves the route section.

Auf diese Weise kann das Verfahren nach Verlassen des Streckenabschnitts wieder beschleunigt werden.In this way, the process can be accelerated again after leaving the route section.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Auswahl der Basisobjektklassen (nODD_i) abhängig vom befahrenen Streckentyp getroffen wird.In a further refinement, provision can be made for the selection of the basic object classes (nODD_i) to be made depending on the type of route traveled.

Auf innerörtlichen Straßen ist zum Beispiel die Wahrscheinlichkeit von Personen, die die Fahrbahn kreuzen, größer als auf Autobahnen, insoweit ist es sinnvoll, innerorts stets die Objektklasse Personen anzuwenden.On inner-city streets, for example, the probability of people crossing the lane is greater than on freeways, so it makes sense to always use the object class people in inner-city areas.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass der Detektionsalgorithmus Detektionsschwellen für die Objektklassen (nODD_i, nADD_i) anwendet, wobei wenigstens eine Detektionsschwelle für die wenigstens eine aus den Informationen ermittelte Zusatzobjektklasse gegenüber einem Standardwert abgesenkt wird.In a further refinement, it can be provided that the detection algorithm uses detection thresholds for the object classes (nODD_i, nADD_i), with at least one detection threshold for the at least one additional object class determined from the information being lowered compared to a standard value.

Auf diese Weise kann eine Priorisierung der Objektklassen erreicht werden.In this way, a prioritization of the object classes can be achieved.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Eingangssignal von einem Empfangssystem übermittelt wird, wobei die Informationen Verkehrsinformationen sind, und/oder wobei das Eingangssignal ein Sensorsignal eines Kraftfahrzeugsensors enthält.In a further refinement, it can be provided that the input signal is transmitted by a receiving system, with the information being traffic information and/or with the input signal containing a sensor signal from a motor vehicle sensor.

Hierdurch können im ersten Fall aktuelle Verkehrsinformationen verarbeitet werden, zum Beispiel solche betreffend Personen oder Tiere oder andere Objekte auf einer Fahrbahn.As a result, current traffic information can be processed in the first case, for example information relating to people or animals or other objects on a roadway.

Im zweiten Fall können alternativ oder zusätzlich Umgebungsinformationen aus Kraftfahrzeugsensorik gewonnen werden, z.B. können mittels Kameras Schilder erkannt werden, die auf Objekte hinweisen, zum Beispiel temporäre Baustellenschilder oder saisonale Wildwechselschilder.In the second case, environmental information can alternatively or additionally be obtained from motor vehicle sensors, e.g. cameras can be used to recognize signs that indicate objects, for example temporary construction site signs or seasonal wildlife crossing signs.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Eingangssignal Kartendaten einer Umgebungskarte enthält.In a further refinement, it can be provided that the input signal contains map data of a map of the surroundings.

Solche Kartendaten können von einer im Kraftfahrzeug gespeicherten Karte oder einer mittels Fernkommunikationsmitteln empfangenen Karte stammen, wobei die Karte mit Zusatzinformationen angereichert ist, zum Beispiel Regionen mit starkem Wildwechsel oder Regionen, in denen gelegentlich andere Hindernisse, z.B. Steinbruch, Moränen oder Sandwehen, auftreten können.Such map data can come from a map stored in the motor vehicle or a map received by means of long-distance communication, the map being enriched with additional information, for example regions with frequent game crossings or regions in which other obstacles, e.g. quarries, moraines or sand drifts, can occasionally occur.

Ein erster unabhängiger Gegenstand betrifft eine Vorrichtung zum Durchführen einer automatisierten Fahrfunktion eines autonom oder teilautonom fahrenden Kraftfahrzeugs mittels wenigstens eines Algorithmus beschrieben, wobei der Algorithmus in wenigstens einer Steuereinheit ausgeführt wird, wobei die Steuereinheit in Aggregate des Kraftfahrzeugs auf der Grundlage von Eingangsdaten eingreift, wobei der Algorithmus ein trainiertes neuronales Netz aufweist, das zur Objekterkennung ausgebildet ist, wobei ein Detektionsalgorithmus vorgesehen ist, der eine Objektklassenbibliothek von unterschiedlichen Objektklassen (nODD_i, nADD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten anwendet, wobei die Vorrichtung dazu eingerichtet ist:

  1. a) eine Anzahl an Basisobjektklassen (nODD_i) auszuwählen, wobei die Anzahl an Basisobjektklassen (nODD_i) kleiner ist als die gesamte Anzahl an Objektklassen (nODD_i, nADD_i) in der Objektklassenbibliothek;
  2. b) mittels eines Eingangs wenigstens ein Eingangssignal mit Informationen über einen vor dem Kraftfahrzeug liegenden Streckenabschnitt zu empfangen und aus den Informationen wenigstens eine Zusatzobjektklasse (nADD_i) zu ermitteln, wobei die wenigstens eine Zusatzobjektklasse (nADD_i) zusätzlich zu den Basisobjektklassen (nODD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten ausgewählt wird;
  3. c) mittels Kraftfahrzeugsensorik Umgebungsinformationen einer Umgebung des Kraftfahrzeugs aufzunehmen und an den Detektionsalgorithmus weiterzuleiten;
  4. d) mittels des Detektionsalgorithmus anhand der Umgebungsinformationen unter Anwendung der Basisobjektklassen (nODD_i) und der wenigstens einen Zusatzobjektklasse (nADD_i) in der Umgebung des Kraftfahrzeugs befindliche Objekte zu erkennen und dem Algorithmus entsprechende Objektdaten zur Verfügung zu stellen.
A first independent subject relates to a device for performing an automated driving function of an autonomously or semi-autonomously driving motor vehicle, described by means of at least one algorithm, the algorithm being executed in at least one control unit, wherein the control unit intervenes in aggregates of the motor vehicle on the basis of input data, wherein the algorithm has a trained neural network that is designed for object recognition, wherein a detection algorithm is provided that uses an object class library of different object classes (nODD_i, nADD_i) for detecting im objects located in the surroundings of the motor vehicle, the device being set up to:
  1. a) select a number of base object classes (nODD_i), the number of base object classes (nODD_i) being less than the total number of object classes (nODD_i, nADD_i) in the object class library;
  2. b) using an input to receive at least one input signal with information about a route section in front of the motor vehicle and to determine at least one additional object class (nADD_i) from the information, the at least one additional object class (nADD_i) in addition to the basic object classes (nODD_i) for recognizing objects located in the environment of the motor vehicle is selected;
  3. c) recording environmental information of an environment of the motor vehicle by means of motor vehicle sensors and forwarding it to the detection algorithm;
  4. d) using the detection algorithm based on the environmental information using the base object classes (nODD_i) and the at least one additional object class (nADD_i) to recognize objects in the vicinity of the motor vehicle and to provide the algorithm with corresponding object data.

In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass der Detektionsalgorithmus ein tiefes neuronales Netz aufweist.In a first further development, it can be provided that the detection algorithm has a deep neural network.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrichtung dazu eingerichtet ist, die Anzahl von Basisobjektklassen (n_ODD_i) fahrsituationsabhängig auszuwählen.In a further refinement, it can be provided that the device is set up to select the number of basic object classes (n_ODD_i) depending on the driving situation.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrichtung dazu eingerichtet ist, wenn wenigstens eines der in der Umgebung befindlichen Objekte nicht anhand der Basisobjektklassen (nODD_i) und der wenigstens einen Zusatzobjektklasse (nADD_i) erkannt werden kann, eine Erkennung an übrigen bekannten Objektklassen (nODD_j) vorzunehmen.In a further refinement, it can be provided that the device is set up to recognize other known object classes if at least one of the objects in the area cannot be recognized using the base object classes (nODD_i) and the at least one additional object class (nADD_i). (nODD_j) to be made.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrichtung dazu eingerichtet ist, die wenigstens eine Zusatzobjektklasse (nADD_i) abzuwählen, wenn das Kraftfahrzeug den Streckenabschnitt verlässt.In a further refinement, it can be provided that the device is set up to deselect the at least one additional object class (nADD_i) when the motor vehicle leaves the route section.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrichtung dazu eingerichtet ist, die Auswahl der Basisobjektklassen (nODD_i) abhängig vom befahrenen Streckentyp zu treffen.In a further refinement, it can be provided that the device is set up to make the selection of the basic object classes (nODD_i) depending on the type of route traveled.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass der Detektionsalgorithmus Detektionsschwellen für die Objektklassen (nODD_i, nADD_i) anwendet, wobei die Vorrichtung dazu eingerichtet ist, wenigstens eine Detektionsschwelle für die wenigstens eine aus den Informationen ermittelte Zusatzobjektklasse gegenüber einem Standardwert abzusenken.In a further refinement, it can be provided that the detection algorithm uses detection thresholds for the object classes (nODD_i, nADD_i), the device being set up to lower at least one detection threshold for the at least one additional object class determined from the information compared to a standard value.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Eingangssignal von einem Empfangssystem übermittelt wird, wobei die Informationen Verkehrsinformationen sind, und/oder wobei das Eingangssignal ein Sensorsignal eines Kraftfahrzeugsensors enthält.In a further refinement, it can be provided that the input signal is transmitted by a receiving system, with the information being traffic information and/or with the input signal containing a sensor signal from a motor vehicle sensor.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Eingangssignal Kartendaten einer Umgebungskarte enthält.In a further refinement, it can be provided that the input signal contains map data of a map of the surroundings.

Ein weiterer unabhängiger Gegenstand betrifft ein Computerprogrammprodukt, mit einem dauerhaften, computerlesbaren Speichermedium, auf dem Befehle eingebettet sind, die, wenn sie von wenigstens einer Recheneinheit ausgeführt werden, bewirken, dass die wenigstens Recheneinheit dazu eingerichtet ist, das Verfahren der vorgenannten Art auszuführen.Another independent subject relates to a computer program product with a permanent, computer-readable storage medium on which instructions are embedded which, when executed by at least one processing unit, cause the at least one processing unit to be set up to carry out the method of the aforementioned type.

Das Verfahren kann auf einer oder auf mehreren Recheneinheiten verteilt ausgeführt werden, sodass bestimmte Verfahrensschritte auf der einen Recheneinheit und andere Verfahrensschritte auf wenigstens einer weiteren Recheneinheit ausgeführt werden, wobei berechnete Daten sofern notwendig zwischen den Recheneinheiten übermittelt werden können.The method can be executed on one or more computing units so that certain method steps are executed on one computing unit and other method steps are executed on at least one other computing unit, with calculated data being able to be transmitted between the computing units if necessary.

Die Recheneinheit kann Bestandteil der Steuereinheit sein.The processing unit can be part of the control unit.

In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass die Befehle das Computerprogrammproduktmodul der zuvor beschriebenen Art aufweisen.In a first further development, it can be provided that the commands have the computer program product module of the type described above.

Ein weiterer unabhängiger Gegenstand betrifft eine Steuereinheit mit einem dauerhaften, computerlesbaren Speichermedium, wobei auf dem Speichermedium ein Computerprogrammprodukt der zuvor beschriebenen Art gespeichert ist.Another independent item concerns a control unit with a permanent, computer-readable storage medium, wherein a computer program product of the type described above is stored on the storage medium.

Ein weiterer unabhängiger Gegenstand betrifft ein Kraftfahrzeug mit einer Steuereinheit der zuvor beschriebenen Art.Another independent subject relates to a motor vehicle with a control unit of the type described above.

In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass wobei die Recheneinheit Bestandteil der Steuereinheit ist.In a first further development it can be provided that the arithmetic unit is part of the control unit.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Steuereinheit mit Umgebungssensoren und einem Empfangssystem vernetzt ist.In a further refinement, provision can be made for the control unit to be networked with environmental sensors and a receiving system.

Weitere Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale bilden für sich oder in beliebiger, sinnvoller Kombination den Gegenstand, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen. Dabei zeigen schematisch:

  • 1 ein Kraftfahrzeug, das zum automatisierten bzw. autonomen Fahren eingerichtet ist;
  • 2 ein Steuergerät des Kraftfahrzeugs aus 1;
  • 3 eine Umgebung mit dem Kraftfahrzeug aus 1, sowie
  • 4 ein Ablaufdiagramm des Verfahrens.
Further features and details result from the following description, in which at least one exemplary embodiment is described in detail—if appropriate with reference to the drawing. Described and/or illustrated features form the subject matter alone or in any meaningful combination, possibly also independently of the claims, and in particular can also be the subject matter of one or more separate applications. Identical, similar and/or functionally identical parts are provided with the same reference symbols. They show schematically:
  • 1 a motor vehicle that is set up for automated or autonomous driving;
  • 2 a control unit of the motor vehicle 1 ;
  • 3 an environment with the motor vehicle 1 , such as
  • 4 a flowchart of the process.

1 zeigt ein Kraftfahrzeug 2, das zum automatisierten bzw. autonomen Fahren eingerichtet ist. 1 shows a motor vehicle 2 that is set up for automated or autonomous driving.

Das Kraftfahrzeug 2 weist ein Steuergerät 4 mit einer Recheneinheit 6 und einem Speicher 8 auf. Im Speicher 8 ist ein Computerprogrammprodukt gespeichert, das im Nachfolgenden im Zusammenhang mit den 2 bis 4 noch eingehender beschrieben wird.The motor vehicle 2 has a control device 4 with a computing unit 6 and a memory 8 . In memory 8, a computer program product is stored, which in the following in connection with the 2 until 4 will be described in more detail.

Das Steuergerät 4 ist einerseits mit einer Reihe von Umgebungssensoren verbunden, die eine Erfassung der aktuellen Lage des Kraftfahrzeugs 2 sowie der jeweiligen Verkehrssituation erlauben. Hierzu zählen Umgebungssensoren 10, 11 an der Front des Kraftfahrzeugs 2, Umgebungssensoren 12, 13 am Heck des Kraftfahrzeugs 2, eine Kamera 14 sowie ein GPS-Modul 16. Die Umgebungssensoren 10 bis 13 können z.B. Radar-, Lidar- und/oder Ultraschallsensoren umfassen.The control unit 4 is connected on the one hand to a series of environmental sensors that allow the current position of the motor vehicle 2 and the respective traffic situation to be detected. These include environmental sensors 10, 11 on the front of motor vehicle 2, environmental sensors 12, 13 on the rear of motor vehicle 2, a camera 14 and a GPS module 16. Environmental sensors 10 to 13 can include radar, lidar and/or ultrasonic sensors, for example .

Des Weiteren sind Sensoren zur Erfassung des Zustands des Kraftfahrzeugs 2 vorgesehen, unter anderem Raddrehzahlsensoren 16, Beschleunigungssensoren 18 und Pedalsensoren 20, die mit dem Steuergerät 4 verbunden sind. Mithilfe dieser Kraftfahrzeugsensorik kann der momentane Zustand des Kraftfahrzeuges 2 zuverlässig erfasst werden.Furthermore, sensors for detecting the state of motor vehicle 2 are provided, including wheel speed sensors 16, acceleration sensors 18 and pedal sensors 20, which are connected to control unit 4. The current state of motor vehicle 2 can be reliably detected with the aid of this motor vehicle sensor system.

Während des Betriebs des Kraftfahrzeugs 2 hat die Recheneinheit 6 das im Speicher 8 abgelegte Computerprogrammprodukt geladen und führt dieses aus. Auf der Grundlage eines Algorithmus und der Eingangssignale entscheidet die Recheneinheit 6 über die Steuerung des Kraftfahrzeugs 2, die die Recheneinheit 6 über Eingriff in die Lenkung 22, Motorsteuerung 24 sowie Bremsen 26 erreichen würde, die jeweils mit dem Steuergerät 4 verbunden sind.During the operation of the motor vehicle 2, the computing unit 6 has loaded the computer program product stored in the memory 8 and executes it. On the basis of an algorithm and the input signals, the computing unit 6 decides on the control of the motor vehicle 2, which the computing unit 6 would achieve by intervening in the steering 22, engine control 24 and brakes 26, each of which is connected to the control unit 4.

Daten der Sensoren 10 bis 20 werden fortlaufend im Speicher 8 zwischengespeichert und nach einer vorgegebenen Zeitdauer verworfen, damit diese Umgebungsdaten zur weiteren Auswertung zur Verfügung stehen können.Data from the sensors 10 to 20 are continuously buffered in the memory 8 and discarded after a predetermined period of time so that these environmental data can be made available for further evaluation.

Der Algorithmus wurde nach dem nachfolgend beschriebenen Verfahren trainiert.The algorithm was trained according to the procedure described below.

Des Weiteren ist ein RDS-Modul 27 (RDS = Radio Data System) vorgesehen, über das mittels Verkehrsfunk Verkehrs- und Streckeninformationen empfangen werden. Das RDS-Modul 27 ist mit dem Steuergerät 4 verbunden.Furthermore, an RDS module 27 (RDS=Radio Data System) is provided, via which traffic and route information is received by means of traffic radio. The RDS module 27 is connected to the control device 4 .

In anderen Ausführungsformen können zusätzlich oder alternativ zu einem RDS-Modul andere Kommunikationswege zum Empfang von relevanten Verkehrsinformationen verwendet werden, beispielsweise über ein Auto-zu-Infrastruktur- oder ein Auto-zu-Auto-Netzwerk oder ein Mobilfunknetzwerk.In other embodiments, in addition to or as an alternative to an RDS module, other communication paths can be used to receive relevant traffic information, for example via a car-to-infrastructure or a car-to-car network or a cellular network.

2 zeigt das Steuergerät 4 aus 1. 2 shows the control unit 4 1 .

Das Steuergerät 4 weist die Recheneinheit 6 auf, in der ein Computerprogrammproduktmodul 28 (gestrichelt umrahmt) ausgeführt wird, das einen Algorithmus 30 zur Ausführung einer autonomen Fahrfunktion aufweist. Die autonome Fahrfunktion kann beispielsweise ein Stauassistent, ein Bremsassistent, ein Kollisionswarnassistent oder dergleichen sein.The control device 4 has the computing unit 6 in which a computer program product module 28 (framed in dashed lines) is executed, which has an algorithm 30 for executing an autonomous driving function. The autonomous driving function can be a traffic jam assistant, a brake assistant, a collision warning assistant or the like, for example.

Bestandteil des Algorithmus 30 ist ein Detektionsalgorithmus 32 (gestrichelt umrahmt), der ein neuronales Netz 34 aufweist.A component of the algorithm 30 is a detection algorithm 32 (framed by dashed lines), which has a neural network 34 .

Das neuronale Netz 34 ist ein tiefes neuronales Netz (deep neural network, DNN), das neben einer Eingabeebene (input layer) und einer Ausgabeebene (output layer) wenigstens eine versteckte Ebene (hidden layer) aufweist.The neural network 34 is a deep neural network (DNN) that has at least one hidden layer in addition to an input layer and an output layer.

Das selbstlernende neuronale Netz 34 lernt nach Methoden des bestärkenden Lernens, d. h. der Algorithmus 30 versucht in einer Trainingsphase, durch Variation des neuronalen Netzes 34 Belohnungen für ein verbessertes Verhalten entsprechend einer oder mehrerer Metriken oder Maßstäbe, also für Verbesserungen des Algorithmus 30 zu erhalten. In anderen Ausführungsformen können auch bekannte Lernverfahren des überwachten und unüberwachten Lernens, sowie Kombinationen dieser Lernverfahren, verwendet werden.The self-learning neural network 34 learns using methods of reinforcement learning, i. H. In a training phase, the algorithm 30 attempts to obtain rewards for improved behavior in accordance with one or more metrics or benchmarks, ie for improvements in the algorithm 30, by varying the neural network 34. In other embodiments, known learning methods of supervised and unsupervised learning, as well as combinations of these learning methods, can also be used.

Das neuronale Netz 34 kann im Wesentlichen eine Matrix aus Werten, in der Regel Gewichte genannt, sein, die eine komplexe Filterfunktion definieren, die das Verhalten des Algorithmus 34 abhängig von Eingangsgrößen, welche vorliegend über die Umgebungssensoren 10 bis 20 aufgenommen werden, bestimmt und Steuersignale zur Steuerung des Kraftfahrzeugs 2 generiert.The neural network 34 may essentially be a matrix of values, typically called weights, that define a complex filter function that determines the behavior of the algorithm 34 depending on inputs, which are presently received via the environmental sensors 10-20, and control signals generated to control the motor vehicle 2.

Das Computerprogrammproduktmodul 28 kann sowohl im Kraftfahrzeug 2 als auch außerhalb des Kraftfahrzeugs 2 zum Einsatz gebracht werden. Somit ist es möglich, das Computerprogrammproduktmodul 28 sowohl in einer realen Umgebung als auch in einer Simulationsumgebung zu trainieren.The computer program product module 28 can be used both in the motor vehicle 2 and outside of the motor vehicle 2 . It is thus possible to train the computer program product module 28 both in a real environment and in a simulation environment.

Der Objekterkennungsalgorithmus 32 greift auf eine im Speicher 8 gespeicherte Objektklassenbibliothek 36 (gestrichelt umrahmt) zu, die mehrere Basisobjektklassen nODD_i (nODD_1, nODD_2, ... nODD_i), und Zusatzobjektklassen (nADD_1, nADD_2, ... nADD_i) aufweist.The object recognition algorithm 32 accesses an object class library 36 (framed in dashed lines) stored in the memory 8, which has a number of base object classes nODD_i (nODD_1, nODD_2, ... nODD_i) and additional object classes (nADD_1, nADD_2, ... nADD_i).

Die betreffenden Objektklassen nODD_i, nADD_i werden situativ vom Detektionsalgorithmus 32 geladen und zur Objekterkennung angewendet. Die situative Auswahl der Objektklassen nODD_i, nADD_i hängt unter anderem von der Strecke ab. Eine weitere Eingangsgröße sind Verkehrsmeldungen, die mittels des RDS-Moduls 27 empfangen werden und aus denen Informationen in Bezug auf eine vorausliegende Strecke bzw. einen vorausliegenden Streckenabschnitt extrahiert werden.The relevant object classes nODD_i, nADD_i are loaded by the detection algorithm 32 depending on the situation and used for object recognition. The situational selection of the object classes nODD_i, nADD_i depends, among other things, on the route. Another input variable are traffic reports, which are received by means of the RDS module 27 and from which information relating to a route ahead or a route section ahead is extracted.

3 zeigt eine Autobahn 38. 3 shows a Autobahn 38.

Auf der Autobahn 38 fahren zusätzlich zu dem Kraftfahrzeug auf verschiedenen Spuren zwei Kraftfahrzeuge 40, 42. Auf einen vorausliegenden Streckenabschnitt 44 (gekennzeichnet durch gestrichelte Linien quer zur Autobahn 38) befindet sich ein Tier 46 auf der Fahrbahn.In addition to the motor vehicle, two motor vehicles 40, 42 are driving on the freeway 38 in different lanes. There is an animal 46 on the roadway on a route section 44 ahead (identified by dashed lines across the freeway 38).

Im Rahmen des hier beschriebenen Verfahrens ist es vorgesehen, nur eine für Autobahnen geeignete Auswahl an Basisobjektklassen nODD_i zu laden und anzuwenden, wodurch sich der Objekterkennungsprozess gegenüber herkömmlichen Verfahren, bei denen sämtliche Objektklassen angewendet werden, erheblich zu beschleunigen.The method described here only loads and uses a selection of base object classes nODD_i that is suitable for freeways, which significantly speeds up the object recognition process compared to conventional methods in which all object classes are used.

Aus den über das RDS-Modul 27 gewonnenen Daten ist es möglich, die Information zu isolieren, dass im Streckenabschnitt 44 das Tier 46 eine Gefahr für den Verkehr darstellt. Auf der Grundlage dieser Informationen kann der Detektionsalgorithmus 32 aus dem Speicher 8 wenigstens eine Zusatzobjektklasse nADD_i betreffend Tiere laden und bei der Objekterkennung anwenden.From the data obtained via the RDS module 27, it is possible to isolate the information that the animal 46 represents a danger to traffic in the route section 44. On the basis of this information, the detection algorithm 32 can load at least one additional object class nADD_i relating to animals from the memory 8 and use it in the object recognition.

4 zeigt ein Ablaufdiagramm des Verfahrens. 4 shows a flow chart of the method.

Zu Beginn des Verfahrens wird zunächst eine Route des Kraftfahrzeugs 2 abgerufen. Aus der Route des Kraftfahrzeugs 2 werden Streckentypen extrahiert und anhand der Streckentypen Basisobjektklassen selektiert. Mithilfe der selektierten Basisobjektklassen findet sodann die Erkennung unter Verwendung des Detektionsalgorithmus statt.At the start of the method, a route for motor vehicle 2 is first retrieved. Route types are extracted from the route of motor vehicle 2 and base object classes are selected on the basis of the route types. The detection then takes place using the detection algorithm with the aid of the selected base object classes.

Parallel dazu werden in regelmäßigen Abständen Verkehrsinformationen abgerufen und analysiert. Finden sich in den Verkehrsinformationen Hinweise auf Gefahren, beispielsweise durch Objekte in vorausliegenden Streckenabschnitten, werden in einem darauffolgenden Schritt relevante Objektklassen extrahiert.At the same time, traffic information is called up and analyzed at regular intervals. If there are indications of danger in the traffic information, for example due to objects in the road sections ahead, relevant object classes are extracted in a subsequent step.

Darauffolgend werden die Zusatzobjektklassen geladen und Detektionsschwellen für die geladenen Zusatzobjektklassen abgesenkt. Die Objekterkennung wird dann anhand der angewendeten Basisobjektklassen und der Zusatzobjektklassen durchgeführt.The additional object classes are then loaded and detection thresholds for the loaded additional object classes are lowered. Object recognition is then carried out using the base object classes used and the additional object classes.

Um jeweils passende Basisobjektklassen anzuwenden und um eine Akkumulation von zwischenzeitlich geladenen Zusatzobjektklassen zu vermeiden, wird regelmäßig geprüft, ob ein bestimmter Streckenabschnitt verlassen wurde. Der Streckenabschnitt kann ein durch die Route oder durch die Verkehrsinformationen definierter Streckenabschnitt sein.In order to use suitable base object classes in each case and to avoid an accumulation of additional object classes that have been loaded in the meantime, it is regularly checked whether a certain route section has been left. The route section can be a route section defined by the route or by the traffic information.

Obwohl der Gegenstand im Detail durch Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa einer weitergehenden Erläuterung in der Beschreibung, definiert wird.Although the subject matter has been illustrated and explained in more detail by exemplary embodiments, the invention is not restricted by the disclosed examples and other variations can be derived therefrom by a person skilled in the art. It is therefore clear that a large number of possible variations exist. It is also clear that exemplary embodiments are only examples which are not to be construed in any way as limiting such as the scope, applications, or configuration of the invention. Rather, the preceding description and the description of the figures enable the person skilled in the art to concretely implement the exemplary embodiments, whereby the person skilled in the art, knowing the disclosed inventive concept, can make a variety of changes, for example with regard to the function or the arrangement of individual elements mentioned in an exemplary embodiment, without having to Leaving the scope of protection defined by the claims and their legal equivalents, such as a further explanation in the description.

BezugszeichenlisteReference List

22
Kraftfahrzeugmotor vehicle
44
Steuergerätcontrol unit
66
Recheneinheitunit of account
88th
SpeicherStorage
1010
Umgebungssensorenvironmental sensor
1111
Umgebungssensorenvironmental sensor
1212
Umgebungssensorenvironmental sensor
1313
Umgebungssensorenvironmental sensor
1414
Kameracamera
1515
GPS-ModulGPS module
1616
Raddrehzahlsensorwheel speed sensor
1818
Beschleunigungssensoraccelerometer
2020
Pedalsensorpedal sensor
2222
Lenkungsteering
2424
Motorsteuerungengine control
2626
Bremsenbrakes
2727
RDS-ModulRDS module
2828
Computerprogrammproduktmodulcomputer program product module
3030
Algorithmusalgorithm
3232
Detektionsalgorithmusdetection algorithm
3434
neuronales Netzneural network
3636
Objektklassenbibliothekobject class library
3838
AutobahnFreeway
40, 4240, 42
Kraftfahrzeugmotor vehicle
4444
Streckenabschnitttrack section
4646
Tier animal
nODD_inODD_i
Basisobjektklassebase feature class
nADD_inADD_i
Zusatzobjektklasseadditional object class

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • DE 102018117777 A1 [0005]DE 102018117777 A1 [0005]

Claims (15)

Computerimplementiertes Verfahren zum Durchführen einer automatisierten Fahrfunktion eines autonom oder teilautonom fahrenden Kraftfahrzeugs (2) mittels wenigstens eines Algorithmus (30), wobei der Algorithmus (30) in wenigstens einer Steuereinheit (4) ausgeführt wird, wobei die Steuereinheit (4) in Aggregate (22, 24, 26) des Kraftfahrzeugs (2) auf der Grundlage von Eingangsdaten eingreift, wobei der Algorithmus (30) ein trainiertes neuronales Netz (34) aufweist, das zur Objekterkennung ausgebildet ist, wobei ein Detektionsalgorithmus (32) vorgesehen ist, der eine Objektklassenbibliothek (36) von unterschiedlichen Objektklassen (nODD_i, nADD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs (2) befindlichen Objekten (40, 42, 46) anwendet, wobei a) eine Anzahl an Basisobjektklassen (nODD_i) ausgewählt wird, wobei die Anzahl an Basisobjektklassen (nODD_i) kleiner ist als die gesamte Anzahl an Objektklassen (nODD_i, nADD_i) in der Objektklassenbibliothek (36); b) wenigstens ein Eingangssignal mit Informationen über einen vor dem Kraftfahrzeug (2) liegenden Streckenabschnitt (44) empfangen wird, wobei aus den Informationen wenigstens eine Zusatzobjektklasse (nADD_i) ermittelt wird, wobei die wenigstens eine Zusatzobjektklasse (nADD_i) zusätzlich zu den Basisobjektklassen (nODD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs (2) befindlichen Objekten (40, 42, 46) ausgewählt wird; c) mittels Kraftfahrzeugsensorik (10, 11, 12, 13, 14, 15) Umgebungsinformationen einer Umgebung des Kraftfahrzeugs (2) aufgenommen und an den Detektionsalgorithmus (32) weitergeleitet werden; d) mittels des Detektionsalgorithmus (32) anhand der Umgebungsinformationen unter Anwendung der Basisobjektklassen (nODD_i) und der wenigstens einen Zusatzobjektklasse (nADD_i) in der Umgebung des Kraftfahrzeugs (2) befindliche Objekte (40, 42, 44) erkannt werden und dem Algorithmus (30) entsprechende Objektdaten zur Verfügung gestellt werden.Computer-implemented method for performing an automated driving function of an autonomously or partially autonomously driving motor vehicle (2) using at least one algorithm (30), the algorithm (30) being executed in at least one control unit (4), the control unit (4) being divided into units (22 , 24, 26) of the motor vehicle (2) intervenes on the basis of input data, the algorithm (30) having a trained neural network (34) which is designed for object recognition, a detection algorithm (32) being provided which has an object class library (36) of different object classes (nODD_i, nADD_i) for detecting objects (40, 42, 46) located in the area surrounding the motor vehicle (2), wherein a) a number of base object classes (nODD_i) is selected, the number of base object classes (nODD_i) being smaller than the total number of object classes (nODD_i, nADD_i) in the object class library (36); b) at least one input signal with information about a route section (44) in front of the motor vehicle (2) is received, at least one additional object class (nADD_i) being determined from the information, the at least one additional object class (nADD_i) in addition to the basic object classes (nODD_i ) is selected for detecting objects (40, 42, 46) located in the area surrounding the motor vehicle (2); c) information about the surroundings of the motor vehicle (2) is recorded by means of motor vehicle sensors (10, 11, 12, 13, 14, 15) and forwarded to the detection algorithm (32); d) objects (40, 42, 44) located in the vicinity of the motor vehicle (2) are detected by means of the detection algorithm (32) on the basis of the environmental information using the basic object classes (nODD_i) and the at least one additional object class (nADD_i) and the algorithm (30 ) corresponding object data are made available. Computerimplementiertes Verfahren nach Anspruch 1, wobei der Detektionsalgorithmus (32) ein tiefes neuronales Netz (34) aufweist.Computer-implemented method claim 1 , wherein the detection algorithm (32) comprises a deep neural network (34). Computerimplementiertes Verfahren nach Anspruch 1 oder 2, wobei die Anzahl von Basisobjektklassen (n_ODD_i) fahrsituationsabhängig ausgewählt wird.Computer-implemented method claim 1 or 2 , The number of basic object classes (n_ODD_i) being selected depending on the driving situation. Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei, wenn wenigstens eines der in der Umgebung befindlichen Objekte (40, 42, 44) nicht anhand der Basisobjektklassen (nODD_i) und der wenigstens einen Zusatzobjektklasse (nADD_i) erkannt werden kann, eine Erkennung an übrigen bekannten Objektklassen (nODDJ) vorgenommen wird.Computer-implemented method according to one of the preceding claims, wherein, if at least one of the objects (40, 42, 44) in the environment cannot be recognized on the basis of the base object classes (nODD_i) and the at least one additional object class (nADD_i), recognition of the remaining known ones Object classes (nODDJ) is made. Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei die wenigstens eine Zusatzobjektklasse (nADD_i) abgewählt wird, wenn das Kraftfahrzeug (2) den Streckenabschnitt (44) verlässt.Computer-implemented method according to one of the preceding claims, wherein the at least one additional object class (nADD_i) is deselected when the motor vehicle (2) leaves the route section (44). Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei die Auswahl der Basisobjektklassen (nODD_i) abhängig vom befahrenen Streckentyp getroffen wird.Computer-implemented method according to one of the preceding claims, wherein the selection of the base object classes (nODD_i) is made depending on the type of route traveled. Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei der Detektionsalgorithmus (32) Detektionsschwellen für die Objektklassen (nODD_i, nADD_i) anwendet, wobei wenigstens eine Detektionsschwelle für die wenigstens eine aus den Verkehrsinformationen extrahierte Zusatzobjektklasse (nADD_i) gegenüber einem Standardwert abgesenkt wird.Computer-implemented method according to one of the preceding claims, wherein the detection algorithm (32) detection thresholds for the object classes (nODD_i, nADD_i) applies, wherein at least one detection threshold for the at least one additional object class (nADD_i) extracted from the traffic information is lowered compared to a standard value. Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei das Eingangssignal von einem Empfangssystem (27) übermittelt wird, wobei die Informationen Verkehrsinformationen sind, und/oder wobei das Eingangssignal ein Sensorsignal eines Kraftfahrzeugsensors (14) enthält.Computer-implemented method according to one of the preceding claims, wherein the input signal is transmitted by a receiving system (27), wherein the information is traffic information, and/or wherein the input signal contains a sensor signal of a motor vehicle sensor (14). Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei das Eingangssignal Kartendaten einer Umgebungskarte enthält.A computer-implemented method according to any one of the preceding claims, wherein the input signal includes map data of an environment map. Computerprogrammprodukt, mit einem dauerhaften, computerlesbaren Speichermedium (8), auf dem Befehle eingebettet sind, die, wenn sie von wenigstens einer Recheneinheit (6) ausgeführt werden, bewirken, dass die wenigstens eine Recheneinheit (6) dazu eingerichtet ist, das Verfahren nach einem der vorangegangenen Ansprüche auszuführen.Computer program product with a permanent, computer-readable storage medium (8) on which instructions are embedded which, when executed by at least one processing unit (6), cause the at least one processing unit (6) to be set up to carry out the method according to one of the preceding claims. Computerprogrammprodukt nach Anspruch 10, wobei die Befehle das Computerprogrammproduktmodul (28) nach einem der Ansprüche 1 bis 9 aufweisen.computer program product claim 10 , wherein the instructions the computer program product module (28) according to one of Claims 1 until 9 exhibit. Steuereinheit (4) mit einem dauerhaften, computerlesbaren Speichermedium (8), wobei auf dem Speichermedium (8) ein Computerprogrammprodukt nach Anspruch 10 oder 11 gespeichert ist.Control unit (4) with a permanent, computer-readable storage medium (8), on the storage medium (8) according to a computer program product claim 10 or 11 is saved. Kraftfahrzeug mit einer Steuereinheit (4) nach Anspruch 12.Motor vehicle with a control unit (4). claim 12 . Kraftfahrzeug nach Anspruch 13, wobei die Recheneinheit (6) Bestandteil der Steuereinheit (4) ist.motor vehicle after Claim 13 , wherein the computing unit (6) is part of the control unit (4). Kraftfahrzeug nach einem der Ansprüche 13 oder 14, wobei die Steuereinheit (4) mit Umgebungssensoren (10, 11, 12, 13, 14, 15) und einem Empfangssystem (27) vernetzt ist.Motor vehicle according to one of Claims 13 or 14 , wherein the control unit (4) is networked with environmental sensors (10, 11, 12, 13, 14, 15) and a receiving system (27).
DE102021202526.9A 2021-03-16 2021-03-16 Computer-implemented method for performing an automated driving function, computer program product, control unit and motor vehicle Pending DE102021202526A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102021202526.9A DE102021202526A1 (en) 2021-03-16 2021-03-16 Computer-implemented method for performing an automated driving function, computer program product, control unit and motor vehicle
EP22706531.5A EP4309141A1 (en) 2021-03-16 2022-02-02 Method, computer program, control unit and motor vehicle for carrying out an automated driving function
PCT/EP2022/052454 WO2022194440A1 (en) 2021-03-16 2022-02-02 Method, computer program, control unit and motor vehicle for carrying out an automated driving function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021202526.9A DE102021202526A1 (en) 2021-03-16 2021-03-16 Computer-implemented method for performing an automated driving function, computer program product, control unit and motor vehicle

Publications (1)

Publication Number Publication Date
DE102021202526A1 true DE102021202526A1 (en) 2022-09-22

Family

ID=80623987

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021202526.9A Pending DE102021202526A1 (en) 2021-03-16 2021-03-16 Computer-implemented method for performing an automated driving function, computer program product, control unit and motor vehicle

Country Status (3)

Country Link
EP (1) EP4309141A1 (en)
DE (1) DE102021202526A1 (en)
WO (1) WO2022194440A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018117777A1 (en) 2017-07-24 2019-01-24 GM Global Technology Operations LLC Deeply integrated fusion architecture for automated driving systems

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019161300A1 (en) * 2018-02-18 2019-08-22 Nvidia Corporation Detecting objects and determining confidence scores
DE102019213061A1 (en) * 2019-08-29 2021-03-04 Volkswagen Aktiengesellschaft Classification of AI modules

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018117777A1 (en) 2017-07-24 2019-01-24 GM Global Technology Operations LLC Deeply integrated fusion architecture for automated driving systems

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
H. Winner et al.: Handbuch Fahrerassistenzsysteme. Wiesbaden : Springer Vieweg, 2015. 395-420. - ISBN 978-3-658-05733-6

Also Published As

Publication number Publication date
EP4309141A1 (en) 2024-01-24
WO2022194440A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
DE102016000493B4 (en) Method for operating a vehicle system and motor vehicle
DE102016220913A1 (en) Method and device for generating test cases for autonomous vehicles
DE102016007899B4 (en) Method for operating a device for traffic situation analysis, motor vehicle and data processing device
DE102016210534A1 (en) Method for classifying an environment of a vehicle
DE102016119502A1 (en) Categorization of vehicles in the vicinity of a motor vehicle
DE102017211556A1 (en) Method for route planning for a motor vehicle with an automated vehicle system and motor vehicle with an automated vehicle system
DE102022002339A1 (en) Method for configuring and operating a wildlife crossing warning system of a vehicle
EP3063732A1 (en) Situation analysis for a driver assistance system
DE102020122837A1 (en) METHOD AND DEVICE FOR CREATING A TURNING PATH IN A MULTI-SHIFT LEARNING-BASED AUTONOMOUS VEHICLE
DE102019003963A1 (en) Method for determining a driving strategy of a vehicle, in particular a commercial vehicle
DE102017211387A1 (en) System and method for automated maneuvering of an ego vehicle
DE102007015227B4 (en) Method and arrangement for the approximate determination of a lane currently being traveled by a vehicle
DE102012222931A1 (en) Method for determining e.g. position and/or type of road sign, involves reading set of records, where each record comprises positional data representing different geographical positions, transaction data and vehicle specifications
DE102013203908A1 (en) Estimate the future speed of a vehicle
DE102021000792A1 (en) Method for operating a vehicle
DE102019129737A1 (en) Method for classifying an environment of a vehicle
DE102020201931A1 (en) Method for training at least one algorithm for a control unit of a motor vehicle, method for optimizing a traffic flow in a region, computer program product and motor vehicle
DE102017209370B4 (en) Method for determining overtaking information
DE102018007022A1 (en) Method and device for operating an assistance system of a vehicle and vehicle
DE102021202526A1 (en) Computer-implemented method for performing an automated driving function, computer program product, control unit and motor vehicle
DE102018220844A1 (en) Method for controlling a driver assistance system, driver assistance system, motor vehicle and central data processing device
DE102021212493A1 (en) Method for infrastructure-supported assistance in a motor vehicle
DE102021202083A1 (en) Computer-implemented method for training at least one algorithm for a control unit of a motor vehicle, computer program product, control unit and motor vehicle
DE102018218172B3 (en) Method and device for evaluating a driving situation ahead of a vehicle in the direction of travel for automated bypassing of a traffic obstacle in front
DE102019002598A1 (en) Method for guiding an autonomously moving vehicle on a snow-covered road and an autonomously driving vehicle

Legal Events

Date Code Title Description
R084 Declaration of willingness to licence
R163 Identified publications notified
R081 Change of applicant/patentee

Owner name: STELLANTIS AUTO SAS, FR

Free format text: FORMER OWNER: PSA AUTOMOBILES SA, POISSY, FR