EP4309141A1 - Verfahren, computerprogramm, steuereinheit sowie kraftfahrzeug zum durchführen einer automatisierten fahrfunktion - Google Patents

Verfahren, computerprogramm, steuereinheit sowie kraftfahrzeug zum durchführen einer automatisierten fahrfunktion

Info

Publication number
EP4309141A1
EP4309141A1 EP22706531.5A EP22706531A EP4309141A1 EP 4309141 A1 EP4309141 A1 EP 4309141A1 EP 22706531 A EP22706531 A EP 22706531A EP 4309141 A1 EP4309141 A1 EP 4309141A1
Authority
EP
European Patent Office
Prior art keywords
motor vehicle
noddj
computer
object classes
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22706531.5A
Other languages
English (en)
French (fr)
Inventor
Frank Bonarens
Seyed Eghbal Ghobadi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stellantis Auto SAS
Original Assignee
Stellantis Auto SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stellantis Auto SAS filed Critical Stellantis Auto SAS
Publication of EP4309141A1 publication Critical patent/EP4309141A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19113—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system

Definitions

  • a computer-implemented method for performing an automated driving function, a computer program product, a control unit and a motor vehicle are described here.
  • the first semi-automated vehicles (corresponds to SAE Level 2 according to SAE J3016) have reached series maturity in recent years.
  • a sensor fusion system including a sensor system for providing environmental status information and a folded neural network (CNN) are planned.
  • the CNN includes a receiving interface configured to receive the environmental state information from the sensor system, a common convolutional layer configured to extract traffic information from the received environmental state information, and a plurality of fully connected layers configured to to recognize objects belonging to different object classes based on the extracted traffic information, wherein the object classes include at least one of a road feature class, a static object class and a dynamic object class.
  • DNNs deep neural networks
  • the task therefore arises of further developing computer-implemented methods for carrying out an automated driving function, computer program products, control units and motor vehicles of the type mentioned at the outset in such a way that greater computing efficiency can be ensured compared to conventional methods.
  • the object is achieved by a computer-implemented method for performing an automated driving function according to claim 1, a computer program product according to the independent claim 10, a control unit according to the independent claim 12 and a motor vehicle according to the independent claim 13. Further refinements and developments are the subject of the dependent Expectations.
  • a computer-implemented method for performing an automated driving function of an autonomous or semi-autonomous motor vehicle is described below using at least one algorithm, the algorithm being executed in at least one control unit, the control unit intervening in aggregates of the motor vehicle on the basis of input data, the algorithm has a trained neural network which is designed for object recognition, with a detection algorithm being provided which uses an object class library of different object classes (nODDJ, nADD_i) for recognizing objects in the area surrounding the motor vehicle objects, wherein a) a number of base object classes (nODDJ) is selected, the number of base object classes (nODDJ) being smaller than the total number of object classes (nODDJ, nADD_i) in the object class library; b) at least one input signal with information about a section of road ahead of the motor vehicle is received, at least one additional object class (nADD_i) being determined from the information, the at least one additional object class (nADD_i) being used in addition to the basic object classes (nODDJ) to detect im Sur
  • the control unit can be a separate control unit of the motor vehicle or part of a control unit with additional functions not described here. For reasons of operational safety, a corresponding control unit can have a discrete design. Provision can also be made for the control unit to be configured redundantly or for the method described here to be executed redundantly on one or more computing units.
  • the detection algorithm can be part of the algorithm executing the method or can be designed separately. This makes it possible to carry out the detection algorithm entirely or partially in a decentralized manner, e.g. in the firmware of a camera used accordingly.
  • current data relating to the environment can be considered as input data, for example data obtained by means of various sensors.
  • sensors can include, for example, cameras, radar, lidar and/or ultrasonic sensors, but also other sensors such as position sensors, e.g. GPS, magnetic field detecting sensors and the like.
  • color planning data for example from a Navigation destination can be obtained, and possibly traffic data that determine the traffic flow on the route.
  • Further data can be communication data, for example, obtained from car-to-car or car-to-infrastructure systems, e.g. on traffic light phases or similar.
  • the information could thus be obtained that there are people on the road in a specific area ahead.
  • This causes at least one additional object class, eg people and animals, to be loaded and used in the object recognition.
  • the relevant object data which can be recorded via the motor vehicle sensor system, is used as input data for the detection algorithm.
  • the detection algorithm has a deep neural network.
  • the self-learning neural network can be based on various learning principles, in particular it can use methods of reinforcement learning.
  • Reinforcement learning stands for a set of methods of machine learning in which the neural network autonomously learns a strategy in order to maximize the rewards received.
  • the neural network is not shown which action is the best in which situation, but receives a reward at certain points in time, which can also be negative. Using these rewards, it approximates a utility function that describes the value of a particular state or action.
  • deep neural networks In addition to an input level and an output level, deep neural networks have at least one hidden level and are able to analyze and evaluate complex situations.
  • n_ODD_i the number of basic object classes
  • Such driving situations can be route-, time-of-day-, season- and region-specific. For example, it may be appropriate to keep an "animals" object class always loaded when driving at night, since there are frequent deer crossings at night.
  • Another example is routes that are crossed by railway lines.
  • the corresponding object class will not be used on other routes, so it is not necessary to process the input data there using a “rail vehicles” object class.
  • nODDJ base object classes
  • nADD_i additional object class
  • the at least one additional object class (nADD_i) is deselected when the motor vehicle leaves the section of the route.
  • nODDJ basic object classes
  • the probability of people crossing the lane is greater than on freeways, so it makes sense to always use the object class people in inner-city areas.
  • the detection algorithm uses detection thresholds for the object classes (nODDJ, nADD_i), with at least one detection threshold for the at least one additional object class determined from the information being lowered compared to a standard value.
  • the input signal is transmitted by a receiving system, the information being traffic information and/or the input signal containing a sensor signal from a motor vehicle sensor.
  • current traffic information can be processed in the first case, for example information relating to people or animals or other objects on a roadway.
  • environmental information can be obtained from motor vehicle sensors as an alternative or in addition, e.g. signs can be recognized by cameras, pointing out objects, for example temporary construction site signs or seasonal deer crossing signs.
  • the input signal contains map data of a map of the surroundings.
  • Such map data can come from a map stored in the motor vehicle or a map received by means of long-distance communication, the map being enriched with additional information, for example regions with strong changes in the landscape or regions in which other obstacles, e.g. quarries, moraines or sand drifts, can occasionally occur .
  • a first independent subject relates to a device for performing an automated driving function of an autonomous or semi-autonomous motor vehicle using at least one algorithm, the algorithm being executed in at least one control unit, the control unit being integrated into aggregates of the motor vehicle on the basis of input data intervenes, the algorithm having a trained neural network which is designed for object recognition, with a detection algorithm being provided which uses an object class library of different object classes (nODDJ, nADD_i) to recognize objects in the area surrounding the motor vehicle, the Device is set up to: a) select a number of base object classes (nODDJ), the number of base object classes (nODDJ) being smaller than the total number of object classes (nODDJ, nADDJ) in the object class library; b) to receive at least one input signal with information about a route section in front of the motor vehicle by means of an input and to determine at least one additional object class (nADDJ) from the information, the at least one additional object class (nADDJ) in addition to the basic object classes (nODDJ)
  • the device is set up to select the number of basic object classes (n_ODD_i) depending on the driving situation.
  • the device is set up to recognize if at least one of the objects in the area cannot be recognized using the base object classes (nODDJ) and the at least one additional object class (nADD_i). other known object classes (nODDJ).
  • the device is set up to deselect the at least one additional object class (nADD_i) when the motor vehicle leaves the route section.
  • the device is set up to make the selection of the basic object classes (nODDJ) depending on the type of route traveled.
  • the detection algorithm uses detection thresholds for the object classes (nODDJ, nADDJ), the device being set up to lower at least one detection threshold for the at least one additional object class determined from the information compared to a standard value.
  • the input signal is transmitted by a receiving system, the information being traffic information and/or the input signal containing a sensor signal from a motor vehicle sensor.
  • the input signal contains map data of a map of the surroundings.
  • Another independent subject relates to a computer program product with a permanent, computer-readable storage medium on which instructions are embedded which, when executed by at least one processing unit, cause the at least processing unit to be set up to perform the method of the aforementioned type .
  • the method can be distributed on one or more computing units, so that certain method steps are executed on one computing unit and other method steps are executed on at least one other computing unit, with calculated data being able to be transmitted between the computing units if necessary.
  • the processing unit can be part of the control unit.
  • the commands have the computer program product module of the type described above.
  • Another independent subject relates to a control unit with a permanent, computer-readable storage medium, with a computer program product of the type described above being stored on the storage medium.
  • Another independent subject relates to a motor vehicle with a control unit of the type described above.
  • the computing unit is part of the control unit.
  • control unit provision can be made for the control unit to be networked with environmental sensors and a receiving system.
  • 1 shows a motor vehicle that is set up for automated or autonomous driving
  • FIG. 2 shows a control unit of the motor vehicle from FIG. 1 ;
  • Fig. 3 an environment with the motor vehicle from Fig. 1, and
  • Fig. 1 shows a motor vehicle 2, which is set up for automated or autonomous driving.
  • the motor vehicle 2 has a control unit 4 with a computing unit 6 and a memory 8 .
  • a computer program product is stored in memory 8, which will be described in more detail below in connection with FIGS.
  • the control unit 4 is connected on the one hand to a series of environmental sensors that allow the current position of the motor vehicle 2 and the respective traffic situation to be detected. These include environmental sensors 10, 11 at the front of the motor vehicle 2, environmental sensors 12, 13 at the rear of the motor vehicle 2, a camera 14 and a GPS module 16.
  • the environmental sensors 10 to 13 can, for example, be radar, lidar and/or Include ultrasonic sensors.
  • sensors for detecting the state of motor vehicle 2 are provided, including wheel speed sensors 16, acceleration sensors 18 and pedal sensors 20, which are connected to control unit 4.
  • the current state of motor vehicle 2 can be reliably detected with the aid of this motor vehicle sensor system.
  • the computing unit 6 has loaded the computer program product stored in the memory 8 and executes it. On the basis of an algorithm and the input signals, the arithmetic unit 6 decides on the control of the motor vehicle 2, which the arithmetic unit 6 on intervention in the steering 22, Motor control 24 and brakes 26 would reach, which are each connected to the control unit 4.
  • Data from the sensors 10 to 20 are continuously buffered in the memory 8 and discarded after a predetermined period of time so that these environmental data can be made available for further evaluation.
  • the algorithm was trained according to the procedure described below.
  • RDS Radio Data System
  • other communication paths can be used to receive relevant traffic information, for example via a car-to-infrastructure or a car-to-car network or a cellular network.
  • Fig. 2 shows the control unit 4 from Fig. 1.
  • the control device 4 has the computing unit 6 in which a computer program product module 28 (framed in dashed lines) is executed, which has an algorithm 30 for executing an autonomous driving function.
  • the autonomous driving function can be a traffic jam assistant, a brake assistant, a collision warning assistant or the like, for example.
  • a component of the algorithm 30 is a detection algorithm 32 (framed by dashed lines), which has a neural network 34 .
  • the neural network 34 is a deep neural network (DNN) that has at least one hidden layer in addition to an input layer and an output layer.
  • DNN deep neural network
  • the self-learning neural network 34 learns using methods of reinforcement learning, ie the algorithm 30 tries in a training phase to obtain rewards for improved behavior according to one or more metrics or benchmarks, i.e. for improvements in the algorithm 30, by varying the neural network 34.
  • known learning methods of the monitored and unsupervised learning and combinations of these learning methods are known.
  • the neural network 34 can essentially be a matrix of values, usually called weights, which define a complex filter function which determines the behavior of the algorithm 34 depending on input variables which are presently received via the environmental sensors 10-20 and control signals for controlling the motor vehicle 2 are generated.
  • the computer program product module 28 can be used both in the motor vehicle 2 and outside of the motor vehicle 2 . It is thus possible to train the computer program product module 28 both in a real environment and in a simulation environment.
  • the object recognition algorithm 32 accesses an object class library 36 (framed in dashed lines) stored in the memory 8, which has a number of base object classes nODDJ (nODD_1, nODD_2, ... nODDJ), and additional object classes (nADD_1, nADD_2, ... nADD_i).
  • nODDJ base object classes
  • nADD_1, nADD_2, ... nADD_i additional object classes
  • the relevant object classes nODDJ, nADDJ are loaded situationally by the detection algorithm 32 and used for object recognition.
  • the situational selection of the object classes nODDJ, nADDJ depends, among other things, on the route.
  • Another input variable is traffic reports, which are received by the RDS module 27 and from which information relating to a route ahead or a route section ahead is extracted.
  • Fig. 3 shows a highway 38.
  • two motor vehicles 40, 42 are driving on the freeway 38 in different lanes. There is an animal 46 on the roadway on a stretch of road 44 ahead (identified by dashed lines across the freeway 38).
  • the method described here only loads and uses a selection of base object classes nODDJ suitable for freeways, which significantly speeds up the object recognition process compared to conventional methods in which all object classes are used. From the data obtained via the RDS module 27, it is possible to isolate the information that the animal 46 represents a danger to traffic in the route section 44. On the basis of this information, the detection algorithm 32 can load at least one additional object class nADD_i relating to animals from the memory 8 and use it in the object recognition.
  • a route for motor vehicle 2 is first retrieved.
  • Route types are extracted from the route of the motor vehicle 2 and base object classes are selected on the basis of the route types. With the aid of the selected basic object classes, the detection then takes place using the detection algorithm.
  • traffic information is called up and analyzed at regular intervals. If there are indications of danger in the traffic information, for example due to objects in the sections of road ahead, relevant object classes are extracted in a subsequent step.
  • the additional object classes are then loaded and detection thresholds for the loaded additional object classes are lowered.
  • Object recognition is then carried out using the base object classes used and the additional object classes.
  • the route section can be a route section defined by the route or by the traffic information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

Beschrieben wird ein Verfahren zum Durchführen einer automatisierten Fahrfunktion eines Kraftfahrzeugs mittels wenigstens eines Algorithmus, der Algorithmus einen Detektionsalgorithmus vorgesehen aufweist, der eine Objektklassenbibliothek von unterschiedlichen Objektklassen zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten anwendet, wobei eine Anzahl an Basisobjektklassen ausgewählt wird, Verkehrsinformationen über einen vor dem Kraftfahrzeug liegenden Streckenabschnitt empfangen werden, wobei aus den Verkehrsinformationen wenigstens eine Zusatzobjektklasse extrahiert wird, wobei die wenigstens eine Zusatzobjektklasse zusätzlich zu den Basisobjektklassen zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten ausgewählt wird.

Description

VERFAHREN, COMPUTERPROGRAMM, STEUEREINHEIT SOWIE KRAFTFAHRZEUG ZUM DURCHFÜHREN EINER AUTOMATISIERTEN FAHRFUNKTION
Vorliegend werden ein computerimplementiertes Verfahren zum Durchführen einer auto matisierten Fahrfunktion, ein Computerprogrammprodukt, eine Steuereinheit sowie ein Kraftfahrzeug beschrieben.
Computerimplementierte Verfahren zum Durchführen einer automatisierten Fahrfunktion, Computerprogrammprodukte, Steuereinheiten sowie Kraftfahrzeuge der eingangs ge nannten Art sind im Stand der Technik bekannt.
Verfahren, Computerprogrammprodukte, Kraftfahrzeuge sowie Systeme der eingangs ge nannten Art sind im Stand der Technik bekannt. Die ersten teil-automatisiert (entspricht SAE Level 2 gemäß SAE J3016) fahrenden Kraftfahrzeuge sind in den vergangenen Jah ren zur Serienreife gelangt. Automatisiert (entspricht SAE Level >=3 gemäß SAE J3016) bzw. autonom (entspricht SAE Level 4/5 gemäß SAE J3016) fahrende Kraftfahrzeuge müssen anhand vielfältiger Vorgaben, zum Beispiel Fahrtziel und Einhaltung gängiger Verkehrsregeln, mit maximaler Sicherheit auf unbekannte Verkehrssituationen selbständig reagieren. Da die Verkehrswirklichkeit aufgrund der Unvorhersehbarkeit des Verhaltens anderer Verkehrsteilnehmer hoch komplex ist, gilt es als nahezu unmöglich, entspre chende Steuergeräte von Kraftfahrzeugen mit herkömmlichen Methoden und auf der Grundlage von menschengemachten Regeln zu programmieren.
Stattdessen ist es bekannt, mit Methoden des maschinellen Lernens bzw. der künstlichen Intelligenz Algorithmen zu entwickeln. Solche Algorithmen können einerseits maßvoller auf komplexe Verkehrssituationen reagieren als traditionelle Algorithmen. Andererseits ist es mithilfe künstlicher Intelligenz prinzipiell möglich, die Algorithmen während des Ent wicklungsprozesses und im Alltag durch ständiges Lernen weiterzuentwickeln. Alternativ wird ein Stand nach der Beendigung der Trainingsphase im Entwicklungsprozesses durch den Hersteller eingefroren.
Aus der DE 102018 117 777 A1 sind Verfahren und Systeme zum Steuern eines autono men Fahrzeugs beschrieben. Ein Sensorfusionssystem mit einem Sensorsystem zum Be reitstellen von Umgebungszustandsinformationen und ein gefaltetes neuronales Netzwerk (CNN) sind vorgesehen. Das CNN beinhaltet eine Empfangsschnittstelle, die konfiguriert ist, um die Umgebungszustandsinformationen vom Sensorsystem zu empfangen, eine ge meinsame Faltungsschicht, die konfiguriert ist, um Verkehrsinformationen aus den emp fangenen Umgebungszustandsinformationen zu extrahieren, und eine Vielzahl von voll ständig verbundenen Schichten, die konfiguriert sind, um Objekte zu erkennen, die zu ver schiedenen Objektklassen gehören, basierend auf den extrahierten Verkehrsinformatio nen, worin die Objektklassen mindestens eine von einer Straßenmerkmalklasse, einer statischen Objektklasse und einer dynamischen Objektklasse beinhalten.
Bei der Objekterkennung in Bilddaten, insbesondere 2D-Bilddaten haben sich tiefe neuro nale Netze (DNNs) als überlegen hinsichtlich ihrer Leistungsfähigkeit gegenüber klassi schen Methoden der Bildverarbeitung erwiesen. Der Einsatz solcher Methoden bei auto matisierten Fahrfunktionen erfordert schnelle und effiziente Prozesse, da zur Gewährleis tung der Fahrsicherheit eine schnelle Verarbeitung der Eingangsdaten erforderlich ist.
Somit stellt sich die Aufgabe, computerimplementierte Verfahren zum Durchführen einer automatisierten Fahrfunktion, Computerprogrammprodukte, Steuereinheiten sowie Kraft fahrzeuge der eingangs genannten Art dahingehend weiterzubilden, dass eine gegenüber herkömmlichen Verfahren erhöhte Recheneffizienz sichergestellt werden kann.
Die Aufgabe wird gelöst durch ein computerimplementiertes Verfahren zum Durchführen einer automatisierten Fahrfunktion gemäß Anspruch 1, ein Computerprogrammprodukt gemäß dem nebengeordneten Anspruch 10, eine Steuereinheit gemäß dem nebengeord neten Anspruch 12 sowie ein Kraftfahrzeug gemäß dem nebengeordneten Anspruch 13. Weiterführende Ausgestaltungen und Weiterbildungen sind Gegenstand der abhängigen Ansprüche.
Nachfolgend wird ein computerimplementiertes Verfahren zum Durchführen einer automa tisierten Fahrfunktion eines autonom oder teilautonom fahrenden Kraftfahrzeugs mittels wenigstens eines Algorithmus beschrieben, wobei der Algorithmus in wenigstens einer Steuereinheit ausgeführt wird, wobei die Steuereinheit in Aggregate des Kraftfahrzeugs auf der Grundlage von Eingangsdaten eingreift, wobei der Algorithmus ein trainiertes neu ronales Netz aufweist, das zur Objekterkennung ausgebildet ist, wobei ein Detektionsal gorithmus vorgesehen ist, der eine Objektklassenbibliothek von unterschiedlichen Objekt klassen (nODDJ, nADD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten anwendet, wobei a) eine Anzahl an Basisobjektklassen (nODDJ) ausgewählt wird, wobei die Anzahl an Ba sisobjektklassen (nODDJ) kleiner ist als die gesamte Anzahl an Objektklassen (nODDJ, nADD_i) in der Objektklassenbibliothek; b) wenigstens ein Eingangssignal mit Informationen über einen vor dem Kraftfahrzeug lie genden Streckenabschnitt empfangen wird, wobei aus den Informationen wenigstens eine Zusatzobjektklasse (nADD_i) ermittelt wird, wobei die wenigstens eine Zusatzobjektklasse (nADD_i) zusätzlich zu den Basisobjektklassen (nODDJ) zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten ausgewählt wird; c) mittels Kraftfahrzeugsensorik Umgebungsinformationen einer Umgebung des Kraftfahr zeugs aufgenommen und an den Detektionsalgorithmus weitergeleitet werden; d) mittels des Detektionsalgorithmus anhand der Umgebungsinformationen unter Anwen dung der Basisobjektklassen (nODDJ) und der wenigstens einen Zusatzobjektklasse (nADDJ) in der Umgebung des Kraftfahrzeugs befindliche Objekte erkannt werden und dem Algorithmus entsprechende Objektdaten zur Verfügung gestellt werden.
Die Steuereinheit kann eine separate Steuereinheit des Kraftfahrzeugs oder Teil einer Steuereinheit mit weiteren, hier nicht beschriebenen Funktionen sein. Aus Gründen der Betriebssicherheit kann eine entsprechende Steuereinheit diskret aufgebaut sein. Auch kann vorgesehen sein, dass die Steuereinheit redundant ausgebildet ist bzw. das hier be schriebene Verfahren redundant auf einer oder mehreren Recheneinheiten ausgeführt werden.
Der Detektionsalgorithmus kann Bestandteil des das Verfahren ausführenden Algorithmus sein oder separat dazu ausgebildet sein. Hierdurch ist es möglich, den Detektionsalgorith mus ganz oder teilweise dezentral auszuführen, z.B. in einer Firmware einer entspre chend verwendeten Kamera.
Als Eingangsdaten kommen generell aktuelle, die Umgebung betreffende Daten infrage, zum Beispiel mittels verschiedener Sensoren gewonnene Daten. Solche Sensoren kön nen beispielsweise Kameras, Radar-, Lidar- und/oder Ultraschall-Sensoren umfassen, aber auch andere Sensoren wie zum Beispiel Positionssensoren, z.B. GPS, Magnetfeld- detektierende Sensoren und dergleichen.
Weitere mögliche Eingangsdaten sind Farbplanungsdaten, die beispielsweise aus einem Navigationsziel gewonnen werden, sowie unter Umständen Verkehrsdaten, die den Ver kehrsfluss auf der Route bestimmen. Weitere Daten können Kommunikationsdaten sein, die beispielsweise aus Car-to-Car- oder Car-to-lnfrastructure-Systemen gewonnen wer den, z.B. zu Ampelphasen o.ä..
Im Straßenverkehr befinden sich eine Vielzahl unterschiedlicher Objekte, die sich in ver schiedene Klassen einteilen lassen, z.B. andere Verkehrsteilnehmer in motorisierten Fahrzeugen, Verkehrsteilnehmer in unmotorisierten Fahrzeugen, Fußgänger, Tiere, Ob jekte, Straßenzeichen etc.
Bei der Objekterkennung ist es im Stand der Technik erforderlich, die Eingangsdaten auf sämtliche Objektklassen anzuwenden, um eine vollständige Klassifizierung der in der Um gebung des Kraftfahrzeugs befindlichen Objekte zu erreichen. Dafür ist ein gewisser Re chenaufwand erforderlich. Eine Verringerung der Objektklassen kann die Durchführung des Verfahrens beschleunigen.
Es ist bekannt, dass auf bestimmten Straßenarten bestimmte Objektarten selten oder gar nicht Vorkommen. Z.B. sollten sich auf einer Autobahn in der Regel keine Fußgänger, Radfahrer oder Tiere befinden. Dies ist aber nicht vollständig ausschließbar, z.B. kommt es immer wieder vor, dass sich Personen auf der Fahrbahn befinden, z.B. bei einem Un fall. Insoweit ist es nicht möglich, z.B. eine Objektklasse „Personen“ vollständig zu deakti vieren, wenn das betreffende Kraftfahrzeug sich auf einer Autobahn befindet.
Mit dem oben beschriebenen Verfahren ist es dennoch möglich, eine Reduktion der ange wendeten Objektklassen und dadurch eine zielgerichtete Gestaltung der Anforderungen zu erreichen. Dadurch, dass wenigstens ein Eingangssignal mit Informationen über einen vor dem Kraftfahrzeug liegenden Streckenabschnitt empfangen werden, können zusätz lich zu den, ggf. straßentypabhängigen, ausgewählten Objektklassen oder für den jeweili gen Straßentyp ausgewählte Basisobjektklassen gezielt um zusätzliche Objektklassen er weitern.
Im Falle eines vorausliegenden Unfalls könnten somit die Informationen erhalten werden, dass sich in einem bestimmten, vorausliegenden Bereich Menschen auf der Fahrbahn be finden. Hierdurch veranlasst wird wenigstens eine Zusatzobjektklasse, z.B. Personen und Tiere, geladen und bei der Objekterkennung angewendet. Die betreffenden Objektdaten, die über die Kraftfahrzeugsensorik aufgenommen werden können, werden als Eingangsdaten für den Detektionsalgorithmus verwendet.
In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass der Detekti onsalgorithmus ein tiefes neuronales Netz aufweist.
Das selbstlernende neuronale Netz kann auf verschiedenen Lernprinzipien aufgebaut sein, insbesondere kann es Verfahren des verstärkenden Lernens anwenden. Verstärken des Lernen (englisch reinforcement learning) steht für eine Reihe von Methoden des ma schinellen Lernens, bei denen das neuronale Netz selbstständig eine Strategie erlernt, um erhaltene Belohnungen zu maximieren. Dabei wird dem neuronalen Netz nicht vorgezeigt, welche Aktion in welcher Situation die beste ist, sondern es erhält zu bestimmten Zeit punkten eine Belohnung, die auch negativ sein kann. Anhand dieser Belohnungen appro ximiert es eine Nutzenfunktion, die beschreibt, welchen Wert ein bestimmter Zustand oder eine bestimmte Aktion hat.
Tiefe neuronale Netze (deep neural network) weisen neben einer Eingabeebene und ei ner Ausgabeebene wenigstens eine versteckte Ebene (hidden layer) auf und sind in der Lage, komplexe Situationen zu analysieren und zu bewerten.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Anzahl von Basisobjektklassen (n_ODD_i) fahrsituationsabhängig ausgewählt wird.
Solche Fahrsituationen können strecken-, tageszeit-, jahreszeit- und regionsspezifisch sein. So kann es z.B. angemessen sein, bei Nachtfahrten eine Objektklasse „Tiere“ stets geladen zu halten, da in der Nacht häufige Wildwechsel stattfinden.
Ein anderes Beispiel sind Strecken, die von Eisenbahnstrecken gekreuzt werden. Die ent sprechende Objektklasse wird an anderen Strecken nicht zur Anwendung kommen, inso weit ist die Prozessierung der Eingangsdaten mittels einer Objektklasse „Schienenfahr zeuge“ dort nicht nötig.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass, wenn we nigstens eines der in der Umgebung befindlichen Objekte nicht anhand der Basisobjekt klassen (nODDJ) und der wenigstens einen Zusatzobjektklasse (nADD_i) erkannt werden kann, eine Erkennung an übrigen bekannten Objektklassen (nODDJ) vorgenommen wird. Auf diese Weise kann sichergestellt werden, dass jedes gefundene Objekt richtig klassifi ziert werden kann, auch wenn es nicht einer der angewendeten Basisobjektklassen oder Zusatzobjektklassen entspricht.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die wenigs tens eine Zusatzobjektklasse (nADD_i) abgewählt wird, wenn das Kraftfahrzeug den Stre ckenabschnitt verlässt.
Auf diese Weise kann das Verfahren nach Verlassen des Streckenabschnitts wieder be schleunigt werden.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Auswahl der Basisobjektklassen (nODDJ) abhängig vom befahrenen Streckentyp getroffen wird.
Auf innerörtlichen Straßen ist zum Beispiel die Wahrscheinlichkeit von Personen, die die Fahrbahn kreuzen, größer als auf Autobahnen, insoweit ist es sinnvoll, innerorts stets die Objektklasse Personen anzuwenden.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass der Detekti onsalgorithmus Detektionsschwellen für die Objektklassen (nODDJ, nADD_i) anwendet, wobei wenigstens eine Detektionsschwelle für die wenigstens eine aus den Informationen ermittelte Zusatzobjektklasse gegenüber einem Standardwert abgesenkt wird.
Auf diese Weise kann eine Priorisierung der Objektklassen erreicht werden.
In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Ein gangssignal von einem Empfangssystem übermittelt wird, wobei die Informationen Ver kehrsinformationen sind, und/oder wobei das Eingangssignal ein Sensorsignal eines Kraftfahrzeugsensors enthält.
Hierdurch können im ersten Fall aktuelle Verkehrsinformationen verarbeitet werden, zum Beispiel solche betreffend Personen oder Tiere oder andere Objekte auf einer Fahrbahn.
Im zweiten Fall können alternativ oder zusätzlich Umgebungsinformationen aus Kraftfahr zeugsensorik gewonnen werden, z.B. können mittels Kameras Schilder erkannt werden, die auf Objekte hinweisen, zum Beispiel temporäre Baustellenschilder oder saisonale Wildwechselschilder.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Ein gangssignal Kartendaten einer Umgebungskarte enthält.
Solche Kartendaten können von einer im Kraftfahrzeug gespeicherten Karte oder einer mittels Fernkommunikationsmitteln empfangenen Karte stammen, wobei die Karte mit Zu satzinformationen angereichert ist, zum Beispiel Regionen mit starkem Wldwechsel oder Regionen, in denen gelegentlich andere Hindernisse, z.B. Steinbruch, Moränen oder Sandwehen, auftreten können.
Ein erster unabhängiger Gegenstand betrifft eine Vorrichtung zum Durchführen einer au tomatisierten Fahrfunktion eines autonom oder teilautonom fahrenden Kraftfahrzeugs mit tels wenigstens eines Algorithmus beschrieben, wobei der Algorithmus in wenigstens ei ner Steuereinheit ausgeführt wird, wobei die Steuereinheit in Aggregate des Kraftfahr zeugs auf der Grundlage von Eingangsdaten eingreift, wobei der Algorithmus ein trainier tes neuronales Netz aufweist, das zur Objekterkennung ausgebildet ist, wobei ein Detekti onsalgorithmus vorgesehen ist, der eine Objektklassenbibliothek von unterschiedlichen Objektklassen (nODDJ, nADD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs be findlichen Objekten anwendet, wobei die Vorrichtung dazu eingerichtet ist: a) eine Anzahl an Basisobjektklassen (nODDJ) auszuwählen, wobei die Anzahl an Basis objektklassen (nODDJ) kleiner ist als die gesamte Anzahl an Objektklassen (nODDJ, nADDJ) in der Objektklassenbibliothek; b) mittels eines Eingangs wenigstens ein Eingangssignal mit Informationen über einen vor dem Kraftfahrzeug liegenden Streckenabschnitt zu empfangen und aus den Informationen wenigstens eine Zusatzobjektklasse (nADDJ) zu ermitteln, wobei die wenigstens eine Zu satzobjektklasse (nADDJ) zusätzlich zu den Basisobjektklassen (nODDJ) zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten ausgewählt wird; c) mittels Kraftfahrzeugsensorik Umgebungsinformationen einer Umgebung des Kraftfahr zeugs aufzunehmen und an den Detektionsalgorithmus weiterzuleiten; d) mittels des Detektionsalgorithmus anhand der Umgebungsinformationen unter Anwen dung der Basisobjektklassen (nODDJ) und der wenigstens einen Zusatzobjektklasse (nADDJ) in der Umgebung des Kraftfahrzeugs befindliche Objekte zu erkennen und dem Algorithmus entsprechende Objektdaten zur Verfügung zu stellen. In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass der Detekti onsalgorithmus ein tiefes neuronales Netz aufweist.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu eingerichtet ist, die Anzahl von Basisobjektklassen (n_ODD_i) fahrsituationsab hängig auszuwählen.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu eingerichtet ist, wenn wenigstens eines der in der Umgebung befindlichen Ob jekte nicht anhand der Basisobjektklassen (nODDJ) und der wenigstens einen Zusatzob jektklasse (nADD_i) erkannt werden kann, eine Erkennung an übrigen bekannten Objekt klassen (nODDJ) vorzunehmen.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu eingerichtet ist, die wenigstens eine Zusatzobjektklasse (nADD_i) abzuwählen, wenn das Kraftfahrzeug den Streckenabschnitt verlässt.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu eingerichtet ist, die Auswahl der Basisobjektklassen (nODDJ) abhängig vom befahrenen Streckentyp zu treffen.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass der Detekti onsalgorithmus Detektionsschwellen für die Objektklassen (nODDJ, nADDJ) anwendet, wobei die Vorrichtung dazu eingerichtet ist, wenigstens eine Detektionsschwelle für die wenigstens eine aus den Informationen ermittelte Zusatzobjektklasse gegenüber einem Standardwert abzusenken.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Ein gangssignal von einem Empfangssystem übermittelt wird, wobei die Informationen Ver kehrsinformationen sind, und/oder wobei das Eingangssignal ein Sensorsignal eines Kraftfahrzeugsensors enthält.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Ein gangssignal Kartendaten einer Umgebungskarte enthält. Ein weiterer unabhängiger Gegenstand betrifft ein Computerprogrammprodukt, mit einem dauerhaften, computerlesbaren Speichermedium, auf dem Befehle eingebettet sind, die, wenn sie von wenigstens einer Recheneinheit ausgeführt werden, bewirken, dass die we nigstens Recheneinheit dazu eingerichtet ist, das Verfahren der vorgenannten Art auszu führen.
Das Verfahren kann auf einer oder auf mehreren Recheneinheiten verteilt ausgeführt wer den, sodass bestimmte Verfahrensschritte auf der einen Recheneinheit und andere Ver fahrensschritte auf wenigstens einer weiteren Recheneinheit ausgeführt werden, wobei berechnete Daten sofern notwendig zwischen den Recheneinheiten übermittelt werden können.
Die Recheneinheit kann Bestandteil der Steuereinheit sein.
In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass die Befehle das Computerprogrammproduktmodul der zuvor beschriebenen Art aufweisen.
Ein weiterer unabhängiger Gegenstand betrifft eine Steuereinheit mit einem dauerhaften, computerlesbaren Speichermedium, wobei auf dem Speichermedium ein Computerpro grammprodukt der zuvor beschriebenen Art gespeichert ist.
Ein weiterer unabhängiger Gegenstand betrifft ein Kraftfahrzeug mit einer Steuereinheit der zuvor beschriebenen Art.
In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass wobei die Re cheneinheit Bestandteil der Steuereinheit ist.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Steuer einheit mit Umgebungssensoren und einem Empfangssystem vernetzt ist.
Weitere Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbei spiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale bilden für sich oder in beliebiger, sinnvoller Kombination den Gegenstand, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegen- stand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funk tionsgleiche Teile sind mit gleichen Bezugszeichen versehen. Dabei zeigen schematisch:
Fig. 1 ein Kraftfahrzeug, das zum automatisierten bzw. autonomen Fahren einge richtet ist;
Fig. 2 ein Steuergerät des Kraftfahrzeugs aus Fig. 1 ;
Fig. 3 eine Umgebung mit dem Kraftfahrzeug aus Fig. 1, sowie
Fig. 4 ein Ablaufdiagramm des Verfahrens.
Fig. 1 zeigt ein Kraftfahrzeug 2, das zum automatisierten bzw. autonomen Fahren einge richtet ist.
Das Kraftfahrzeug 2 weist ein Steuergerät 4 mit einer Recheneinheit 6 und einem Spei cher 8 auf. Im Speicher 8 ist ein Computerprogrammprodukt gespeichert, das im Nachfol genden im Zusammenhang mit den Fig. 2 bis 4 noch eingehender beschrieben wird.
Das Steuergerät 4 ist einerseits mit einer Reihe von Umgebungssensoren verbunden, die eine Erfassung der aktuellen Lage des Kraftfahrzeugs 2 sowie der jeweiligen Verkehrssi tuation erlauben. Hierzu zählen Umgebungssensoren 10, 11 an der Front des Kraftfahr zeugs 2, Umgebungssensoren 12, 13 am Heck des Kraftfahrzeugs 2, eine Kamera 14 so wie ein GPS-Modul 16. Die Umgebungssensoren 10 bis 13 können z.B. Radar-, Lidar- und/oder Ultraschallsensoren umfassen.
Des Weiteren sind Sensoren zur Erfassung des Zustands des Kraftfahrzeugs 2 vorgese hen, unter anderem Raddrehzahlsensoren 16, Beschleunigungssensoren 18 und Pe dalsensoren 20, die mit dem Steuergerät 4 verbunden sind. Mithilfe dieser Kraftfahr zeugsensorik kann der momentane Zustand des Kraftfahrzeuges 2 zuverlässig erfasst werden.
Während des Betriebs des Kraftfahrzeugs 2 hat die Recheneinheit 6 das im Speicher 8 abgelegte Computerprogrammprodukt geladen und führt dieses aus. Auf der Grundlage eines Algorithmus und der Eingangssignale entscheidet die Recheneinheit 6 über die Steuerung des Kraftfahrzeugs 2, die die Recheneinheit 6 über Eingriff in die Lenkung 22, Motorsteuerung 24 sowie Bremsen 26 erreichen würde, die jeweils mit dem Steuergerät 4 verbunden sind.
Daten der Sensoren 10 bis 20 werden fortlaufend im Speicher 8 zwischengespeichert und nach einer vorgegebenen Zeitdauer verworfen, damit diese Umgebungsdaten zur weite ren Auswertung zur Verfügung stehen können.
Der Algorithmus wurde nach dem nachfolgend beschriebenen Verfahren trainiert.
Des Weiteren ist ein RDS-Modul 27 (RDS = Radio Data System) vorgesehen, über das mittels Verkehrsfunk Verkehrs- und Streckeninformationen empfangen werden. Das RDS- Modul 27 ist mit dem Steuergerät 4 verbunden.
In anderen Ausführungsformen können zusätzlich oder alternativ zu einem RDS-Modul andere Kommunikationswege zum Empfang von relevanten Verkehrsinformationen ver wendet werden, beispielsweise über ein Auto-zu-lnfrastruktur- oder ein Auto-zu-Auto- Netzwerk oder ein Mobilfunknetzwerk.
Fig. 2 zeigt das Steuergerät 4 aus Fig. 1.
Das Steuergerät 4 weist die Recheneinheit 6 auf, in der ein Computerprogrammprodukt modul 28 (gestrichelt umrahmt) ausgeführt wird, das einen Algorithmus 30 zur Ausführung einer autonomen Fahrfunktion aufweist. Die autonome Fahrfunktion kann beispielsweise ein Stauassistent, ein Bremsassistent, ein Kollisionswarnassistent oder dergleichen sein.
Bestandteil des Algorithmus 30 ist ein Detektionsalgorithmus 32 (gestrichelt umrahmt), der ein neuronales Netz 34 aufweist.
Das neuronale Netz 34 ist ein tiefes neuronales Netz (deep neural network, DNN), das neben einer Eingabeebene (input layer) und einer Ausgabeebene (output layer) wenigs tens eine versteckte Ebene (hidden layer) aufweist.
Das selbstlernende neuronale Netz 34 lernt nach Methoden des bestärkenden Lernens, d. h. der Algorithmus 30 versucht in einer Trainingsphase, durch Variation des neuronalen Netzes 34 Belohnungen für ein verbessertes Verhalten entsprechend einer oder mehrerer Metriken oder Maßstäbe, also für Verbesserungen des Algorithmus 30 zu erhalten. In an deren Ausführungsformen können auch bekannte Lernverfahren des überwachten und unüberwachten Lernens, sowie Kombinationen dieser Lernverfahren, verwendet werden.
Das neuronale Netz 34 kann im Wesentlichen eine Matrix aus Werten, in der Regel Ge wichte genannt, sein, die eine komplexe Filterfunktion definieren, die das Verhalten des Algorithmus 34 abhängig von Eingangsgrößen, welche vorliegend über die Umgebungs sensoren 10 bis 20 aufgenommen werden, bestimmt und Steuersignale zur Steuerung des Kraftfahrzeugs 2 generiert.
Das Computerprogrammproduktmodul 28 kann sowohl im Kraftfahrzeug 2 als auch au ßerhalb des Kraftfahrzeugs 2 zum Einsatz gebracht werden. Somit ist es möglich, das Computerprogrammproduktmodul 28 sowohl in einer realen Umgebung als auch in einer Simulationsumgebung zu trainieren.
Der Objekterkennungsalgorithmus 32 greift auf eine im Speicher 8 gespeicherte Objekt klassenbibliothek 36 (gestrichelt umrahmt) zu, die mehrere Basisobjektklassen nODDJ (nODD_1 , nODD_2, ... nODDJ), und Zusatzobjektklassen (nADD_1 , nADD_2, ... nADD_i) aufweist.
Die betreffenden Objektklassen nODDJ, nADDJ werden situativ vom Detektionsalgorith mus 32 geladen und zur Objekterkennung angewendet. Die situative Auswahl der Objekt klassen nODDJ, nADDJ hängt unter anderem von der Strecke ab. Eine weitere Ein gangsgröße sind Verkehrsmeldungen, die mittels des RDS-Moduls 27 empfangen werden und aus denen Informationen in Bezug auf eine vorausliegende Strecke bzw. einen vor ausliegenden Streckenabschnitt extrahiert werden.
Fig. 3 zeigt eine Autobahn 38.
Auf der Autobahn 38 fahren zusätzlich zu dem Kraftfahrzeug auf verschiedenen Spuren zwei Kraftfahrzeuge 40, 42. Auf einen vorausliegenden Streckenabschnitt 44 (gekenn zeichnet durch gestrichelte Linien quer zur Autobahn 38) befindet sich ein Tier 46 auf der Fahrbahn.
Im Rahmen des hier beschriebenen Verfahrens ist es vorgesehen, nur eine für Autobah nen geeignete Auswahl an Basisobjektklassen nODDJ zu laden und anzuwenden, wodurch sich der Objekterkennungsprozess gegenüber herkömmlichen Verfahren, bei de nen sämtliche Objektklassen angewendet werden, erheblich zu beschleunigen. Aus den über das RDS-Modul 27 gewonnenen Daten ist es möglich, die Information zu isolieren, dass im Streckenabschnitt 44 das Tier 46 eine Gefahr für den Verkehr darstellt. Auf der Grundlage dieser Informationen kann der Detektionsalgorithmus 32 aus dem Speicher 8 wenigstens eine Zusatzobjektklasse nADD_i betreffend Tiere laden und bei der Objekterkennung anwenden.
Fig. 4 zeigt ein Ablaufdiagramm des Verfahrens.
Zu Beginn des Verfahrens wird zunächst eine Route des Kraftfahrzeugs 2 abgerufen. Aus der Route des Kraftfahrzeugs 2 werden Streckentypen extrahiert und anhand der Stre ckentypen Basisobjektklassen selektiert. Mithilfe der selektierten Basisobjektklassen fin det sodann die Erkennung unter Verwendung des Detektionsalgorithmus statt.
Parallel dazu werden in regelmäßigen Abständen Verkehrsinformationen abgerufen und analysiert. Finden sich in den Verkehrsinformationen Hinweise auf Gefahren, beispiels weise durch Objekte in vorausliegenden Streckenabschnitten, werden in einem darauffol genden Schritt relevante Objektklassen extrahiert.
Darauffolgend werden die Zusatzobjektklassen geladen und Detektionsschwellen für die geladenen Zusatzobjektklassen abgesenkt. Die Objekterkennung wird dann anhand der angewendeten Basisobjektklassen und der Zusatzobjektklassen durchgeführt.
Um jeweils passende Basisobjektklassen anzuwenden und um eine Akkumulation von zwischenzeitlich geladenen Zusatzobjektklassen zu vermeiden, wird regelmäßig geprüft, ob ein bestimmter Streckenabschnitt verlassen wurde. Der Streckenabschnitt kann ein durch die Route oder durch die Verkehrsinformationen definierter Streckenabschnitt sein.
Obwohl der Gegenstand im Detail durch Ausführungsbeispiele näher illustriert und erläu tert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass bei spielhaft genannte Ausführungsformen nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Be schreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbar ten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Ele mente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa einer weitergehenden Erläuterung in der Beschreibung, definiert wird.
Bezugszeichenliste
2 Kraftfahrzeug
4 Steuergerät
6 Recheneinheit
8 Speicher
10 Umgebungssensor
11 Umgebungssensor
12 Umgebungssensor
13 Umgebungssensor
14 Kamera
15 GPS-Modul
16 Raddrehzahlsensor
18 Beschleunigungssensor
20 Pedalsensor
22 Lenkung
24 Motorsteuerung
26 Bremsen
27 RDS-Modul
28 Computerprogrammproduktmodul
30 Algorithmus
32 Detektionsalgorithmus
34 neuronales Netz
36 Objektklassenbibliothek
38 Autobahn
40, 42 Kraftfahrzeug 44 Streckenabschnitt
46 Tier nODDJ Basisobjektklasse nADD_i Zusatzobjektklasse

Claims

Patentansprüche
1. Computerimplementiertes Verfahren zum Durchführen einer automatisierten Fahr funktion eines autonom oder teilautonom fahrenden Kraftfahrzeugs (2) mittels we nigstens eines Algorithmus (30), wobei der Algorithmus (30) in wenigstens einer Steuereinheit (4) ausgeführt wird, wobei die Steuereinheit (4) in Aggregate (22, 24, 26) des Kraftfahrzeugs (2) auf der Grundlage von Eingangsdaten eingreift, wobei der Algorithmus (30) ein trainiertes neuronales Netz (34) aufweist, das zur Objekter kennung ausgebildet ist, wobei ein Detektionsalgorithmus (32) vorgesehen ist, der eine Objektklassenbibliothek (36) von unterschiedlichen Objektklassen (nODDJ, nADD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs (2) befindlichen Objekten (40, 42, 46) anwendet, wobei a) eine Anzahl an Basisobjektklassen (nODDJ) ausgewählt wird, wobei die Anzahl an Basisobjektklassen (nODDJ) kleiner ist als die gesamte Anzahl an Objektklas sen (nODDJ, nADDJ) in der Objektklassenbibliothek (36); b) wenigstens ein Eingangssignal mit Informationen über einen vor dem Kraftfahr zeug (2) liegenden Streckenabschnitt (44) empfangen wird, wobei aus den Informa tionen wenigstens eine Zusatzobjektklasse (nADDJ) ermittelt wird, wobei die we nigstens eine Zusatzobjektklasse (nADDJ) zusätzlich zu den Basisobjektklassen (nODDJ) zur Erkennung von im Umfeld des Kraftfahrzeugs (2) befindlichen Objek ten (40, 42, 46) ausgewählt wird; c) mittels Kraftfahrzeugsensorik (10, 11, 12, 13, 14, 15) Umgebungsinformationen einer Umgebung des Kraftfahrzeugs (2) aufgenommen und an den Detektionsalgo rithmus (32) weitergeleitet werden; d) mittels des Detektionsalgorithmus (32) anhand der Umgebungsinformationen un ter Anwendung der Basisobjektklassen (nODDJ) und der wenigstens einen Zusatz objektklasse (nADDJ) in der Umgebung des Kraftfahrzeugs (2) befindliche Objekte (40, 42, 44) erkannt werden und dem Algorithmus (30) entsprechende Objektdaten zur Verfügung gestellt werden.
2. Computerimplementiertes Verfahren nach Anspruch 1 , wobei der Detektionsalgo rithmus (32) ein tiefes neuronales Netz (34) aufweist.
3. Computerimplementiertes Verfahren nach Anspruch 1 oder 2, wobei die Anzahl von Basisobjektklassen (n_ODD_i) fahrsituationsabhängig ausgewählt wird.
4. Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei, wenn wenigstens eines der in der Umgebung befindlichen Objekte (40, 42, 44) nicht anhand der Basisobjektklassen (nODDJ) und der wenigstens einen Zu satzobjektklasse (nADD_i) erkannt werden kann, eine Erkennung an übrigen be kannten Objektklassen (nODDJ) vorgenommen wird.
5. Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei die wenigstens eine Zusatzobjektklasse (nADD_i) abgewählt wird, wenn das Kraftfahrzeug (2) den Streckenabschnitt (44) verlässt.
6. Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei die Auswahl der Basisobjektklassen (nODDJ) abhängig vom befahrenen Streckentyp getroffen wird.
7. Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei der Detektionsalgorithmus (32) Detektionsschwellen für die Objektklassen (nODDJ, nADDJ) anwendet, wobei wenigstens eine Detektionsschwelle für die we nigstens eine aus den Verkehrsinformationen extrahierte Zusatzobjektklasse (nADDJ) gegenüber einem Standardwert abgesenkt wird.
8. Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei das Eingangssignal von einem Empfangssystem (27) übermittelt wird, wobei die Informationen Verkehrsinformationen sind, und/oder wobei das Eingangssignal ein Sensorsignal eines Kraftfahrzeugsensors (14) enthält.
9. Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei das Eingangssignal Kartendaten einer Umgebungskarte enthält.
10. Computerprogrammprodukt, mit einem dauerhaften, computerlesbaren Speicherme dium (8), auf dem Befehle eingebettet sind, die, wenn sie von wenigstens einer Re cheneinheit (6) ausgeführt werden, bewirken, dass die wenigstens eine Rechenein- heit (6) dazu eingerichtet ist, das Verfahren nach einem der vorangegangenen An sprüche auszuführen.
11. Computerprogrammprodukt nach Anspruch 10, wobei die Befehle das Computer programmproduktmodul (28) nach einem der Ansprüche 1 bis 9 aufweisen.
12. Steuereinheit (4) mit einem dauerhaften, computerlesbaren Speichermedium (8), wobei auf dem Speichermedium (8) ein Computerprogrammprodukt nach Anspruch 10 oder 11 gespeichert ist.
13. Kraftfahrzeug mit einer Steuereinheit (4) nach Anspruch 12.
14. Kraftfahrzeug nach Anspruch 13, wobei die Recheneinheit (6) Bestandteil der Steu ereinheit (4) ist.
15. Kraftfahrzeug nach einem der Ansprüche 13 oder14, wobei die Steuereinheit (4) mit Umgebungssensoren (10, 11, 12, 13, 14, 15) und einem Empfangssystem (27) ver netzt ist.
EP22706531.5A 2021-03-16 2022-02-02 Verfahren, computerprogramm, steuereinheit sowie kraftfahrzeug zum durchführen einer automatisierten fahrfunktion Pending EP4309141A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021202526.9A DE102021202526A1 (de) 2021-03-16 2021-03-16 Computerimplementiertes Verfahren zum Durchführen einer automatisierten Fahrfunktion, Computerprogrammprodukt, Steuereinheit sowie Kraftfahrzeug
PCT/EP2022/052454 WO2022194440A1 (de) 2021-03-16 2022-02-02 Verfahren, computerprogramm, steuereinheit sowie kraftfahrzeug zum durchführen einer automatisierten fahrfunktion

Publications (1)

Publication Number Publication Date
EP4309141A1 true EP4309141A1 (de) 2024-01-24

Family

ID=80623987

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22706531.5A Pending EP4309141A1 (de) 2021-03-16 2022-02-02 Verfahren, computerprogramm, steuereinheit sowie kraftfahrzeug zum durchführen einer automatisierten fahrfunktion

Country Status (3)

Country Link
EP (1) EP4309141A1 (de)
DE (1) DE102021202526A1 (de)
WO (1) WO2022194440A1 (de)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10395144B2 (en) 2017-07-24 2019-08-27 GM Global Technology Operations LLC Deeply integrated fusion architecture for automated driving systems
CN111133447B (zh) * 2018-02-18 2024-03-19 辉达公司 适于自主驾驶的对象检测和检测置信度的方法和系统
DE102019213061A1 (de) * 2019-08-29 2021-03-04 Volkswagen Aktiengesellschaft Klassifizierung von KI-Modulen

Also Published As

Publication number Publication date
WO2022194440A1 (de) 2022-09-22
DE102021202526A1 (de) 2022-09-22

Similar Documents

Publication Publication Date Title
EP3160813B1 (de) Verfahren zur erstellung eines umfeldmodells eines fahrzeugs
DE102019104974A1 (de) Verfahren sowie System zum Bestimmen eines Fahrmanövers
DE102016007899B4 (de) Verfahren zum Betreiben einer Einrichtung zur Verkehrssituationsanalyse, Kraftfahrzeug und Datenverarbeitungseinrichtung
DE102016210534A1 (de) Verfahren zum Klassifizieren einer Umgebung eines Fahrzeugs
DE102020108508B3 (de) Verfahren zur Bewertung von Streckenabschnitten
WO2015062781A1 (de) Situationsanalyse für ein fahrerassistenzsystem
DE102018133457B4 (de) Verfahren und System zum Bereitstellen von Umgebungsdaten
DE102020122837A1 (de) Verfahren und vorrichtung zum erzeugen eines wendewegs in einem mehrschichtiges-lernen-basierten autonomen fahrzeug
DE102017211556A1 (de) Verfahren zur Routenplanung für ein Kraftfahrzeug mit einem automatisierten Fahrzeugsystem und Kraftfahrzeug mit einem automatisierten Fahrzeugsystem
DE102017211387A1 (de) System und Verfahren zum automatisierten Manövrieren eines Ego-Fahrzeugs
DE102019003963A1 (de) Verfahren zur Bestimmung einer Fahrstrategie eines Fahrzeuges, insbesondere eines Nutzfahrzeuges
DE102021000792A1 (de) Verfahren zum Betrieb eines Fahrzeuges
DE102020129802A1 (de) Fahrzeugbetriebskennzeichnung
EP2964503B1 (de) Schätzung der zukünftigen geschwindigkeit und/oder entfernung eines fahrzeugs von einem referenzpunkt und schätzung der zukünftigen beschleunigung
DE102007015227B4 (de) Verfahren und Anordnung zur näherungsweisen Bestimmung einer von einem Fahrzeug aktuell befahrenen Fahrspur
DE102016003935A1 (de) Verfahren zur Ermittlung einer Randbebauungsinformation in einem Kraftfahrzeug und Kraftfahrzeug
DE102020201931A1 (de) Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Verfahren zur Optimierung eines Verkehrsflusses in einer Region, Computerprogrammprodukt sowie Kraftfahrzeug
DE102005043838A1 (de) Verfahren und Einrichtung zur automatischen Ermittlung von Fahrmanövern
DE102019129737A1 (de) Verfahren zum Klassifizieren einer Umgebung eines Fahrzeugs
EP4309141A1 (de) Verfahren, computerprogramm, steuereinheit sowie kraftfahrzeug zum durchführen einer automatisierten fahrfunktion
DE102021212493A1 (de) Verfahren zum infrastrukturgestützten Assistieren eines Kraftfahrzeugs
DE102018218172B3 (de) Verfahren und Vorrichtung zur Bewertung einer einem Fahrzeug in Fahrtrichtung vorausliegenden Fahrsituation zur automatisierten Umfahrung eines vorausfahrenden Verkehrshindernisses
DE102021124736A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Positions-Hypothese
DE102021202083A1 (de) Computerimplementiertes Verfahren zum Trainieren wenigstens eines Algorithmus für eine Steuereinheit eines Kraftfahrzeugs, Computerprogrammprodukt, Steuereinheit sowie Kraftfahrzeug
DE102016212786A1 (de) Fahrerassistenzsystem für ein Ego-Fahrzeug auf einem Weg eines Wegenetzes und Verfahren zum Betreiben des Fahrerassistenzsystems

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230718

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)