DE102022207101A1 - Method for determining inadequacies in the detection of objects in data acquired by an environmental sensor of a motor vehicle - Google Patents

Method for determining inadequacies in the detection of objects in data acquired by an environmental sensor of a motor vehicle Download PDF

Info

Publication number
DE102022207101A1
DE102022207101A1 DE102022207101.8A DE102022207101A DE102022207101A1 DE 102022207101 A1 DE102022207101 A1 DE 102022207101A1 DE 102022207101 A DE102022207101 A DE 102022207101A DE 102022207101 A1 DE102022207101 A1 DE 102022207101A1
Authority
DE
Germany
Prior art keywords
data
motor vehicle
objects
environmental sensor
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022207101.8A
Other languages
German (de)
Inventor
Asim Abdulkhaleq
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102022207101.8A priority Critical patent/DE102022207101A1/en
Priority to PCT/EP2023/069174 priority patent/WO2024013162A1/en
Publication of DE102022207101A1 publication Critical patent/DE102022207101A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

Die Erfindung betrifft Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten, wobei das Kraftfahrzeug eine Vielzahl von unterschiedlichen Umgebungssensoren aufweist, und wobei das Verfahren (1) folgende Schritte aufweist: Während eines Betriebs des Kraftfahrzeuges, jeweils Erfassen von Daten durch jeden der unterschiedlichen Umgebungssensoren (2); Für jeden der unterschiedlichen Umgebungssensoren, jeweils Detektieren von Objekten in den durch den entsprechenden Umgebungssensor erfassten Daten, um Objektdetektionsergebnisse zu erzeugen (3); Fusionieren der durch die unterschiedlichen Umgebungssensoren erfassten Daten, um fusionierte Sensordaten zu erzeugen (4); und Für wenigstens einen der unterschiedlichen Umgebungssensoren, Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in durch den entsprechenden Umgebungssensor erfassten Daten basierend auf den Objektdetektionsergebnissen und den fusionierten Sensordaten (5).The invention relates to methods for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle, wherein the motor vehicle has a multiplicity of different environmental sensors, and wherein the method (1) has the following steps: During operation of the motor vehicle, in each case Acquiring data by each of the different environmental sensors (2); For each of the different environmental sensors, respectively detecting objects in the data acquired by the corresponding environmental sensor to generate object detection results (3); fusing the data collected by the different environmental sensors to produce fused sensor data (4); and For at least one of the different environmental sensors, determining inadequacies in the detection of objects in data acquired by the corresponding environmental sensor based on the object detection results and the fused sensor data (5).

Description

Die Erfindung betrifft ein Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in durch von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten, mit welchem die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten auf einfache Art und Weise erhöht werden kann.The invention relates to a method for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle, with which the safety when controlling functions of the motor vehicle based on objects detected in the data recorded by the environmental sensor in a simple manner can be increased.

Algorithmen des maschinellen Lernens basieren darauf, dass Verfahren der Statistik verwendet werden, um eine Datenverarbeitungsanlage derart zu trainieren, dass diese eine bestimmte Aufgabe ausführen kann, ohne dass diese ursprünglich explizit hierzu programmiert wurde. Das Ziel des maschinellen Lernens besteht dabei darin, Algorithmen zu konstruieren, die aus Daten lernen und Vorhersagen treffen können. Diese Algorithmen erstellen mathematische Modelle, mit denen beispielsweise Daten klassifiziert werden können.Machine learning algorithms are based on the fact that statistical methods are used to train a data processing system so that it can carry out a specific task without it having originally been explicitly programmed for this purpose. The goal of machine learning is to construct algorithms that can learn from data and make predictions. These algorithms create mathematical models that can be used, for example, to classify data.

Anwendung finden derartige Algorithmen des maschinellen Lernens beispielsweise im Bereich der Fahrerassistenzsysteme oder beim Steuern von autonom fahrenden Kraftfahrzeugen. Beispielsweise beim Steuern von autonom fahrenden Kraftfahrzeugen ist es dabei wichtig, möglichst genau vorherzusagen, welche Manöver beziehungsweise Bewegungen Objekte in der Umgebung des autonom fahrenden Kraftfahrzeuges in Kürze vornehmen werden, um möglichst adäquat hierauf reagieren und sicherheitskritische Situationen vermeiden zu können.Such machine learning algorithms are used, for example, in the area of driver assistance systems or in controlling autonomous motor vehicles. For example, when controlling autonomously driving motor vehicles, it is important to predict as accurately as possible which maneuvers or movements objects in the surroundings of the autonomously driving motor vehicle will soon make in order to be able to react to this as adequately as possible and avoid safety-critical situations.

Die Algorithmen des maschinellen Lernens sind dabei für gewöhnlich jeweils trainiert, Objekte in durch einen Umgebungssensor des Kraftfahrzeuges, insbesondere einen optischen Sensor erfassten Daten zu erkennen und die erkannten Objekte gegebenenfalls zu klassifizieren. Gewöhnliche Kraftfahrzeuge und insbesondere autonom fahrende Kraftfahrzeuge weisen dabei für gewöhnlich eine Vielzahl unterschiedlicher Umgebungssensoren auf, beispielsweise Lidar-Sensoren, Radar-Sensoren und Videokameras. Als nachteilig erweist sich dabei jedoch, dass die unterschiedlichen Umgebungssensoren für gewöhnlich jeweils Unzulänglichkeiten aufweisen. Unter Unzulänglichkeit eines Sensors wird dabei die Eigenschaft des Sensors, bestimmten Anforderungen nicht zu genügen, verstanden. Derartige Unzulänglichkeiten können beispielsweise durch Umwelteinflüsse, beispielsweise bestimmte Wetterbedingungen, verursacht werden. So kann es beispielsweise vorkommen, dass eine Videokamera einzelne Objekte bei starker Sonneneinstrahlung nicht erfassen kann. Derartige Unzulänglichkeiten können jedoch beispielsweise auch darin resultieren beziehungsweise darauf basieren, dass reale beziehungsweise existierende Objekte in von einem Umgebungssensor erfassten Daten durch einen entsprechenden Algorithmen des maschinellen Lernens zum Detektieren von Objekten in den erfassten Daten nicht erkannt werden. Dies kann jedoch zu sicherheitskritischen Situationen beim Steuern des entsprechenden Kraftfahrzeuges führen. Insbesondere sind derartige Algorithmen des maschinellen Lernens dabei für gewöhnlich derart trainiert, dass diese keine Objekte, welche nicht auch in den zum Trainieren des entsprechenden Algorithmus des maschinellen Lernens enthalten beziehungsweise dargestellt waren, detektieren.The machine learning algorithms are usually trained to recognize objects in data recorded by an environmental sensor of the motor vehicle, in particular an optical sensor, and to classify the recognized objects if necessary. Ordinary motor vehicles and in particular autonomous motor vehicles usually have a large number of different environmental sensors, for example lidar sensors, radar sensors and video cameras. However, the disadvantage is that the different environmental sensors usually have inadequacies. The inadequacy of a sensor is understood to mean the property of the sensor not meeting certain requirements. Such inadequacies can be caused, for example, by environmental influences, for example certain weather conditions. For example, it may happen that a video camera cannot capture individual objects in strong sunlight. However, such inadequacies can also result, for example, or be based on the fact that real or existing objects in data recorded by an environmental sensor are not recognized by a corresponding machine learning algorithm for detecting objects in the recorded data. However, this can lead to safety-critical situations when controlling the corresponding motor vehicle. In particular, such machine learning algorithms are usually trained in such a way that they do not detect any objects that were not also included or represented in the machine learning algorithm used to train the corresponding machine learning algorithm.

Aus der Druckschrift DE 10 2012 023 746 A1 ist ein Verfahren zum Verfolgen eines Zielobjektes in einem Umgebungsbereich eines Kraftfahrzeuges mittels einer Fahrerassistenzeinrichtung des Kraftfahrzeuges durch Fusion von Bilddaten einer Kamera mit Sensordaten eines von der Kamera verschiedenen Sensors der Fahrerassistenzeinrichtung bekannt, wobei ein Bild des Umgebungsbereichs mittels der Kamera bereitgestellt wird, das Zielobjekt detektiert und eine relative Position des Zielobjektes bezüglich des Kraftfahrzeuges als erstes Positionsergebnis anhand des Bildes mittels einer Bildverarbeitungseinrichtung bestimmt wird, wobei eine relative Position des Zielobjektes als zweites Positionsergebnis anhand der Sensordaten des Sensors bestimmt wird, und wobei das erste Positionsergebnis und das zweite Positionsergebnis einem gemeinsamen Verfolgungsfilter zum Verfolgen des Zielobjektes zugeführt werden.From the publication DE 10 2012 023 746 A1 a method for tracking a target object in a surrounding area of a motor vehicle by means of a driver assistance device of the motor vehicle by fusing image data from a camera with sensor data from a sensor of the driver assistance device different from the camera is known, wherein an image of the surrounding area is provided by means of the camera, the target object is detected and a relative position of the target object with respect to the motor vehicle is determined as a first position result based on the image by means of an image processing device, wherein a relative position of the target object is determined as a second position result based on the sensor data of the sensor, and wherein the first position result and the second position result are applied to a common tracking filter tracking of the target object.

Der Erfindung liegt somit die Aufgabe zugrunde, ein Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten anzugeben, mit welchem die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten auf einfache Art und Weise erhöht werden kann.The invention is therefore based on the object of specifying a method for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle, with which the safety when controlling functions of the motor vehicle based on objects detected in the data recorded by the environmental sensor can be easily increased.

Die Aufgabe wird gelöst durch ein Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten gemäß den Merkmalen des Patentanspruchs 1.The task is solved by a method for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle according to the features of patent claim 1.

Die Aufgabe wird zudem auch gelöst durch ein Steuergerät zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten gemäß den Merkmalen des Patentanspruchs 8.The task is also solved by a control device for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle according to the features of patent claim 8.

Offenbarung der ErfindungDisclosure of the invention

Gemäß einer Ausführungsform der Erfindung wird diese Aufgabe gelöst durch ein Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten, wobei das Kraftfahrzeug eine Vielzahl von unterschiedlichen Umgebungssensoren aufweist, und wobei das Verfahren ein jeweiliges Erfassen von Daten durch jeden der unterschiedlichen Umgebungssensoren während eines Betriebs des Kraftfahrzeuges, für jeden der unterschiedlichen Umgebungssensoren jeweils ein Detektieren von Objekten in den durch den entsprechenden Umgebungssensor erfassten Daten, um Objektdetektionsergebnisse zu erzeugen, ein Fusionieren der durch die unterschiedlichen Umgebungssensoren erfassten Daten, um fusionierte Sensordaten zu erzeugen, und, für wenigstens einen der unterschiedlichen Umgebungssensoren, ein Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von dem entsprechenden Umgebungssensor erfassten Daten basierend auf den Objektdetektionsergebnissen und den fusionierten Sensordaten aufweist.According to one embodiment of the invention, this object is achieved by a method for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle, wherein the motor vehicle has a plurality of different environmental sensors, and wherein the method involves a respective acquisition of data each of the different environmental sensors during operation of the motor vehicle, for each of the different environmental sensors, detecting objects in the data recorded by the corresponding environmental sensor in order to generate object detection results, fusing the data recorded by the different environmental sensors in order to generate fused sensor data, and, for at least one of the different environmental sensors, determining inadequacies in the detection of objects in data acquired by the corresponding environmental sensor based on the object detection results and the fused sensor data.

Unter einem Umgebungssensor wird dabei ein Sensor des Kraftfahrzeuges verstanden, welcher ausgebildet ist, Daten über eine Umgebung beziehungsweise wenigstens einen Teil einer Umgebung des Kraftfahrzeuges zu erfassen.An environmental sensor is understood to mean a sensor of the motor vehicle which is designed to record data about an environment or at least part of an environment of the motor vehicle.

Unter unterschiedlichen Umgebungssensoren werden weiter Umgebungssensoren mit unterschiedlichen Eigenschaften beziehungsweise für unterschiedliche Gegebenheiten ausgelegte Umgebungssensoren verstanden.Different environmental sensors are also understood to mean environmental sensors with different properties or environmental sensors designed for different circumstances.

Dass die Umgebungssensor Daten während eines Betriebs des Kraftfahrzeuges erfassen bedeutet ferner, dass die Daten erfasst werden, während das Kraftfahrzeug in Bewegung ist, insbesondere während entsprechender Testfahrten mit dem Kraftfahrzeug.The fact that the environmental sensor records data while the motor vehicle is in operation also means that the data is recorded while the motor vehicle is in motion, in particular during corresponding test drives with the motor vehicle.

Dass die erfassten Daten der unterschiedlichen Umgebungssensoren fusioniert werden, bedeutet ferner, dass diese zusammengefügt beziehungsweise verschmolzen werden.The fact that the recorded data from the different environmental sensors are merged also means that they are put together or merged.

Der Schritt des Bestimmens von Unzulänglichkeiten bei der Detektion von Objekten in von dem entsprechenden Umgebungssensor erfassten Daten basierend auf den Objektdetektionsergebnissen und den fusionierten Sensordaten kann dabei insbesondere ein Vergleichen von in durch von einem Umgebungssensor erfassten Daten detektierten Objekten mit in durch von einem anderen, unterschiedlichen Umgebungssensor erfassten Daten detektierten Objekten aufweisen.The step of determining inadequacies in the detection of objects in data detected by the corresponding environmental sensor based on the object detection results and the fused sensor data can in particular involve comparing objects detected by data detected by one environmental sensor with objects detected by another, different environmental sensor have detected objects detected data.

Somit können auf einfache Art und Weise Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten bestimmt werden. Diese Unzulänglichkeiten können anschließend beispielsweise beim Steuern von Fahrerassistenzsystemen des Kraftfahrzeuges und/oder von steuerbaren Funktionen des Kraftfahrzeuges sowie beim Trainieren des entsprechenden Algorithmus des maschinellen Lernens berücksichtigt werden. Hierdurch wiederum kann die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten erhöht werden.Inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle can thus be determined in a simple manner. These shortcomings can then be taken into account, for example, when controlling driver assistance systems of the motor vehicle and/or controllable functions of the motor vehicle, as well as when training the corresponding machine learning algorithm. This in turn can increase the safety when controlling functions of the motor vehicle based on objects detected in the data recorded by the environmental sensor.

Insgesamt wird somit ein Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten angegeben, mit welchem die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten auf einfache Art und Weise erhöht werden kann.Overall, a method for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle is thus specified, with which the safety when controlling functions of the motor vehicle based on objects detected in the data recorded by the environmental sensor in a simple manner can be increased.

In einer Ausführungsform weist der Schritt des, für wenigstens einen der unterschiedlichen Umgebungssensoren, Bestimmens von Unzulänglichkeiten bei der Detektion von Objekten in durch den entsprechenden Umgebungssensor erfassten Daten basierend auf den Objektdetektionsergebnissen und den fusionierten Sensordaten ein Clustern der fusionierten Sensordaten auf.In one embodiment, the step of determining, for at least one of the different environmental sensors, inadequacies in the detection of objects in data acquired by the corresponding environmental sensor based on the object detection results and the fused sensor data includes clustering the fused sensor data.

Unter Clustern beziehungsweise Clustering der fusionierten Sensordaten wird hierbei verstanden, dass die erfassten Daten beispielsweise basierend auf den Erfassungsbereichen der einzelnen Umgebungssensoren beziehungsweise Bereichen, welche durch die einzelnen Umgebungssensoren jeweils abgegriffen werden können, einzelnen Bereichen beziehungsweise Clustern zugeordnet werden. Das Clustern der fusionierten Sensordaten kann ferner aber auch beispielsweise basierend auf erkannten beziehungsweise detektierten Objekten erfolgen, wobei die detektierten Objekte jeweils basierend auf der Anzahl und der Art von Umgebungssensoren, in deren erfassten Daten durch Anwenden des jeweiligen Algorithmus des maschinellen Lernens, das entsprechende Objekt detektiert wurde, in Cluster eingeteilt werden.Clustering or clustering of the merged sensor data here means that the recorded data are assigned to individual areas or clusters, for example based on the detection areas of the individual environmental sensors or areas that can be picked up by the individual environmental sensors. The clustering of the fused sensor data can also take place, for example, based on recognized or detected objects, with the detected objects each detecting the corresponding object based on the number and type of environmental sensors in their recorded data by applying the respective machine learning algorithm was divided into clusters.

Dies hat den Vorteil, dass die Unzulänglichkeiten auf einfache Art und Weise bestimmt werden können, ohne das aufwendige und ressourcenintensive Funktionen vonnöten sind. Zudem kann hierdurch beispielsweise auch auf einfache Art und Weise überprüft werden, ob die erkannten Unzulänglichkeiten tatsächlich auch im Erfassungsbereich des entsprechenden Umgebungssensor liegen, ohne dass aufwendige und ressourcenintensive Funktionen vonnöten sind.This has the advantage that the inadequacies can be determined in a simple way, without the need for complex and resource-intensive functions. In addition, it can also be easily checked, for example, whether the identified inadequacies are actually within the detection range of the corresponding environmental sensor, without that complex and resource-intensive functions are necessary.

Zudem kann das Verfahren weiter einen Schritt eines, für jeden des wenigstens einen Umgebungssensors, Speichern der Unzulänglichkeiten bei der Detektion von Objekten in durch den entsprechenden Umgebungssensor erfassten Daten aufweisen. Dass die Unzulänglichkeiten abgespeichert werden, hat dabei den Vorteil, dass diese anschließend zur Erzeugung von zusätzlichen Trainingsdaten zum Trainieren des entsprechenden Algorithmus des maschinellen Lernens und/oder während der Serienfertigung beziehungsweise der Fertigung weiterer Kraftfahrzeuge desselben Typs mit derselben Anordnung von Umgebungssensoren zur Verfügung stehen, ohne dass zunächst jeweils wiederum neue Daten gesammelt beziehungsweise entsprechende Testfahrten vorgenommen werden müssen. Zudem können die gespeicherten Daten zum Testen und Validieren des entsprechenden Algorithmus des maschinellen Lernens herangezogen werden.In addition, the method may further comprise a step of, for each of the at least one environmental sensor, storing the inadequacies in the detection of objects in data recorded by the corresponding environmental sensor. The fact that the inadequacies are saved has the advantage that they are then available for generating additional training data for training the corresponding machine learning algorithm and / or during series production or the production of further motor vehicles of the same type with the same arrangement of environmental sensors, without that new data must first be collected or corresponding test drives must be carried out. In addition, the stored data can be used to test and validate the corresponding machine learning algorithm.

Bei den unterschiedlichen Umgebungssensoren kann es sich ferner um einen Radar-Sensor, einen Lidar-Sensor und eine Videokamera handeln.The different environmental sensors can also be a radar sensor, a lidar sensor and a video camera.

Ein Radar-Sensor ist ein strahlbasierter Sensor, welcher eingesetzt wird, um Objekte, zum Beispiel andere Kraftfahrzeuge oder Fußgänger, zu erfassen und beispielsweise auch deren Abstand zum Kraftfahrzeug sowie deren Relativgeschwindigkeiten zu messen. Dazu werden elektromagnetische Strahlen ausgesendet, wobei die von den Objekten reflektierten elektromagnetischen Wellen empfangen und ausgewertet werden.A radar sensor is a beam-based sensor that is used to detect objects, for example other motor vehicles or pedestrians, and, for example, to measure their distance from the motor vehicle and their relative speeds. For this purpose, electromagnetic rays are emitted, with the electromagnetic waves reflected by the objects being received and evaluated.

Ein Lidar-Sensor ist ähnlich zu einem Radar-Sensor, wobei Laserimpulse ausgesendet werden und von den entsprechenden Objekten reflektiertes Licht empfangen und ausgewertet wird.A lidar sensor is similar to a radar sensor, whereby laser pulses are sent out and light reflected from the corresponding objects is received and evaluated.

Eine Videokamera ist ferner eine Vorrichtung zur Aufnahme von zweidimensionalen Abbildern aus Licht auf elektrischem und/oder mechanischem Wege.A video camera is also a device for recording two-dimensional images made of light electrically and/or mechanically.

Da gewöhnliche Kraftfahrzeuge und insbesondere autonom fahrende Kraftfahrzeuge für gewöhnlich bereits Radar-Sensoren, Lidar-Sensoren und Videokameras aufweisen, können diese hier genutzt werden, ohne dass aufwendige und kostspielige Anpassungen vonnöten wären.Since ordinary motor vehicles and in particular autonomous motor vehicles usually already have radar sensors, lidar sensors and video cameras, these can be used here without the need for complex and costly adjustments.

Dabei, dass es sich bei den unterschiedlichen Umgebungssensoren um einen Radar-Sensor, einen Lidar-Sensor und eine Videokamera handelt, handelt es sich jedoch nur um eine mögliche Ausführungsform. Vielmehr können die unterschiedlichen Umgebungssensoren auch noch weitere, insbesondere bereits in das entsprechende Kraftfahrzeug verbaute Umgebungssensoren aufweisen, beispielsweise eine Nahbereichskamera.However, the fact that the different environmental sensors are a radar sensor, a lidar sensor and a video camera is only one possible embodiment. Rather, the different environmental sensors can also have additional environmental sensors, in particular already installed in the corresponding motor vehicle, for example a close-range camera.

Mit einer weiteren Ausführungsform der Erfindung wird auch ein Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch wenigstens einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten angegeben, wobei das Verfahren ein Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von dem Umgebungssensor erfassten Daten durch ein obenstehend beschriebenes Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten, und ein Erzeugen von Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens basierend auf den bestimmten Unzulänglichkeiten aufweist.With a further embodiment of the invention, a method for generating training data for training a machine learning algorithm for detecting objects in data recorded by at least one environmental sensor of a motor vehicle is also specified, wherein the method involves determining inadequacies in the detection of objects in data acquired from the environmental sensor by a method described above for determining inadequacies in the detection of objects in data acquired by an environmental sensor of a motor vehicle, and generating training data for training the machine learning algorithm based on the determined inadequacies.

Somit wird ein Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch wenigstens einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten angegeben, welches auf einem Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten, mit welchem die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten auf einfache Art und Weise erhöht werden kann, basiert. Insbesondere basiert das Verfahren auf einem Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten, mit welchem auf einfache Art und Weise Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten bestimmt werden können. Diese Unzulänglichkeiten können anschließend insbesondere beim Trainieren des entsprechenden Algorithmus des maschinellen Lernens berücksichtigt werden. Hierdurch wiederum kann die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten erhöht werden.Thus, a method for generating training data for training a machine learning algorithm for detecting objects in data detected by at least one environmental sensor of a motor vehicle is specified, which is based on a method for determining inadequacies in the detection of objects in data detected by an environmental sensor of a motor vehicle Data with which the safety when controlling functions of the motor vehicle can be easily increased based on objects detected in the data recorded by the environmental sensor. In particular, the method is based on a method for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle, with which inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle can be determined in a simple manner. These shortcomings can then be taken into account, particularly when training the corresponding machine learning algorithm. This in turn can increase the safety when controlling functions of the motor vehicle based on objects detected in the data recorded by the environmental sensor.

Mit einer weiteren Ausführungsform der Erfindung wird weiter auch ein Verfahren zum Trainieren eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch wenigstens einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten angegeben, wobei das Verfahren ein Erzeugen von Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens durch ein obenstehend beschriebenes Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch wenigstens einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten, und ein Trainieren des Algorithmus des maschinellen Lernens basierend auf den erzeugten Trainingsdaten aufweist.With a further embodiment of the invention, a method for training a machine learning algorithm for detecting objects in data recorded by at least one environmental sensor of a motor vehicle is also specified, wherein the method involves generating training data for training the machine learning algorithm by means of the above described method for generating training data for training a Machine learning algorithm for detecting objects in data acquired by at least one environmental sensor of a motor vehicle, and training the machine learning algorithm based on the generated training data.

Somit wird ein Verfahren zum Trainieren eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch wenigstens einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten angegeben, welches auf basierend auf einem Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten, mit welchem die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten auf einfache Art und Weise erhöht werden kann, erzeugten Trainingsdaten basiert. Insbesondere basiert das Verfahren auf einem Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten, mit welchem auf einfache Art und Weise Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten erfasst werden können. Diese Unzulänglichkeiten können anschließend insbesondere beim Trainieren des entsprechenden Algorithmus des maschinellen Lernens berücksichtigt werden. Hierdurch wiederum kann die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten erhöht werden.Thus, a method for training a machine learning algorithm for detecting objects in data acquired by at least one environmental sensor of a motor vehicle is specified, which is based on a method for determining inadequacies in the detection of objects in data acquired by an environmental sensor of a motor vehicle, with which the safety when controlling functions of the motor vehicle can be easily increased based on training data generated in the objects detected by the environmental sensor. In particular, the method is based on a method for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle, with which inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle can be detected in a simple manner. These shortcomings can then be taken into account, particularly when training the corresponding machine learning algorithm. This in turn can increase the safety when controlling functions of the motor vehicle based on objects detected in the data recorded by the environmental sensor.

Mit einer weiteren Ausführungsform der Erfindung wird zudem auch ein Verfahren zum Steuern wenigstens einer Funktion eines Kraftfahrzeuges basierend in durch einen Umgebungssensor des Kraftfahrzeuges erfassten Daten detektierten Objekten angegeben, wobei das Verfahren ein Bereitstellen eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch den Umgebungssensor erfassten Daten, wobei der wenigstens eine Algorithmus des maschinellen Lernens durch ein obenstehend beschriebenes Verfahren zum Trainieren eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten trainiert wurde, ein Erfassen von Daten durch den Umgebungssensor, ein Detektieren von Objekten in den durch den Umgebungssensor erfassten Daten durch den Algorithmus des maschinellen Lernens, und ein Steuern der wenigstens einen Funktion des Kraftfahrzeuges basierend auf den detektierten Objekten aufweist.With a further embodiment of the invention, a method for controlling at least one function of a motor vehicle based on objects detected by an environmental sensor of the motor vehicle is also specified, the method providing a machine learning algorithm for detecting objects in data detected by the environmental sensor Data, wherein the at least one machine learning algorithm was trained by a method described above for training a machine learning algorithm to detect objects in data acquired by an environmental sensor of a motor vehicle, detecting data by the environmental sensor, detecting objects in the data recorded by the environmental sensor by the machine learning algorithm, and controlling the at least one function of the motor vehicle based on the detected objects.

Unter Funktion eines Kraftfahrzeuges Fahrzeugfunktion wird hierbei eine steuerbare Funktion und/oder die Steuerung einer steuerbaren Komponente des Kraftfahrzeuges verstanden, insbesondere eine Funktion eines Fahrerassistenzsystems.The term “function of a motor vehicle” means a controllable function and/or the control of a controllable component of the motor vehicle, in particular a function of a driver assistance system.

Somit wird ein Verfahren zum Steuern wenigstens einer Funktion eines Kraftfahrzeuges basierend auf in durch wenigstens einen Umgebungssensor des Kraftfahrzeuges erfassten Daten detektierten Objekten angegeben, welches auf einem Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten, mit welchem die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten auf einfache Art und Weise erhöht werden kann, basiert. Insbesondere basiert das Verfahren auf einem Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten, mit welchem auf einfache Art und Weise Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten bestimmt werden können. Diese Unzulänglichkeiten können anschließend insbesondere beim Trainieren des entsprechenden Algorithmus des maschinellen Lernens berücksichtigt werden. Hierdurch wiederum kann die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten erhöht werden.Thus, a method for controlling at least one function of a motor vehicle based on objects detected in data recorded by at least one environmental sensor of the motor vehicle is specified, which is based on a method for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle, with which the safety when controlling functions of the motor vehicle can be easily increased based on objects detected in the data recorded by the environmental sensor. In particular, the method is based on a method for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle, with which inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle can be determined in a simple manner. These shortcomings can then be taken into account, particularly when training the corresponding machine learning algorithm. This in turn can increase the safety when controlling functions of the motor vehicle based on objects detected in the data recorded by the environmental sensor.

Mit einer weiteren Ausführungsform der Erfindung wird außerdem auch ein Steuergerät zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten angegeben, wobei das Kraftfahrzeug eine Vielzahl von unterschiedlichen Umgebungssensoren aufweist, und wobei das Steuergerät wenigstens eine Erfassungseinheit, welche ausgebildet ist, während eines Betriebs des Kraftfahrzeuges jeweils Daten von jedem der unterschiedlichen Umgebungssensoren zu erfassen, für jeden der unterschiedlichen Umgebungssensoren jeweils eine Detektionseinheit, welche ausgebildet ist, Objekte in den durch den entsprechenden Umgebungssensor erfassten Daten zu detektieren, um Objektdetektionsergebnisse zu erzeugen, eine Fusionierungseinheit, welche ausgebildet ist, die durch die unterschiedlichen Umgebungssensoren erfassten Daten zu fusionieren, um fusionierte Sensordaten zu erzeugen, und eine Bestimmungseinheit, welche ausgebildet ist, für wenigstens einen der unterschiedlichen Umgebungssensoren Unzulänglichkeiten bei der Detektion von Objekten in von dem entsprechenden Umgebungssensor erfassten Daten basierend auf den Objektdetektionsergebnissen und den fusionierten Sensordaten zu bestimmen, aufweist.A further embodiment of the invention also provides a control device for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle, wherein the motor vehicle has a plurality of different environmental sensors, and wherein the control device forms at least one detection unit is to record data from each of the different environmental sensors during operation of the motor vehicle, for each of the different environmental sensors there is a detection unit, which is designed to detect objects in the data recorded by the corresponding environmental sensor in order to generate object detection results, a fusion unit, which is designed to fuse the data detected by the different environmental sensors in order to generate fused sensor data, and a determination unit which is designed for at least one of the different environmental sensors inadequacies in the detection of objects in data detected by the corresponding environmental sensor based on the Object detection results and the fused sensor data.

Somit wird ein Steuergerät zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten angegeben, mit welchem die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten auf einfache Art und Weise erhöht werden kann. Insbesondere wird dabei ein Steuergerät angegeben, welches ausgebildet ist, auf einfache Art und Weise Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten zu bestimmen. Diese Unzulänglichkeiten können anschließend beispielsweise beim Steuern von Fahrerassistenzsystemen des Kraftfahrzeuges und/oder von steuerbaren Funktionen des Kraftfahrzeuges sowie beim Trainieren des entsprechenden Algorithmus des maschinellen Lernens berücksichtigt werden. Hierdurch wiederum kann die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten erhöht werden.Thus, a control device for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle is specified, with which the safety when controlling functions of the motor vehicle based on objects detected in the data recorded by the environmental sensor is increased in a simple manner can be. In particular, a control device is specified which is designed to easily determine inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle. These shortcomings can then be taken into account, for example, when controlling driver assistance systems of the motor vehicle and/or controllable functions of the motor vehicle, as well as when training the corresponding machine learning algorithm. This in turn can increase the safety when controlling functions of the motor vehicle based on objects detected in the data recorded by the environmental sensor.

In einer Ausführungsform ist die Bestimmungseinheit weiter ausgebildet, die fusionierten Sensordaten zu clustern. Dies hat den Vorteil, dass die Unzulänglichkeiten auf einfache Art und Weise bestimmt werden können, ohne das aufwendige und ressourcenintensive Funktionen vonnöten sind. Zudem kann hierdurch beispielsweise auch auf einfache Art und Weise überprüft werden, ob die erkannten Unzulänglichkeiten tatsächlich auch im Erfassungsbereich des entsprechenden Umgebungssensor liegen, ohne dass aufwendige und ressourcenintensive Funktionen vonnöten sind.In one embodiment, the determination unit is further designed to cluster the merged sensor data. This has the advantage that the inadequacies can be determined in a simple way, without the need for complex and resource-intensive functions. In addition, it can also be easily checked, for example, whether the identified inadequacies are actually within the detection range of the corresponding environmental sensor, without the need for complex and resource-intensive functions.

Zudem kann das Steuergerät weiter einen Speicher zum, für jeden des wenigstens einen Umgebungssensor, Speichern der Unzulänglichkeiten bei der Detektion von Objekten in von dem entsprechenden Umgebungssensor erfassten Daten aufweisen. Dass die Unzulänglichkeiten abgespeichert werden, hat dabei den Vorteil, dass diese anschließend zur Erzeugung von zusätzlichen Trainingsdaten zum Trainieren des entsprechenden Algorithmus des maschinellen Lernens und/oder während der Serienfertigung beziehungsweise der Fertigung weiterer Kraftfahrzeuge desselben Typs mit derselben Anordnung von Umgebungssensoren zur Verfügung stehen, ohne dass zunächst jeweils wiederum neue Daten gesammelt beziehungsweise entsprechende Testfahrten vorgenommen werden müssen. Zudem können die gespeicherten Daten zum Testen und Validieren des entsprechenden Algorithmus des maschinellen Lernens herangezogen werden.In addition, the control device can further have a memory for storing, for each of the at least one environmental sensor, the inadequacies in the detection of objects in data recorded by the corresponding environmental sensor. The fact that the inadequacies are saved has the advantage that they are then available for generating additional training data for training the corresponding machine learning algorithm and / or during series production or the production of further motor vehicles of the same type with the same arrangement of environmental sensors, without that new data must first be collected or corresponding test drives must be carried out. In addition, the stored data can be used to test and validate the corresponding machine learning algorithm.

Mit einer weiteren Ausführungsform der Erfindung wird auch ein System zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten angegeben, wobei das System ein obenstehend beschriebenes Steuergerät zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten und unterschiedliche Umgebungssensoren des Kraftfahrzeuges aufweist.A further embodiment of the invention also provides a system for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle, wherein the system includes a control device described above for determining inadequacies in the detection of objects in an environmental sensor Motor vehicle recorded data and different environmental sensors of the motor vehicle.

Somit wird ein System zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten angegeben, mit welchem die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten auf einfache Art und Weise erhöht werden kann. Insbesondere weist das System dabei ein Steuergerät auf, welches ausgebildet ist, auf einfache Art und Weise Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten zu bestimmen. Diese Unzulänglichkeiten können anschließend beispielsweise beim Steuern von Fahrerassistenzsystemen des Kraftfahrzeuges und/oder von steuerbaren Funktionen des Kraftfahrzeuges sowie beim Trainieren des entsprechenden Algorithmus des maschinellen Lernens berücksichtigt werden. Hierdurch wiederum kann die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten erhöht werden.Thus, a system for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle is specified, with which the safety when controlling functions of the motor vehicle based on objects detected in the data recorded by the environmental sensor is increased in a simple manner can be. In particular, the system has a control device which is designed to easily determine inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle. These shortcomings can then be taken into account, for example, when controlling driver assistance systems of the motor vehicle and/or controllable functions of the motor vehicle, as well as when training the corresponding machine learning algorithm. This in turn can increase the safety when controlling functions of the motor vehicle based on objects detected in the data recorded by the environmental sensor.

Bei den unterschiedlichen Umgebungssensoren kann es sich ferner wiederum um einen Radar-Sensor, einen Lidar-Sensor und eine Videokamera handeln. Da gewöhnliche Kraftfahrzeuge und insbesondere autonom fahrende Kraftfahrzeuge für gewöhnlich bereits Radar-Sensoren, Lidar-Sensoren und Videokameras aufweisen, können diese hier genutzt werden, ohne dass aufwendige und kostspielige Anpassungen vonnöten wären.The different environmental sensors can also be a radar sensor, a lidar sensor and a video camera. Since ordinary motor vehicles and in particular autonomous motor vehicles usually already have radar sensors, lidar sensors and video cameras, these can be used here without the need for complex and costly adjustments.

Dabei, dass es sich bei den unterschiedlichen Umgebungssensoren um einen Radar-Sensor, einen Lidar-Sensor und eine Videokamera handelt, handelt es sich jedoch nur um eine mögliche Ausführungsform. Vielmehr können die unterschiedlichen Umgebungssensoren auch noch weitere, insbesondere bereits in das entsprechende Kraftfahrzeug verbaute Umgebungssensoren aufweisen, beispielsweise eine Nahbereichskamera.However, the fact that the different environmental sensors are a radar sensor, a lidar sensor and a video camera is only one possible embodiment. Rather, the different environmental sensors can also have additional environmental sensors, in particular already installed in the corresponding motor vehicle, for example a close-range camera.

Mit einer weiteren Ausführungsform der Erfindung wird außerdem auch ein Steuergerät zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten angegeben, wobei das Steuergerät eine Bereitstellungseinheit, welche ausgebildet ist, Informationen über Unzulänglichkeiten bei der Detektion von Objekten in von dem Umgebungssensor erfassten Daten bereitzustellen, wobei die Unzulänglichkeiten durch ein obenstehend beschriebenes Steuergerät zum Erkennen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten erkannt wurden, und eine Erzeugungseinheit, welche ausgebildet ist, Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens basierend auf den bereitgestellten Informationen über Unzulänglichkeiten zu erzeugen, aufweist.A further embodiment of the invention also provides a control device for generating training data for training a machine learning algorithm for detecting objects in data recorded by an environmental sensor of a motor vehicle ben, wherein the control device is a provision unit which is designed to provide information about inadequacies in the detection of objects in data recorded by the environmental sensor, the inadequacies being detected by a control device described above for detecting inadequacies in the detection of objects in an environmental sensor Data collected from the motor vehicle were recognized, and a generation unit which is designed to generate training data for training the machine learning algorithm based on the information provided about inadequacies.

Somit wird ein Steuergerät zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch wenigstens einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten angegeben, welches auf durch ein Steuergerät zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten, mit welchem die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten auf einfache Art und Weise erhöht werden kann, bestimmten Unzulänglichkeiten basiert. Insbesondere basiert das Steuergerät auf einem Steuergerät zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten, mit welchem auf einfache Art und Weise Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten bestimmt werden können. Diese Unzulänglichkeiten können anschließend insbesondere beim Trainieren des entsprechenden Algorithmus des maschinellen Lernens berücksichtigt werden. Hierdurch wiederum kann die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten erhöht werden.Thus, a control device for generating training data for training a machine learning algorithm for detecting objects in data recorded by at least one environmental sensor of a motor vehicle is specified, which is based on a control device for determining inadequacies in the detection of objects in by an environmental sensor of a motor vehicle recorded data, with which the safety when controlling functions of the motor vehicle can be easily increased based on objects detected in the data recorded by the environmental sensor, is based on certain inadequacies. In particular, the control device is based on a control device for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle, with which inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle can be determined in a simple manner. These shortcomings can then be taken into account, particularly when training the corresponding machine learning algorithm. This in turn can increase the safety when controlling functions of the motor vehicle based on objects detected in the data recorded by the environmental sensor.

Mit einer weiteren Ausführungsform der Erfindung wird außerdem auch ein Steuergerät zum Trainieren eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten angegeben, wobei das Steuergerät eine Bereitstellungseinheit, welche ausgebildet ist, Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten bereitzustellen, wobei die Trainingsdaten durch ein obenstehend beschriebenes Steuergerät zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten erzeugt wurden, und eine Trainingseinheit, welche ausgebildet ist, den Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten basierend auf den bereitgestellten Trainingsdaten zu trainieren, aufweist.With a further embodiment of the invention, a control device for training a machine learning algorithm for detecting objects in data recorded by an environmental sensor of a motor vehicle is also specified, the control device being a provision unit which is designed to receive training data for training the machine learning algorithm for detecting objects in data detected by an environmental sensor of a motor vehicle, the training data being generated by a control device described above for generating training data for training a machine learning algorithm for detecting objects in data detected by an environmental sensor of a motor vehicle, and one Training unit, which is designed to train the machine learning algorithm for detecting objects in data recorded by an environmental sensor of a motor vehicle based on the training data provided.

Somit wird ein Steuergerät zum Trainieren eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch wenigstens einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten angegeben, welches auf basierend auf durch ein Steuergerät zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten, mit welchem die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten auf einfache Art und Weise erhöht werden kann, bestimmten Unzulänglichkeiten erzeugten Trainingsdaten basiert. Insbesondere basiert das Steuergerät auf einem Steuergerät zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten, mit welchem auf einfache Art und Weise Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten bestimmt werden können. Diese Unzulänglichkeiten können anschließend insbesondere beim Trainieren des entsprechenden Algorithmus des maschinellen Lernens berücksichtigt werden. Hierdurch wiederum kann die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten erhöht werden.Thus, a control device for training a machine learning algorithm for detecting objects in data detected by at least one environmental sensor of a motor vehicle is specified, which is based on by a control device for determining inadequacies in the detection of objects in data detected by an environmental sensor of a motor vehicle , with which the safety when controlling functions of the motor vehicle can be increased in a simple manner based on objects detected in the data recorded by the environmental sensor, certain inadequacies generated training data. In particular, the control device is based on a control device for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle, with which inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle can be determined in a simple manner. These shortcomings can then be taken into account, particularly when training the corresponding machine learning algorithm. This in turn can increase the safety when controlling functions of the motor vehicle based on objects detected in the data recorded by the environmental sensor.

Mit einer weiteren Ausführungsform der Erfindung wird ferner auch ein Steuergerät zum Steuern wenigstens einer Funktion eines Kraftfahrzeuges basierend in durch einen Umgebungssensor des Kraftfahrzeuges erfassten Daten detektierten Objekten angegeben, wobei das Steuergerät eine erste Bereitstellungseinheit, welche ausgebildet ist, einen Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch einen Umgebungssensor erfassten Daten bereitzustellen, wobei der wenigstens eine Algorithmus des maschinellen Lernens durch ein obenstehend beschriebenes Steuergerät zum Trainieren eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten trainiert wurde, eine zweite Bereitstellungseinheit, welche ausgebildet ist, durch den Umgebungssensor erfasste Daten bereitzustellen, eine Detektionseinheit, welche ausgebildet ist, Objekte in den durch den Umgebungssensor erfassten Daten durch den Algorithmus des maschinellen Lernens zu detektieren, und eine Steuereinheit, welche ausgebildet ist, die wenigstens eine Funktion des Kraftfahrzeuges basierend auf den detektierten Objekten zu steuern, aufweist.With a further embodiment of the invention, a control device for controlling at least one function of a motor vehicle based on objects detected by an environmental sensor of the motor vehicle is also specified, wherein the control device has a first provision unit which is designed to use a machine learning algorithm for detecting Objects in data detected by an environmental sensor, wherein the at least one machine learning algorithm was trained by a control device described above for training a machine learning algorithm for detecting objects in data detected by an environmental sensor of a motor vehicle, a second provision unit, which is formed is to provide data detected by the environmental sensor, a detection unit which is designed to detect objects in the data detected by the environmental sensor by the machine learning algorithm, and a control unit which che is designed to control at least one function of the motor vehicle based on the detected objects.

Somit wird ein Steuergerät zum Steuern wenigstens einer Funktion eines Kraftfahrzeuges basierend auf in durch wenigstens einen Umgebungssensor des Kraftfahrzeuges erfassten Daten detektierten Objekten angegeben, welches auf durch ein Steuergerät zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten, mit welchem die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten auf einfache Art und Weise erhöht werden kann, bestimmten Unzulänglichkeiten basiert. Insbesondere basiert das Steuergerät auf einem Steuergerät zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten, mit welchem auf einfache Art und Weise Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten bestimmt werden können. Diese Unzulänglichkeiten können anschließend insbesondere beim Trainieren des entsprechenden Algorithmus des maschinellen Lernens berücksichtigt werden. Hierdurch wiederum kann die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten erhöht werden.Thus, a control device for controlling at least one function of a motor vehicle based on objects detected in data detected by at least one environmental sensor of the motor vehicle is specified, which is based on a control device for determining inadequacies in the detection of objects in data detected by an environmental sensor of a motor vehicle which the safety when controlling functions of the motor vehicle can be easily increased based on objects detected in the data recorded by the environmental sensor, is based on certain inadequacies. In particular, the control device is based on a control device for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle, with which inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle can be determined in a simple manner. These shortcomings can then be taken into account, particularly when training the corresponding machine learning algorithm. This in turn can increase the safety when controlling functions of the motor vehicle based on objects detected in the data recorded by the environmental sensor.

Zusammenfassend ist festzustellen, dass mit der vorliegenden Erfindung ein Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in durch von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten angegeben wird, mit welchem die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten auf einfache Art und Weise erhöht werden kann.In summary, the present invention provides a method for determining inadequacies in the detection of objects in data detected by an environmental sensor of a motor vehicle, with which the safety in controlling functions of the motor vehicle is based on the data detected by the environmental sensor Data detected objects can be easily increased.

Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmalen der Erfindung.Further possible refinements, further developments and implementations of the invention also include combinations of features of the invention described previously or below with regard to the exemplary embodiments that are not explicitly mentioned.

Kurze Beschreibung der ZeichnungenBrief description of the drawings

Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung ein Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in durch von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten anzugeben, mit welchem die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten auf einfache Art und Weise erhöht werden kann.. The accompanying drawings are intended to provide further understanding of embodiments of the invention. They illustrate embodiments and, in connection with the description of the explanation of principles and concepts of the invention, serve to specify a method for determining inadequacies in the detection of objects in data acquired by an environmental sensor of a motor vehicle, with which the safety when controlling functions of the motor vehicle can be easily increased based on objects detected in the data recorded by the environmental sensor.

Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die dargestellten Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.Other embodiments and many of the advantages mentioned arise with regard to the drawings. The illustrated elements of the drawings are not necessarily shown to scale to one another.

Es zeigen:

  • 1 zeigt ein Flussdiagramm eines Verfahrens zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten gemäß Ausführungsformen der Erfindung; und
  • 2 zeigt ein schematisches Blockschaltbild eines Steuergerätes zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten gemäß Ausführungsformen der Erfindung.
Show it:
  • 1 shows a flowchart of a method for determining inadequacies in the detection of objects in data acquired by an environmental sensor of a motor vehicle according to embodiments of the invention; and
  • 2 shows a schematic block diagram of a control device for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle according to embodiments of the invention.

In den Figuren der Zeichnungen bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile oder Komponenten, soweit nichts Gegenteiliges angegeben ist.In the figures of the drawings, the same reference numerals designate the same or functionally identical elements, parts or components, unless otherwise stated.

1 zeigt ein Flussdiagramm eines Verfahrens zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten 1 gemäß Ausführungsformen der Erfindung. 1 shows a flowchart of a method for determining inadequacies in the detection of objects in data 1 recorded by an environmental sensor of a motor vehicle according to embodiments of the invention.

Als autonom fahrende Kraftfahrzeuge werden allgemein Kraftfahrzeuge bezeichnet, welche ohne Eingreifen eines Fahrers beziehungsweise Benutzers fahren, steuern und einparken können. Dabei weisen autonom fahrende Kraftfahrzeuge für gewöhnlich Applikationen auf, welche ausgebildet sind, Daten über eine Umgebung des Kraftfahrzeuges auszuwerten und Funktionen des Kraftfahrzeuges basierend auf der Auswertung zu steuern. Wichtig ist dabei, dass das autonom fahrende Kraftfahrzeug und insbesondere die Funktionen des autonom fahrenden Kraftfahrzeuges derart gesteuert werden, dass sämtliche Sicherheitsrisiken möglichst ausgeschlossen werden können.Autonomous motor vehicles are generally referred to as motor vehicles that can drive, steer and park without the intervention of a driver or user. Autonomously driving motor vehicles usually have applications that are designed to evaluate data about the surroundings of the motor vehicle and to control functions of the motor vehicle based on the evaluation. It is important that the autonomously driving motor vehicle and in particular the functions of the autonomously driving motor vehicle are controlled in such a way that all safety risks can be eliminated as far as possible.

Die Daten über die Umgebung des Kraftfahrzeuges werden dabei für gewöhnlich über unterschiedlichen Umgebungssensoren des Kraftfahrzeuges erfasst, wobei jeweils Objekte in den erfassten Sensordaten durch Anwendung entsprechend trainierter Algorithmen des maschinellen Lernens detektiert werden können. Als nachteilig erweist sich dabei jedoch, dass die unterschiedlichen Umgebungssensoren für gewöhnlich jeweils Unzulänglichkeiten aufweisen. Unter Unzulänglichkeit eines Sensors wird dabei die Eigenschaft des Sensors, bestimmten Anforderungen nicht zu genügen, verstanden. Derartige Unzulänglichkeiten können beispielsweise durch Umwelteinflüsse, beispielsweise bestimmte Wetterbedingungen, verursacht werden. So kann es beispielsweise vorkommen, dass eine Videokamera einzelne Objekte bei starker Sonneneinstrahlung nicht erfassen kann. Derartige Unzulänglichkeiten können jedoch beispielsweise auch darin resultieren beziehungsweise darauf basieren, dass reale beziehungsweise existierende Objekte in von einem Umgebungssensor erfassten Daten durch einen entsprechenden Algorithmen des maschinellen Lernens zum Detektieren von Objekten in den erfassten Daten nicht erkannt werden. Dies kann jedoch zu sicherheitskritischen Situationen beim Steuern des entsprechenden Kraftfahrzeuges führen. Insbesondere sind derartige Algorithmen des maschinellen Lernens dabei für gewöhnlich derart trainiert, dass diese keine Objekte, welche nicht auch in den zum Trainieren des entsprechenden Algorithmus des maschinellen Lernens enthalten beziehungsweise dargestellt waren, detektieren.The data about the surroundings of the motor vehicle are usually recorded via different environmental sensors of the motor vehicle, with objects in each of the detected Sensor data can be detected by using appropriately trained machine learning algorithms. However, the disadvantage is that the different environmental sensors usually have inadequacies. The inadequacy of a sensor is understood to mean the property of the sensor not meeting certain requirements. Such inadequacies can be caused, for example, by environmental influences, for example certain weather conditions. For example, it may happen that a video camera cannot capture individual objects in strong sunlight. However, such inadequacies can also result, for example, or be based on the fact that real or existing objects in data recorded by an environmental sensor are not recognized by a corresponding machine learning algorithm for detecting objects in the recorded data. However, this can lead to safety-critical situations when controlling the corresponding motor vehicle. In particular, such machine learning algorithms are usually trained in such a way that they do not detect any objects that were not also included or represented in the machine learning algorithm used to train the corresponding machine learning algorithm.

1 zeigt dabei ein Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten 1, wobei das Kraftfahrzeug eine Vielzahl von unterschiedlichen Umgebungssensoren aufweist. 1 shows a method for determining inadequacies in the detection of objects in data 1 recorded by an environmental sensor of a motor vehicle, the motor vehicle having a large number of different environmental sensors.

Insbesondere zeigt 1 ein Verfahren, welches einen Schritt 2 eines jeweiliges Erfassens von Daten durch jeden der unterschiedlichen Umgebungssensoren während eines Betriebs des Kraftfahrzeuges, einen Schritt 3 eines, für jeden der unterschiedlichen Umgebungssensoren, jeweiligen Detektierens von Objekten in den durch den entsprechenden Umgebungssensor erfassten Daten, um Objektdetektionsergebnisse zu erzeugen, einen Schritt 4 eines Fusionierens der durch die unterschiedlichen Umgebungssensoren erfassten Daten, um fusionierte Sensordaten zu erzeugen, und einen Schritt 5 eines, für wenigstens einen der unterschiedlichen Umgebungssensoren, Bestimmens von Unzulänglichkeiten bei der Detektion von Objekten durch den wenigstens einen Umgebungssensor in von dem entsprechenden Umgebungssensor erfassten Daten basierend auf den Objektdetektionsergebnissen und den fusionierten Sensordaten aufweist.In particular shows 1 a method which includes a step 2 of each acquiring data by each of the different environmental sensors during operation of the motor vehicle, a step 3 of, for each of the different environmental sensors, each detecting objects in the data acquired by the corresponding environmental sensor in order to obtain object detection results generate, a step 4 of merging the data detected by the different environmental sensors to generate fused sensor data, and a step 5 of, for at least one of the different environmental sensors, determining inadequacies in the detection of objects by the at least one environmental sensor in the corresponding environmental sensor has collected data based on the object detection results and the fused sensor data.

Der Schritt 5 des Bestimmens von Unzulänglichkeiten bei der Detektion von Objekten durch den wenigstens einen Umgebungssensor in von dem entsprechenden Umgebungssensor erfassten Daten basierend auf den Objektdetektionsergebnissen und den fusionierten Sensordaten weist dabei insbesondere ein Vergleichen von in durch von einem Umgebungssensor erfassten Daten detektierten Objekten mit in durch von einem anderen, unterschiedlichen Umgebungssensor erfassten Daten detektierten Objekten auf.The step 5 of determining inadequacies in the detection of objects by the at least one environmental sensor in data recorded by the corresponding environmental sensor based on the object detection results and the fused sensor data in particular involves comparing objects detected in data detected by an environmental sensor with in objects detected by another, different environmental sensor.

Somit können auf einfache Art und Weise Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten bestimmt werden. Diese Unzulänglichkeiten können anschließend beispielsweise beim Steuern von Fahrerassistenzsystemen des Kraftfahrzeuges und/oder von steuerbaren Funktionen des Kraftfahrzeuges sowie beim Trainieren des entsprechenden Algorithmus des maschinellen Lernens berücksichtigt werden. Hierdurch wiederum kann die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten erhöht werden.Inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle can thus be determined in a simple manner. These shortcomings can then be taken into account, for example, when controlling driver assistance systems of the motor vehicle and/or controllable functions of the motor vehicle, as well as when training the corresponding machine learning algorithm. This in turn can increase the safety when controlling functions of the motor vehicle based on objects detected in the data recorded by the environmental sensor.

Insgesamt wird somit ein Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten 1 angegeben, mit welchem die Sicherheit beim Steuern von Funktionen des Kraftfahrzeuges basierend auf in den von dem Umgebungssensor erfassten Daten detektierten Objekten auf einfache Art und Weise erhöht werden kann.Overall, a method for determining inadequacies in the detection of objects in data 1 recorded by an environmental sensor of a motor vehicle is thus specified, with which the safety when controlling functions of the motor vehicle based on objects detected in the data recorded by the environmental sensor in a simple manner and way can be increased.

Die Sensordaten können dabei insbesondere während Testfahrten mit dem autonom fahrenden Kraftfahrzeug erfasst werden, wobei die Unzulänglichkeiten der einzelnen Sensoren basierend auf den während der Testfahrten erfassten Sensordaten bestimmt werden können. So kann es beispielsweise vorkommen, dass eine Videokamera während einer Testfahrt ein Objekt aufgrund starker Sonneneinstrahlung nicht erkennt, beziehungsweise erfassen kann, wohingegen dasselbe Objekt durch einen Radar-Sensor zuverlässig erfasst wird.The sensor data can be recorded in particular during test drives with the autonomously driving motor vehicle, whereby the inadequacies of the individual sensors can be determined based on the sensor data recorded during the test drives. For example, it may happen that a video camera is unable to detect or detect an object during a test drive due to strong sunlight, whereas the same object is reliably detected by a radar sensor.

Zudem entfallen aufwendige und kostspielige manuelle Verfahren zum Bestimmen der Unzulänglichkeiten.In addition, complex and costly manual procedures for determining deficiencies are no longer necessary.

Der Schritt 3 des Detektierens von Objekten kann dabei ferner auch ein entsprechendes Klassifizieren der detektierten Objekte aufweisen, wobei die entsprechenden Klassifizierungen jeweils beim Bestimmen der Unzulänglichkeiten in Schritt 5 herangezogen werden können.Step 3 of detecting objects can also include a corresponding classification of the detected objects, whereby the corresponding classifications can be used when determining the deficiencies in step 5.

Der Schritt 5 des, für wenigstens einen der unterschiedlichen Umgebungssensoren, Bestimmens von Unzulänglichkeiten bei der Detektion von Objekten in von dem entsprechenden Umgebungssensor erfassten Daten basierend auf den Objektdetektionsergebnissen und den fusionierten Sensordaten weist dabei weiter ein Clustern der fusionierten Sensordaten auf.The step 5 of, for at least one of the different environmental sensors, determining inadequacies in the detection of Objects in data recorded by the corresponding environmental sensor based on the object detection results and the fused sensor data further comprises clustering of the fused sensor data.

Gemäß den Ausführungsformen der 1 erfolgt das Clustern der fusionierten Sensordaten dabei basierend auf den erkannten Objekten, wobei die erkannten Objekte jeweils basierend auf der Anzahl und der Art von Umgebungssensoren, in deren erfassten Daten durch Anwenden des jeweiligen Algorithmus des maschinellen Lernens, das entsprechende Objekt detektiert wurde, in Cluster eingeteilt werden.According to the embodiments of 1 The clustering of the merged sensor data takes place based on the detected objects, with the detected objects being divided into clusters based on the number and type of environmental sensors in whose recorded data the corresponding object was detected by applying the respective machine learning algorithm become.

Wie 1 weiter zeigt, weist das Verfahren zudem einen Schritt 6 eines jeweiligen Speicherns der Unzulänglichkeiten bei der Detektion von Objekten in von dem entsprechenden Umgebungssensor erfassten Daten für jeden des wenigstens einen Umgebungssensors auf.How 1 further shows, the method also has a step 6 of each storing the inadequacies in the detection of objects in data recorded by the corresponding environmental sensor for each of the at least one environmental sensor.

Die Daten können dabei insbesondere im Messdatenformat (Measurement data format) abgespeichert werden.The data can be saved in particular in measurement data format.

Gemäß den Ausführungsformen der 1 handelt es sich bei den unterschiedlichen Umgebungssensoren wiederum um einen Radar-Sensor, einen Lidar-Sensor und eine Videokamera.According to the embodiments of 1 The different environmental sensors are a radar sensor, a lidar sensor and a video camera.

Dabei können die jeweiligen bestimmten Unzulänglichkeiten ferner anschließend insbesondere dazu genutzt werden, neue Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch den entsprechenden Sensor erfassten Daten zu erzeugen. Der Algorithmus des maschinellen Lernens kann dabei, beispielsweise basierend auf entsprechenden gelabelten Trainingsdaten, bereits vortrainiert sein. Der entsprechende Algorithmus des maschinellen Lernens beziehungsweise die Robustheit und Genauigkeit des Algorithmus des maschinellen Lernens kann dabei durch (Nach- )Trainieren des Algorithmus des maschinellen Lernens basierend auf den entsprechenden bestimmten Unzulänglichkeiten verbessert werden, wodurch Sicherheitsrisiken beim Steuern eines autonom fahrenden Kraftfahrzeuges beziehungsweise von Funktionen eines autonom fahrenden Kraftfahrzeuges basierend auf durch den entsprechenden Algorithmus des maschinellen Lernens erfassten Objekten minimiert werden können.The respective specific deficiencies can then be used in particular to generate new training data for training the machine learning algorithm to detect objects in data recorded by the corresponding sensor. The machine learning algorithm can already be pre-trained, for example based on corresponding labeled training data. The corresponding machine learning algorithm or the robustness and accuracy of the machine learning algorithm can be improved by (re-)training the machine learning algorithm based on the corresponding specific shortcomings, thereby reducing safety risks when controlling an autonomous motor vehicle or the functions of a autonomously driving motor vehicle can be minimized based on objects detected by the corresponding machine learning algorithm.

Die erzeugten Trainingsdaten können dabei zudem in einem, insbesondere nicht-flüchtigen Speicher gespeichert werden, so dass diese anschließend beispielsweise zum Validieren des entsprechenden Algorithmus des maschinellen Lernens oder während der Serienfertigung von entsprechenden autonom fahrenden Kraftfahrzeugen herangezogen werden können.The training data generated can also be stored in a memory, in particular a non-volatile memory, so that they can then be used, for example, to validate the corresponding machine learning algorithm or during the series production of corresponding autonomous motor vehicles.

2 zeigt ein schematisches Blockschaltbild eines Systems zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten 10 gemäß Ausführungsformen der Erfindung. 2 shows a schematic block diagram of a system for determining inadequacies in the detection of objects in data 10 acquired by an environmental sensor of a motor vehicle according to embodiments of the invention.

Gemäß den Ausführungsformen der 2 weist das System 10 dabei ein Steuergerät zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten 11 und unterschiedliche Umgebungssensoren 12 des Kraftfahrzeuges auf.According to the embodiments of 2 The system 10 has a control device for determining inadequacies in the detection of objects in data 11 recorded by an environmental sensor of a motor vehicle and different environmental sensors 12 of the motor vehicle.

Wie 2 zeigt, weist das Steuergerät 11 dabei wenigstens eine Erfassungseinheit 13, welche ausgebildet sind, während eines Betriebs des Kraftfahrzeuges jeweils Daten von jedem der unterschiedlichen Umgebungssensoren 12 zu erfassen, für jeden der unterschiedlichen Umgebungssensoren 12 jeweils eine Detektionseinheit 14, welche ausgebildet ist, Objekte in den durch den entsprechenden Umgebungssensor 12 erfassten Daten zu detektieren, um Objektdetektionsergebnisse zu erzeugen, eine Fusionierungseinheit 15, welche ausgebildet ist, die durch die unterschiedlichen Umgebungssensoren erfassten Daten zu fusionieren, um fusionierte Sensordaten zu erzeugen, und eine Bestimmungseinheit 16, welche ausgebildet ist, für wenigstens einen der unterschiedlichen Umgebungssensoren 11 Unzulänglichkeiten bei der Detektion von Objekten in von dem entsprechenden Umgebungssensor 12 erfassten Daten basierend auf den Objektdetektionsergebnissen und den fusionierten Sensordaten zu erkennen, auf.How 2 shows, the control device 11 has at least one detection unit 13, which are designed to detect data from each of the different environmental sensors 12 during operation of the motor vehicle, and for each of the different environmental sensors 12 there is a detection unit 14, which is designed to detect objects in the to detect data detected by the corresponding environmental sensor 12 to generate object detection results, a fusion unit 15 which is designed to fuse the data detected by the different environmental sensors to generate fused sensor data, and a determination unit 16 which is designed for at least one of the different environmental sensors 11 to detect inadequacies in the detection of objects in data acquired by the corresponding environmental sensor 12 based on the object detection results and the fused sensor data.

Bei der wenigstens einen Erfassungseinheit kann es sich dabei insbesondere um einen Empfänger, welcher ausgebildet ist, entsprechende Sensordaten zu empfangen, handeln. Die Detektionseinheiten, die Fusionierungseinheit und die Bestimmungseinheit können ferner jeweils beispielsweise basierend auf einem in einem Speicher hinterlegten und durch einen Prozessor ausführbaren Code realisiert werden.The at least one detection unit can in particular be a receiver which is designed to receive corresponding sensor data. The detection units, the fusion unit and the determination unit can also each be implemented, for example, based on a code stored in a memory and executable by a processor.

Gemäß den Ausführungsformen der 2 ist die Bestimmungseinheit 16 wiederum ausgebildet, die fusionierten Sensordaten zu clustern.According to the embodiments of 2 the determination unit 16 is in turn designed to cluster the merged sensor data.

Wie zudem zu erkennen ist, weist das Steuergerät 11 weiter auch einen Speicher 17 zum, für jeden des wenigstens einen Umgebungssensor, Speichern der Unzulänglichkeiten bei der Detektion von Objekten in von dem entsprechenden Umgebungssensor erfassten Daten, auf.As can also be seen, the control device 11 also has a memory 17 for storing the inadequacies in the detection for each of the at least one environmental sensor of objects in data recorded by the corresponding environmental sensor.

Bei dem Speicher kann es sich dabei insbesondere um einen nicht-flüchtigen Speicher handeln.The memory can in particular be a non-volatile memory.

Gemäß den Ausführungsformen der 2 werden in dem Speicher 17 zudem auch die während des Betriebs des Kraftfahrzeuges, insbesondere während entsprechenden Testfahrten erfassten Sensordaten und Informationen über die in diesen Sensordaten jeweils detektierten Objekte gespeichert.According to the embodiments of 2 The sensor data recorded during operation of the motor vehicle, in particular during corresponding test drives, and information about the objects detected in these sensor data are also stored in the memory 17.

Bei den unterschiedlichen Umgebungssensoren 12 handelt es sich ferner wiederum um einen Radar-Sensor, einen Lidar-Sensor und eine Videokamera.The different environmental sensors 12 are also a radar sensor, a lidar sensor and a video camera.

Zudem ist das System 10 und insbesondere das Steuergerät 11 ausgebildet, ein obenstehend beschriebenes Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten auszuführen.In addition, the system 10 and in particular the control device 11 is designed to carry out a method described above for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102012023746 A1 [0005]DE 102012023746 A1 [0005]

Claims (15)

Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten, wobei das Kraftfahrzeug eine Vielzahl von unterschiedlichen Umgebungssensoren aufweist, und wobei das Verfahren (1) folgende Schritte aufweist: - Während eines Betriebs des Kraftfahrzeuges, jeweils Erfassen von Daten durch jeden der unterschiedlichen Umgebungssensoren (2); - Für jeden der unterschiedlichen Umgebungssensoren, jeweils Detektieren von Objekten in den durch den entsprechenden Umgebungssensor erfassten Daten, um Objektdetektionsergebnisse zu erzeugen (3); - Fusionieren der durch die unterschiedlichen Umgebungssensoren erfassten Daten, um fusionierte Sensordaten zu erzeugen (4); und - Für wenigstens einen der unterschiedlichen Umgebungssensoren, Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in durch den entsprechenden Umgebungssensor erfassten Daten basierend auf den Objektdetektionsergebnissen und den fusionierten Sensordaten (5).Method for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle, wherein the motor vehicle has a plurality of different environmental sensors, and wherein the method (1) has the following steps: - During operation of the motor vehicle, data is collected by each of the different environmental sensors (2); - For each of the different environmental sensors, each detecting objects in the data acquired by the corresponding environmental sensor to generate object detection results (3); - Fusing the data collected by the different environmental sensors to generate fused sensor data (4); and - For at least one of the different environmental sensors, determining inadequacies in the detection of objects in data acquired by the corresponding environmental sensor based on the object detection results and the fused sensor data (5). Verfahren nach Anspruch 1, wobei der Schritt des, für wenigstens einen der unterschiedlichen Umgebungssensoren, Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in durch den entsprechenden Umgebungssensor erfassten Daten basierend auf den Objektdetektionsergebnissen und den fusionierten Sensordaten (5) ein Clustern der fusionierten Sensordaten aufweist.Procedure according to Claim 1 , wherein the step of, for at least one of the different environmental sensors, determining inadequacies in the detection of objects in data acquired by the corresponding environmental sensor based on the object detection results and the fused sensor data (5) comprises clustering the fused sensor data. Verfahren nach Anspruch 1 oder 2, wobei das Verfahren (1) weiter folgenden Schritt aufweist: - Für jeden des wenigstens einen Umgebungssensor, Speichern der Unzulänglichkeiten bei der Detektion von Objekten in durch den entsprechenden Umgebungssensor erfassten Daten (6).Procedure according to Claim 1 or 2 , wherein the method (1) further comprises the following step: - For each of the at least one environmental sensor, storing the inadequacies in the detection of objects in data (6) recorded by the corresponding environmental sensor. Verfahren nach einem der Ansprüche 1 bis 3, wobei es sich bei den unterschiedlichen Umgebungssensoren um einen Radar-Sensor, einen Lidar-Sensor und eine Videokamera handelt.Procedure according to one of the Claims 1 until 3 , where the different environmental sensors are a radar sensor, a lidar sensor and a video camera. Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten, wobei das Verfahren folgende Schritte aufweist: - Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in durch den Umgebungssensor erfassten Daten durch ein Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten nach einem der Ansprüche 1 bis 4; und - Erzeugen von Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens basierend auf den erkannten Unzulänglichkeiten.Method for generating training data for training a machine learning algorithm for detecting objects in data acquired by an environmental sensor of a motor vehicle, the method comprising the following steps: - determining inadequacies in the detection of objects in data acquired by the environmental sensor by a method for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle according to one of Claims 1 until 4 ; and - generating training data for training the machine learning algorithm based on the identified deficiencies. Verfahren zum Trainieren eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten, wobei das Verfahren folgende Schritte aufweist: - Erzeugen von Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens durch ein Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten nach Anspruch 5; und - Trainieren des Algorithmus des maschinellen Lernens basierend auf den erzeugten Trainingsdaten.Method for training a machine learning algorithm for detecting objects in data acquired by an environmental sensor of a motor vehicle, the method comprising the following steps: - generating training data for training the machine learning algorithm by a method for generating training data for training an algorithm of machine learning for detecting objects in data collected by an environmental sensor of a motor vehicle Claim 5 ; and - training the machine learning algorithm based on the generated training data. Verfahren zum Steuern wenigstens einer Funktion eines Kraftfahrzeuges basierend auf in durch einen Umgebungssensor des Kraftfahrzeuges erfassten Daten detektierten Objekten, wobei das Verfahren folgende Schritte aufweist: - Bereitstellen eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch den Umgebungssensor erfassten Daten, wobei der Algorithmus des maschinellen Lernens durch ein Verfahren zum Trainieren eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten nach Anspruch 6 trainiert wurde; - Erfassen von Daten durch den Umgebungssensor; - Detektieren von Objekten in den durch den Umgebungssensor erfassten Daten durch den Algorithmus des maschinellen Lernens; und - Steuern der wenigstens einen Funktion des Kraftfahrzeuges basierend auf den detektierten Objekten.Method for controlling at least one function of a motor vehicle based on objects detected in data recorded by an environmental sensor of the motor vehicle, the method comprising the following steps: - Providing a machine learning algorithm for detecting objects in data recorded by the environmental sensor, the algorithm of machine learning by a method for training a machine learning algorithm for detecting objects in data acquired by an environmental sensor of a motor vehicle Claim 6 was trained; - Collecting data through the environmental sensor; - Detecting objects in the data acquired by the environmental sensor through the machine learning algorithm; and - controlling the at least one function of the motor vehicle based on the detected objects. Steuergerät zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten, wobei das Kraftfahrzeug eine Vielzahl von unterschiedlichen Umgebungssensoren aufweist, und wobei das Steuergerät (11) wenigstens eine Erfassungseinheit (13), welche ausgebildet ist, während eines Betriebs des Kraftfahrzeuges jeweils Daten von jedem der unterschiedlichen Umgebungssensoren zu erfassen, für jeden der unterschiedlichen Umgebungssensoren jeweils eine Detektionseinheit (14), welche ausgebildet ist, Objekte in den durch den entsprechenden Umgebungssensor erfassten Daten zu detektieren, um Objektdetektionsergebnisse zu erzeugen, eine Fusionierungseinheit (15), welche ausgebildet ist, die durch die unterschiedlichen Umgebungssensoren erfassten Daten zu fusionieren, um fusionierte Sensordaten zu erzeugen, und eine Bestimmungseinheit (16), welche ausgebildet ist, für wenigstens einen der unterschiedlichen Umgebungssensoren Unzulänglichkeiten bei der Detektion von Objekten in durch den entsprechenden Umgebungssensor erfassten Daten basierend auf den Objektdetektionsergebnissen und den fusionierten Sensordaten zu erkennen, aufweist.Control device for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle, the motor vehicle having a plurality of different environmental sensors, and wherein the control device (11) has at least one detection unit (13), which is designed, during operation of the motor vehicle to record data from each of the different environmental sensors, for each of the different environmental sensors a detection unit (14), which is designed to detect objects in the data recorded by the corresponding environmental sensor in order to generate object detection results, a fusion unit (15) , which is designed to fuse the data recorded by the different environmental sensors in order to merge to generate sensor data, and a determination unit (16), which is designed for at least one of the different environmental sensors to detect inadequacies in the detection of objects in data recorded by the corresponding environmental sensor based on the object detection results and the fused sensor data. Steuergerät nach Anspruch 8, wobei die Bestimmungseinheit (16) ausgebildet ist, die fusionierten Sensordaten zu clustern.control unit Claim 8 , wherein the determination unit (16) is designed to cluster the merged sensor data. Steuergerät nach Anspruch 8 oder 9, wobei das Steuergerät (11) weiter einen Speicher (17) zum, für jeden des wenigstens einen Umgebungssensor, Speichern der Unzulänglichkeiten bei der Detektion von Objekten in durch den entsprechenden Umgebungssensor erfassten Daten aufweist.control unit Claim 8 or 9 , wherein the control device (11) further has a memory (17) for storing, for each of the at least one environmental sensor, the inadequacies in the detection of objects in data recorded by the corresponding environmental sensor. System zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten, wobei das System (10) ein Steuergerät zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten (11) nach einem der Ansprüche 8 bis 10 und unterschiedliche Umgebungssensoren (12) des Kraftfahrzeuges aufweist.System for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle, the system (10) comprising a control device for determining inadequacies in the detection of objects in data (11) recorded by an environmental sensor of a motor vehicle according to one of Claims 8 until 10 and different environmental sensors (12) of the motor vehicle. System nach Anspruch 11, wobei es sich bei den unterschiedlichen Umgebungssensoren (12) um einen Radar-Sensor, einen Lidar-Sensor und eine Videokamera handelt.System after Claim 11 , the different environmental sensors (12) being a radar sensor, a lidar sensor and a video camera. Steuergerät zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten, wobei das Steuergerät eine Bereitstellungseinheit, welche ausgebildet ist, Informationen über Unzulänglichkeiten bei der Detektion von Objekten in durch den Umgebungssensor erfassten Daten bereitzustellen, wobei die Unzulänglichkeiten durch ein Steuergerät zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in durch von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten nach einem der Ansprüche 8 bis 10 bestimmt wurden, und eine Erzeugungseinheit, welche ausgebildet ist, Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens basierend auf den bereitgestellten Informationen über Unzulänglichkeiten zu erzeugen, aufweist.Control device for generating training data for training a machine learning algorithm for detecting objects in data recorded by an environmental sensor of a motor vehicle, the control device being a provision unit which is designed to provide information about inadequacies in the detection of objects in data recorded by the environmental sensor , wherein the inadequacies by a control device for determining inadequacies in the detection of objects in data recorded by an environmental sensor of a motor vehicle according to one of Claims 8 until 10 were determined, and a generation unit which is designed to generate training data for training the machine learning algorithm based on the provided information about inadequacies. Steuergerät zum Trainieren eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten, wobei das Steuergerät eine Bereitstellungseinheit, welche ausgebildet ist, Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten bereitzustellen, wobei die Trainingsdaten durch ein Steuergerät zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten nach Anspruch 13 erzeugt wurden, und eine Trainingseinheit, welche ausgebildet ist, den Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten basierend auf den bereitgestellten Trainingsdaten zu trainieren, aufweist.Control device for training a machine learning algorithm for detecting objects in data detected by an environmental sensor of a motor vehicle, the control device being a provision unit which is designed to provide training data for training the machine learning algorithm for detecting objects in data detected by an environmental sensor of a motor vehicle To provide data, the training data being generated by a control device for generating training data for training a machine learning algorithm for detecting objects in data recorded by an environmental sensor of a motor vehicle Claim 13 were generated, and a training unit which is designed to train the machine learning algorithm for detecting objects in data recorded by an environmental sensor of a motor vehicle based on the training data provided. Steuergerät zum Steuern wenigstens einer Funktion eines Kraftfahrzeuges basierend auf in durch einen Umgebungssensor des Kraftfahrzeuges erfassten Daten detektierten Objekten, wobei das Steuergerät eine erste Bereitstellungseinheit, welche ausgebildet ist, einen Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch den Umgebungssensor erfassten Daten bereitzustellen, wobei der Algorithmus des maschinellen Lernens durch ein Steuergerät zum Trainieren eines Algorithmus des maschinellen Lernens zum Detektieren von Objekten in durch einen Umgebungssensor eines Kraftfahrzeuges erfassten Daten nach Anspruch 14 trainiert wurde, eine zweite Bereitstellungseinheit, welche ausgebildet ist, durch den Umgebungssensor erfasste Daten bereitzustellen, eine Detektionseinheit, welche ausgebildet ist, Objekte in den durch den Umgebungssensor erfassten Daten durch den Algorithmus des maschinellen Lernens zu detektieren, und eine Steuereinheit, welche ausgebildet ist, die wenigstens eine Funktion des Kraftfahrzeuges basierend auf den detektierten Objekten zu steuern, aufweist.Control device for controlling at least one function of a motor vehicle based on objects detected in data recorded by an environmental sensor of the motor vehicle, the control device having a first provision unit which is designed to provide a machine learning algorithm for detecting objects in data recorded by the environmental sensor, wherein the machine learning algorithm by a control device for training a machine learning algorithm for detecting objects in data recorded by an environmental sensor of a motor vehicle Claim 14 has been trained to provide a second provision unit, which is designed to provide data detected by the environmental sensor, a detection unit, which is designed to detect objects in the data detected by the environmental sensor by the machine learning algorithm, and a control unit, which is designed which has at least one function of controlling the motor vehicle based on the detected objects.
DE102022207101.8A 2022-07-12 2022-07-12 Method for determining inadequacies in the detection of objects in data acquired by an environmental sensor of a motor vehicle Pending DE102022207101A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102022207101.8A DE102022207101A1 (en) 2022-07-12 2022-07-12 Method for determining inadequacies in the detection of objects in data acquired by an environmental sensor of a motor vehicle
PCT/EP2023/069174 WO2024013162A1 (en) 2022-07-12 2023-07-11 Method for determining deficiencies in the detection of objects in data acquired by an environment sensor of a motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022207101.8A DE102022207101A1 (en) 2022-07-12 2022-07-12 Method for determining inadequacies in the detection of objects in data acquired by an environmental sensor of a motor vehicle

Publications (1)

Publication Number Publication Date
DE102022207101A1 true DE102022207101A1 (en) 2024-01-18

Family

ID=87340742

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022207101.8A Pending DE102022207101A1 (en) 2022-07-12 2022-07-12 Method for determining inadequacies in the detection of objects in data acquired by an environmental sensor of a motor vehicle

Country Status (2)

Country Link
DE (1) DE102022207101A1 (en)
WO (1) WO2024013162A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012023746A1 (en) 2012-12-04 2014-06-05 Connaught Electronics Ltd. Method for tracking target object in surrounding area of motor vehicle by driver assistance device, involves providing image of surrounding area by camera

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11592570B2 (en) * 2020-02-25 2023-02-28 Baidu Usa Llc Automated labeling system for autonomous driving vehicle lidar data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012023746A1 (en) 2012-12-04 2014-06-05 Connaught Electronics Ltd. Method for tracking target object in surrounding area of motor vehicle by driver assistance device, involves providing image of surrounding area by camera

Also Published As

Publication number Publication date
WO2024013162A1 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
DE102016219455B4 (en) Method and active infrastructure for checking a detection of the surroundings of a motor vehicle
EP2951804A1 (en) Creation of an environment model for a vehicle
DE102014106506A1 (en) Method for carrying out a diagnosis of a camera system of a motor vehicle, camera system and motor vehicle
DE102021128041A1 (en) IMPROVEMENT OF A VEHICLE NEURAL NETWORK
WO2020048669A1 (en) Method for determining a lane change indication of a vehicle, computer-readable storage medium, and vehicle
DE102018214979A1 (en) Method and system for improved object marking in sensor data
DE102018220114A1 (en) Device and method for detecting a sensor blockage of an environmental sensor
DE102021204687A1 (en) Process for scene interpretation of an environment of a vehicle
DE102020214596A1 (en) Method for generating training data for a recognition model for recognizing objects in sensor data of an environment sensor system of a vehicle, method for generating such a recognition model and method for controlling an actuator system of a vehicle
DE102022207101A1 (en) Method for determining inadequacies in the detection of objects in data acquired by an environmental sensor of a motor vehicle
EP3772017A1 (en) Rail signal detection for autonomous railway vehicles
DE102021201445A1 (en) Computer-implemented method for testing conformance between real and synthetic images for machine learning
DE102020215859A1 (en) Correction of images from a camera in rain, light and dirt
DE102020209987A1 (en) Device and method for processing environmental sensor data
DE102019127322A1 (en) Method for detecting objects in a vehicle environment, device for data processing, computer program product and computer-readable data carrier
DE102020001309A1 (en) Method for operating an electronic computing device for a motor vehicle, as well as an electronic computing device
DE102018219735A1 (en) Method and device for storing data for a vehicle
DE102022207617B3 (en) Method and monitoring device for controlling at least one vehicle function of a vehicle
WO2024013135A1 (en) Method for training a machine learning algorithm to assign a confidence value to each of a plurality of object detection results
DE102021209670B4 (en) Concept for monitoring a data fusion function of an infrastructure system
DE102018202356A1 (en) Method and device for checking a release of a journey for a vehicle
DE102022200139A1 (en) Process for optimizing the perception of the environment for a driving support system using additional reference sensors
DE102020003096A1 (en) Method for remote detection of objects in a front area of a vehicle, control device, detection device and vehicle
DE102021101717A1 (en) Method for providing merged data, assistance system and motor vehicle
DE102022104399A1 (en) Method and processor circuit for determining training data sets for training a machine learning model