DE102022110233A1

DE102022110233A1 - COMPUTER-IMPLEMENTED METHOD FOR SELECTING TRAINING DATA SETS FROM A VARIETY OF DATA SETS

Info

Publication number: DE102022110233A1
Application number: DE102022110233.5A
Authority: DE
Inventors: Alvaro Marcos-Ramiro; Michael Schmidt; Anas Al-Nuaimi; Johannes Niedermayer; Barbara Hilsenbeck
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2022-04-27
Filing date: 2022-04-27
Publication date: 2023-11-02

Abstract

Bereitgestellt wird ein computer-implementiertes Verfahren zur Auswahl von Trainingsdatensätzen aus einer Vielzahl von Datensätzen, wobei das Verfahren umfasst: Eingeben der Vielzahl von Datensätzen in ein Segmentierungsmodell, um je Datensatz ein Segmentierungsergebnis und/oder eine Unsicherheit des Segmentierungsergebnis zu erhalten, und/oder Eingeben der Vielzahl von Datensätzen in ein Objekterkennungsmodell, um je Datensatz ein Objekterkennungsergebnis und/oder eine Unsicherheit des Objekterkennungsergebnis zu erhalten, und Auswahl der Trainingsdatensätze anhand des Segmentierungsergebnis, der Unsicherheit des Segmentierungsergebnis, des Objekterkennungsergebnis und/oder der Unsicherheit des Objekterkennungsergebnis des jeweiligen Datensatzes unter Verwendung zumindest eines vorbestimmten Auswahlkriteriums.A computer-implemented method is provided for selecting training data sets from a plurality of data sets, the method comprising: entering the plurality of data sets into a segmentation model in order to obtain a segmentation result and/or an uncertainty of the segmentation result for each data set, and/or entering the plurality of data sets into an object recognition model in order to obtain an object recognition result and/or an uncertainty of the object recognition result for each data set, and selecting the training data sets based on the segmentation result, the uncertainty of the segmentation result, the object recognition result and/or the uncertainty of the object recognition result of the respective data set using at least one predetermined selection criterion.

Description

Die vorliegende Offenbarung betrifft computer-implementiertes Verfahren zur Auswahl von Trainingsdatensätzen aus einer Vielzahl von Datensätzen. Zusätzlich oder alternativ wird ein Trainingsverfahren für ein auf künstlicher Intelligenz beruhendes System, z.B. ein Fahrassistenzsystem, bereitgestellt, das die mit dem Verfahren ausgewählten Trainingsdatensätze verwendet. Zusätzlich oder alternativ wird eine Datenverarbeitungsvorrichtung bereitgestellt, die ausgestaltet ist, um das Verfahren und/oder das Trainingsverfahren zumindest teilweise auszuführen. Zusätzlich oder alternativ kann ein Kraftfahrzeug mit der Datenverarbeitungsvorrichtung bereitgestellt werden. Zusätzlich oder alternativ kann ein Computerprogramm bereitgestellt, das Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren und/oder das Trainingsverfahren zumindest teilweise auszuführen. Zusätzlich oder alternativ kann ein computerlesbares Medium bereitgestellt, das Befehle umfasst, die bei der Ausführung der Befehle durch einen Computer diesen veranlassen, das Verfahren und/oder das Trainingsverfahren zumindest teilweise auszuführen.The present disclosure relates to computer-implemented methods for selecting training data sets from a plurality of data sets. Additionally or alternatively, a training method is provided for a system based on artificial intelligence, e.g. a driving assistance system, which uses the training data sets selected using the method. Additionally or alternatively, a data processing device is provided which is designed to at least partially execute the method and/or the training method. Additionally or alternatively, a motor vehicle can be provided with the data processing device. Additionally or alternatively, a computer program can be provided which includes instructions which, when the program is executed by a computer, cause it to at least partially execute the method and/or the training method. Additionally or alternatively, a computer-readable medium may be provided that includes instructions that, when the instructions are executed by a computer, cause the computer to at least partially execute the method and/or the training method.

Die Umgebungswahrnehmung ist eine Schlüsselkomponente des automatisierten, insbesondere autonomen, Fahrens, da diese das automatisierte Fahrzeug in die Lage versetzt, die Umgebung wahrzunehmen und so auf die Umgebung zu reagieren.Environmental perception is a key component of automated, especially autonomous, driving, as it enables the automated vehicle to perceive the environment and thus react to the environment.

Die Umgebungswahrnehmung ist auch ein grundlegender Bestandteil von Anwendungen wie Augmented Reality, wo Schlussfolgerungen über die Umgebung erforderlich sind, um zu wissen, wo die erzeugten Grafiken (z.B. Pfeile, die anzeigen, wohin man fahren muss) realistisch eingefügt bzw. angezeigt werden sollen.Environmental perception is also a fundamental part of applications such as augmented reality, where inferences about the environment are required to know where to realistically insert or display the generated graphics (e.g. arrows indicating where to go).

Systeme des maschinellen Lernens sind der aktuelle Stand der Technik für die Umgebungswahrnehmung, die aus gelabelten bzw. markierten Daten lernen. Oftmals existiert eine Menge an aufgezeichneten, nicht gelabelten Daten. Daher ist es von entscheidender Bedeutung, zu wissen, welche Daten aus der Vielzahl der nicht gelabelten Daten für das Lernen gelabelten werden müssen. Dies spart nicht nur Kosten für das Labeln der Daten, sondern erhöht auch die Leistung von Systemen für maschinelles Lernen, da ausgewogenere Trainingsdatensätze entstehen. Daher ist es wichtig, gute Strategien für die Trainingsdatenauswahl zu finden.Machine learning systems are the current state of the art for environmental perception that learn from labeled data. Often there is a lot of recorded, unlabeled data. Therefore, it is crucial to know which data from the large number of unlabeled data needs to be labeled for learning. This not only saves costs associated with labeling the data, but also increases the performance of machine learning systems by creating more balanced training data sets. Therefore, it is important to find good strategies for training data selection.

In diesem Zusammenhang beschreibt Yawar (Siddiqui, Yawar, Julien Valentin, and Matthias Nießner. „Viewal: Active learning with viewpoint entropy for semantic segmentation.“ Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020. Abrufbar unter: https://openaccess.thecvf.com/content_CVPR_2020/html/Siddiqui_ViewAL_Active_L earning_With_Viewpoint_Entropy_for_Semantic_Segmentation_CVPR_2020_paper. html) eine aktive Lernstrategie für die semantische Segmentierung, die die Konsistenz der Sichtweisen in Multiview-Datensätzen ausnutzt. Die Kernidee ist, dass Inkonsistenzen in den Modellvorhersagen zwischen den Blickwinkeln ein sehr zuverlässiges Maß für die Unsicherheit darstellen und das Modell dazu ermutigen, unabhängig vom Blickwinkel, unter dem die Objekte beobachtet werden, gut abzuschneiden. Um dieses Unsicherheitsmaß einzubeziehen, wird eine Formulierung der Blickwinkelentropie eingeführt, die die Grundlage der aktiven Lernstrategie bildet. Darüber hinaus werden Unsicherheitsberechnungen auf Superpixel-Ebene vorgeschlagen, die das inhärent lokalisierte Signal bei der Segmentierungsaufgabe ausnutzen und die Kosten für die Beschriftung direkt senken. Diese Kombination aus Blickpunktentropie und der Verwendung von Superpixeln ermöglicht eine effiziente Auswahl von Proben (engl. samples), die für die Verbesserung des Netzwerks sehr informativ sind. Es wird gezeigt, dass die vorgeschlagene aktive Lernstrategie nicht nur vergleichsweise gute Modelle für die gleiche Menge an erforderlichen beschrifteten bzw. gelabelten Daten liefert, sondern auch den Aufwand für das Labeln erheblich reduziert. Schließlich wird in Yawar gezeigt, dass die Beschriftung mit Superpixeln die gleiche Qualität der Grundwahrheit liefert wie die Beschriftung ganzer Bilder, aber 25 % weniger Zeit erfordert.In this context, Yawar (Siddiqui, Yawar, Julien Valentin, and Matthias Nießner. “Viewal: Active learning with viewpoint entropy for semantic segmentation.” Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020. Available at: https An active learning strategy for semantic segmentation that exploits the consistency of viewpoints in multiview datasets. The core idea is that inconsistencies in the model predictions between viewing angles provide a very reliable measure of uncertainty and encourage the model to perform well regardless of the viewing angle at which the objects are observed. To include this uncertainty measure, a formulation of viewpoint entropy is introduced, which forms the basis of the active learning strategy. In addition, superpixel-level uncertainty calculations are proposed, which exploit the inherently localized signal in the segmentation task and directly reduce the cost of labeling. This combination of viewpoint entropy and the use of superpixels enables efficient selection of samples that are very informative for improving the network. It is shown that the proposed active learning strategy not only provides comparatively good models for the same amount of required labeled data, but also significantly reduces the effort required for labeling. Finally, Yawar shows that superpixel labeling provides the same ground truth quality as whole image labeling, but requires 25% less time.

Jiwoong (Choi, Jiwoong, et al. „Active learning for deep object detection via probabilistic modeling.“ Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021. Abrufbar unter: https://arxiv.org/abs/2103.16130) führt aus, dass aktives Lernen darauf abzielt, die Kosten für das Labeln zu reduzieren, indem nur die informativsten Samples eines Datensatzes ausgewählt werden. Es gibt jedoch nur wenige Arbeiten, die sich mit aktivem Lernen für die Objekterkennung befassen. Die meisten dieser Methoden basieren auf mehreren Modellen oder sind einfache Erweiterungen von Klassifizierungsmethoden, sodass die Informativität eines Bildes nur anhand des Klassifizierungskopfes geschätzt wird. Daher wird ein anderer Ansatz für aktives Lernen zur Objekterkennung vorgeschlagen. Der Ansatz basiert auf Mixed-Density-Netzwerken, die eine probabilistische Verteilung für jede Lokalisierungs- und Klassifikationskopfausgabe schätzen. Es wird explizit die aleatorische und epistemische Unsicherheit in einem einzigen Vorwärtsdurchlauf eines einzigen Modells geschätzt. Die Methode verwendet eine Bewertungsfunktion, die diese beiden Arten von Unsicherheiten für beide Köpfe zusammenfasst, um den Informationsgehalt eines jeden Bildes zu ermitteln.Jiwoong (Choi, Jiwoong, et al. “Active learning for deep object detection via probabilistic modeling.” Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021. Available at: https://arxiv.org/abs/2103.16130) states that active learning aims to reduce the cost of labeling by selecting only the most informative samples of a data set. However, there are few works that address active learning for object recognition. Most of these methods rely on multiple models or are simple extensions of classification methods, such that the informativeness of an image is estimated only from the classification head. Therefore, another active learning approach for object recognition is proposed. The approach is based on mixed-density networks that estimate a probabilistic distribution for each localization and classification head output. Aleatory and epistemic uncertainty is explicitly estimated in a single forward run of a single model. The method uses a scoring function that combines these two types of uncertainties for both heads to determine the information content of each image.

Die obigen Arbeiten betrachten jedoch jede Aufgabe separat, um relevante Frames bzw. Samples für das Labeln zu finden (z.B. Analyse von semantischen Segmentierungsmodellen, um Frames für die semantische Segmentierung zu finden, oder Analyse von Objekterkennungsmodell, um Frames für die Objekterkennung zu finden).However, the above works consider each task separately to find relevant frames or samples for labeling (e.g. analyzing semantic segmentation models to find frames for semantic segmentation or analyzing object recognition models to find frames for object recognition).

Vor dem Hintergrund dieses Standes der Technik besteht die Aufgabe der vorliegenden Offenbarung darin, eine Vorrichtung und ein Verfahren anzugeben, welche jeweils geeignet sind, zumindest die oben genannten Nachteile des Standes der Technik zu überwinden.Against the background of this prior art, the object of the present disclosure is to provide a device and a method which are each suitable for overcoming at least the above-mentioned disadvantages of the prior art.

Gelöst wird die Aufgabe durch die Merkmale des unabhängigen Anspruchs. Die Unteransprüche haben bevorzugte Weiterbildungen der Erfindung zum Inhalt.The task is solved by the features of the independent claim. The subclaims contain preferred developments of the invention.

Danach wird die Aufgabe durch ein computer-implementiertes Verfahren zur Auswahl von Trainingsdatensätzen aus einer Vielzahl von Datensätzen gelöst. Computerimplementiert bedeutet, dass einer, manche oder alle Schritte des Verfahrens mittels einem Computer bzw. einer Datenverarbeitungsvorrichtung ausgeführt werden können.The task is then solved using a computer-implemented method for selecting training data sets from a large number of data sets. Computer-implemented means that one, some or all steps of the method can be carried out using a computer or a data processing device.

Das Verfahren umfasst ein Eingeben der Vielzahl von Datensätzen in ein Segmentierungsmodell, um je Datensatz ein Segmentierungsergebnis und/oder eine Unsicherheit des Segmentierungsergebnis zu erhalten, und/oder Eingeben der Vielzahl von Datensätzen in ein Objekterkennungsmodell, um je Datensatz ein Objekterkennungsergebnis und/oder eine Unsicherheit des Objekterkennungsergebnis zu erhalten.The method includes entering the plurality of data sets into a segmentation model in order to obtain a segmentation result and/or an uncertainty of the segmentation result for each data set, and/or entering the plurality of data sets into an object recognition model in order to obtain an object recognition result and/or an uncertainty for each data set the object detection result.

Das Verfahren umfasst ferner eine Auswahl der Trainingsdatensätze anhand des Segmentierungsergebnis, der Unsicherheit des Segmentierungsergebnis, des Objekterkennungsergebnis und/oder der Unsicherheit des Objekterkennungsergebnis des jeweiligen Datensatzes unter Verwendung zumindest eines vorbestimmten Auswahlkriteriums.The method further includes a selection of the training data sets based on the segmentation result, the uncertainty of the segmentation result, the object recognition result and/or the uncertainty of the object recognition result of the respective data set using at least one predetermined selection criterion.

Mit dem Verfahren können die Ergebnisse und Unsicherheiten von semantischen Segmentierungs- und Objekterkennungsmodell zusammen mit verschiedenen Heuristiken kombiniert werden, um die relevantesten Frames bzw. Datensätze als Trainingsdaten auszuwählen, die als nächstes beschriftet bzw. gelabelt werden sollen.The method can be used to combine the results and uncertainties of semantic segmentation and object recognition models together with various heuristics to select the most relevant frames or data sets as training data that should be labeled next.

Nachfolgend werden mögliche Weiterbildungen des oben beschriebenen Verfahrens im Detail erläutert.Possible further developments of the method described above are explained in detail below.

Die Vielzahl von Datensätze kann jeweils ein Bild umfassen, das von einer an einem Kraftfahrzeug installierten Kamera aufgenommen wurden, deren Sichtfeld in einer äußeren Umgebung des Kraftfahrzeugs angeordnet ist.The plurality of data sets can each include an image that was recorded by a camera installed on a motor vehicle, the field of view of which is arranged in an external environment of the motor vehicle.

Bei dem Segmentierungsmodell kann es sich um ein semantisches Segmentierungsmodell handeln. Das Segmentierungsergebnis des semantischen Segmentierungsmodell kann ein semantisches Segmentierungsergebnis sein, wobei die Unsicherheit des Segmentierungsergebnis eine Unsicherheit des semantischen Segmentierungsergebnis sein kann.The segmentation model can be a semantic segmentation model. The segmentation result of the semantic segmentation model can be a semantic segmentation result, where the uncertainty of the segmentation result can be an uncertainty of the semantic segmentation result.

Unter Segmentierung kann vorliegend eine Form der Sensordatenverarbeitung verstanden werden, bei der inhaltlich zusammenhängenden Regionen durch Zusammenfassung benachbarter Pixel oder Voxel entsprechend einem bestimmten Homogenitätskriterium erzeugt werden. Das Ergebnis der Segmentierung ist die sog. Segmentierungskarte (engl. segmentation map). Bei der semantischen Segmentierung geht es darum, jeden einzelnen Datenpunkt einer Sensordatenrepräsentation einer Klasse zuzuordnen.In the present case, segmentation can be understood as a form of sensor data processing in which content-related regions are generated by combining neighboring pixels or voxels in accordance with a specific homogeneity criterion. The result of the segmentation is the so-called segmentation map. Semantic segmentation is about assigning each individual data point of a sensor data representation to a class.

Das Verfahren kann ein Bestimmten mittels dem semantischen Segmentierungsergebnis, ob zumindest eine vorbestimmte Klasse einen Teil des Bildes des jeweiligen Datensatzes belegt, der größer als ein vorbestimmter Grenzwert ist, umfassen. Das Verfahren kann ferner ein Auswählen derjenigen Datensätze der Vielzahl von Datensätze als Trainingsdatensätze umfassen, bei denen der von der vorbestimmten Klasse belegte Teil größer als der vorbestimmte Grenzwert ist.The method may include determining, by means of the semantic segmentation result, whether at least one predetermined class occupies a part of the image of the respective data set that is greater than a predetermined limit value. The method may further include selecting as training data sets those data sets of the plurality of data sets in which the portion occupied by the predetermined class is greater than the predetermined limit value.

Zur Auswahl der Trainingsdatensätze können folglich eine oder mehrere logische Bedingungen in Bezug auf die Fläche pro Klasse verwendet werden. Die auslösende Bedingung, die bestimmt, ob ein Frame bzw. Datensatz ausgewählt werden soll, kann demnach pro Klassenobjektbereich parametrisiert werden. Zum Beispiel kann eine solche Bedingung wie folgt lauten: „Wenn die Fläche der Fußgängerklasse größer als 1 % der gesamten Bildfläche ist, und die Fläche der Gebäudeklasse größer als 10% der Bildfläche ist, und die Fläche der Ampelklasse größer als 0,1 % der Bildfläche ist, dann ist die Bedingung wahr“. Dies kann z. B. verwendet werden, um automatisch städtische Gebiete mit Fußgängerzonen um Ampeln herum zu filtern.One or more logical conditions related to the area per class can therefore be used to select the training data sets. The triggering condition that determines whether a frame or data set should be selected can therefore be parameterized per class object area. For example, such a condition may be as follows: “If the area of the pedestrian class is greater than 1% of the total image area, and the area of the building class is greater than 10% of the image area, and the area of the traffic light class is greater than 0.1% of the is an image surface, then the condition is true.” This can e.g. For example, it can be used to automatically filter urban areas with pedestrian zones around traffic lights.

Das Verfahren kann ein Bestimmen einer Differenz zwischen zwei aufeinanderfolgend mittels der Kamera aufgenommenen Bilder umfassen, wobei dazu nach einem vorbestimmten Kriterium aus den Bildern herausgefilterte Regionen nicht berücksichtigt werden. Das Verfahren kann ein Auswählen derjenigen Datensätze der Vielzahl von Datensätze als Trainingsdatensätze, bei denen die Differenz zwischen den zwei aufeinanderfolgend mittels der Kamera aufgenommenen Bildern einen vorbestimmten Grenzwert übersteigt. Die Differenz kann für alle der Datensätze ermittelt werden. Denkbar ist, dass einer oder beide der aufeinander folgenden Datensätze als Trainingsdaten ausgewählt werden, bei denen die Differenz größer als der Grenzwert ist.The method can include determining a difference between two consecutive ones using the Include images recorded by the camera, regions filtered out of the images according to a predetermined criterion not being taken into account. The method can include selecting those data sets from the plurality of data sets as training data sets in which the difference between the two consecutive images recorded by the camera exceeds a predetermined limit value. The difference can be determined for all of the data sets. It is conceivable that one or both of the successive data sets are selected as training data for which the difference is greater than the limit value.

Es können also Situation und damit Trainingsdatensätze auf der Grundlage von Bildveränderungen bzw. basierend auf Abweichungen zwischen zwei aufeinanderfolgenden Bildern herausgefiltert werden. Die dabei herausgefilterten Bereiche bzw. Regionen können mit Hilfe der Ergebnisse eines bzw. des semantischen Segmentierungsmodells bestimmt werden. Auf diese Weise ist es möglich, Veränderungen bzw. die Differenz in gewünschten Bereichen des Bildes zu messen, während das Kraftfahrzeug nicht fährt bzw. steht (und somit in Situationen, in denen die Odometrie des Kraftfahrzeugs statisch ist). Auf diese Weise kann z. B. gemessen werden, wie stark sich die Fahrzeuge in der Umgebung des Kraftfahrzeugs bewegen und/oder ihr Aussehen verändern, während das Kraftfahrzeug steht. Die Veränderungsrate kann aufgezeichnet werden und kann mit einem Schwellenwert versehen werden, um Bilder und damit Datensätze als Trainingsdaten auszuwählen. Das Ziel kann z.B. darin bestehen, Fälle zu identifizieren, in denen das Kraftfahrzeug sich nicht bewegt bzw. steht. Regionen mit bewegten Objekten, wie z.B. Kraftfahrzeuge, können dazu beispielsweise herausgefiltert werden, um so nicht bei der Bestimmung der Differenz zwischen zwei aufeinander folgenden Bildern berücksichtigt zu werden. Es werden dann nur Regionen mit statischen Objekten berücksichtigt, sodass eine Situation, bei der das Kraftfahrzeug entlang einer Straße mit sich verändernder Umgebung (z.B. Häuser, Bäume, usw.) fährt, zu einer hohen Differenz führt, wohingegen eine Situation, bei der das Kraftfahrzeug an einer Ampel steht, an der die Umgebung unverändert bleibt und kreuzende Kraftfahrzeuge herausgefiltert werden, zu einer kleinen Differenz führt.The situation and thus training data sets can therefore be filtered out based on image changes or based on deviations between two successive images. The areas or regions filtered out can be determined using the results of a semantic segmentation model. In this way, it is possible to measure changes or the difference in desired areas of the image while the motor vehicle is not moving or is stationary (and thus in situations in which the odometry of the motor vehicle is static). In this way, e.g. B. it can be measured how much the vehicles in the area surrounding the motor vehicle move and/or change their appearance while the motor vehicle is stationary. The rate of change can be recorded and can be thresholded to select images and therefore data sets as training data. The goal can be, for example, to identify cases in which the motor vehicle is not moving or is stationary. For example, regions with moving objects, such as motor vehicles, can be filtered out so that they are not taken into account when determining the difference between two consecutive images. Only regions with static objects are then taken into account, so that a situation in which the motor vehicle is driving along a road with a changing environment (e.g. houses, trees, etc.) leads to a high difference, whereas a situation in which the motor vehicle Standing at a traffic light, where the surroundings remain unchanged and crossing motor vehicles are filtered out, leads to a small difference.

Das Verfahren kann ein Bestimmen, je Datensatz der Vielzahl von Datensätzen, einer Unsicherheit pro Klasse für zumindest eine vorbestimmte Klasse des semantischen Segmentierungsergebnis unter Berücksichtigung einer Fläche der Klasse in dem Segmentierungsergebnis umfassen. Das Verfahren kann ein Auswählen derjenigen Datensätze der Vielzahl von Datensätze als Trainingsdatensätze umfassen, bei denen die Unsicherheit pro Klasse für die zumindest eine vorbestimmte Klasse einen vorbestimmten Grenzwert übersteigt.The method may include determining, per data record of the plurality of data records, an uncertainty per class for at least one predetermined class of the semantic segmentation result, taking into account an area of the class in the segmentation result. The method may include selecting as training data sets those data sets of the plurality of data sets in which the uncertainty per class for the at least one predetermined class exceeds a predetermined limit.

Die Verwendung der Unsicherheit des Segmentierungsergebnis zur Auswahl von Trainingsdatensätzen ist im Allgemeinen aus dem Stand der Technik bekannt. So führt Kendall (Kendall, Alex, and Yarin Gal. „What uncertainties do we need in bayesian deep learning for computer vision?.“ Advances in neural information processing systems 30 (2017). Abrufbar unter: https://arxiv.org/abs/1703.04977) aus, dass es grundsätzlich zwei Hauptarten von Unsicherheit gibt, die man modellieren kann. Die aleatorische Unsicherheit erfasst das den Beobachtungen innewohnende Rauschen. Andererseits berücksichtigt die epistemische Unsicherheit die Unsicherheit im Modell - eine Unsicherheit, die bei ausreichender Datenmenge vernachlässigbar ist. Herkömmlich ist es schwierig, epistemische Unsicherheit in der Computer Vision zu modellieren, aber mit moderneren Bayes'schen Deep Learning Tools ist dies nun möglich. Kendall untersucht die Vorteile der Modellierung von epistemischer gegenüber aleatorischer Unsicherheit in Bayes'schen Deep-Learning-Modellen für computer-implementierte Sehaufgaben (engl. computer vision tasks). Zu diesem Zweck wird ein Bayesian Deep Learning-Rahmen (engl. Bayesian deep learning framework) vorgeschlagen, der inputabhängige aleatorische Unsicherheit mit epistemischer Unsicherheit kombiniert. Es werden Modelle mit diesem Framework mit semantischen Segmentierungs- und Tiefenregressionsaufgaben pro Pixel untersucht.The use of the uncertainty of the segmentation result to select training data sets is generally known from the prior art. This is how Kendall (Kendall, Alex, and Yarin Gal. “What uncertainties do we need in Bayesian deep learning for computer vision?” Advances in neural information processing systems 30 (2017). Available at: https://arxiv.org/ abs/1703.04977) states that there are basically two main types of uncertainty that can be modeled. The aleatoric uncertainty captures the noise inherent in the observations. On the other hand, epistemic uncertainty takes into account the uncertainty in the model - an uncertainty that is negligible given sufficient data. Traditionally, it is difficult to model epistemic uncertainty in computer vision, but with more modern Bayesian deep learning tools, this is now possible. Kendall investigates the benefits of modeling epistemic versus aleatoric uncertainty in Bayesian deep learning models for computer-implemented computer vision tasks. For this purpose, a Bayesian deep learning framework is proposed that combines input-dependent aleatoric uncertainty with epistemic uncertainty. Models using this framework with per-pixel semantic segmentation and depth regression tasks are examined.

Die Unsicherheit des gesamten Bildes, wie in Kendall verwendet, reicht jedoch nicht aus, um Bilder auszuwählen. Es gibt zum Beispiel zwei Fälle: (A) viele Klassen haben eine mittlere Unsicherheit (B) viele Klassen haben eine geringe Unsicherheit und ein einzelnes Objekt hat eine hohe Unsicherheit. Bei der Aggregation der Gesamtunsicherheit wird wahrscheinlich (A) gewählt, während (B) vorzuziehen ist, da es sich um eine eindeutigere Situation handelt.However, the uncertainty of the entire image, as used in Kendall, is not enough to select images. For example, there are two cases: (A) many classes have medium uncertainty (B) many classes have low uncertainty and a single object has high uncertainty. When aggregating overall uncertainty, (A) is likely to be chosen, while (B) is preferable as it is a clearer situation.

Um Instanzen von ungewöhnlichen Objekten zu finden, kann eine noch feinere Analyse der Unsicherheit erforderlich sein.Finding instances of unusual objects may require even finer uncertainty analysis.

Das Verfahren kann ein Bestimmen, je Datensatz der Vielzahl von Datensätzen, einer Unsicherheit des Segmentierungsergebnis je Bildpunkt des Bildes des jeweiligen Datensatzes umfassen. Das Verfahren kann ein Bestimmen einer akkumulierten Unsicherheit innerhalb einer Region des Bildes, die durch das Objekterkennungsergebnis bestimmt wird, durch Akkumulieren der Unsicherheit der Bildpunkte in der Region umfassen, wobei die jeweilige Unsicherheit nur von Bildpunkten berücksichtigt wird, die einer vorbestimmten Klasse zuzuordnen sind. Das Verfahren kann ein Auswählen derjenigen Datensätze der Vielzahl von Datensätze als Trainingsdatensätze, bei denen die akkumulierte Unsicherheit einen vorbestimmten Grenzwert übersteigt.The method can include determining, for each data set of the plurality of data sets, an uncertainty of the segmentation result per pixel of the image of the respective data set. The method may include determining an accumulated uncertainty within a region of the image determined by the object detection result by accumulating the uncertainty of the pixels in the region, taking into account the respective uncertainty of only pixels belonging to a predetermined class are in order. The method may include selecting as training data sets those data sets of the plurality of data sets in which the accumulated uncertainty exceeds a predetermined limit.

Die Ergebnisse des Objekterkennungsmodells können also zusammen mit der semantischen Segmentierungsunsicherheit wie folgt genutzt werden: (1) Die semantische Segmentierungsunsicherheit kann pro Bildpunkt extrahiert werden. (2) Die semantische Unsicherheit innerhalb einer Region, die durch die Ausgabe eines Objektdetektors bestimmt wird, kann akkumuliert werden, wobei die Unsicherheit in Verbindung mit Klassen, die nicht der Objekterkennungsklasse entsprechen, ignoriert wird.The results of the object recognition model can therefore be used together with the semantic segmentation uncertainty as follows: (1) The semantic segmentation uncertainty can be extracted per pixel. (2) The semantic uncertainty within a region determined by the output of an object detector can be accumulated, ignoring the uncertainty associated with classes that do not correspond to the object detection class.

Konkreter ausgedrückt, wenn der Objektdetektor beispielsweise ein Auto in einer bestimmten Region (die z.B. eine Bounding Box um das erkannte Objekt, hier das Auto sein kann) erkannt hat, wird nur die semantische Segmentierungsunsicherheit, die mit der Autoklasse verbunden ist, akkumuliert bzw. aufsummiert, während die Unsicherheit, die mit anderen Klassen innerhalb der Region verbunden ist (z.B. Straße, Gebäude usw.), ignoriert wird.More concretely, if the object detector has detected, for example, a car in a certain region (which can be, for example, a bounding box around the detected object, here the car), only the semantic segmentation uncertainty associated with the car class is accumulated or summed up , while ignoring the uncertainty associated with other classes within the region (e.g. road, building, etc.).

Mittels der semantischen Segmentierungskarte kann ermittelt werden, ob sich die durch das Objekterkennungsergebnis bestimmte Region auf einer Fahrbahn befindet, und die Region nur berücksichtigt wird, wenn ermittelt wird, dass sich diese auf der Fahrbahn befindet.The semantic segmentation map can be used to determine whether the region determined by the object recognition result is on a road and the region is only taken into account if it is determined that it is on the road.

Zusätzlich kann also die semantische Segmentierungsausgabe verwendet werden, um heuristisch zu bestimmen, ob sich ein Objekt auf der Straße befindet. Zum Beispiel kann, wenn der untere Teil des erkannten Objekts die semantische Segmentierungsklasse „Straße“ enthält, das erkannte Objekt als auf der Straße befindlich identifiziert werden. Andernfalls befindet es sich abseits der Straße und kann ggf. vernachlässigt bzw. als irrelevant verworfen werden.Additionally, the semantic segmentation output can be used to heuristically determine whether an object is on the road. For example, if the lower part of the detected object contains the semantic segmentation class “Road”, the detected object can be identified as being on the road. Otherwise it is off the road and may be neglected or discarded as irrelevant.

Die Auswahl der Trainingsdatensätze kann basierend auf Odometriedaten und/oder Positionsdaten erfolgen.The selection of training data sets can be based on odometry data and/or position data.

Mit anderen Worten, für die Heuristiken kann ein heterogener Satz von Sensoren verwendet werden. So ist es zum Beispiel möglich, die Odometrie zu verwenden, um Instanzen bzw. Datensätze herauszufiltern, in denen sich das Ego-Auto bzw. Kraftfahrzeug nicht bewegt, oder das GPS, um konkrete Orte herauszufiltern.In other words, a heterogeneous set of sensors can be used for the heuristics. For example, it is possible to use odometry to filter out instances or data sets in which the ego car or motor vehicle is not moving, or GPS to filter out specific locations.

Die mit obigen Verfahren ausgewählten Trainingsdaten können zum Trainieren eines auf künstlicher Intelligenz beruhenden Algorithmus eingesetzt werden. Der trainierte Algorithmus kann Teil einer Fahrassistenzfunktion eines automatisierten Kraftfahrzeugs sein, oder diese darstellen.The training data selected using the above methods can be used to train an artificial intelligence-based algorithm. The trained algorithm can be part of, or represent, a driving assistance function of an automated motor vehicle.

Ferner wird eine Datenverarbeitungsvorrichtung bereitgestellt, die ausgestaltet ist, um das oben beschriebene computer-implementierte Verfahren auszuführen.Furthermore, a data processing device is provided which is designed to carry out the computer-implemented method described above.

Die Datenverarbeitungsvorrichtung kann Teil eines Kraftfahrzeugs sein. Bei der Datenverarbeitungsvorrichtung kann es sich beispielsweise um einen Datenlogger und/oder eine elektronische Steuereinheit (engl. ECU = electronic control unit) handeln. Die Datenverarbeitungsvorrichtung kann eine intelligente prozessorgesteuerte Einheit sein, die z.B. über ein Central Gateway (CGW) mit anderen Modulen kommunizieren kann und die ggf. über Feldbusse, wie den CAN-Bus, LIN-Bus, MOST-Bus und FlexRay oder über Automotive-Ethernet, z.B. zusammen mit Telematiksteuergeräten das Fahrzeugbordnetz bilden kann.The data processing device can be part of a motor vehicle. The data processing device can be, for example, a data logger and/or an electronic control unit (ECU). The data processing device can be an intelligent processor-controlled unit, which can communicate with other modules, for example via a central gateway (CGW) and, if necessary, via field buses, such as the CAN bus, LIN bus, MOST bus and FlexRay or via automotive Ethernet , e.g. can form the vehicle electrical system together with telematics control devices.

Denkbar ist, dass die Datenverarbeitungsvorrichtung eine Speichereinheit umfasst, in der mittels einem Sensorsystem des Kraftfahrzeugs gesammelte Sensordaten gespeichert werden. Denkbar ist, dass die Datenverarbeitungsvorrichtung das oben beschriebene Verfahren basierend auf den gesammelte Sensordaten ausführt und die ermittelten Trainingsdaten an ein Backend überträgt. Denkbar ist auch, dass das Backend das Verfahren basierend auf den on der Datenverarbeitungsvorrichtung gespeicherten Sensordaten ausführt.It is conceivable that the data processing device comprises a storage unit in which sensor data collected using a sensor system of the motor vehicle is stored. It is conceivable that the data processing device carries out the method described above based on the collected sensor data and transmits the determined training data to a backend. It is also conceivable that the backend executes the method based on the sensor data stored on the data processing device.

Das oben mit Bezug zum Verfahren Beschriebene gilt analog auch für die Datenverarbeitungsvorrichtung und umgekehrt.What has been described above with reference to the method also applies analogously to the data processing device and vice versa.

Ferner kann ein automatisiertes Kraftfahrzeug bereitgestellt werden. Das automatisierte Kraftfahrzeug zeichnet sich dadurch aus, dass dieses die oben beschriebene Datenverarbeitungsvorrichtung aufweist.Furthermore, an automated motor vehicle can be provided. The automated motor vehicle is characterized in that it has the data processing device described above.

Bei dem Kraftfahrzeug kann es sich um einen Personenkraftwagen, insbesondere ein Automobil, handeln. Das automatisierte Kraftfahrzeug kann ausgestaltet sein, um eine Längsführung und/oder eine Querführung bei einem automatisierten Fahren des Kraftfahrzeugs zumindest teilweise und/oder zumindest zeitweise zu übernehmen. Das automatisierte Fahren kann so erfolgen, dass die Fortbewegung des Kraftfahrzeugs (weitgehend) autonom erfolgt. Das automatisierte Fahren kann zumindest teilweise und/oder zeitweise durch die Datenverarbeitungsvorrichtung gesteuert werden.The motor vehicle can be a passenger car, in particular an automobile. The automated motor vehicle can be designed to at least partially and/or at least temporarily take over longitudinal guidance and/or transverse guidance during automated driving of the motor vehicle. Automated driving can be carried out in such a way that the movement of the motor vehicle is (largely) autonomous. The automated driving can be controlled at least partially and/or temporarily by the data processing device.

Das Kraftfahrzeug kann ein Kraftfahrzeug der Autonomiestufe 0 sein, d.h. der Fahrer übernimmt die dynamische Fahraufgabe, auch wenn unterstützende Systeme (z. B. ABS oder ESP) vorhanden sind.The motor vehicle can be a motor vehicle with autonomy level 0, ie the driver above takes on the dynamic driving task, even if supporting systems (e.g. ABS or ESP) are present.

Das Kraftfahrzeug kann ein Kraftfahrzeug der Autonomiestufe 1 sein, d.h. bestimmte Fahrerassistenzsysteme aufweisen, die den Fahrer bei der Fahrzeugbedienung unterstützen, wie beispielsweise der Abstandsregeltempomat (ACC).The motor vehicle can be a motor vehicle with autonomy level 1, i.e. have certain driver assistance systems that support the driver in operating the vehicle, such as adaptive cruise control (ACC).

Das Kraftfahrzeug kann ein Kraftfahrzeug der Autonomiestufe 2 sein, d.h. so teilautomatisiert sein, dass Funktionen wie automatisches Einparken, Spurhalten bzw. Querführung, allgemeine Längsführung, Beschleunigen und/oder Abbremsen von Fahrerassistenzsystemen übernommen werden.The motor vehicle can be a motor vehicle of autonomy level 2, i.e. be partially automated so that functions such as automatic parking, lane keeping or lateral guidance, general longitudinal guidance, acceleration and/or braking are taken over by driver assistance systems.

Das Kraftfahrzeug kann ein Kraftfahrzeug der Autonomiestufe 3 sein, d.h. so bedingungsautomatisiert, dass der Fahrer das System Fahrzeug nicht durchgehend überwachen muss. Das Kraftfahrzeug führt selbstständig Funktionen wie das Auslösen des Blinkers, Spurwechsel und/oder Spurhalten durch. Der Fahrer kann sich anderen Dingen zuwenden, wird aber bei Bedarf innerhalb einer Vorwarnzeit vom System aufgefordert die Führung zu übernehmen.The motor vehicle can be a motor vehicle of autonomy level 3, i.e. conditionally automated so that the driver does not have to continuously monitor the vehicle system. The motor vehicle independently carries out functions such as triggering the turn signal, changing lanes and/or keeping in lane. The driver can turn his attention to other things, but if necessary the system will ask him to take over within a warning period.

Das Kraftfahrzeug kann ein Kraftfahrzeug der Autonomiestufe 4 sein, d.h. so hochautomatisiert, dass die Führung des Fahrzeugs dauerhaft vom System Fahrzeug übernommen wird. Werden die Fahraufgaben vom System nicht mehr bewältigt, kann der Fahrer aufgefordert werden, die Führung zu übernehmen.The motor vehicle can be a motor vehicle with autonomy level 4, i.e. so highly automated that control of the vehicle is permanently taken over by the vehicle system. If the system can no longer handle the driving tasks, the driver can be asked to take over the lead.

Das Kraftfahrzeug kann ein Kraftfahrzeug der Autonomiestufe 5 sein, d.h. so vollautomatisiert, dass der Fahrer zum Erfüllen der Fahraufgabe nicht erforderlich ist. Außer dem Festlegen des Ziels und dem Starten des Systems ist kein menschliches Eingreifen erforderlich.The motor vehicle can be a motor vehicle with autonomy level 5, i.e. so fully automated that the driver is not required to fulfill the driving task. No human intervention is required other than setting the target and starting the system.

Das oben mit Bezug zum Verfahren und zur Datenverarbeitungsvorrichtung Beschriebene gilt analog auch für das Kraftfahrzeug und umgekehrt.What has been described above with reference to the method and the data processing device also applies analogously to the motor vehicle and vice versa.

Ferner kann ein Computerprogramm bereitgestellt werden. Das Computerprogramm zeichnet sich dadurch aus, dass dieses Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das oben beschriebene Verfahren zumindest teilweise auszuführen.Furthermore, a computer program can be provided. The computer program is characterized in that it includes commands which, when the program is executed by a computer, cause it to at least partially carry out the method described above.

Ein Programmcode des Computerprogramms kann in einem beliebigen Code vorliegen, insbesondere in einem Code, der für Steuerungen von Kraftfahrzeugen geeignet ist.A program code of the computer program can be in any code, in particular in a code that is suitable for motor vehicle controls.

Ferner wird ein computerlesbares Medium, insbesondere ein computerlesbares Speichermedium, bereitgestellt. Das computerlesbare Medium zeichnet sich dadurch aus, dass dieses Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das oben beschriebene Verfahren zumindest teilweise auszuführen.Furthermore, a computer-readable medium, in particular a computer-readable storage medium, is provided. The computer-readable medium is characterized in that it includes instructions which, when the program is executed by a computer, cause it to at least partially carry out the method described above.

Das heißt, es kann ein computerlesbares Medium bereitgestellt werden, das ein oben definiertes Computerprogramm umfasst. Bei dem computerlesbaren Medium kann es sich um ein beliebiges digitales Datenspeichergerät handeln, wie zum Beispiel einen USB-Stick, eine Festplatte, eine CD-ROM, eine SD-Karte oder eine SSD-Karte. Das Computerprogramm muss nicht zwingend auf einem solchen computerlesbarem Speichermedium gespeichert sein, um dem Kraftfahrzeug zur Verfügung gestellt zu werden, sondern kann auch über das Internet oder anderweitig extern bezogen werden.That is, a computer-readable medium may be provided that includes a computer program as defined above. The computer-readable medium can be any digital data storage device, such as a USB flash drive, hard drive, CD-ROM, SD card, or SSD card. The computer program does not necessarily have to be stored on such a computer-readable storage medium in order to be made available to the motor vehicle, but can also be obtained externally via the Internet or otherwise.

Nachfolgend wird eine Ausführungsform mit Bezug zu 1 und 2 beschrieben.

1 zeigt schematisch ein Kraftfahrzeug mit einer Datenverarbeitungsvorrichtung und einem zu der Datenverarbeitungsvorrichtung verbundenen Sensor, und
2 zeigt schematisch ein Ablaufdiagramm des computer-implementierten Verfahrens zur Auswahl von Trainingsdatensätzen aus der Vielzahl von Datensätzen.

An embodiment is described below with reference to 1 and 2 described.

1 shows schematically a motor vehicle with a data processing device and a sensor connected to the data processing device, and
2 schematically shows a flowchart of the computer-implemented method for selecting training data sets from the large number of data sets.

1 zeigt schematisch ein Kraftfahrzeug 1 mit einem Umfeldsensor zur Erfassung von Sensordaten. Bei dem Umfeldsensor handelt es sich vorliegend um einen 2D-Sensor, genauer gesagt eine Kamera 3. Das Kraftfahrzeug 1 umfasst eine Datenverarbeitungsvorrichtung (bzw. eine Verarbeitungseinheit) 2, die zu der Kamera 3 verbunden ist und die von der Kamera 3 aufgenommenen Bilder als Datensätze abspeichert. Die Datensätze umfassen also jeweils ein Bild, das von der an dem Kraftfahrzeug 1 installierten Kamera 3 aufgenommen wurden, deren Sichtfeld in einer äußeren Umgebung des Kraftfahrzeugs 1 liegt. Die Datenverarbeitungsvorrichtung 2 ist ausgestaltet, mittels einem computer-implementierten Verfahren Trainingsdatensätzen aus der Vielzahl von Datensätzen (d.h. den Sensordaten) auszuwählen. Denkbar ist, dass die ausgewählten Trainingsdatensätze anschließend gelabelt werden und/oder für ein Training eines neuronalen Netzes verwendet werden. Das Verfahren wird nachfolgend im Detail mit Bezug zu 2 beschrieben. 1 shows schematically a motor vehicle 1 with an environment sensor for recording sensor data. In the present case, the environment sensor is a 2D sensor, more precisely a camera 3. The motor vehicle 1 includes a data processing device (or a processing unit) 2, which is connected to the camera 3 and the images recorded by the camera 3 as data sets saved. The data sets therefore each include an image that was recorded by the camera 3 installed on the motor vehicle 1, the field of view of which lies in an external environment of the motor vehicle 1. The data processing device 2 is designed to select training data sets from the large number of data sets (ie the sensor data) using a computer-implemented method. It is conceivable that the selected training data sets are then labeled and/or used for training a neural network. The procedure is described in detail below with reference to 2 described.

In einem ersten Schritt S1 erfolgt ein Eingeben der Vielzahl von Datensätzen in ein Segmentierungsmodell, um je Datensatz ein Segmentierungsergebnis und/oder eine Unsicherheit des Segmentierungsergebnis zu erhalten. Ferner erfolgt, falls für die nachfolgenden Schritte des Verfahrens nötig, ein Eingeben der Vielzahl von Datensätzen in ein Objekterkennungsmodell, um je Datensatz ein Objekterkennungsergebnis und/oder eine Unsicherheit des Objekterkennungsergebnis zu erhalten. Bei dem Segmentierungsmodell handelt es sich vorliegend um ein semantisches Segmentierungsmodell, sodass das Segmentierungsergebnis des semantischen Segmentierungsmodell ein semantisches Segmentierungsergebnis bzw. eine Segmentierungskarte ist und die Unsicherheit des Segmentierungsergebnis eine Unsicherheit des semantischen Segmentierungsergebnis ist.In a first step S1, the large number of data records are entered into a segmentation model in order to create a segmentation for each data record result and/or an uncertainty in the segmentation result. Furthermore, if necessary for the subsequent steps of the method, the large number of data sets are entered into an object recognition model in order to obtain an object recognition result and/or an uncertainty in the object recognition result for each data record. In the present case, the segmentation model is a semantic segmentation model, so that the segmentation result of the semantic segmentation model is a semantic segmentation result or a segmentation map and the uncertainty of the segmentation result is an uncertainty of the semantic segmentation result.

In einem zweiten Schritt S2 des Verfahrens erfolgt eine Auswahl der Trainingsdatensätze anhand des Segmentierungsergebnis, der Unsicherheit des Segmentierungsergebnis, des Objekterkennungsergebnis und/oder der Unsicherheit des Objekterkennungsergebnis des jeweiligen Datensatzes unter Verwendung zumindest eines vorbestimmten Auswahlkriteriums. Dies wird nachfolgend im Detail beschrieben.In a second step S2 of the method, the training data sets are selected based on the segmentation result, the uncertainty of the segmentation result, the object recognition result and/or the uncertainty of the object recognition result of the respective data set using at least one predetermined selection criterion. This is described in detail below.

Grundsätzlich kommen vier verschiedene Auswahlkriterien in Betracht, die einzeln oder in beliebiger Kombination angewendet werden können.Basically, four different selection criteria come into consideration, which can be used individually or in any combination.

Gemäß einem ersten Auswahlkriterium kann in einem ersten Teilschritt S21 des zweiten Schritts S2 des Verfahrens ein Bestimmten mittels dem semantischen Segmentierungsergebnis erfolgen, ob zumindest eine vorbestimmte Klasse einen Teil des Bildes des jeweiligen Datensatzes belegt, der größer als ein erster vorbestimmter Grenzwert ist. Anschließend erfolgt ein Auswählen derjenigen Datensätze der Vielzahl von Datensätze als Trainingsdatensätze, bei denen der von der vorbestimmten Klasse belegte Teil größer als der erste vorbestimmte Grenzwert ist.According to a first selection criterion, in a first sub-step S21 of the second step S2 of the method, a determination can be made using the semantic segmentation result as to whether at least one predetermined class occupies a part of the image of the respective data set that is greater than a first predetermined limit value. Those data sets of the plurality of data sets are then selected as training data sets in which the part occupied by the predetermined class is greater than the first predetermined limit value.

Gemäß einem zweiten Auswahlkriterium kann in einem zweiten Teilschritt S22 des zweiten Schritts S2 des Verfahrens ein Bestimmen einer Differenz zwischen zwei aufeinanderfolgend mittels der Kamera 3 aufgenommenen Bilder erfolgen, wobei dazu nach einem vorbestimmten Kriterium aus den Bildern herausgefilterte Regionen nicht berücksichtigt werden. Anschließend kann ein Auswählen derjenigen Datensätze der Vielzahl von Datensätze als Trainingsdatensätze erfolgen, bei denen die Differenz zwischen den zwei aufeinanderfolgend mittels der Kamera aufgenommenen Bildern einen vorbestimmten zweiten Grenzwert übersteigt.According to a second selection criterion, in a second sub-step S22 of the second step S2 of the method, a difference can be determined between two consecutive images recorded using the camera 3, regions filtered out of the images according to a predetermined criterion not being taken into account. Subsequently, those data sets from the plurality of data sets can be selected as training data sets in which the difference between the two consecutive images recorded using the camera exceeds a predetermined second limit value.

Gemäß einem dritten Auswahlkriterium kann in einem dritten Teilschritt S23 des zweiten Schritts S2 des Verfahrens ein Bestimmen einer Unsicherheit pro Klasse für zumindest eine vorbestimmte Klasse des semantischen Segmentierungsergebnis unter Berücksichtigung einer Fläche der Klasse in dem Segmentierungsergebnis erfolgen, wobei dies je Datensatz der Vielzahl von Datensätzen erfolgt. Anschließend kann ein Auswählen derjenigen Datensätze der Vielzahl von Datensätze als Trainingsdatensätze erfolgen, bei denen die Unsicherheit pro Klasse für die zumindest eine vorbestimmte Klasse einen vorbestimmten dritten Grenzwert übersteigt.According to a third selection criterion, in a third sub-step S23 of the second step S2 of the method, an uncertainty per class can be determined for at least one predetermined class of the semantic segmentation result, taking into account an area of the class in the segmentation result, this being done for each data record of the plurality of data records . Subsequently, those data sets from the plurality of data sets can be selected as training data sets in which the uncertainty per class for the at least one predetermined class exceeds a predetermined third limit value.

Gemäß einem vierten Auswahlkriterium kann in einem vierten Teilschritt S24 des zweiten Schritts S2 des Verfahrens ein Bestimmen einer Unsicherheit des Segmentierungsergebnis je Bildpunkt des Bildes des jeweiligen Datensatzes erfolgen, wobei dies je Datensatz der Vielzahl von Datensätzen durchgeführt wird. Es kann dann ein Bestimmen einer akkumulierten Unsicherheit innerhalb einer Region des Bildes durch Akkumulieren der Unsicherheit der Bildpunkte in der Region erfolgen, wobei die jeweilige Unsicherheit nur von Bildpunkten berücksichtigt wird, die einer vorbestimmten Klasse zuzuordnen sind. Die Region, d.h. deren Lage und Außenabmessungen, wird durch das Objekterkennungsergebnis bestimmt. Denkbar ist, dass dabei mittels der semantischen Segmentierungskarte ermittelt wird, ob sich die durch das Objekterkennungsergebnis bestimmte Region auf einer Fahrbahn befindet, und die Region nur dann berücksichtigt wird, wenn ermittelt wird, dass sich diese auf der Fahrbahn befindet. Anschließend kann ein Auswählen derjenigen Datensätze der Vielzahl von Datensätze als Trainingsdatensätze erfolgen, bei denen die akkumulierte Unsicherheit einen vorbestimmten vierten Grenzwert übersteigt.According to a fourth selection criterion, in a fourth sub-step S24 of the second step S2 of the method, an uncertainty in the segmentation result can be determined for each pixel of the image of the respective data set, this being carried out for each data set of the plurality of data sets. An accumulated uncertainty within a region of the image can then be determined by accumulating the uncertainty of the pixels in the region, with the respective uncertainty only being taken into account for pixels that can be assigned to a predetermined class. The region, i.e. its location and external dimensions, is determined by the object detection result. It is conceivable that the semantic segmentation map is used to determine whether the region determined by the object recognition result is on a road, and the region is only taken into account if it is determined that it is on the road. Subsequently, those data sets from the plurality of data sets can be selected as training data sets in which the accumulated uncertainty exceeds a predetermined fourth limit value.

Alle der obigen Auswahlkriterien können ferner einen Filter aufweisen, der Auswahl der Trainingsdatensätze basierend auf Odometriedaten und/oder Positionsdaten einschränkt.All of the above selection criteria may further include a filter that limits selection of training data sets based on odometry data and/or position data.

Ferner ist, wie bereits oben angedeutet, eine Kombination der verschiedenen Teilschritte S21 - S24 möglich. Dabei werden mit logischen Operationen über die beschriebenen Teilschritte S21 - S24 Schlussfolgerungen gezogen, um komplexe Datenauswahlkriterien zu erstellen. So ist es beispielsweise möglich, eine logische UND-Verknüpfung zwischen dem ersten Auswahlkriterium (kann z. B. stadtähnliche Gebiete finden) und dem vierten Auswahlkriterium (kann z.B. Fahrzeuge mit hoher Unsicherheit finden) zu verwenden, um unsichere Fahrzeuge zu finden, die sich in städtischen Gebieten befinden. Auf diese Weise kann in der großen Menge der vorhandenen unbeschrifteten bzw. ungelabelten Daten nach relevanten Frames gesucht werden und gleichzeitig können hochkomplexe Kriterien verwendet werden.Furthermore, as already indicated above, a combination of the various sub-steps S21 - S24 is possible. Conclusions are drawn using logical operations via the described substeps S21 - S24 in order to create complex data selection criteria. For example, it is possible to use a logical AND connection between the first selection criterion (e.g. can find city-like areas) and the fourth selection criterion (e.g. can find vehicles with high uncertainty) to find unsafe vehicles that are in urban areas. In this way, relevant frames can be searched for in the large amount of existing unlabeled or unlabeled data and at the same time highly complex criteria can be used.

BezugszeichenlisteReference symbol list

11: Kraftfahrzeugmotor vehicle
22: DatenverarbeitungsvorrichtungData processing device
33: Kamera camera
S1, S2, S21 - S24S1, S2, S21 - S24: Schritte des VerfahrensSteps of the procedure

Claims

Computer-implemented method for selecting training data sets from a plurality of data sets, the method comprising: - Entering the plurality of data sets into a segmentation model in order to obtain a segmentation result and/or an uncertainty of the segmentation result for each data set, and/or entering the plurality of data sets into an object recognition model in order to obtain an object recognition result and/or an uncertainty of the object recognition result for each data set received, and - Selection of the training data sets based on the segmentation result, the uncertainty of the segmentation result, the object recognition result and/or the uncertainty of the object recognition result of the respective data set using at least one predetermined selection criterion.

Computer-implemented method Claim 1 , wherein the plurality of data sets each include an image that was recorded by a camera (2) installed on a motor vehicle (1), the field of view of which is arranged in an external environment of the motor vehicle (1).

Computer-implemented method Claim 2 , where: - the segmentation model is a semantic segmentation model, and - the segmentation result of the semantic segmentation model is a semantic segmentation result, and - the uncertainty of the segmentation result is an uncertainty of the semantic segmentation result.

Computer-implemented method Claim 3 , wherein the method comprises: - determining, using the semantic segmentation result, whether at least one predetermined class occupies a part of the image of the respective data set that is greater than a predetermined limit value, and - selecting those data sets of the plurality of data sets as training data sets in which the Part occupied by the predetermined class is greater than the predetermined limit value.

Computer-implemented method according to one of the Claims 2 until 4 , wherein the method comprises: - determining a difference between two consecutive images recorded using the camera (3), regions filtered out of the images according to a predetermined criterion not being taken into account, and - selecting those data sets from the plurality of data sets as training data sets in which the difference between the two consecutive images recorded by the camera (3) exceeds a predetermined limit value.

Computer-implemented method according to one of the Claims 3 until 5 , wherein the method comprises: - determining, for each data record of the plurality of data records, an uncertainty per class for at least one predetermined class of the semantic segmentation result, taking into account an area of the class in the segmentation result, and - selecting those data records of the plurality of data records as training data sets, in which the uncertainty per class for the at least one predetermined class exceeds a predetermined limit.

Computer-implemented method according to one of the Claims 3 until 6 , wherein the method comprises: - determining, for each data set of the plurality of data sets, an uncertainty of the segmentation result per pixel of the image of the respective data set, - determining an accumulated uncertainty within a region of the image, which is determined by the object recognition result, by accumulating the uncertainty of the pixels in the region, whereby the respective uncertainty is only taken into account for pixels that can be assigned to a predetermined class, and - selecting those data sets from the plurality of data sets as training data sets in which the accumulated uncertainty exceeds a predetermined limit value.

Computer-implemented method Claim 7 , whereby the semantic segmentation map is used to determine whether the region determined by the object recognition result is on a road, and the region is only taken into account if it is determined that it is on the road.

Computer-implemented method according to one of the Claims 1 until 8th , whereby the selection of the training data sets is based on odometry data and/or position data.

Data processing device (2), wherein the data processing device (2) is designed to implement the computer-implemented method according to one of Claims 1 until 9 to carry out.