DE102020215539A1

DE102020215539A1 - Determining the robustness of an object detector and/or classifier for image data

Info

Publication number: DE102020215539A1
Application number: DE102020215539.9A
Authority: DE
Inventors: Liu Ren; Arvind Kumar Shekar; Liang Gou; Axel Wendt
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-12-09
Filing date: 2020-12-09
Publication date: 2022-06-09

Abstract

Verfahren (100) zur Bestimmung der Robustheit R eines Objektdetektors und/oder Klassifikators (1) für Bilddaten (2), der dazu ausgebildet ist, Bilddaten (2) auf Detektionsscores bzw. Klassifikationsscores (3) abzubilden, welche sich auf in den Bilddaten (2) erkannte Objekte bzw. Klassen beziehen, mit den Schritten:• es wird ein Datensatz mit Bilddaten (2) bereitgestellt (110);• die Bilddaten (2) des Datensatzes werden von dem Objektdetektor und/oder Klassifikator (1) auf Detektionsscores bzw. Klassifikationsscores (3) abgebildet (120), so dass eine Verteilung V ursprünglicher Detektionsscores bzw. Klassifikationsscores (3) ermittelt wird;• die Bilddaten (2) des Datensatzes werden mit einer vorgegebenen Störung (4) beaufschlagt (130), so dass gestörte Bilddaten (2') erzeugt werden;• die gestörten Bilddaten (2') werden von dem Objektdetektor und/oder Klassifikator (1) auf gestörte Detektionsscores bzw. Klassifikationsscores (3') abgebildet (140), so dass einer Verteilung V' gestörter Detektionsscores bzw. Klassifikationsscores (3') ermittelt wird;• aus mindestens einer Divergenz D zwischen der Verteilung V ursprünglicher Detektionsscores bzw. Klassifikationsscores (3) und der Verteilung V' gestörter Detektionsscores bzw. Klassifikationsscores (3') wird die gesuchte Robustheit R ausgewertet (150).Method (100) for determining the robustness R of an object detector and/or classifier (1) for image data (2), which is designed to map image data (2) to detection scores or classification scores (3), which are based on in the image data ( 2) relate recognized objects or classes, with the steps: • a data set with image data (2) is provided (110); • the image data (2) of the data set are checked by the object detector and/or classifier (1) for detection scores or Classification scores (3) mapped (120) so that a distribution V of original detection scores or classification scores (3) is determined; image data (2') are generated;• the disturbed image data (2') are mapped (140) by the object detector and/or classifier (1) to disturbed detection scores or classification scores (3'), so that a distribution V' of disturbed det ection scores or classification scores (3') is determined;• the sought-after robustness R is evaluated from at least one divergence D between the distribution V of original detection scores or classification scores (3) and the distribution V' of disturbed detection scores or classification scores (3') ( 150).

Description

Die vorliegende Erfindung betrifft die Bestimmung der Robustheit der Ausgabe eines Objektdetektors und/oder Klassifikators für Bilddaten gegen Veränderungen der eingegebenen Bilddaten.The present invention relates to determining the robustness of the output of an object detector and/or classifier for image data against changes in the input image data.

Stand der TechnikState of the art

Beim Führen eines Fahrzeugs im Straßenverkehr durch einen menschlichen Fahrer sind mit den Augen des Fahrers aufgenommene Bilder die wichtigste Informationsquelle. Dementsprechend ist für das zumindest teilweise automatisierte Führen von Fahrzeugen eine verlässliche Auswertung von im Umfeld des Fahrzeugs aufgenommenen Bildern unabdingbar. Diese Auswertung ist beispielsweise darauf gerichtet, Bilder zu klassifizieren und/oder verkehrsrelevante Objekte in den Bildern zu erkennen.When driving a vehicle in traffic by a human driver, images taken with the driver's eyes are the most important source of information. Accordingly, a reliable evaluation of images recorded in the area surrounding the vehicle is indispensable for at least partially automated driving of vehicles. This evaluation is aimed, for example, at classifying images and/or recognizing traffic-relevant objects in the images.

Die aufgenommenen Bilder können je nach Wetter und Beleuchtungssituation von unterschiedlicher Qualität sein und beispielsweise mit Bildrauschen behaftet sein. Darüber hinaus können beispielsweise neuronale Netzwerke als Objektdetektoren oder Klassifikatoren dafür anfällig sein, dass das Einbringen einer unscheinbaren Manipulation in das eingegebene Bild die Ausgabe drastisch verändern kann („adversarial examples“).Depending on the weather and lighting situation, the recorded images can be of different quality and, for example, be subject to image noise. Furthermore, neural networks as object detectors or classifiers, for example, can be prone to the fact that introducing an inconspicuous manipulation into the input image can drastically change the output ("adversarial examples").

Aus der DE 10 2018 220 941 A1 ist ein Verfahren bekannt, mit dem ein neuronales Netzwerk oder anderes trainierbares Modul darauf trainiert werden kann, bei der Verarbeitung von Lern-Eingaben nicht nur die zu diesen Lern-Eingaben gehörenden Soll-Ausgaben möglichst gut vorherzusagen, sondern diese Vorhersagen auch mit einer möglichst geringen Unsicherheit zu treffen.From the DE 10 2018 220 941 A1 a method is known with which a neural network or other trainable module can be trained to not only predict the target outputs associated with these learning inputs as well as possible when processing learning inputs, but also to predict these predictions with as little as possible to meet uncertainty.

Offenbarung der ErfindungDisclosure of Invention

Im Rahmen der Erfindung wurde ein Verfahren zur Bestimmung der Robustheit R eines Objektdetektors und/oder Klassifikators für Bilddaten entwickelt. Der Objektdetektor und/oder Klassifikator ist dazu ausgebildet, Bilddaten auf Detektionsscores bzw. Klassifikationsscores abzubilden, welche sich auf in den Bilddaten erkannte Objekte bzw. Klassen beziehen.A method for determining the robustness R of an object detector and/or classifier for image data was developed within the scope of the invention. The object detector and/or classifier is designed to map image data onto detection scores or classification scores, which relate to objects or classes recognized in the image data.

Bilddaten können insbesondere beispielsweise Bilder oder optische Flüsse umfassen, die von einer oder mehreren Standbild- und/oder Videokameras aufgenommen werden. Bilddaten können aber auch beispielsweise Ultraschallbilder, Radardaten oder Lidar-Daten umfassen. Allgemein kann jede ortsaufgelöste Erfassung von Messdaten, die Punkten in der zweidimensionalen Ebene oder im dreidimensionalen Raum jeweils einen oder mehrere Messwerte zuordnet, Bilddaten liefern.In particular, image data can include, for example, images or optical flows that are recorded by one or more still and/or video cameras. However, image data can also include, for example, ultrasound images, radar data or lidar data. In general, any spatially resolved acquisition of measurement data that assigns one or more measurement values to points in the two-dimensional plane or in three-dimensional space can supply image data.

Das Verfahren beginnt damit, dass ein Datensatz mit Bilddaten bereitgestellt wird. Die Bilddaten des Datensatzes werden von dem Objektdetektor und/oder Klassifikator auf Detektionsscores bzw. Klassifikationsscores abgebildet, so dass eine Verteilung V ursprünglicher Detektionsscores bzw. Klassifikationsscores ermittelt wird. Dabei müssen die Bilddaten nicht mit vorab bekannten Objekten, Klassifikationen oder anderen Soll-Ausgaben gelabelt sein, auf die der Objektdetektor bzw. Klassifikator sie nominell abbilden soll. Es muss also nicht bekannt sein, wieviel Wahrheit die Detektionsscores bzw. Klassifikationsscores tatsächlich enthalten.The method starts with providing a data set with image data. The image data of the data set are mapped onto detection scores or classification scores by the object detector and/or classifier, so that a distribution V of original detection scores or classification scores is determined. The image data does not have to be labeled with previously known objects, classifications or other target outputs onto which the object detector or classifier should nominally map them. It therefore does not have to be known how much truth the detection scores or classification scores actually contain.

Die Detektionsscores bzw. Klassifikationsscores können insbesondere beispielsweise Maße für Konfidenzen sein, mit denen bestimmte Objekte in den Bilddaten erkannt bzw. die Bilddaten bestimmten Klassen zugeordnet wurden.The detection scores or classification scores can in particular be, for example, measures of confidence with which certain objects in the image data were recognized or the image data were assigned to certain classes.

Die Bilddaten des Datensatzes werden mit einer vorgegebenen Störung beaufschlagt, so dass gestörte Bilddaten erzeugt werden. Die gestörten Bilddaten werden von dem Objektdetektor und/oder Klassifikator auf gestörte Detektionsscores bzw. Klassifikationsscores abgebildet, so dass einer Verteilung V' gestörter Detektionsscores bzw. Klassifikationsscores ermittelt wird. Aus mindestens einer Divergenz D zwischen der Verteilung V ursprünglicher Detektionsscores bzw. Klassifikationsscores und der Verteilung V' gestörter Detektionsscores bzw. Klassifikationsscores wird die gesuchte Robustheit R ausgewertet.A predetermined disturbance is applied to the image data of the data record, so that disturbed image data are generated. The disturbed image data are mapped by the object detector and/or classifier onto disturbed detection scores or classification scores, so that a distribution V′ of disturbed detection scores or classification scores is determined. The sought-after robustness R is evaluated from at least one divergence D between the distribution V of original detection scores or classification scores and the distribution V′ of disturbed detection scores or classification scores.

Die so ermittelte Robustheit R hängt nur davon ab, inwieweit sich die Detektionsscores bzw. Klassifikationsscores ändern, wenn die Bilddaten mit der Störung beaufschlagt werden. Ob diese Detektionsscores bzw. Klassifikationsscores jeweils objektiv korrekt sind, ist hingegen nicht relevant. Die Situation ist ein Stück weit vergleichbar damit, dass die Robustheit eines in einem geschlossenen Gehäuse eingebauten Geräts gegen Erschütterungen durch Schütteln des geschlossenen Gehäuses geprüft wird. Ohne in das Gehäuse hineinzuschauen oder auch nur die genaue Konstruktion des Geräts zu kennen, erkennt man beim Schütteln, ob alle Bauteile des Geräts fest sitzen, ob einzelne Bauteile mechanisches Spiel haben oder ob sich gar Bauteile lösen und frei im Gehäuse herumfliegen.The robustness R determined in this way depends only on the extent to which the detection scores or classification scores change when the image data is subjected to the disturbance. However, whether these detection scores or classification scores are objectively correct is not relevant. The situation is somewhat comparable to testing the robustness of a device installed in a closed housing against shocks by shaking the closed housing. Without looking into the case or even knowing the exact construction of the device, you can tell when you shake it whether all the device's components are tight, whether individual components have mechanical play or whether components have even come loose and are flying around freely in the case.

Die Robustheit R ist auf den konkreten Datensatz bezogen, für den sie ermittelt wurde. Für unterschiedliche Datensätze, die unterschiedliche Bilddaten enthalten, kann das Verfahren an ein und demselben Objektdetektor bzw. Klassifikator ganz unterschiedliche Robustheiten R liefern. Dies liefert wertvolle Informationen darüber, mit welchen Bilddaten der Objektdetektor bzw. Klassifikator gut klarkommt und bei welchen anderen Bilddaten er sich eher schwer tut. Dementsprechend können auch Maßnahmen zur Verbesserung der Robustheit R des Objektdetektors bzw. Klassifikators gezielt auf die Verarbeitung solcher Bilddaten fokussiert werden, in Bezug auf die die Robustheit R aktuell weniger gut ist. Dies ist analog dazu, dass ein Schüler Nachhilfe sinnvollerweise nicht zuerst in den Fächern nimmt, in denen er bereits auf „Gut“ steht, sondern in den Fächern, in denen er auf „Mangelhaft“ steht.The robustness R is related to the specific data set for which it was determined. For different data sets that contain different image data, the method can deliver very different robustnesses R on one and the same object detector or classifier. This delivers valuable information about which image data the object detector or classifier can handle well and which other image data it has trouble with. Accordingly, measures to improve the robustness R of the object detector or classifier can also be specifically focused on the processing of image data for which the robustness R is currently less good. This is analogous to the fact that a student does not first take tutoring in the subjects in which he is already rated "good", but in those subjects in which he is rated "inadequate".

Beispielsweise kann sich herausstellen, dass der Objektdetektor bzw. Klassifikator besondere Schwierigkeiten bei der Verarbeitung von Bilddaten hat, die bei Dunkelheit und gleichzeitigem Niederschlag aufgenommen wurden. Es können dann gezielte Maßnahmen ergriffen werden, um gerade in diesen Situationen zu einer höheren Robustheit R zu kommen. Diese Maßnahmen müssen nicht auf den Objektdetektor bzw. Klassifikator beschränkt sein, sondern können beispielsweise auch die Kamera betreffen, mit der die Bilddaten aufgenommen wurden. So kann die Robustheit R beispielsweise auch durch Austausch der Kamera gegen ein höherwertiges Modell mit einem besseren Dynamikbereich verbessert werden. Sollte sich hierbei herausstellen, dass die Robustheit R sich nicht über ein bestimmtes Maß hinaus steigern lässt, kann beispielsweise im Gesamtsystem für das zumindest teilweise automatisierte Fahren die Konsequenz gezogen werden, dass bestimmte Situationen mit Kamerabildern allein nicht hinreichend gut erfasst werden können und beispielsweise zusätzlich auf Radar- oder Lidar-Sensoren zurückgegriffen werden sollte.For example, it may turn out that the object detector or classifier has particular difficulties in processing image data that were recorded in darkness and simultaneous precipitation. Targeted measures can then be taken in order to achieve greater robustness R in these situations in particular. These measures do not have to be limited to the object detector or classifier, but can also, for example, relate to the camera with which the image data was recorded. For example, the robustness R can also be improved by replacing the camera with a higher-quality model with a better dynamic range. If it turns out that the robustness R cannot be increased beyond a certain level, the conclusion can be drawn, for example in the overall system for at least partially automated driving, that certain situations cannot be captured sufficiently well with camera images alone and, for example, additionally Radar or lidar sensors should be used.

Ebenso können beispielsweise in einer Flotte aus mehreren Fahrzeugen, die mit identischen Kamerasystemen und Objektdetektoren bzw. Klassifikatoren ausgestattet sind, die Robustheiten R untereinander verglichen werden. Wenn beispielsweise für ein Fahrzeug die Robustheit R konsistent besonders schlecht ist, ist das Kamerasystem dieses Fahrzeugs möglicherweise verschmutzt oder defekt.Likewise, for example, in a fleet of several vehicles that are equipped with identical camera systems and object detectors or classifiers, the robustness R can be compared with one another. For example, if a vehicle's robustness R is consistently particularly poor, that vehicle's camera system may be dirty or defective.

In all diesen Anwendungen zeichnet sich das hier beschriebene Verfahren dadurch aus, dass die Bilddaten, in Bezug auf die die Robustheit R bestimmt wird, nicht gelabelt sein müssen. Es können also sehr viele verschiedene Bilddaten verwendet werden, ohne dass diese erst den „Flaschenhals“ des Labelns passieren müssen. Das Labeln muss häufig von Menschen vorgenommen werden, was es zeitaufwändig und teuer macht.In all of these applications, the method described here is distinguished by the fact that the image data with respect to which the robustness R is determined does not have to be labeled. A large number of different image data can be used without having to go through the labeling bottleneck first. Labeling often has to be done by humans, making it time-consuming and expensive.

Die verwendeten Bilddaten müssen auch nicht notwendigerweise reale Bilddaten sein, die mit einem physischen Sensor aufgenommen wurden. Vielmehr können beispielsweise auch synthetisch erzeugte Bilddaten verwendet werden.The image data used does not necessarily have to be real image data that was recorded with a physical sensor. Rather, for example, synthetically generated image data can also be used.

Beispielsweise können mit einem Generator eines Generative Adversarial Network, GAN, synthetische Bilddaten als Referenz erzeugt werden. Eine in Bezug auf diese synthetischen Bilddaten ermittelte Robustheit R für einen Objektdetektor bzw. Klassifikator kann dann beispielsweise mit Robustheiten R verglichen werden, die der gleiche Objektdetektor bzw. Klassifikator für mit verschiedenen Kamerasystemen oder anderen Sensoren aufgenommene Bilddaten an den Tag legt. Auf diese Weise kann beispielsweise ermittelt werden, welches Kamerasystem, bzw. welcher andere Sensor, mit dem konkreten Objektdetektor bzw. Klassifikator am besten zusammenarbeitet.For example, a Generative Adversarial Network (GAN) generator can be used to generate synthetic image data as a reference. A robustness R determined in relation to this synthetic image data for an object detector or classifier can then be compared, for example, with robustness R that the same object detector or classifier exhibits for image data recorded with different camera systems or other sensors. In this way it can be determined, for example, which camera system or which other sensor works best with the specific object detector or classifier.

In einer besonders vorteilhaften Ausgestaltung werden die Bilddaten des Datensatzes mit vorgegebenen Störungen unterschiedlicher Stärken 1, ..., n beaufschlagt. Aus gestörten Detektionsscores bzw. Klassifikationsscores, die aus Bilddaten mit Störungen einer jeden Stärke 1, ..., n erzeugt werden, werden Verteilungen V'₁, ..., V'_n gestörter Detektionsscores bzw. Klassifikationsscores ermittelt. Es werden dann Divergenzen D₁, ..., D_n zwischen der Verteilung V ursprünglicher Detektionsscores bzw. Klassifikationsscores und den Verteilungen V'₁, ..., V'_n ermittelt. Aus diesen Divergenzen D₁, ..., D_n wird wiederum die Robustheit R ausgewertet.In a particularly advantageous embodiment, the image data of the data set are subjected to predetermined interference of different strengths 1, . . . , n. _{Distributions} V′ ₁ , . . . Then divergences D ₁ , . . . , D _n are determined between the distribution V of original detection scores or classification _scores and the distributions V' ₁ , . The robustness R is in turn evaluated from these divergences D ₁ , . . . , D _n .

Auf diese Weise kann es auch in die Robustheit R eingehen, wie sich die Empfindlichkeit des Objektdetektors bzw. Klassifikators gegenüber Störungen mit der Stärke der Störung ändert. So kann beispielsweise bei einem ersten Objektdetektor bzw. Klassifikator die Divergenz D₁, ..., D_n mit zunehmender Stärke 1, ..., n gleichförmig zunehmen. Bei einem anderen Objektdetektor bzw. Klassifikator kann hingegen beispielsweise die Divergenz D₁, ..., D_n bis zu einer bestimmten Stärke 1, ..., n der Störung im Wesentlichen konstant sein und anschließend sprunghaft zunehmen. Insbesondere beim zumindest teilweise automatisierten Fahren kommen typischerweise Bilddaten vor, die mit Störungen sehr unterschiedlicher Stärken behaftet sind. So sind etwa Bilddaten, die tagsüber bei gutem Wetter aufgenommen wurden, praktisch rauschfrei, während Bilddaten, die bei Dunkelheit und Niederschlag aufgenommen wurden, stark gestört sind. Insbesondere können beispielsweise lokale Wetterphänomene, wie etwa Gewitterzellen, schon während einer Fahrt die Stärke der Störungen von einem Extrem ins andere treiben.In this way, the robustness R can also include how the sensitivity of the object detector or classifier to disturbances changes with the strength of the disturbance. For example, in the case of a first object detector or classifier, the divergence D ₁ , . . . , D _n can increase uniformly with increasing strength 1 . In another object detector or classifier, on the other hand, for example, the _divergence D ₁ , . In the case of at least partially automated driving in particular, image data are typically present that are afflicted with disturbances of very different strengths. For example, image data captured during the day in good weather is virtually noise-free, while image data captured in the dark and when it is raining has a lot of noise. In particular, for example, local weather phenomena, such as thunderstorm cells, can drive the strength of the disturbances from one extreme to the other even while driving.

Die Robustheit R kann insbesondere beispielsweise umso schlechter bewertet werden, je größer die an ihrer Auswertung beteiligten Divergenzen D, D₁, ..., D_n sind. Je größer die Robustheit R ist, desto schwieriger ist es dann im Umkehrschluss, eine Verteilung V von Detektionsscores bzw. Klassifikationsscores für eine vorgegebene Menge von Bilddaten durch das Einbringen von Störungen in diese Bilddaten signifikant abzuändern.In particular, the robustness R can be rated the worse, for example, the larger the diverges involved in its evaluation zen are D, D ₁ , ..., D _n . Conversely, the greater the robustness R, the more difficult it is to significantly change a distribution V of detection scores or classification scores for a predetermined amount of image data by introducing disturbances into this image data.

Die Divergenz kann auf beliebige Weise quantitativ gemessen werden. Als besonders geeignet haben sich die Kullback-Leibler-Divergenz, KLD, sowie die Jensen-Shannon-Divergenz, JSD, erwiesen.Divergence can be measured quantitatively in any number of ways. The Kullback-Leibler divergence, KLD, and the Jensen-Shannon divergence, JSD, have proven to be particularly suitable.

Das hier beschriebene Verfahren ist frei von Annahmen oder Vorwissen über den Inhalt der verwendeten Bilddaten. Insoweit derartiges Vorwissen jedoch zur Verfügung steht, ist es sinnvoll, dieses Vorwissen zu nutzen.The procedure described here is free from assumptions or previous knowledge about the content of the image data used. However, insofar as such prior knowledge is available, it makes sense to use this prior knowledge.

Daher stellt die Erfindung ein weiteres Verfahren zur Bestimmung der Robustheit R eines Objektdetektors und/oder Klassifikators für Bilddaten bereit. Auch bei diesem Verfahren wird ein Datensatz mit Bilddaten bereitgestellt. Weiterhin werden die Bilddaten des Datensatzes auch mit einer vorgegebenen Störung beaufschlagt, so dass gestörte Bilddaten erzeugt werden. Die gestörten Bilddaten werden von dem Objektdetektor und/oder Klassifikator auf gestörte Detektionsscores bzw. Klassifikationsscores abgebildet.The invention therefore provides a further method for determining the robustness R of an object detector and/or classifier for image data. A data set with image data is also provided with this method. Furthermore, the image data of the data record are also subjected to a predetermined disturbance, so that disturbed image data are generated. The disturbed image data are mapped by the object detector and/or classifier to disturbed detection scores or classification scores.

Im Unterschied zum zuvor beschriebenen Verfahren wird die Robustheit R nun anhand einer vorgegebenen Gütefunktion G, die von den gestörten Detektionsscores bzw. Klassifikationsscores sowie von Nominalwerten und/oder Referenzen für die Detektionsscores bzw. Klassifikationsscores abhängt, ausgewertet. Es dienen also an Stelle der Verteilung V ungestörter Detektionsscores bzw. Klassifikationsscores nun die Nominalwerte und/oder Referenzen als Vergleichsmaßstab.In contrast to the method described above, the robustness R is now evaluated using a predefined quality function G, which depends on the disturbed detection scores or classification scores and on nominal values and/or references for the detection scores or classification scores. Instead of the distribution V of undisturbed detection scores or classification scores, the nominal values and/or references now serve as a standard of comparison.

Die Nominalwerte und/oder Referenzen können aus einer beliebigen Quelle stammen. Beispielsweise können Nominalwerte und/oder Referenzen an synthetisch erzeugten Bilddaten ermittelt oder synthetisch erzeugte Bilddaten von vornherein anhand gewünschter Nominalwerte und/oder Referenzen erzeugt werden. Die gestörten Bilddaten können dann beispielsweise ausgehend von Bilddaten erzeugt werden, die sich auf die gleiche oder eine ähnliche Szenerie beziehen wie die synthetisch erzeugten Bilddaten. Nominalwerte und/oder Referenzen können aber auch beispielsweise anhand von Messungen mit anderen Sensoren, die gleichzeitig oder im zeitlichen Zusammenhang mit der Bildaufnahme stattgefunden haben, ermittelt werden.The nominal values and/or references can come from any source. For example, nominal values and/or references can be determined on synthetically generated image data, or synthetically generated image data can be generated from the outset using desired nominal values and/or references. The disturbed image data can then be generated, for example, based on image data that relate to the same or a similar scenery as the synthetically generated image data. However, nominal values and/or references can also be determined, for example, using measurements with other sensors that have taken place at the same time as or at a time related to the image recording.

In einer besonders vorteilhaften Ausgestaltung wird ein gelabelter Datensatz für den Objektdetektor und/oder Klassifikator, in dem jedem Bild Soll-Detektionsscores bzw. Soll-Klassifikationsscores als Label zugeordnet sind, als Datensatz gewählt. Die Nominalwerte bzw. Referenzen werden aus diesen Labels ermittelt. Der gelabelte Datensatz kann insbesondere beispielsweise ein Trainingsdatensatz, anhand dessen ein trainierbarer Objektdetektor und/oder Klassifikator trainiert wird, sein. Der gelabelte Datensatz kann aber auch beispielsweise ein Test-Datensatz oder ein Validierungs-Datensatz sein, anhand dessen der Erfolg des Trainings überprüft wird.In a particularly advantageous embodiment, a labeled data set for the object detector and/or classifier, in which each image is assigned target detection scores or target classification scores as labels, is selected as the data set. The nominal values or references are determined from these labels. The labeled data set can be a training data set, for example, which is used to train a trainable object detector and/or classifier. However, the labeled data set can also be a test data set or a validation data set, for example, which is used to check the success of the training.

In einer weiteren vorteilhaften Ausgestaltung werden die Bilddaten des Datensatzes mit vorgegebenen Störungen unterschiedlicher Stärken 1, ..., n beaufschlagt. Weiterhin werden Werte G₁, ..., G_n der Gütefunktion für die gestörten Detektionsscores bzw. Klassifikationsscores, auf die Bilddaten mit Störungen einer jeden Stärke 1, ..., n abgebildet werden, ermittelt. Analog dem zuvor beschriebenen Verfahren kann die Robustheit R dann davon abhängig gemacht werden, wie sich die Empfindlichkeit des Objektdetektors bzw. Klassifikators gegenüber Störungen mit der Stärke der Störung ändert.In a further advantageous refinement, the image data of the data set are subjected to predetermined interference of different strengths 1, . . . , n. Furthermore, values G ₁ , . . . , G _n of the quality function for the noisy detection scores or classification scores, onto which image data with noisiness of each intensity 1 . . . , n are mapped, are determined. Analogously to the method described above, the robustness R can then be made dependent on how the sensitivity of the object detector or classifier to disturbances changes with the strength of the disturbance.

Bei beiden beschriebenen Verfahren werden in einer weiteren besonders vorteilhaften Ausgestaltung Beiträge zur gesuchten Robustheit R, die von gestörten Bilddaten mit Störungen verschiedener Stärken 1, ..., n herrühren, summiert oder integriert. Auf diese Weise kann das Verhalten des Objektdetektors bzw. Klassifikators über eine vorgegebene Bandbreite von Störungsstärken summarisch bewertet werden. Beispielsweise kann diese vorgegebene Bandbreite von Störungsstärken zu denjenigen Störungsstärken korrespondieren, die in einer konkreten Anwendung des Objektdetektors und/oder Klassifikators erwartet werden.In both methods described, in a further particularly advantageous embodiment, contributions to the sought-after robustness R, which originate from disturbed image data with disturbances of different strengths 1, . . . , n, are summed up or integrated. In this way, the behavior of the object detector or classifier can be summarily evaluated over a predetermined bandwidth of interference levels. For example, this predetermined range of interference levels can correspond to those interference levels that are expected in a specific application of the object detector and/or classifier.

Bei beiden beschriebenen Verfahren nehmen in einer weiteren besonders vorteilhaften Ausgestaltung auf einer quantitativen Skala der Stärke der Störung die Abstände zwischen aufeinander folgenden Stärken 1, ..., n zu größeren Stärken hin monoton zu oder ab. Wenn die Abstände monoton zunehmen, werden beim Ermitteln der Robustheit R Störungen mit geringer Stärke genauer untersucht. Wenn die Abstände monoton abnehmen, werden beim Ermitteln der Robustheit R Störungen mit größerer Stärke genauer untersucht.In both methods described, in a further particularly advantageous embodiment, the distances between successive strengths 1, . . . , n monotonically increase or decrease towards greater strengths on a quantitative scale of the strength of the disturbance. If the distances increase monotonically, when determining the robustness R, disturbances with low strength are examined more closely. If the distances decrease monotonically, when determining the robustness R, disturbances with greater strength are examined more closely.

Bei beiden beschriebenen Verfahren kann insbesondere beispielsweise Gaußsches Rauschen, Impulsrauschen, Verpixelung und/oder Mattieren als Störung gewählt werden. Hiermit sowie gegebenenfalls auch mit weiteren Störungen lassen sich insbesondere diejenigen Störungen, mit denen beim zumindest teilweise automatisierten Fahren aufgenommene Bilddaten typischerweise behaftet sind, gut nachbilden.In both methods described, for example, Gaussian noise, impulse noise, pixelation and/or matting can be selected as interference. With this and, if necessary, also with other faults, in particular those faults that occur during at least partially automated driving captured image data are typically tainted, replicate well.

Die Möglichkeit, die Robustheit R eines Objektdetektors und/oder Klassifikators quantitativ zu bestimmen, kann insbesondere beispielsweise genutzt werden, um das Training eines trainierbaren Objektdetektors und/oder Klassifikators zu erweitern.The possibility of quantitatively determining the robustness R of an object detector and/or classifier can be used in particular, for example, to expand the training of a trainable object detector and/or classifier.

Für das überwachte Training eines derartigen Objektdetektors und/oder Klassifikators wird ein Trainingsdatensatz mit Bilddaten bereitgestellt, in dem jedem Bild Soll-Detektionsscores bzw. Soll-Klassifikationsscores als Label zugeordnet sind. Die Bilddaten werden mit dem Objektdetektor und/oder Klassifikator auf Detektionsscores bzw. Klassifikationsscores abgebildet. Eine Abweichung zwischen den Detektionsscores bzw. Klassifikationsscores und den Labels wird mit einer vorgegebenen Kostenfunktion bewertet. Parameter, die das Verhalten des Objektdetektors und/oder Klassifikators charakterisieren, werden optimiert mit dem Ziel, dass sich bei weiterer Verarbeitung von Bilddaten durch den Objektdetektor und/oder Klassifikator die Bewertung durch die Kostenfunktion verbessert.A training data set with image data is provided for the monitored training of such an object detector and/or classifier, in which each image is assigned target detection scores or target classification scores as labels. The image data are mapped onto detection scores or classification scores using the object detector and/or classifier. A deviation between the detection scores or classification scores and the labels is evaluated using a predetermined cost function. Parameters that characterize the behavior of the object detector and/or classifier are optimized with the aim of improving the evaluation by the cost function during further processing of image data by the object detector and/or classifier.

Die Architektur, und/oder der Lernprozess, des Objektdetektors und/oder Klassifikators, ist durch mindestens einen Hyperparameter charakterisiert. Ein Hyperparameter ist im weitesten Sinne eine Größe, deren Zahlenwert über mindestens einen Aspekt der Architektur, bzw. des Lernprozesses, entscheidet. Dieser Aspekt wird mittels des Hyperparameters einem Optimierungsprozess, der auf numerischen Größen arbeitet, zugänglich gemacht.The architecture and/or the learning process of the object detector and/or classifier is characterized by at least one hyperparameter. In the broadest sense, a hyperparameter is a variable whose numerical value determines at least one aspect of the architecture or the learning process. This aspect is made accessible to an optimization process that works on numerical quantities by means of the hyperparameter.

Die Robustheit R des im Training befindlichen oder fertig trainierten Objektdetektors und/oder Klassifikators wird mit einem der zuvor beschriebenen Verfahren ermittelt. Mindestens ein Hyperparameter wird optimiert mit dem Ziel, dass sich bei weiterem Training des Objektdetektors und/oder Klassifikators die Robustheit R voraussichtlich verbessert.The robustness R of the object detector and/or classifier that is being trained or that has been trained is determined using one of the methods described above. At least one hyperparameter is optimized with the aim that the robustness R is likely to improve with further training of the object detector and/or classifier.

Das Training des Objektdetektors und/oder Klassifikators kann also arbeitsteilig erfolgen. Der mindestens eine Hyperparameter wirkt auf die Architektur und/oder den Lernprozess des Objektdetektors und/oder Klassifikators und legt hierüber den Rahmen fest, innerhalb dessen das eigentliche Training mit dem Trainingsdatensatz stattfindet. Im Rahmen dieses Trainings werden dann die eigentlichen Parameter, die das Verhalten des Objektdetektors und/oder Klassifikators charakterisieren, optimiert. Wenn der Objektdetektor und/oder Klassifikator beispielsweise ein neuronales Netzwerk ist oder umfasst, können diese Parameter beispielsweise Gewichte dieses neuronalen Netzwerks umfassen. Mit diesen Gewichten werden Eingaben, die einem Neuron oder einer anderen Verarbeitungseinheit des neuronalen Netzwerks zugeführt werden, in einer gewichteten Summe zu einer Aktivierung dieses Neurons, bzw. dieser anderen Verarbeitungseinheit, summiert.The training of the object detector and/or classifier can therefore take place in a division of labour. The at least one hyperparameter acts on the architecture and/or the learning process of the object detector and/or classifier and uses this to define the framework within which the actual training with the training data set takes place. The actual parameters that characterize the behavior of the object detector and/or classifier are then optimized as part of this training. If the object detector and/or classifier is or includes a neural network, for example, these parameters can include weights of this neural network, for example. With these weights, inputs that are supplied to a neuron or another processing unit of the neural network are added up in a weighted sum to an activation of this neuron or this other processing unit.

Dabei kann der Hyperparameter darüber entscheiden, wie viele Parameter der Objektdetektor und/oder Klassifikator in seinem Inneren hat. Beispielsweise können die Anzahl und der Aufbau von Schichten, in denen ein neuronales Netzwerk als Objektdetektor und/oder Klassifikator organisiert ist, durch einen oder mehrere Hyperparameter festgelegt sein.The hyperparameter can decide how many parameters the object detector and/or classifier has inside. For example, the number and structure of layers in which a neural network is organized as an object detector and/or classifier can be defined by one or more hyperparameters.

Wie zuvor erwähnt, kann die Robustheit R des Objektdetektors und/oder Klassifikators als Feedback dahingehend genutzt werden, ob der komplette Prozess von der Bildaufnahme bis zur Objekterkennung bzw. Klassifizierung optimal arbeitet bzw. wo es Verbesserungspotential gibt.As previously mentioned, the robustness R of the object detector and/or classifier can be used as feedback as to whether the entire process from image acquisition to object recognition or classification works optimally or where there is potential for improvement.

Daher bezieht sich die Erfindung auch auf ein Verfahren zum Betreiben eines trainierten Objektdetektors und/oder Klassifikators für Bilddaten.The invention therefore also relates to a method for operating a trained object detector and/or classifier for image data.

Bei diesem Verfahren wird unter Nutzung mindestens einer Sensorvorrichtung ein Datensatz mit Bilddaten aufgenommen. Anhand dieses Datensatzes wird mit einem der zuvor beschriebenen Verfahren zum Ermitteln der Robustheit R ebendiese Robustheit R des Objektdetektors und/oder Klassifikators ermittelt. Aus der ermittelten Robustheit R wird mindestens eine Maßnahme zur Verbesserung der physikalischen Bildaufnahme mit der Sensorvorrichtung, und/oder mindestens eine Maßnahme zur Verbesserung des Trainings des Objektdetektors und/oder Klassifikators ausgewertet. Die ermittelte Maßnahme wird auf die Sensorvorrichtung, bzw. auf das Training, angewendet.In this method, a data set with image data is recorded using at least one sensor device. This robustness R of the object detector and/or classifier is determined using one of the previously described methods for determining the robustness R on the basis of this data record. At least one measure to improve the physical image recording with the sensor device and/or at least one measure to improve the training of the object detector and/or classifier is evaluated from the determined robustness R. The determined measure is applied to the sensor device or to the training.

Auf diese Weise ist die Wahrscheinlichkeit deutlich erhöht, dass die angewendete Maßnahme genau an der Stelle, wo tatsächlich Verbesserungspotential besteht, die Robustheit R verbessert und ansonsten eine bereits bestehende gute Robustheit R beibehält. Somit wird letztendlich eine durchgehend gute Robustheit R erzielt. Dies wiederum erhöht die Wahrscheinlichkeit, dass der Objektdetektor und/oder Klassifikator für eine beliebige Eingabe eine für die jeweilige konkrete Anwendung brauchbare Ausgabe liefert.In this way, the probability is significantly increased that the measure applied improves the robustness R precisely at the point where there is actually potential for improvement and otherwise maintains an already existing good robustness R. Thus, a consistently good robustness R is ultimately achieved. This in turn increases the likelihood that the object detector and/or classifier will, for any given input, provide an output that is useful for the particular application.

Die Robustheit R kann insbesondere beispielsweise in Bezug auf eine Teilmenge des Datensatzes ermittelt werden. Die Maßnahme zur Verbesserung der physikalischen Bildaufnahme, und/oder die Maßnahme zur Verbesserung des Trainings, kann sich dann auf diese Teilmenge des Datensatzes beziehen. So kann die Optimierung beispielsweise speziell auf das Ziel gerichtet werden, Bilddaten, die nachts aufgenommen wurden, besser auszuwerten.The robustness R can be determined, for example, in relation to a subset of the data set. The measure to improve the physical image recording and/or the measure to improve the training can then relate to this subset of the data set refer to For example, the optimization can be aimed specifically at the goal of better evaluating image data that was recorded at night.

Die zuvor beschriebenen Verfahren können insbesondere beispielsweise computerimplementiert und somit in einer Software verkörpert sein. Die Erfindung bezieht sich daher auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, eines der beschriebenen Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.The methods described above can be computer-implemented, for example, and thus embodied in software. The invention therefore also relates to a computer program with machine-readable instructions which, when executed on one or more computers, cause the computer or computers to carry out one of the methods described. In this sense, control devices for vehicles and embedded systems for technical devices that are also able to execute machine-readable instructions are also to be regarded as computers.

Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.The invention also relates to a machine-readable data carrier and/or a download product with the computer program. A downloadable product is a digital product that can be transmitted over a data network, i.e. can be downloaded by a user of the data network and that can be offered for sale in an online shop for immediate download, for example.

Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.Furthermore, a computer can be equipped with the computer program, with the machine-readable data carrier or with the downloadable product.

Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.Further measures improving the invention are presented in more detail below together with the description of the preferred exemplary embodiments of the invention with the aid of figures.

Ausführungsbeispieleexemplary embodiments

Es zeigt:

1 Ausführungsbeispiel des Verfahrens 100 zur Bestimmung der Robustheit R eines Objektdetektors und/oder Klassifikators 1;
2 Ausführungsbeispiel des Verfahrens 200 zur Bestimmung der Robustheit R eines Objektdetektors und/oder Klassifikators 1;
3 Ausführungsbeispiel des Verfahrens 300 zum Trainieren eines Objektdetektors und/oder Klassifikators;
4 Ausführungsbeispiel des Verfahrens 400 zum Betreiben eines trainierten Objektdetektors und/oder Klassifikators;
5 Beispielhafte Abhängigkeiten der Robustheiten R vom Trainingsstand eines Objektdetektors 1.

It shows:

1 Embodiment of the method 100 for determining the robustness R of an object detector and/or classifier 1;
2 Exemplary embodiment of the method 200 for determining the robustness R of an object detector and/or classifier 1;
3 Embodiment of the method 300 for training an object detector and/or classifier;
4 Embodiment of the method 400 for operating a trained object detector and/or classifier;
5 Exemplary dependencies of the robustness R on the training status of an object detector 1.

1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100 zur Bestimmung der Robustheit R eines Objektdetektors und/oder Klassifikators 1. 1 is a schematic flowchart of an embodiment of the method 100 for determining the robustness R of an object detector and/or classifier 1.

In Schritt 110 wird ein Datensatz mit Bilddaten 2 bereitgestellt. Diese Bilddaten 2 werden in Schritt 120 von dem Objektdetektor und/oder Klassifikator 1 auf Detektionsscores bzw. Klassifikationsscores 3 abgebildet, die eine Verteilung V bilden. Parallel hierzu werden die Bilddaten 2 in Schritt 130 mit einer vorgegebenen Störung 4 beaufschlagt. Hierdurch werden gestörte Bilddaten 2' erzeugt. Die gestörten Bilddaten 2' werden in Schritt 140 von dem Objektdetektor und/oder Klassifikator 1 auf gestörte Detektionsscores 3' abgebildet, die eine Verteilung V' bilden.In step 110 a data set with image data 2 is provided. In step 120, this image data 2 is mapped by the object detector and/or classifier 1 onto detection scores or classification scores 3, which form a distribution V. In parallel with this, the image data 2 is subjected to a predetermined disturbance 4 in step 130 . This generates disturbed image data 2'. In step 140, the disturbed image data 2' are mapped by the object detector and/or classifier 1 onto disturbed detection scores 3', which form a distribution V'.

In Schritt 150 wird die Divergenz D zwischen den Verteilungen V und V' ermittelt. Hieraus wird die gesuchte Robustheit R ausgewertet.In step 150, the divergence D between the distributions V and V' is determined. From this, the sought-after robustness R is evaluated.

Gemäß Block 131 können die Bilddaten 2 jeweils mit vorgegebenen Störungen 4 unterschiedlicher Stärken 1, ..., n beaufschlagt werden. In Schritt 140 werden dann gemäß Block 141 Verteilungen V'₁, ..., V'_n gestörter Detektionsscores bzw. Klassifikationsscores 3' ermittelt, aus denen in Schritt 150 gemäß Block 151 Divergenzen D₁, ..., D_n gegenüber der ungestörten Verteilung V ausgewertet werden. Diese Divergenzen D₁, ..., D_n werden zu der gesuchten Robustheit R verarbeitet.According to block 131, the image data 2 can each be subjected to predetermined disturbances 4 of different strengths 1, . . . , n. In step 140, according to _block ₁₄₁ , distributions _V ' ₁ , . . Distribution V are evaluated. These divergences D ₁ , . . . , D _n are processed into the robustness R sought.

Gemäß Block 135 können insbesondere beispielsweise Gaußsches Rauschen, Impulsrauschen, Verpixelung und/oder Mattieren als Störung gewählt werden.According to block 135, for example Gaussian noise, impulse noise, pixelation and/or matting can be selected as interference.

Gemäß Block 152 kann die Robustheit R umso schlechter bewertet werden, je größer die an ihrer Auswertung beteiligten Divergenzen D, D₁, ..., D_n sind. According to block 152, the robustness R can be evaluated the worse, the greater the divergences D, D ₁ , . . . , D _n involved in its evaluation.

Gemäß Block 153 kann mindestens eine Divergenz D, D₁, ..., D_n als Kullback-Leibler-Divergenz, KLD, oder als Jensen-Shannon-Divergenz, JSD; ausgewertet werden.According to block 153, at least one divergence D, D ₁ , ..., D _n can be defined as a Kullback-Leibler divergence, KLD, or as a Jensen-Shannon divergence, JSD; be evaluated.

Gemäß Block 155 können beispielsweise Beiträge zur gesuchten Robustheit R, die von gestörten Bilddaten mit Störungen verschiedener Stärken 1, ..., n herrühren, summiert oder integriert werden.According to block 155, for example, contributions to the sought-after robustness R, which originate from disturbed image data with disturbances of different strengths 1, . . . , n, can be summed up or integrated.

2 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 200 zur Bestimmung der Robustheit R eines Objektdetektors und/oder Klassifikators 1. 2 is a schematic flowchart of an embodiment of the method 200 for determining the robustness R of an object detector and/or classifier 1.

In Schritt 210 wird ein Datensatz mit Bilddaten 2 bereitgestellt. In Schritt 220 werden diese Bilddaten 2 mit einer vorgegebenen Störung 4 beaufschlagt, so dass gestörte Bilddaten 2' erzeugt werden. Die gestörten Bilddaten 2' werden in Schritt 230 von dem Objektdetektor und/oder Klassifikator 1 auf gestörte Detektionsscores bzw. Klassifikationsscores 3 abgebildet. Anhand einer vorgegebenen Gütefunktion G, die von den gestörten Detektionsscores bzw. Klassifikationsscores 3' sowie von Nominalwerten und/oder Referenzen für die Detektionsscores bzw. Klassifikationsscores 3* abhängt, wird in Schritt 240 die gesuchte Robustheit R ausgewertet.In step 210 a data set with image data 2 is provided. In step 220, a predetermined disturbance 4 is applied to this image data 2, so that disturbed image data 2' is generated. In step 230, the disturbed image data 2' are mapped by the object detector and/or classifier 1 onto disturbed detection scores or classification scores 3. The sought-after robustness R is evaluated in step 240 using a predefined quality function G, which depends on the disturbed detection scores or classification scores 3′ and on nominal values and/or references for the detection scores or classification scores 3*.

Gemäß Block 211 kann ein gelabelter Datensatz, in dem jedem Bild 2 Soll-Detektionsscores bzw. Soll-Klassifikationsscores als Label 2a zugeordnet sind, als Datensatz gewählt werden. Die Nominalwerte bzw. Referenzen 3* können dann gemäß Block 241 aus diesen Labels 2a ermittelt werden.According to block 211, a labeled data set, in which each image 2 target detection scores or target classification scores are assigned as labels 2a, can be selected as the data set. The nominal values or references 3* can then be determined according to block 241 from these labels 2a.

Gemäß Block 221 können die Bilddaten 2 des Datensatzes in Schritt 220 mit vorgegebenen Störungen 4 unterschiedlicher Stärken 1, ..., n beaufschlagt werden. In Schritt 240 werden dann gemäß Block 242 Werte G₁, ..., G_n der Gütefunktion für die gestörten Detektionsscores bzw. Klassifikationsscores 3', auf die Bilddaten 2' mit Störungen 4 einer jeden Stärke 1, ..., n abgebildet werden, ermittelt und zur Bildung der gesuchten Robustheit R herangezogen.In accordance with block 221, the image data 2 of the data set can be subjected to predetermined disturbances 4 of different strengths 1, . . . , n in step 220. In step 240, according to _block 242, values G ₁ , , determined and used to form the required robustness R.

Gemäß Block 225 können insbesondere beispielsweise Gaußsches Rauschen, Impulsrauschen, Verpixelung und/oder Mattieren als Störung gewählt werden.According to block 225, for example Gaussian noise, impulse noise, pixelation and/or matting can be selected as interference.

Gemäß Block 245 können beispielsweise Beiträge zur gesuchten Robustheit R, die von gestörten Bilddaten mit Störungen verschiedener Stärken 1, ..., n herrühren, summiert oder integriert werden.According to block 245, for example, contributions to the sought-after robustness R, which originate from disturbed image data with disturbances of different strengths 1, . . . , n, can be summed up or integrated.

3 ist ein Ausführungsbeispiel des Verfahrens 300 zum Trainieren eines Objektdetektors und/oder Klassifikators 1 für Bilddaten 2. 3 is an embodiment of the method 300 for training an object detector and/or classifier 1 for image data 2.

In Schritt 310 wird ein Objektdetektor und/oder Klassifikator 1 für Bilddaten 2 bereitgestellt. Dieser Objektdetektor und/oder Klassifikator 1 ist trainierbar. Seine Architektur, und/oder sein Lernprozess, ist durch mindestens einen Hyperparameter 5 charakterisiert.In step 310 an object detector and/or classifier 1 for image data 2 is provided. This object detector and/or classifier 1 can be trained. Its architecture and/or its learning process is characterized by at least one hyperparameter 5.

In Schritt 320 wird ein Trainingsdatensatz mit Bilddaten 2 bereitgestellt. In diesem Trainingsdatensatz sind jedem Bild 2 Soll-Detektionsscores bzw. Soll-Klassifikationsscores als Label 2a zugeordnet.In step 320, a training data set with image data 2 is provided. In this training data set, each image is assigned 2 target detection scores or target classification scores as labels 2a.

Die Bilddaten 2 werden in Schritt 330 mit dem Objektdetektor und/oder Klassifikator 1 auf Detektionsscores bzw. Klassifikationsscores 3 abgebildet. In Schritt 340 wird eine Abweichung zwischen den Detektionsscores bzw. Klassifikationsscores 3 und den Labels 2a mit einer vorgegebenen Kostenfunktion 6 bewertet. In Schritt 350 werden Parameter 1a, die das Verhalten des Objektdetektors und/oder Klassifikators 1 charakterisieren, optimiert mit dem Ziel, dass sich bei weiterer Verarbeitung von Bilddaten 2 durch den Objektdetektor und/oder Klassifikator 1 die Bewertung 6a durch die Kostenfunktion 6 verbessert. Der fertig trainierte Zustand der Parameter 1a ist mit dem Bezugszeichen 1a* bezeichnet.In step 330, the image data 2 are mapped onto detection scores or classification scores 3 using the object detector and/or classifier 1 . In step 340, a deviation between the detection scores or classification scores 3 and the labels 2a is evaluated using a predefined cost function 6. In step 350, parameters 1a, which characterize the behavior of the object detector and/or classifier 1, are optimized with the aim of improving the evaluation 6a by the cost function 6 during further processing of image data 2 by the object detector and/or classifier 1. The fully trained state of the parameters 1a is denoted by the reference symbol 1a*.

In dem in 3 gezeigten Beispiel wird die Robustheit R in Schritt 360 im Anschluss an das Training des Objektdetektors und/oder Klassifikators 1 mit dem zuvor beschriebenen Verfahren 100, 200 ermittelt. Die Robustheit R kann aber genauso gut auch schon während dieses Trainings ermittelt werden.in the in 3 In the example shown, the robustness R is determined in step 360 following the training of the object detector and/or classifier 1 using the method 100, 200 described above. However, the robustness R can just as well be determined during this training.

In Schritt 370 wird mindestens ein Hyperparameter 5 optimiert mit dem Ziel, dass sich bei weiterem Training des Objektdetektors und/oder Klassifikators 1 die Robustheit R voraussichtlich verbessert. Der fertig optimierte Zustand des Hyperparameters 5 ist mit dem Bezugszeichen 5* bezeichnet.In step 370, at least one hyperparameter 5 is optimized with the aim that with further training of the object detector and/or classifier 1 the robustness R is likely to improve. The completely optimized state of the hyperparameter 5 is denoted by the reference symbol 5*.

4 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 400 zum Betreiben eines trainierten Objektdetektors und/oder Klassifikators 1 für Bilddaten 2. 4 is a schematic flowchart of an embodiment of the method 400 for operating a trained object detector and/or classifier 1 for image data 2.

In Schritt 410 wird unter Nutzung mindestens einer Sensorvorrichtung 7 ein Datensatz mit Bilddaten 2 aufgenommen. Anhand dieses Datensatzes wird in Schritt 420 mit dem zuvor beschriebenen Verfahren 100, 200 die Robustheit R des Objektdetektors und/oder Klassifikators 1 ermittelt. Aus der ermittelten Robustheit R wird in Schritt 430 mindestens eine Maßnahme 8a zur Verbesserung der physikalischen Bildaufnahme mit der Sensorvorrichtung 7, und/oder mindestens eine Maßnahme 8b zur Verbesserung des Trainings des Objektdetektors und/oder Klassifikators 1, ausgewertet. Die ermittelte Maßnahme 8a, 8b wird auf die Sensorvorrichtung 7, bzw. auf das Training des Objektdetektors und/oder Klassifikators 1, angewendet.In step 410 a data set with image data 2 is recorded using at least one sensor device 7 . Using this data set, the robustness R of the object detector and/or classifier 1 is determined in step 420 using the method 100, 200 described above. In step 430, at least one measure 8a for improving the physical image recording with the sensor device 7 and/or at least one measure 8b for improving the training of the object detector and/or classifier 1 is evaluated from the determined robustness R. The determined measure 8a, 8b is applied to the sensor device 7 or to the training of the object detector and/or classifier 1.

5 zeigt beispielhaft, wie die Robustheit R eines konkreten Objektdetektors 1, der auf die Erkennung von Verkehrsampeln in Bildern von Verkehrssituationen trainiert ist, ermittelt werden kann und wie sie sich in Abhängigkeit des Trainingsstandes des Objektdetektors 1 entwickelt. 5 shows an example of how the robustness R of a specific object detector 1, which is trained to recognize traffic lights in images of traffic situations, can be determined and how it develops as a function of the training status of the object detector 1.

Diagramm (a) veranschaulicht die Ermittlung der Robustheit R mit dem Verfahren 100, bei dem die Divergenz D zwischen der Verteilung V ursprünglicher Detektionsscores 3 einerseits und der Verteilung V' gestörter Detektionsscores 3' andererseits herangezogen wird. Aufgetragen ist 1-D über der Stärke s der Störung 4. R wird als Summe von 1-D über all diese Stärken s ermittelt. Die drei Kurven A, B und C repräsentieren drei Trainingszustände („Checkpoints“) während des Trainings des Objektdetektors 1.Diagram (a) illustrates the determination of the robustness R with the method 100 in which the Divergence D between the distribution V of original detection scores 3 on the one hand and the distribution V' of disturbed detection scores 3' on the other hand is used. 1-D is plotted against the strength s of disturbance 4. R is determined as the sum of 1-D over all these strengths s. The three curves A, B and C represent three training states (“checkpoints”) during the training of the object detector 1.

Grundsätzlich nimmt 1-D mit zunehmender Stärke s der Störung 4 immer weiter ab, wobei dieser Abfall je nach Trainingszustand des Objektdetektors 1 unterschiedlich stark ausgeprägt ist. Für den Trainingszustand A ergibt sich insgesamt eine Robustheit R von 0,39. Für den Trainingszustand B ist die Robustheit R mit 0,66 am besten, bevor sie für den Trainingszustand C wieder auf 0,58 zurückgeht. Dies könnte auf Overfitting an die Trainingsdaten hindeuten.In principle, 1-D decreases further and further with increasing strength s of the disturbance 4, with this decrease being pronounced to different extents depending on the training state of the object detector 1. For training condition A, the overall robustness R is 0.39. For training level B, the robustness R is at its best at 0.66 before dropping back to 0.58 for training level C. This could indicate overfitting to the training data.

Diagramm (b) veranschaulicht die Ermittlung der Robustheit R mit dem Verfahren 200, bei dem ein Gütemaß G herangezogen wird. Aufgetragen ist G über der Stärke s der Störung. R wird als Summe der Gütemaße G über die Stärken s der Störungen von 1 bis 4 ermittelt. Der ungestörte Zustand („s=0“) ist nur zur Veranschaulichung eingezeichnet.Diagram (b) illustrates the determination of the robustness R using the method 200, in which a quality measure G is used. G is plotted against the strength s of the disturbance. R is determined as the sum of the quality measures G over the strengths s of the disturbances from 1 to 4. The undisturbed state (“s=0”) is only shown for illustration purposes.

Analog zu Diagramm (a) nimmt das Gütemaß G mit zunehmender Stärke s der Störung grundsätzlich ab. Es zeigt sich auch die gleiche qualitative Rangfolge der drei Trainingszustände A bis C in Bezug auf die Robustheit R. Für den Trainingszustand A ergibt sich eine Robustheit R von 0,31. Die Robustheit R steigt im Trainingszustand B bis auf 0,55, um dann im Trainingszustand C wieder auf 0,51 zurückzugehen.Analogously to diagram (a), the measure of quality G generally decreases with increasing strength s of the disturbance. The same qualitative ranking of the three training states A to C in terms of robustness R is also evident. For training state A, the robustness R is 0.31. In training state B, the robustness R increases to 0.55, and then in training state C it falls back to 0.51.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

DE 102018220941 A1 [0004]

Claims

Method (100) for determining the robustness R of an object detector and/or classifier (1) for image data (2), which is designed to map image data (2) to detection scores or classification scores (3), which are based on in the image data ( 2) obtain recognized objects or classes, with the steps: • a data set with image data (2) is provided (110); • the image data (2) of the data set are mapped (120) by the object detector and/or classifier (1) to detection scores or classification scores (3), so that a distribution V of original detection scores or classification scores (3) is determined; • the image data (2) of the data set are subjected (130) to a predetermined disturbance (4), so that disturbed image data (2') are generated; • the disturbed image data (2') are mapped (140) by the object detector and/or classifier (1) to disturbed detection scores or classification scores (3'), so that a distribution V' of disturbed detection scores or classification scores (3') is determined becomes; • The sought-after robustness R is evaluated (150) from at least one divergence D between the distribution V of original detection scores or classification scores (3) and the distribution V' of disturbed detection scores or classification scores (3').

Method (100) according to claim 1 , wherein • the image data (2) of the data set are subjected (131) to predetermined disturbances (4) of different strengths 1, ..., n; • from disturbed detection scores or classification scores (3'), which are generated from image data (2') with disturbances (4) of each strength 1, ..., n, distributions V' ₁ , ..., V' _n disturbed detection scores or classification scores (3') are determined (141); and • divergences D ₁ , ..., D _n between the distribution V of original detection scores or classification scores (3) and the distributions V' ₁ , ..., V' _n of disturbed detection scores or classification scores (3') are determined ( 151).

Method (100) according to any one of Claims 1 until 2 , where the robustness R is rated worse (152) the greater the divergences D, D ₁ , ..., D _n involved in its evaluation.

Method (100) according to any one of Claims 1 until 3 , where at least one divergence D, D ₁ , ..., D _n is defined as a Kullback-Leibler divergence, KLD, or as a Jensen-Shannon divergence, JSD; is evaluated (153).

Method (200) for determining the robustness R of an object detector and/or classifier (1) for image data (2), which is designed to map image data (2) to detection scores or classification scores (3), which are based on in the image data ( 2) obtain recognized objects or classes, with the steps: • a data set with image data (2) is provided (210); • the image data (2) of the data set are subjected (220) to a predetermined disturbance (4), so that disturbed image data (2') are generated; • the disturbed image data (2') are mapped (230) by the object detector and/or classifier (1) to disturbed detection scores or classification scores (3); The robustness R sought is evaluated (240) using a predefined quality function G, which depends on the disturbed detection scores or classification scores (3') and on nominal values and/or references for the detection scores or classification scores (3*).

Method (200) according to claim 5 , wherein a labeled data set is for the object detector and/or classifier, in which each image (2) is assigned target detection scores or target classification scores as labels (2a), is selected as a data set (211) and the nominal values or References (3*) can be determined from these labels (2a) (241).

Method (200) according to any one of Claims 5 until 6 , wherein • the image data (2) of the data set are subjected (221) to predetermined disturbances (4) of different strengths 1, . . . , n; and • Values G ₁ , ..., G _n of the quality function for the noisy detection scores or classification scores (3') onto which image data (2') with noisiness (4) of each strength 1, ..., n are mapped , are determined (242).

Method (100, 200) according to any one of Claims 1 until 7 , where contributions to the sought-after robustness R, which originate from disturbed image data with disturbances of different strengths 1, ..., n, are summed or integrated (155, 245).

Method (100, 200) according to any one of Claims 1 until 8th , where on a quantitative scale of the strength of the disturbance (4), the distances between successive strengths 1, ..., n monotonically increase or decrease towards larger strengths.

Method (100, 200) according to any one of Claims 1 until 9 , where Gaussian noise, impulse noise, pixelation and/or matting is selected as noise (135, 225).

Method (300) for training an object detector and/or classifier (1) for image data (2) with the steps: • an object detector and/or classifier (1) for image data (2) is provided, whose architecture and/or learning process is carried out at least one hyperparameter (5) is characterized (310); • a training data set with image data (2) is provided (320), in which each image (2) is assigned target detection scores or target classification scores as labels (2a); • the image data (2) are mapped (330) to detection scores or classification scores (3) using the object detector and/or classifier (1); • a deviation between the detection scores or classification scores (3) and the labels (2a) is evaluated (340) using a predetermined cost function (6); • Parameters (1a), which characterize the behavior of the object detector and/or classifier (1), are optimized (350) with the aim that during further processing of image data (2) by the object detector and/or classifier (1), the Score (6a) improved by the cost function (6); • the robustness R of the object detector and/or classifier (1) which is in training or has been fully trained is determined using the method (100, 200) according to one of Claims 1 until 10 determined (360); • at least one hyperparameter (5) is optimized (370) with the aim that with further training of the object detector and/or classifier (1) the robustness R is likely to improve.

Method (400) for operating a trained object detector and/or classifier (1) for image data (2), comprising the steps: • using at least one sensor device (7), a data set with image data (2) is recorded (410); • based on this data set, the method according to one of the Claims 1 until 10 the robustness R of the object detector and/or classifier (1) is determined (420); • From the determined robustness R, at least one measure (8a) to improve the physical image recording with the sensor device (7) and/or at least one measure (8b) to improve the training of the object detector and/or classifier (1) is evaluated ( 430); • The determined measure (8a, 8b) is applied to the sensor device (7) or to the training (440).

Method (400) according to claim 12 , wherein the robustness R is determined in relation to a subset of the data set (421) and wherein the measure (8a) to improve the physical image acquisition and/or the measure (8b) to improve the training relates to this subset of the data set (431).

Computer program containing machine-readable instructions which, when executed on one or more computers, cause the computer(s) to carry out a method (100, 200, 300, 400) according to one of Claims 1 until 13 to execute.

Machine-readable data carrier and/or download product with the computer program Claim 14 .

One or more computers with the computer program after Claim 14 , and/or with the machine-readable data medium and/or download product claim 15 .