DE102022204618A1 - Effective quality determination of object recognition by a neural network - Google Patents

Effective quality determination of object recognition by a neural network Download PDF

Info

Publication number
DE102022204618A1
DE102022204618A1 DE102022204618.8A DE102022204618A DE102022204618A1 DE 102022204618 A1 DE102022204618 A1 DE 102022204618A1 DE 102022204618 A DE102022204618 A DE 102022204618A DE 102022204618 A1 DE102022204618 A1 DE 102022204618A1
Authority
DE
Germany
Prior art keywords
objects
test image
neural network
parameters
concepts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022204618.8A
Other languages
German (de)
Inventor
Frank Bonarens
Patrick Feifel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stellantis Auto Sas Fr
Original Assignee
PSA Automobiles SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PSA Automobiles SA filed Critical PSA Automobiles SA
Priority to DE102022204618.8A priority Critical patent/DE102022204618A1/en
Publication of DE102022204618A1 publication Critical patent/DE102022204618A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Testen eines neuronalen Netzes zur Objekterkennung, aufweisend die Schritte: Wiederholtes Bereitstellen (S1) eines Objekte enthaltenden Testbildes, für jedes Testbild eines Schritts: Bereitstellen (S2) von vorgegebenen Konzepten als Teilelement eines jeweiligen Objekts, Auslesen von latenten Repräsentationen aus einer inneren Ebene des künstlichen neuronalen Netzes und Ermitteln von jeweiligen Distanzen zwischen einer jeweiligen latenten Repräsentation und allen Konzepten, Zuordnen der jeweiligen latenten Repräsentation zu demjenigen der Konzepte mit der kürzesten Distanz und Ermitteln eines Maßes für die Qualität der Zuordnung, und Bestimmen (S3) von Parametern des nächsten Testbildes abhängig von dem Maß für die Qualität der Zuordnung.The invention relates to a method for testing a neural network for object recognition, comprising the steps: repeatedly providing (S1) a test image containing objects, for each test image of a step: providing (S2) predetermined concepts as a sub-element of a respective object, reading out latent representations from an inner level of the artificial neural network and determining respective distances between a respective latent representation and all concepts, assigning the respective latent representation to that of the concepts with the shortest distance and determining a measure for the quality of the assignment, and determining (S3) of parameters of the next test image depending on the measure of the quality of the assignment.

Description

Die Erfindung betrifft ein Verfahren zum Testen und/oder Validieren eines trainierten künstlichen neuronalen Netzes, welches zur Einordnung eines in Bilddaten enthaltenen Objekts in eine Objektkategorie dient.The invention relates to a method for testing and/or validating a trained artificial neural network, which is used to classify an object contained in image data into an object category.

Insbesondere im Bereich des automatisierten Fahrens von Fahrzeugen wie Personenkraftwagen oder Lastkraftwagen wird es zunehmend wichtig, maschinell die Umgebung des Fahrzeugs zu analysieren und Objekte wie Fußgänger in ihre entsprechende Kategorie einzuordnen. Eine solche Objekterkennung wird typischerweise auf Basis von visuellen Daten, beispielsweise aus einer Kamera, ausgeführt, kann prinzipiell alternativ oder ergänzend dazu jedoch auch andere Sensorarten einschließen. Unabhängig von der konkret verwendeten Sensorart wird hierfür ein Datensatz über die Umgebung des Fahrzeugs mit einer gewissen Wiederhol-Frequenz aufgenommen. Zur Erkennung von Objekten in einem solchen jeweils aktuellen Datensatz kann ein vorab-trainiertes künstliches neuronales Netz zum Einsatz kommen, welches als Eingangsdaten Informationen aus dem oben erwähnten Datensatz erhält, und im Sinne von Ausgangsdaten eine Einordnung eines in den Bilddaten sichtbaren Objekts in eine von mehreren vordefinierten Objektkategorien angibt. Zum Trainieren eines solchen künstlichen neuronalen Netzes werden typischerweise Informationen über Objekte aus diesen Kategorien für die Eingangsdaten verwendet, während die Vorgabe der jeweiligen Kategorie des jeweiligen betrachteten Objekts zusammen mit der Vorgabe der zugehörigen Position die vorgegebenen Ausgangsdaten darstellen. Am Beispiel des für ein automatisiertes Fahrzeug verwendeten künstlichen neuronalen Netzes wären dies beispielsweise die Kategorien: Fußgänger, Radfahrer, Personenkraftwagen, Baufahrzeug, etc.;Particularly in the area of automated driving of vehicles such as cars or trucks, it is becoming increasingly important to automatically analyze the vehicle's surroundings and classify objects such as pedestrians into their corresponding category. Such object recognition is typically carried out on the basis of visual data, for example from a camera, but can in principle alternatively or in addition to this also include other types of sensors. Regardless of the specific type of sensor used, a data set about the vehicle's surroundings is recorded with a certain repetition frequency. To recognize objects in such a current data set, a pre-trained artificial neural network can be used, which receives information from the above-mentioned data set as input data, and in the sense of output data, a classification of an object visible in the image data into one of several predefined object categories. To train such an artificial neural network, information about objects from these categories is typically used for the input data, while the specification of the respective category of the respective object under consideration together with the specification of the associated position represent the predetermined output data. Using the example of the artificial neural network used for an automated vehicle, these would be the categories: pedestrians, cyclists, passenger cars, construction vehicles, etc.;

Wegen der hohen Komplexität eines künstlichen neuronalen Netzes, verursacht durch eine enorm hohe Zahl von für den Menschen intuitiv praktisch nicht nachvollziehbarer interner Parameter, sticht häufig der Black-Box Charakter des künstlichen neuronalen Netzes im Vergleich zu alternativen, intuitiv vom Menschen beobachtbaren Systemen, hervor. Dies gilt insbesondere für die künstlichen tiefen neuronalen Netze, die eine sehr große Anzahl von Ebenen (sog. „layer“) aufweisen. Mit zunehmendem Automatisierungsgrad eines Fahrzeugs bis hin zu einem vollautomatischen bzw. autonomen Fahrzeug, welches keinen manuellen Eingriff durch einen Fahrer mehr benötigt, steigt jedoch auch das erforderte Sicherheitsniveau, da ein Fehler in der Zuordnung des Objekts in eine bestimmte von vorgegebenen Kategorien oder auch ein Fehler in der Lokalisierung, kurz gesagt in der „Objekterkennung“, tendenziell auch gravierendere Auswirkungen auf die Sicherheit des eigenen Fahrzeugs oder andere Verkehrsteilnehmer hat, je größer die Autorität über die Steuerung des Fahrzeugs durch das automatische Fahrsteuersystem ist. Eine häufig zu beobachtende Eigenschaft von künstlichen neuronalen Netzen ist jedoch, dass Abweichungen der aktuellen Eingangsdaten des künstlichen neuronalen Netzes in seinem Betrieb von den Eingangsdaten, die zu Trainingszwecken des künstlichen neuronalen Netzes verwendet wurden, zu gewissen und manchmal großen Abweichungen in den Ausgangsdaten des künstlichen neuronalen Netzes führen können. Es ist daher wichtig, die Zuverlässigkeit und Sicherheit eines künstlichen neuronalen Netzes bei der Verwendung für die Objekterkennung insbesondere in einer Anwendung des automatisierten Fahrens zu überprüfen und idealerweise quantifizieren zu können.Due to the high complexity of an artificial neural network, caused by an enormously high number of internal parameters that are practically incomprehensible to humans, the black-box character of the artificial neural network often stands out in comparison to alternative systems that can be intuitively observed by humans. This is particularly true for artificial deep neural networks, which have a very large number of levels (so-called “layers”). However, as the degree of automation of a vehicle increases, up to a fully automatic or autonomous vehicle that no longer requires manual intervention by a driver, the required level of safety also increases, as an error in the assignment of the object to a specific one of predetermined categories or even an error in localization, in short in “object recognition”, tends to have more serious effects on the safety of one's own vehicle or other road users, the greater the authority over the control of the vehicle by the automatic driving control system. However, a commonly observed property of artificial neural networks is that deviations in the current input data of the artificial neural network in its operation from the input data used for training purposes of the artificial neural network result in certain and sometimes large deviations in the output data of the artificial neural network network. It is therefore important to check and ideally be able to quantify the reliability and safety of an artificial neural network when used for object recognition, particularly in an automated driving application.

Die folgenden Informationen beziehen sich nicht auf ein konkretes Dokument im Stand der Technik, sondern sind allgemein verfügbares Fachwissen: Gängige künstliche tiefe neuronale Netze in der Anwendung für die Erkennung einer Objektkategorie auf Basis von visuellen Daten wie aus Kamerabildern sind typischerweise nicht interpretierbar und damit nicht evidenzbasiert. Dies erschwert den breiteren Einsatz in sicherheitskritischen Anwendungen z.B. im Bereich des automatisierten Fahrens von Fahrzeugen wie Personenkraftwagen oder Lastkraftwagen. Unmodifizierte künstliche tiefe neuronale Netze besitzen typischerweise eine Anzahl von Merkmalsextrationsebenen und eine Anzahl von nicht-interpretierbaren Perzeptionsebenen. Hierbei erzeugen die Merkmalsextraktionsebenen für gegebene Eingangsdaten wie 2D-Bilddaten einen nicht-interpretierbaren latenten Repräsentationsdatensatz mit einer Vielzahl latenter Repräsentationen. Die nicht-interpretierbaren Perzeptionsebenen erzeugen auf Basis der latenten Repräsentationen des jeweiligen Repräsentationsdatensatzes Detektionen, das heißt hier erfolgt die Zuordnung der von den Bilddaten umfassten Objekte in Objektkategorien.The following information does not refer to a specific document in the prior art, but is generally available specialist knowledge: Common artificial deep neural networks used for recognizing an object category based on visual data such as camera images are typically not interpretable and therefore not evidence-based . This makes broader use in safety-critical applications, e.g. in the area of automated driving of vehicles such as cars or trucks, more difficult. Unmodified artificial deep neural networks typically have a number of feature extraction levels and a number of uninterpretable perception levels. Here, the feature extraction levels generate a non-interpretable latent representation data set with a large number of latent representations for given input data such as 2D image data. The non-interpretable perception levels generate detections based on the latent representations of the respective representation data set, which means that the objects included in the image data are assigned to object categories.

Der Begriff der „Interpretierbarkeit“ sowie der Ausdruck „ein interpretierbarer Vergleich“ werden jeweils auf Basis des Verständnisses des Begriffs „interpretierbar“ im Sinne von „algorithmisch nachvollziehbar“ im vorliegenden Zusammenhang verwendet. Die „Interpretierbarkeit“ wird entsprechend als „algorithmische Nachvollziehbarkeit“ und „ein interpretierbarer Vergleich“ als „ein algorithmisch nachvollziehbarer Vergleich“ verstanden. Der Begriff „interpretierbar“ ist daher nicht grundsätzlich gleichsetzbar mit dem Ausdruck „intuitiv verständlich für einen Menschen“.The term “interpretability” and the expression “an interpretable comparison” are each used in the present context based on the understanding of the term “interpretable” in the sense of “algorithmically comprehensible”. “Interpretability” is understood as “algorithmic comprehensibility” and “an interpretable comparison” as “an algorithmically comprehensible comparison”. The term “interpretable” is therefore not fundamentally equivalent to the expression “intuitively understandable to a person”.

In der Publikation „Leveraging Interpretability: Concept-based Pedestrian Detection with Deep Neural Networks“ der Autoren Patrick Feifel, Frank Bonarens und Frank Köster, CSCS '21, November 30, 2021, Ingolstadt, Germany (verfügbar zum Zeitpunkt des Schreibens unter https://dl.acm.org/doi/fullHtml/10.1145/3488904.3493379 bzw. https://doi.org/10.1145/3488904.3493379) sind semantische Segmentierungen sowie die Detektion von Begrenzungsrahmen mit der Lokalisierung und Klassifizierung eines Objektes gezeigt. Diese Publikation wird hiermit durch Verweis einbezogen. Diese Publikation befasst sich insbesondere damit, sogenannte „Konzepte“ in einer Bildszene durch die Verwendung von Abständen („Distanzen“) zu identifizieren. Anschaulich betrachtet am Beispiel eines Fußgängers als zu identifizierendes Objekt in einer Straßenverkehrssituation entsprechen diese „Konzepte“ im Sinne dieser Publikation bevorzugt vordefinierten Körperteilen, welche im Sinne einer semantischen Segmentierung des Objekts „Fußgänger“ einzeln erkannt werden. Um den oben beschriebenen Nachteil der unmodifizierten Merkmalsextraktionsebenen mit nicht-interpretierbaren latenten Repräsentationen zu vermeiden, wird in dieser Publikation eine Modifikation verwendet, die eine Transformation der latenten Repräsentationen zur Erzeugung von nachgelagerten interpretierbaren Perzeptionsebenen umfasst, welche auf Basis der jeweiligen Ähnlichkeiten der interpretierbaren latenten Repräsentationen die finalen Detektionen erlaubt. Es kann zum Zwecke einer solchen Transformation eine Anzahl von Transformationsebenen und eine Anzahl von interpretierbaren Perzeptionsebenen verwendet werden. Hierbei bilden die Transformationsebenen den nicht-interpretierbaren latenten Raum des gängigen künstlichen neuronalen Netzes auf den interpretierbaren Raum des modifizierten künstlichen neuronalen Netzes ab. Der transformierte, interpretierbare, latente Repräsentationsdatensatz mit der Menge der latenten Repräsentationen kann dann mit einer Anzahl von gelernten Vektoren von Konzepten auf Ähnlichkeit hin verglichen werden. Für weitere Details sei auf die oben zitierte Publikation verwiesen.In the publication “Leveraging Interpretability: Concept-based Pedestrian Detection with Deep Neural Networks” by authors Patrick Feifel, Frank Bonarens and Frank Köster, CSCS '21, November 30, 2021, Ingolstadt, Germany (available at the time of writing at https://dl.acm.org/doi/fullHtml/10.1145/3488904.3493379 or https://doi.org/10.1145/3488904.3493379) semantic segmentations as well as the detection of bounding boxes with the localization and classification of an object are shown. This publication is hereby incorporated by reference. This publication is particularly concerned with identifying so-called “concepts” in an image scene through the use of distances. Considered clearly using the example of a pedestrian as an object to be identified in a road traffic situation, these “concepts” in the sense of this publication preferably correspond to predefined body parts, which are recognized individually in the sense of a semantic segmentation of the “pedestrian” object. In order to avoid the above-described disadvantage of unmodified feature extraction levels with non-interpretable latent representations, this publication uses a modification that includes a transformation of the latent representations to generate downstream interpretable perception levels, which are based on the respective similarities of the interpretable latent representations final detections allowed. For the purpose of such a transformation, a number of transformation levels and a number of interpretable perception levels can be used. Here, the transformation levels map the non-interpretable latent space of the common artificial neural network onto the interpretable space of the modified artificial neural network. The transformed, interpretable, latent representation dataset containing the set of latent representations can then be compared for similarity to a number of learned vectors of concepts. For further details please refer to the publication cited above.

Wegen der oben genannten, jedem neuronalen Netz innewohnenden, Eigenschaft, dass Abweichungen der aktuellen Eingangsdaten des künstlichen neuronalen Netzes in seinem Betrieb von den Eingangsdaten, die zu Trainingszwecken des künstlichen neuronalen Netzes verwendet wurden, zu großen Abweichungen in den Ausgangsdaten des künstlichen neuronalen Netzes führen können, ist umfangreiches Testen von bereits trainierten neuronalen Netzen eine Lösung, um kritische Objekte zu identifizieren und ein Scheitern einer korrekten Objekterkennung zu identifizieren. Da solche Tests realitätsnah sein sollen, liegt es nahe, eine enorm hohe Zahl von (bevorzugt synthetischen) Testbildern für eine ausreichend große Zahl von Permutationen von geänderten Parametern in den Testbildern zu verwenden. Dazu könnte durch synthetische Generierung von Bildszenen, in denen Objekte (z.B. Fußgänger) selbst variiert bzw. manipuliert und dann an verschiedenen Positionen platziert werden, eine große Zahl von Datensätzen durch Inferenz auf das trainierte künstliche neuronale Netz geprüft werden. In Folge dessen würde aber eine derart hohe Zahl von Testbildern mit entsprechenden Permutationen benötigt, dass der dafür benötigte Rechen- und Speicheraufwand extrem hoch wäre.Because of the above-mentioned property inherent in every neural network, deviations of the current input data of the artificial neural network in its operation from the input data used for training purposes of the artificial neural network can lead to large deviations in the output data of the artificial neural network , extensive testing of already trained neural networks is a solution to identify critical objects and to identify failure of correct object recognition. Since such tests should be close to reality, it makes sense to use an enormously large number of (preferably synthetic) test images for a sufficiently large number of permutations of changed parameters in the test images. For this purpose, a large number of data sets could be checked by inference on the trained artificial neural network by synthetically generating image scenes in which objects (e.g. pedestrians) themselves are varied or manipulated and then placed in different positions. As a result, such a large number of test images with corresponding permutations would be required that the computing and storage effort required would be extremely high.

Es ist daher Aufgabe der Erfindung, den Aufwand zum Testen und/oder Validieren eines trainierten künstlichen neuronalen Netzes für die Erkennung einer Objektkategorie eines Objekts in Bilddaten, insbesondere im Hinblick auf kritische Fälle einer suboptimalen oder gänzlich gescheiterten Objekterkennung, zu verringern.It is therefore the object of the invention to reduce the effort for testing and/or validating a trained artificial neural network for the recognition of an object category of an object in image data, in particular with regard to critical cases of suboptimal or completely failed object recognition.

Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.The invention results from the features of the independent claims. Advantageous further developments and refinements are the subject of the dependent claims.

Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Testen und/oder Validieren eines trainierten künstlichen neuronalen Netzes welches zur Einordnung eines in Bilddaten enthaltenen Objekts in eine Objektkategorie dient, aufweisend die Schritte:

  • - In wiederholten Schritten Bereitstellen eines Testbildes, wobei das jeweilige Testbild Informationen über eine Vielzahl von Objekten aufweist, wobei jedes der Objekte aus einer vorgegebenen Objektkategorie ist und Parameter der Objekte und/oder Bildparameter des Testbilds von Schritt zu Schritt veränderbar sind, und die jeweilige Objektkategorie eine mögliche Ausgangsgröße des künstlichen neuronalen Netzes ist,
  • - Für jedes Testbild eines Schritts: Bereitstellen von Konzeptmasken für auf das Testbild bezogene Konzepte, wobei ein jeweiliges Konzept vorab, insbesondere für das Training des künstlichen neuronalen Netzes, als Teilelement eines jeweiligen Objekts definiert wurde, Auslesen von latenten Repräsentationen und Konzeptparametern des jeweiligen Konzepts aus einer inneren Ebene des künstlichen neuronalen Netzes nach Verwendung des Testbildes für die Eingangsdaten des künstlichen neuronalen Netzes, und Ermitteln von jeweiligen Distanzen zwischen einer jeweiligen latenten Repräsentation und allen Konzepten mit den ausgelesenen Konzeptparametern unter Anwendung der jeweiligen Konzeptmaske eines jeweiligen Konzepts, Zuordnen der jeweiligen latenten Repräsentation zu demjenigen der Konzepte mit der kürzesten Distanz, und Ermitteln eines Maßes für die Qualität der Zuordnung der latenten Repräsentationen zu einem jeweiligen der Konzepte, und
  • - Bestimmen von Bildparametern und/oder Parametern von Objekten des Testbildes für einen nachfolgenden Schritt abhängig von dem Maß für die Qualität der Zuordnung der latenten Repräsentationen zu einem jeweiligen der Konzepte so, dass Parameter der Objekte und/oder Bildparameter des Testbilds mit geringerer Qualität der Zuordnung im nachfolgenden Schritt verstärkt getestet werden.
A first aspect of the invention relates to a method for testing and/or validating a trained artificial neural network which is used to classify an object contained in image data into an object category, comprising the steps:
  • - Providing a test image in repeated steps, the respective test image having information about a large number of objects, each of the objects being from a predetermined object category and parameters of the objects and/or image parameters of the test image being changeable from step to step, and the respective object category is a possible output variable of the artificial neural network,
  • - For each test image of a step: Providing concept masks for concepts related to the test image, whereby a respective concept was defined in advance, in particular for training the artificial neural network, as a sub-element of a respective object, reading out latent representations and concept parameters of the respective concept an inner level of the artificial neural network after using the test image for the input data of the artificial neural network, and determining respective distances between a respective latent representation and all concepts with the read-out concept parameters using the respective concept mask of a respective concept, assigning the respective latent representation to the one of the concepts with the shortest distance, and determine a measure for the quality of the assignment of the latent representations to each of the concepts, and
  • - Determining image parameters and/or parameters of objects of the test image for a subsequent step depending on the measure of the quality of the assignment of the latent representations to a respective one of the concepts such that parameters of the objects and/or image parameters of the test image have a lower quality of the assignment be tested more intensively in the following step.

Das künstliche neuronale Netz, welches es zu evaluieren gilt, wurde insbesondere mit realen oder synthetischen Testdaten bereits trainiert. In einem solchen Trainingsvorgang werden typischerweise an einer regulären Eingangsschnittstelle Eingangsdaten in das künstliche neuronale Netz gegeben, und eine entsprechende Berechnung mittels der Elemente des künstlichen neuronalen Netzes (insbesondere Transformationsebenen, Neuronen, Gewichte, Ebenen, Nichtlinearitäten) durchgeführt, woraufhin mithilfe entsprechender Aktivierungsfunktionen einer von mehreren möglichen Ausgangsgrößen aktiviert wird, welche bevorzugt einer Objektkategorie entspricht. Solche Objektkategorien für die Anwendung im Straßenverkehr können Fußgänger, Fahrradfahrer, Lastkraftwagen, Personenkraftwagen, Verkehrsschilder und Ähnliches sein. Durch die Vorgabe des Ergebnisses kann durch die sogenannte „back propagation“ eine Optimierung der Parameter des künstlichen neuronalen Netzes erfolgen.The artificial neural network that needs to be evaluated has already been trained, in particular with real or synthetic test data. In such a training process, input data is typically given to the artificial neural network at a regular input interface, and a corresponding calculation is carried out using the elements of the artificial neural network (in particular transformation levels, neurons, weights, levels, nonlinearities), followed by one of several using appropriate activation functions possible output variables is activated, which preferably corresponds to an object category. Such object categories for use in road traffic can be pedestrians, cyclists, trucks, cars, traffic signs and the like. By specifying the result, the parameters of the artificial neural network can be optimized using so-called “back propagation”.

Naturgemäß weichen im Betrieb des künstlichen neuronalen Netzes aus Bilddaten erfasste Objekte von den zu Trainingszwecken verwendeten Objekten grundsätzlich ab. Um die Robustheit der Objekterkennung für ein individuelles Objekt zu analysieren, wird vorliegend ein in mehreren Schritten ein jeweiliges Testbild bereitgestellt, welches vorteilhaft ein modifiziertes Kamerabild oder ein vollsynthetisches Bild beispielsweise aus einer Simulation sein kann.Naturally, objects captured from image data during operation of the artificial neural network fundamentally differ from the objects used for training purposes. In order to analyze the robustness of the object recognition for an individual object, a respective test image is provided in several steps, which can advantageously be a modified camera image or a fully synthetic image, for example from a simulation.

Das Testbild wird dabei bevorzugt als so beschaffen ausgewählt, dass die Quelle der Bilddaten im späteren Betrieb des künstlichen neuronalen Netzes in einem automatisierten Fahrzeug von der Beschaffenheit her vergleichbare Eigenschaften (Auflösung etc.) aufweist. Beispielhafte Quellen von Bilddaten im späteren Betrieb des künstlichen neuronalen Netzes sind: Kamera für Licht im sichtbaren Bereich, Infrarotkamera, Stereokamera, etc.;The test image is preferably selected to be such that the source of the image data has comparable properties (resolution, etc.) in later operation of the artificial neural network in an automated vehicle. Example sources of image data in the later operation of the artificial neural network are: camera for light in the visible range, infrared camera, stereo camera, etc.;

Bevorzugt wird für die Ermittlung der Güte der Erkennung gemäß dem ersten Aspekt der Erfindung ein modifiziertes künstliches interpretierbares tiefes neuronales Netz verwendet, welches insbesondere eine Anzahl von Transformationsebenen und eine Anzahl von interpretierbaren Perzeptionsebenen aufweist. Hierbei bilden die Transformationsebenen den nicht-interpretierbaren latenten Raum des oben beschriebenen gängigen künstlichen tiefen neuronalen Netzes auf den interpretierbaren Raum des erweiterten künstlichen interpretierbaren tiefen neuronalen Netzes ab. Beispielsweise ein so modifiziertes künstliches neuronales Netz kann eine Lage der Vektoren aus Konzepten liefern, die den latenten Raum des künstlichen neuronalen Netzes strukturieren und eine Interpretierbarkeit ermöglichen. Beispielsweise kann das im Stand der Technik bekannte „ProtoPNet“ verwendet werden (C. Chen, O. Li, A. Barnett, J. Su, C. Rudin, „This looks like that: deep learning for interpretable image recognition“. Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems. 2019, NeurIPS 2019)To determine the quality of the recognition according to the first aspect of the invention, a modified artificial interpretable deep neural network is preferably used, which in particular has a number of transformation levels and a number of interpretable perception levels. Here, the transformation levels map the non-interpretable latent space of the common artificial deep neural network described above onto the interpretable space of the extended artificial interpretable deep neural network. For example, an artificial neural network modified in this way can provide a layer of vectors of concepts that structure the latent space of the artificial neural network and enable interpretability. For example, the “ProtoPNet” known in the prior art can be used (C. Chen, O. Li, A. Barnett, J. Su, C. Rudin, “This looks like that: deep learning for interpretable image recognition”. Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems. 2019, NeurIPS 2019)

Diese Interpretierbarkeit im Sinne der algorithmischen Nachvollziehbarkeit erlaubt es, einen interpretierbaren Vergleich zwischen den eingangs erwähnten Konzepten und den latenten Repräsentationen vorzunehmen. Beispielsweise können die als Segmente definierten Körperteile eines Objekts „Fußgänger“ mit zugehörigen auslesbaren Daten im latenten Raum des künstlichen interpretierbaren tiefen neuronalen Netzes verglichen werden, lediglich indem beide in kompatiblen Datenformaten gehandhabt werden. Bevorzugt wird hierbei eine vektorielle Form sowohl für die Definition der jeweiligen Konzepte als auch der zugehörigen latenten Repräsentationen des verwendeten interpretierbaren künstlichen tiefen neuronalen Netzes verwendet, um ein Maß für eine Abweichung dieser Vektoren voneinander zu ermitteln, bevorzugt mittels einer Vektornorm, besonders bevorzugt mit der 2-Norm zur Ermittlung einer euklidischen Distanz des Vektors eines jeweiligen Konzepts von dem jeweils betrachteten Vektor der latenten Repräsentation des künstlichen interpretierbaren tiefen neuronalen Netzes. Die Qualität der Zuordnung der latenten Repräsentationen zu einem jeweiligen der Konzepte kann außerdem durch die Zahl der erfolgreichen Zuordnungen zu einem jeweiligen der Konzepte erfolgen.This interpretability in the sense of algorithmic comprehensibility allows an interpretable comparison to be made between the concepts mentioned at the beginning and the latent representations. For example, the body parts of an object “pedestrian” defined as segments can be compared with associated readable data in the latent space of the artificial interpretable deep neural network, simply by handling both in compatible data formats. In this case, a vector form is preferably used both for the definition of the respective concepts and the associated latent representations of the interpretable artificial deep neural network used in order to determine a measure of a deviation of these vectors from one another, preferably by means of a vector norm, particularly preferably with the 2nd -Norm for determining a Euclidean distance of the vector of a respective concept from the vector of the latent representation of the artificially interpretable deep neural network being considered. The quality of the assignment of the latent representations to each of the concepts can also be determined by the number of successful assignments to each of the concepts.

Die Begriffe „Konzept“ sowie „latente Repräsentation“ werden analog zum Gegenstand der eingangs erwähnten Publikation verwendet. Für weitere Eigenschaften dieser generell bekannten Begriffe wird daher auf die oben genannte Publikation verwiesen. Zum Verständnis sei wiederholt erwähnt, dass ein jeweiliges Konzept bevorzugt zusammen mit dem Training (d. h. Optimierung der Parameter) des künstlichen neuronalen Netzes erhalten wird und damit für das Verfahren gemäß dem ersten Aspekt der Erfindung bereits vorliegt. Ein jeweiliges Konzept entstammt dabei dem latenten Raum des künstlichen neuronalen Netzes und gruppiert die latenten Repräsentation gemäß strukturierbarer Ähnlichkeiten, wobei die Gruppierung gemäß dieser Ähnlichkeiten an sich für die Definition eines jeweiligen Konzeptes selbst dient. Für das Verfahren gemäß dem ersten Aspekt der Erfindung ist dabei ein jeweiliges Konzept als gegeben anzunehmen und die Gesamtheit der Konzepte ist funktionell als Mittel zu verstehen, das den latenten Raum des künstlichen neuronalen Netze strukturiert, sowie objektbezogen als Teilelement des Objekts zu verstehen. Durch eine solche Strukturierung in Konzepte ergibt sich die Interpretierbarkeit des künstlichen neuronalen Netzes.The terms “concept” and “latent representation” are used analogously to the subject of the publication mentioned at the beginning. For further properties of these generally known terms, please refer to the publication mentioned above. For the sake of understanding, it should be mentioned repeatedly that a respective concept is preferably obtained together with the training (ie optimization of the parameters) of the artificial neural network and is therefore already available for the method according to the first aspect of the invention. A respective concept comes from the latent space of the artificial neural network and groups the latent ones Representation according to structurable similarities, whereby the grouping according to these similarities serves to define a respective concept itself. For the method according to the first aspect of the invention, a respective concept is to be assumed as given and the entirety of the concepts is to be understood functionally as a means that structures the latent space of the artificial neural network, and in relation to the object as a partial element of the object. Such structuring into concepts results in the interpretability of the artificial neural network.

Diese Interpretierbarkeit erlaubt zum Zwecke der Bestimmung des Maßes für die Qualität der Zuordnungen die Betrachtung der Zahl der Zuordnungen von latenten Repräsentationen zu einem jeweiligen der Konzepte, sowie die Berechnung der mittleren Distanz aller einem Konzept zugeordneten latenten Repräsentation zum Konzept selbst, bevorzugt durch die Ermittlung der Distanzen als den jeweiligen Abständen durch die Anwendung einer n-Norm, bevorzugt der 2-Norm (auch genannt die „euklidische Distanz“). Sind beispielsweise sechs Konzepte vorhanden, so werden relevante latente Repräsentation ermittelt, die jeweils genau einem der sechs Konzepte zuzuordnen sind, anstatt zu Bereichen außerhalb der Konzepte. Ein Maß dafür, wie sehr dies für ein jeweiliges Konzept gelingt, wird durch den Vergleich der Zahl der zugeordneten latenten Repräsentation zu einem bestimmten der Konzepte mit einem vorgegebenen Grenzwert ermittelt. Als weiterer Bestandteil der Güte kann der Vergleich des mittleren Abstands dieser Zuordnungen, d. h. zwischen einer jeweiligen latenten Repräsentation und dem jeweiligen Konzept mit einem weiteren Grenzwert erfolgen. Je kürzer diese Distanz ist, umso besser erfolgt die Zuordnung einer latenten Repräsentation zu einem der Konzepte.For the purpose of determining the measure of the quality of the assignments, this interpretability allows the consideration of the number of assignments of latent representations to each of the concepts, as well as the calculation of the average distance of all latent representations assigned to a concept to the concept itself, preferably by determining the Distances than the respective distances by applying an n-norm, preferably the 2-norm (also called the “Euclidean distance”). For example, if there are six concepts, relevant latent representations are determined, each of which can be assigned to exactly one of the six concepts rather than to areas outside the concepts. A measure of how successful this is for a particular concept is determined by comparing the number of latent representations assigned to a specific concept with a given limit value. A further component of quality is the comparison of the average distance between these assignments, i.e. H. between a respective latent representation and the respective concept with a further limit value. The shorter this distance, the better the assignment of a latent representation to one of the concepts.

Das Verfahren zum Testen und/oder Validieren des trainierten künstlichen neuronalen Netzes für die Erkennung einer Objektkategorie eines Objekts in Bilddaten kann mit mehreren Objekten verschiedener Objektkategorien durchgeführt werden, es kann jedoch auch eines oder mehrere Objekte aus einer einzigen gemeinsamen Objektkategorie genutzt werden, da auch in diesem Fall das jeweils individuelle Objekt auf seine Erkennung hin überprüft werden kann.The method for testing and/or validating the trained artificial neural network for the recognition of an object category of an object in image data can be carried out with several objects of different object categories, but one or more objects from a single common object category can also be used, since also in In this case, the individual object can be checked for recognition.

Dass Parameter der Objekte und/oder Bildparameter des Testbilds mit geringerer Qualität der Zuordnung im nachfolgenden Schritt verstärkt getestet werden, heißt insbesondere, dass die Testtiefe erhöht wird. Dies kann einerseits durch eine größere Anzahl von solchen Objekten erfolgen, die von einem relativ schlecht erkannten Objekt abgeleitet werden. Hierbei werden bevorzugt im Vergleich zu besser erkannten Objekten eine große Zahl von Parameteränderungen getestet, um eine Sensitivitätsanalyse bezüglich von Änderungen der Parameter des Objekts selbst (Entfernung von der Kamera, Orientierung, Haltung, ...) oder Erfassungsparametern wie der Lichtstärke, Kontrasten, Farbverhältnissen zwischen Objekt und Umgebung und Teil des Objekts selbst, Verdeckungen etc. durchführen zu können. Somit werden objektspezifisch auf Basis inhärent interpretierbarer Metriken der Umfang des Testens angepasst.The fact that parameters of the objects and/or image parameters of the test image with lower quality of the assignment are tested more intensively in the subsequent step means in particular that the test depth is increased. On the one hand, this can be done by a larger number of such objects that are derived from a relatively poorly recognized object. In this case, a large number of parameter changes are preferably tested in comparison to better recognized objects in order to carry out a sensitivity analysis with regard to changes in the parameters of the object itself (distance from the camera, orientation, posture, ...) or detection parameters such as light intensity, contrast, color ratios between the object and the environment and part of the object itself, to be able to carry out concealments etc. The scope of testing is therefore adjusted object-specifically based on inherently interpretable metrics.

Es ist eine vorteilhafte Wirkung der Erfindung, dass genau diejenigen Objekte in bestimmten Situationen identifiziert werden, die ein erhöhtes Risiko einer Fehldetektion in verschiedenen Grundkontexten und semantischen Beziehungen aufweisen. Für die Analyse werden dabei objektspezifische Metriken herangezogen, die insbesondere Distanzen zu Konzepten im latenten Raum berücksichtigen. Es wird vorteilhaft ein Verfahren vorgeschlagen, das die Variation für jedes Objekt so steuert, dass diejenigen mit höherem Fehldetektionsrisiko stärker zum Testen und Validieren herangezogen werden. Dies erfolgt dadurch, dass abhängig von einer Risikometrik die Permutationen so gesteuert werden, dass kritische Objekte umfangreicher untersucht werden und durch das trainierte künstliche neuronale Netz gut erkennbare Objekte weniger variiert und getestet werden. Somit kann der durchschnittliche Testaufwand reduziert werden. Durch Bereitstellung der spezifischen Kriterien bei kritischen Objekten bekommen dazu noch Test- und Entwicklungsexperten zielgerichtet Hinweise auf Schwächen des zu untersuchenden künstlichen neuronalen Netzes, die für ein von Grunde auf neues Training oder für eine ledigliche Anpassung von entscheidender Bedeutung sind. In Anwendungen des automatisierten Fahrens ermöglicht dies das verbesserte Testen bzw. Validieren eines bereits leistungsfähigen und im Stand der Technik verfügbaren sogenannten „Automated Driving Systems“ (ADS). Deren Industrialisierung wird dadurch vereinfacht, dass eine Sicherheitsargumentation einfacher dargelegt werden kann. Mit dem vorliegenden Verfahren werden evidenzbasiert kritische Objekte identifiziert. Die Beurteilung erfolgt nach zielgerichteter Variation der Szenen (Grundkontexte) und der Position der Objekte wie Fußgänger darin sowie nach Anwendung von Perturbationen durch übliche Filterverfahren. Dabei werden die Objekte mehr getestet, die als kritisch identifiziert wurden und damit der Gesamttestaufwand reduziert. Die Ergebnisse können nicht nur für ein anpassendes Training sondern auch für eine Sicherheitsargumentation im Rahmen einer Analyse der funktionellen Sicherheit genutzt werden.It is an advantageous effect of the invention that exactly those objects are identified in certain situations that have an increased risk of false detection in various basic contexts and semantic relationships. Object-specific metrics are used for the analysis, which particularly take into account distances to concepts in latent space. A method is advantageously proposed that controls the variation for each object in such a way that those with a higher risk of false detection are used more for testing and validation. This is done by controlling the permutations depending on a risk metric so that critical objects are examined more extensively and objects that are easily recognizable by the trained artificial neural network are varied and tested less. This means the average test effort can be reduced. By providing the specific criteria for critical objects, test and development experts also receive targeted information about weaknesses in the artificial neural network to be examined, which are of crucial importance for a completely new training or for a simple adjustment. In automated driving applications, this enables improved testing or validation of a so-called “Automated Driving System” (ADS) that is already powerful and available in the state of the art. Their industrialization is simplified by the fact that a security argument can be presented more easily. With this method, critical objects are identified based on evidence. The assessment is carried out after targeted variation of the scenes (basic contexts) and the position of objects such as pedestrians in them, as well as after the application of perturbations using standard filter methods. The objects that have been identified as critical are tested more, thereby reducing the overall testing effort. The results can be used not only for adaptive training but also for a safety argument as part of a functional safety analysis.

Gemäß einer vorteilhaften Ausführungsform erfolgt für jedes der Konzepte ein Ermitteln eines Mittelwerts der jeweiligen Distanzen zwischen den dem jeweiligen Konzept zugeordneten latenten Repräsentationen und dem jeweiligen Konzept.According to an advantageous embodiment, an average value of the respective distances between the concepts is determined for each of the concepts latent representations assigned to the respective concept and the respective concept.

Gemäß einer weiteren vorteilhaften Ausführungsform erfolgt eine Ermittlung der Güte der Erkennung einer Objektkategorie durch das künstliche neuronale Netz durch einen für jedes der Konzepte ausgeführten jeweiligen Vergleich i) der Zahl der dem jeweiligen Konzept zugeordneten latenten Repräsentationen mit einem ersten vorgegebenen Grenzwert und ii) des zum jeweiligen Konzept zugehörigen Mittelwerts der jeweiligen Distanzen mit einem zweiten vorgegebenen Grenzwert.According to a further advantageous embodiment, the quality of the recognition of an object category by the artificial neural network is determined by comparing i) the number of latent representations assigned to the respective concept with a first predetermined limit value and ii) the respective one for each of the concepts Concept associated mean value of the respective distances with a second predetermined limit value.

Indem für jedes der Konzepte eines Objekts der Vergleich i) und der Vergleich ii) wiederholt wird, kann auf die Qualität der Objekterkennung bzgl. des Objekts leicht geschlossen werden, indem bspw. je Objekt die Zahl der Überschreitungen des ersten Grenzwerts und die Zahl der Unterschreitungen des zweiten Grenzwerts betrachtet werden - oder andersherum um den Mangel der Güte zu definieren.By repeating comparison i) and comparison ii) for each of the concepts of an object, it is easy to draw conclusions about the quality of object recognition with regard to the object, for example by determining the number of times the first limit value is exceeded and the number of times it falls below the limit value for each object of the second limit value - or the other way around to define the lack of quality.

Bevorzugt erfolgt daher das Ermitteln der Güte der Erkennung einer Objektkategorie durch das künstliche neuronale Netz durch einen für jedes der Konzepte ausgeführten jeweiligen Vergleich i) der Zahl der dem jeweiligen Konzept zugeordneten latenten Repräsentationen mit einem ersten vorgegebenen Grenzwert auf Überschreiten und ii) des zum jeweiligen Konzept zugehörigen Mittelwerts der jeweiligen Distanzen mit einem zweiten vorgegebenen Grenzwert auf Unterschreiten.The quality of the recognition of an object category by the artificial neural network is therefore preferably determined by comparing i) the number of latent representations assigned to the respective concept with a first predetermined limit value for each of the concepts and ii) the corresponding concept associated mean value of the respective distances with a second predetermined limit value.

Der Vergleich der Zahl der dem jeweiligen Konzept zugeordneten latenten Repräsentationen mit einem ersten vorgegebenen Grenzwert sowie der Vergleich des zum jeweiligen Konzept zugehörigen Mittelwerts der jeweiligen Distanzen mit einem zweiten vorgegebenen Grenzwert kann sowohl durch Differenzbildung zu dem jeweiligen Grenzwert erfolgen, kann jedoch auch durch eine Division mit Bezug auf den jeweiligen Grenzwert erfolgen, sodass beispielsweise eine Prozentangabe relativ zum jeweiligen Grenzwert erhalten wird. So kann wie folgt vorgegangen werden: Vergleich i): (Zahl der dem jeweiligen Konzept zugeordneten latenten Repräsentationen minus erster vorgegebener Grenzwert) oder (Zahl der dem jeweiligen Konzept zugeordneten latenten Repräsentationen geteilt durch den ersten vorgegebenen Grenzwert), sowie Vergleich ii): (der zum jeweiligen Konzept zugehöriger Mittelwert der jeweiligen Distanzen minus zweiter vorgegebener Grenzwert) oder (der zum jeweiligen Konzept zugehöriger Mittelwert der jeweiligen Distanzen geteilt durch den zweiten vorgegebenen Grenzwert).The comparison of the number of latent representations assigned to the respective concept with a first predetermined limit value as well as the comparison of the mean value of the respective distances associated with the respective concept with a second predetermined limit value can be done both by forming a difference to the respective limit value, but can also be done by dividing with Reference is made to the respective limit value, so that, for example, a percentage is obtained relative to the respective limit value. The procedure can be as follows: Comparison i): (number of latent representations assigned to the respective concept minus the first specified limit value) or (number of latent representations assigned to the respective concept divided by the first specified limit value), and comparison ii): (the the mean value of the respective distances associated with the respective concept minus the second predetermined limit value) or (the mean value of the respective distances associated with the respective concept divided by the second predetermined limit value).

Gemäß einer weiteren vorteilhaften Ausführungsform wird zum Ermitteln des Maßes für die Qualität der Zuordnung der latenten Repräsentationen zu einem jeweiligen der Konzepte das Gesamtergebnis der Zuordnungen in eine von mindestens drei Qualitätsstufen eingeteilt.According to a further advantageous embodiment, in order to determine the measure of the quality of the assignment of the latent representations to a respective one of the concepts, the overall result of the assignments is divided into one of at least three quality levels.

Werden beispielsweise die beste Kategorie „OK“ und die Kategorie des gänzlichen Scheiterns als „NOK“ definiert, so wird bevorzugt die dritte Kategorie als dazwischen liegende kritische Kategorie definiert. Diese Differenzierung ist vorteilhaft, da die Aufgabe eines künstlichen neuronalen Netzes in der Funktion eines Detektors für eine Einzelszene nicht sein muss, alle Objekte zu erkennen. Dies würde eine unnötige Hürde für die Einführung von Systemen zum automatisierten Fahren bedeuten. Eine Fehldetektion dieses Detektors bedeutet jedoch keinen Fehler im Gesamtsystem, da weitere Module wie Fusion, Tracking etc. die Auswirkung dieser Fehldetektion mitigieren können.For example, if the best category is defined as “OK” and the category of complete failure as “NOK”, the third category is preferably defined as the critical category in between. This differentiation is advantageous because the task of an artificial neural network in the function of a detector for an individual scene does not have to be to detect all objects. This would create an unnecessary hurdle for the introduction of automated driving systems. However, an incorrect detection of this detector does not mean an error in the overall system, as other modules such as fusion, tracking, etc. can mitigate the effect of this incorrect detection.

Gemäß einer weiteren vorteilhaften Ausführungsform erfolgt das Bestimmen von Bildparametern und/oder Parametern von Objekten des Testbildes für einen nachfolgenden Schritt abhängig von dem Maß für die Qualität der Zuordnung so, dass die von Objekten mit geringerer Qualität der Zuordnung durch variierte Parameter abgeleiteten Objekte im Testbild des darauffolgenden Schritts häufiger auftreten, als die von Objekten mit höherer Qualität der Zuordnung durch variierte Parameter abgeleiteten Objekte.According to a further advantageous embodiment, the determination of image parameters and/or parameters of objects of the test image for a subsequent step takes place depending on the measure of the quality of the association in such a way that the objects derived from objects with lower quality of association by varied parameters in the test image of the subsequent step occur more frequently than the objects derived from objects with higher quality of assignment through varied parameters.

Gemäß einer weiteren vorteilhaften Ausführungsform werden Objekte mit geringerer Qualität der Zuordnung eines Schritts für einen nachfolgenden Schritt in Duplikate kopiert, die Duplikate mit zueinander verschieden variierten Parametern verändert und ersetzen im Testbild des darauffolgenden Schritts Objekte mit höherer Qualität der Zuordnung.According to a further advantageous embodiment, objects with a lower quality of the assignment of a step are copied into duplicates for a subsequent step, the duplicates are changed with parameters that vary differently from one another and replace objects with a higher quality of the assignment in the test image of the subsequent step.

Gemäß einer weiteren vorteilhaften Ausführungsform erfolgt ein Bereitstellen eines idealen Begrenzungsrahmens für ein jeweiliges Objekt des Testbildes ohne die Anwendung des künstlichen neuronalen Netzes, und ein Ermitteln eines anwendungsbezogenen Begrenzungsrahmens erfolgt für ein jeweiliges Objekt des Testbildes durch Anwendung des künstlichen neuronalen Netzes mit dem Testbild für die Eingangsdaten des künstlichen neuronalen Netzes, wobei ein jeweiliger idealer Begrenzungsrahmen und ein jeweiliger anwendungsbezogener Begrenzungsrahmen jeweils einen geometrischen Bereich des Testbildes mit dem jeweiligen Objekt eingrenzen, und wobei das Bestimmen der Objekte für einen nachfolgenden Schritt abhängig von dem Maß für die Qualität der Zuordnung und von einem Maß für die Übereinstimmung zwischen dem idealen Begrenzungsrahmen und dem anwendungsbezogenen Begrenzungsrahmen so erfolgt, dass Objekte mit geringerer Qualität der Zuordnung der latenten Repräsentationen zu den Konzepten und mit schlechterer Übereinstimmung zwischen dem idealen Begrenzungsrahmen und dem anwendungsbezogenen Begrenzungsrahmen des Objekts mit variierten Parametern im Testbild des darauffolgenden Schritts häufiger und/oder mit stärker variierten Parametern auftreten als andere Objekte.According to a further advantageous embodiment, an ideal bounding box is provided for a respective object of the test image without the use of the artificial neural network, and an application-related bounding box is determined for a respective object of the test image by using the artificial neural network with the test image for the input data of the artificial neural network, wherein a respective ideal bounding box and a respective application-related bounding box each delimit a geometric area of the test image with the respective object, and wherein the determination of the objects for a subsequent step depends on the measure of the quality of the association and on a measure for the match between the ideal bounding box and the application-related bounding box is done in such a way that objects with lower quality are the Assignment of the latent representations to the concepts and with poorer agreement between the ideal bounding box and the application-related bounding box of the object with varied parameters in the test image of the subsequent step occur more frequently and/or with more varied parameters than other objects.

Gemäß einer weiteren vorteilhaften Ausführungsform werden sowohl eine jeweilige latente Repräsentation als auch das jeweilige Konzept in Vektorform verwendet, wobei eine jeweilige der Distanzen zwischen den einem jeweiligen Konzept zugeordneten latenten Repräsentationen und dem jeweiligen Konzept durch einen skalaren Wert angegeben wird.According to a further advantageous embodiment, both a respective latent representation and the respective concept are used in vector form, with each of the distances between the latent representations assigned to a respective concept and the respective concept being specified by a scalar value.

Gemäß einer weiteren vorteilhaften Ausführungsform umfasst das Testbild einen Fußgänger als ein Objekt, wobei die Konzepte Körperzonen des Fußgängers zugeordnet sind.According to a further advantageous embodiment, the test image comprises a pedestrian as an object, the concepts being assigned to body zones of the pedestrian.

Gemäß einer weiteren vorteilhaften Ausführungsform werden als erstes Testbild das Kamerabild eines realen Szenarios verwendet und für alle nachfolgenden Testbilder synthetische Objekte erzeugt.According to a further advantageous embodiment, the camera image of a real scenario is used as the first test image and synthetic objects are generated for all subsequent test images.

Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.Further advantages, features and details emerge from the following description, in which at least one exemplary embodiment is described in detail - if necessary with reference to the drawing. Identical, similar and/or functionally identical parts are provided with the same reference numerals.

Es zeigen:

  • 1: Eine typische Situation, für die das zu testende bzw. zu validierende künstliche neuronale Netz in der Anwendung an einem automatisierten Fahrzeug verwendet wird.
  • 2: Ein Verfahren zum Testen und/oder Validieren eines trainierten künstlichen neuronalen Netzes gemäß einem Ausführungsbeispiel der Erfindung.
  • 3: Eine Ermittlung einer Übereinstimmung zwischen einem idealen und einem anwendungsbezogenen Begrenzungsrahmen gemäß einem Ausführungsbeispiel der Erfindung.
  • 4: Eine risikoabhängige Datentabelle mit den Faktoren zur Erweiterung der Testtiefe der Objekte gemäß einem Ausführungsbeispiel der Erfindung.
Show it:
  • 1 : A typical situation for which the artificial neural network to be tested or validated is used in an application on an automated vehicle.
  • 2 : A method for testing and/or validating a trained artificial neural network according to an embodiment of the invention.
  • 3 : A determination of a match between an ideal and an application-related bounding box according to an embodiment of the invention.
  • 4 : A risk-dependent data table with the factors for expanding the test depth of the objects according to an embodiment of the invention.

Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.The representations in the figures are schematic and not to scale.

Zum besseren Verständnis ist in der 1 ein bevorzugter Anwendungsfall für ein trainiertes künstliches neuronales Netz gezeigt, welches es zu testen bzw. zu validieren gilt. In einem automatisierten Fahrzeug F ist eine Kamera C installiert, welche einen in die Umgebung des Fahrzeugs F gerichteten Erfassungsbereich aufweist. Mit einer bestimmten Wiederholfrequenz nimmt diese Kamera C Bilder der Umgebung auf und übermittelt jedes dieser Bilder an eine Recheneinheit mit einem implementierten bereits trainierten künstlichen neuronalen Netz NN. Während das künstliche neuronale Netz NN mit realen oder synthetischen Kamerabildern trainiert wurde und im Rahmen des sogenannten „supervised learning“ mithilfe von Vorwärts- und Rückwärtsrechnungen die vorgegebenen Ergebnisse zur Einstufung von Objekten in der Umgebung des Fahrzeugs F in Kategorien wie Fußgänger, Fahrradfahrer, etc. optimiert wurde, kann es im realen Betrieb des Fahrzeugs F durch die naturgemäße individuell bedingte Abweichung zwischen einem realen Fußgänger und der Vielzahl von Fußgängern, die zu Trainingszwecken für die Eingangsdaten des künstlichen neuronalen Netzes NN verwendet wurden, zu fehlerhafter Objekterkennung führen, d. h. dass ein Fußgänger als solcher vom neuronalen Netz NN nicht erkannt werden könnte. Daher gilt es das trainierte künstliche neuronale Netz NN ausreichend zu testen und dessen Qualität bei der Kategorisierung von Objekten in der Umgebung sicherzustellen. Werden jedoch entsprechende Objekte vom künstlichen neuronalen Netz NN korrekt als zu einer vorgegebenen Kategorie gehörig erkannt, werden sie wie in 1 gezeigt üblicherweise mit einem anwendungsbezogenen Begrenzungsrahmen 2 markiert, welcher körperfest dem jeweiligen Objekt zugeordnet ist. Im gezeigten Beispiel werden drei Fußgänger als solche erkannt und mit einem anwendungsbezogenen Begrenzungsrahmen 2 markiert.For better understanding is in the 1 a preferred application case for a trained artificial neural network is shown, which needs to be tested or validated. A camera C is installed in an automated vehicle F, which has a detection area directed towards the surroundings of the vehicle F. With a certain repetition frequency, this camera C records images of the environment and transmits each of these images to a computing unit with an implemented, already trained artificial neural network NN. While the artificial neural network NN was trained with real or synthetic camera images and as part of the so-called “supervised learning” using forward and backward calculations, the given results were used to classify objects in the area around the vehicle F into categories such as pedestrians, cyclists, etc. has been optimized, it can lead to incorrect object recognition in real operation of the vehicle F due to the natural, individually determined deviation between a real pedestrian and the large number of pedestrians that were used for training purposes for the input data of the artificial neural network NN, ie that a pedestrian as such could not be recognized by the neural network NN. It is therefore important to adequately test the trained artificial neural network NN and ensure its quality when categorizing objects in the environment. However, if corresponding objects are correctly recognized by the artificial neural network NN as belonging to a given category, they are as in 1 shown usually marked with an application-related bounding frame 2, which is assigned to the respective object in a body-fixed manner. In the example shown, three pedestrians are recognized as such and marked with an application-related bounding box 2.

2 zeigt ein Verfahren zum Testen und/oder Validieren eines trainierten künstlichen neuronalen Netzes welches zur Einordnung eines in Bilddaten enthaltenen Objekts in eine Objektkategorie dient, aufweisend die Schritte:

  • - In wiederholten Schritten Bereitstellen S1 eines Testbildes, wobei das jeweilige Testbild Informationen über eine Vielzahl von Objekten aufweist, wobei jedes der Objekte aus einer vorgegebenen Objektkategorie ist und Parameter der Objekte und/oder Bildparameter des Testbilds von Schritt zu Schritt veränderbar sind, und die jeweilige Objektkategorie eine mögliche Ausgangsgröße des künstlichen neuronalen Netzes ist,
  • - Für jedes Testbild eines Schritts: Bereitstellen S2 von vorgegebenen Konzepten, wobei ein jeweiliges Konzept vorab, insbesondere für das Training des künstlichen neuronalen Netzes, als Teilelement eines jeweiligen Objekts definiert wurde, Auslesen von latenten Repräsentationen aus einer inneren Ebene des künstlichen neuronalen Netzes nach Verwendung des Testbildes für die Eingangsdaten des künstlichen neuronalen Netzes, und Ermitteln von jeweiligen Distanzen zwischen einer jeweiligen latenten Repräsentation und allen Konzepten, Zuordnen der jeweiligen latenten Repräsentation zu demjenigen der Konzepte mit der kürzesten Distanz, und Ermitteln eines Maßes für die Qualität der Zuordnung der latenten Repräsentationen zu einem jeweiligen der Konzepte, und
  • - Bestimmen S3 von Bildparametern und/oder Parametern von Objekten des Testbildes für einen nachfolgenden Schritt abhängig von dem Maß für die Qualität der Zuordnung der latenten Repräsentationen zu einem jeweiligen der Konzepte so, dass Parameter der Objekte und/oder Bildparameter des Testbilds mit geringerer Qualität der Zuordnung im nachfolgenden Schritt verstärkt getestet werden.
2 shows a method for testing and/or validating a trained artificial neural network which is used to classify an object contained in image data into an object category, comprising the steps:
  • - Providing S1 a test image in repeated steps, the respective test image having information about a large number of objects, each of the objects being from a predetermined object category and parameters of the objects and / or image parameters of the test image being changeable from step to step, and the respective Object category is a possible output variable of the artificial neural network,
  • - For each test image of a step: Providing S2 of predetermined concepts, with a respective concept in advance, in particular for training the artificial neural network, as Partial element of a respective object was defined, reading out latent representations from an inner level of the artificial neural network after using the test image for the input data of the artificial neural network, and determining respective distances between a respective latent representation and all concepts, assigning the respective latent representation to that of the concepts with the shortest distance, and determining a measure for the quality of the assignment of the latent representations to a respective one of the concepts, and
  • - Determine S3 of image parameters and/or parameters of objects of the test image for a subsequent step depending on the measure of the quality of the assignment of the latent representations to a respective one of the concepts in such a way that parameters of the objects and/or image parameters of the test image are of lower quality Assignment will be tested more intensively in the following step.

3 zeigt einen weiteren Einfluss auf die Testtiefe der Objekte auf Basis von Begrenzungsrahmen. Das Testbild umfasst in diesem Beispiel mindestens einen Fußgänger als ein Objekt (vgl. linkes Teilbild), wobei die Konzepte Körperzonen des Fußgängers zugeordnet sind. Hierbei erfolgt das Bereitstellen eines idealen Begrenzungsrahmens 1 für ein jeweiliges Objekt des Testbildes ohne die Anwendung des künstlichen neuronalen Netzes, und ein Ermitteln eines anwendungsbezogenen Begrenzungsrahmens 2 für ein jeweiliges Objekt des Testbildes durch Anwendung des künstlichen neuronalen Netzes mit dem Testbild für die Eingangsdaten des künstlichen neuronalen Netzes, wobei ein jeweiliger idealer Begrenzungsrahmen 1 und ein jeweiliger anwendungsbezogener Begrenzungsrahmen 2 jeweils einen geometrischen Bereich des Testbildes mit dem jeweiligen Objekt eingrenzen. Nach dem Bereitstellen des idealen Begrenzungsrahmens 1 wird der anwendungsbezogene Begrenzungsrahmen 2 ermittelt (siehe mittleres Teilbild) und auf flächige Übereinstimmung gegeneinander überprüft (siehe rechtes Teilbild der 3). Die schraffierte Fläche ist dabei eine Abweichung zwischen den beiden Begrenzungsrahmen 1, 2. Das Verhältnis von überlappenden Flächen zu abweichenden Flächen fließt dabei in die Bestimmung des Maßes für die Übereinstimmung ein. Ferner sind einige der hier verwendeten Konzepte angedeutet, die hier beispielhaft mit den Körperbereichen Kopf, Torso, Arm, Hand, Bein, und Fuß übereinstimmen. Die Objekte für einen nachfolgenden Schritt werden damit nicht nur abhängig von dem Maß für die Qualität der Zuordnung, sondern auch von einem Maß für die Übereinstimmung zwischen dem idealen Begrenzungsrahmen 1 und dem anwendungsbezogenen Begrenzungsrahmen 2 so erzeugt, dass Objekte mit geringerer Qualität der Zuordnung der latenten Repräsentationen zu den Konzepten und mit schlechterer Übereinstimmung zwischen dem idealen Begrenzungsrahmen 1 und dem anwendungsbezogenen Begrenzungsrahmen 2 des Objekts mit variierten Parametern im Testbild des jeweils darauffolgenden Schritts häufiger und/oder mit stärker variierten Parametern auftreten als andere Objekte. 3 shows a further influence on the test depth of the objects based on bounding boxes. In this example, the test image includes at least one pedestrian as an object (see left partial image), with the concepts being assigned to body zones of the pedestrian. This involves providing an ideal bounding frame 1 for a respective object of the test image without using the artificial neural network, and determining an application-related bounding frame 2 for a respective object of the test image by using the artificial neural network with the test image for the input data of the artificial neural network Network, wherein a respective ideal bounding frame 1 and a respective application-related bounding frame 2 each delimit a geometric area of the test image with the respective object. After providing the ideal bounding box 1, the application-related bounding box 2 is determined (see middle part of the picture) and checked for surface correspondence with each other (see right part of the picture). 3 ). The hatched area is a deviation between the two bounding frames 1, 2. The ratio of overlapping areas to deviating areas is included in determining the measure of agreement. Furthermore, some of the concepts used here are indicated, which, for example, correspond to the body areas of head, torso, arm, hand, leg and foot. The objects for a subsequent step are thus generated not only depending on the measure of the quality of the assignment, but also on a measure of the agreement between the ideal bounding box 1 and the application-related bounding box 2 in such a way that objects with lower quality of the assignment of the latent Representations of the concepts and with poorer agreement between the ideal bounding box 1 and the application-related bounding box 2 of the object with varied parameters in the test image of the subsequent step occur more frequently and/or with more varied parameters than other objects.

4 zeigt eine risikoabhängige Datentabelle mit den Faktoren zur Erweiterung der Testtiefe, das heißt wie sehr verstärkt die Bildparameter und/oder Parameter von Objekten in weiteren Schritten getestet werden. Die Qualität der Zuordnungen der latenten Repräsentationen zu einem jeweiligen der Konzepte wird in eine von mindestens drei Qualitätsstufen eingeteilt. Die beste Kategorie wird mit „OK“ und die Kategorie des Scheiterns mit „NOK“ definiert, die dritte Kategorie dazwischen als kritische Kategorie „CRIT“ definiert. In der 4 bezeichnen: „n_NOK“ die prozentuale Zahl der nicht-erfolgreichen Zuordnungen „NOK“, und „n_CRIT“ die prozentuale Zahl der kritischen Zuordnungen „CRIT“. Die Grenzwerte „n_L1 1“, „n_L12“, „n_L21“, „n_L22“ bestimmen die Zuordnung in die Skala der Testtiefen f1 bis f5, wobei f5 die größt auftretende Testtiefe ist. Zunächst wird eine erste Testreihe für ein Objekt durchgeführt mit einer geringeren Anzahl an Variationen, anschließend je nach Einordnung in die Tabelle ein jeweils weiterer Schritt mit sich aus der Tabelle entsprechend neuer Testtiefe, das heißt Grad der verstärkten Testung. 4 shows a risk-dependent data table with the factors for expanding the test depth, i.e. how much the image parameters and/or parameters of objects are tested in further steps. The quality of the assignments of the latent representations to each of the concepts is divided into one of at least three quality levels. The best category is defined as “OK” and the failure category as “NOK”, the third category in between is defined as the critical category “CRIT”. In the 4 denote: “n_NOK” the percentage number of unsuccessful assignments “NOK”, and “n_CRIT” the percentage number of critical assignments “CRIT”. The limit values “n_L1 1”, “n_L12”, “n_L21”, “n_L22” determine the assignment to the scale of test depths f1 to f5, where f5 is the largest test depth that occurs. First, an initial test series is carried out for an object with a smaller number of variations, then, depending on its classification in the table, a further step is carried out with a new test depth from the table, i.e. the degree of increased testing.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.Although the invention has been illustrated and explained in detail by preferred embodiments, the invention is not limited by the examples disclosed and other variations may be derived therefrom by those skilled in the art without departing from the scope of the invention. It is therefore clear that a large number of possible variations exist. It is also to be understood that exemplary embodiments are truly examples only and should not be construed in any way as limiting the scope, application, or configuration of the invention. Rather, the preceding description and the description of the figures enable the person skilled in the art to concretely implement the exemplary embodiments, whereby the person skilled in the art can make a variety of changes with knowledge of the disclosed inventive concept, for example with regard to the function or the arrangement of individual elements mentioned in an exemplary embodiment, without departing from the scope of protection defined by the claims and their legal equivalents, such as further explanations in the description.

BezugszeichenlisteReference symbol list

11
idealer Begrenzungsrahmenideal bounding box
22
anwendungsbezogener Begrenzungsrahmen application-related bounding box
FF
Fahrzeugvehicle
CC
Kameracamera
NNNN
Recheneinheit mit implementiertem künstlichen neuronalen Netz Computing unit with implemented artificial neural network
S1S1
BereitstellenProvide
S2S2
BereitstellenProvide
S3S3
BestimmenDetermine

Claims (10)

Verfahren zum Testen und/oder Validieren eines trainierten künstlichen neuronalen Netzes, aufweisend die Schritte: - In wiederholten Schritten Bereitstellen (S1) eines Testbildes, wobei das jeweilige Testbild Informationen über eine Vielzahl von Objekten aufweist, wobei jedes der Objekte aus einer vorgegebenen Objektkategorie ist und Parameter der Objekte und/oder Bildparameter des Testbilds von Schritt zu Schritt veränderbar sind, und die jeweilige Objektkategorie eine mögliche Ausgangsgröße des künstlichen neuronalen Netzes ist, - Für jedes Testbild eines Schritts: Bereitstellen (S2) von Konzeptmasken für auf das Testbild bezogene Konzepte, wobei ein jeweiliges Konzept vorab, insbesondere für das Training des künstlichen neuronalen Netzes, als Teilelement eines jeweiligen Objekts definiert wurde, Auslesen von latenten Repräsentationen und Konzeptparametern des jeweiligen Konzepts aus einer inneren Ebene des künstlichen neuronalen Netzes nach Verwendung des Testbildes für die Eingangsdaten des künstlichen neuronalen Netzes, und Ermitteln von jeweiligen Distanzen zwischen einer jeweiligen latenten Repräsentation und allen Konzepten mit den ausgelesenen Konzeptparametern unter Anwendung der jeweiligen Konzeptmaske eines jeweiligen Konzepts, Zuordnen der jeweiligen latenten Repräsentation zu demjenigen der Konzepte mit der kürzesten Distanz, und Ermitteln eines Maßes für die Qualität der Zuordnung der latenten Repräsentationen zu einem jeweiligen der Konzepte, und - Bestimmen (S3) von Bildparametern und/oder Parametern von Objekten des Testbildes für einen nachfolgenden Schritt abhängig von dem Maß für die Qualität der Zuordnung der latenten Repräsentationen zu einem jeweiligen der Konzepte so, dass Parameter der Objekte und/oder Bildparameter des Testbilds mit geringerer Qualität der Zuordnung im nachfolgenden Schritt verstärkt getestet werden.Method for testing and/or validating a trained artificial neural network, comprising the steps: - Providing (S1) a test image in repeated steps, the respective test image having information about a large number of objects, each of the objects being from a predetermined object category and parameters of the objects and/or image parameters of the test image being changeable from step to step, and the respective object category is a possible output variable of the artificial neural network, - For each test image of a step: Providing (S2) concept masks for concepts related to the test image, with a respective concept being defined in advance, in particular for training the artificial neural network, as a sub-element of a respective object, reading out latent representations and concept parameters of the respective concept from an inner level of the artificial neural network after using the test image for the input data of the artificial neural network, and determining respective distances between a respective latent representation and all concepts with the read concept parameters using the respective concept mask of a respective concept, assigning the respective latent representation to that of the concepts with the shortest distance, and determining a measure for the quality of the assignment of the latent representations to a respective one of the concepts, and - Determining (S3) image parameters and/or parameters of objects of the test image for a subsequent step depending on the measure of the quality of the assignment of the latent representations to a respective one of the concepts so that parameters of the objects and/or image parameters of the test image with lower The quality of the assignment will be tested more intensively in the following step. Verfahren nach Anspruch 1, wobei für jedes der Konzepte ein Ermitteln eines Mittelwerts der jeweiligen Distanzen zwischen den dem jeweiligen Konzept zugeordneten latenten Repräsentationen und dem jeweiligen Konzept erfolgt.Procedure according to Claim 1 , whereby for each of the concepts an average value of the respective distances between the latent representations assigned to the respective concept and the respective concept is determined. Verfahren nach Anspruch 2, wobei eine Ermittlung des Maßes für die Qualität der Zuordnung durch das künstliche neuronale Netz durch einen für jedes der Konzepte ausgeführten jeweiligen Vergleich i) der Zahl der dem jeweiligen Konzept zugeordneten latenten Repräsentationen mit einem ersten vorgegebenen Grenzwert und ii) des zum jeweiligen Konzept zugehörigen Mittelwerts der jeweiligen Distanzen mit einem zweiten vorgegebenen Grenzwert erfolgt.Procedure according to Claim 2 , wherein a determination of the measure of the quality of the assignment by the artificial neural network is carried out for each of the concepts by comparing i) the number of latent representations assigned to the respective concept with a first predetermined limit value and ii) the mean value associated with the respective concept of the respective distances takes place with a second predetermined limit value. Verfahren nach einem der vorhergehenden Ansprüche, wobei zum Ermitteln des Maßes für die Qualität der Zuordnung der latenten Repräsentationen zu einem jeweiligen der Konzepte das Gesamtergebnis der Zuordnungen in eine von mindestens drei Qualitätsstufen eingeteilt wird.Method according to one of the preceding claims, wherein in order to determine the measure of the quality of the assignment of the latent representations to a respective one of the concepts, the overall result of the assignments is divided into one of at least three quality levels. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Bestimmen von Bildparametern und/oder Parametern von Objekten des Testbildes für einen nachfolgenden Schritt abhängig von dem Maß für die Qualität der Zuordnung so erfolgt, dass die von Objekten mit geringerer Qualität der Zuordnung durch variierte Parameter abgeleiteten Objekte im Testbild des darauffolgenden Schritts häufiger auftreten, als die von Objekten mit höherer Qualität der Zuordnung durch variierte Parameter abgeleiteten Objekte.Method according to one of the preceding claims, wherein the determination of image parameters and / or parameters of objects of the test image for a subsequent step is carried out depending on the measure of the quality of the association in such a way that the objects derived from objects with a lower quality of the association are derived by varied parameters occur more frequently in the test image of the subsequent step than the objects derived from objects with a higher quality of assignment through varied parameters. Verfahren nach Anspruch 5, wobei Objekte mit geringerer Qualität der Zuordnung eines Schritts für einen nachfolgenden Schritt in Duplikate kopiert werden, die Duplikate mit zueinander verschieden variierten Parametern verändert werden und im Testbild des darauffolgenden Schritts Objekte mit höherer Qualität der Zuordnung ersetzen.Procedure according to Claim 5 , whereby objects with a lower quality of the assignment of a step are copied into duplicates for a subsequent step, the duplicates are changed with parameters that vary differently from one another and replace objects with a higher quality of the assignment in the test image of the subsequent step. Verfahren nach einem der vorhergehenden Ansprüche, wobei ein Bereitstellen eines idealen Begrenzungsrahmens (1) für ein jeweiliges Objekt des Testbildes ohne die Anwendung des künstlichen neuronalen Netzes, und ein Ermitteln eines anwendungsbezogenen Begrenzungsrahmens (2) für ein jeweiliges Objekt des Testbildes durch Anwendung des künstlichen neuronalen Netzes mit dem Testbild für die Eingangsdaten des künstlichen neuronalen Netzes erfolgt, wobei ein jeweiliger idealer Begrenzungsrahmen (1) und ein jeweiliger anwendungsbezogener Begrenzungsrahmen (2) jeweils einen geometrischen Bereich des Testbildes mit dem jeweiligen Objekt eingrenzen, und wobei das Bestimmen der Objekte für einen nachfolgenden Schritt abhängig von dem Maß für die Qualität der Zuordnung und von einem Maß für die Übereinstimmung zwischen dem idealen Begrenzungsrahmen (1) und dem anwendungsbezogenen Begrenzungsrahmen (2) so erfolgt, dass Objekte mit geringerer Qualität der Zuordnung der latenten Repräsentationen zu den Konzepten und mit schlechterer Übereinstimmung zwischen dem idealen Begrenzungsrahmen (1) und dem anwendungsbezogenen Begrenzungsrahmen (2) des Objekts mit variierten Parametern im Testbild des darauffolgenden Schritts häufiger und/oder mit stärker variierten Parametern auftreten als andere Objekte.Method according to one of the preceding claims, wherein providing an ideal bounding box (1) for a respective object of the test image without using the artificial neural network, and determining an application-related bounding box (2) for a respective object of the test image by using the artificial neural network Network with the test image for the input data of the artificial neural network takes place, with a respective ideal bounding frame (1) and a respective application-related bounding frame (2) each delimiting a geometric area of the test image with the respective object, and the objects being determined for a subsequent one Step depends on the measure of the quality of the Assignment and a measure of the agreement between the ideal bounding box (1) and the application-related bounding box (2) takes place in such a way that objects with lower quality of the assignment of the latent representations to the concepts and with poorer agreement between the ideal bounding box (1) and the application-related bounding frame (2) of the object with varied parameters in the test image of the subsequent step occur more frequently and/or with more varied parameters than other objects. Verfahren nach einem der vorhergehenden Ansprüche, wobei sowohl eine jeweilige latente Repräsentation als auch das jeweilige Konzept in Vektorform verwendet werden, wobei eine jeweilige der Distanzen zwischen den einem jeweiligen Konzept zugeordneten latenten Repräsentationen und dem jeweiligen Konzept durch einen skalaren Wert angegeben wird.Method according to one of the preceding claims, wherein both a respective latent representation and the respective concept are used in vector form, a respective one of the distances between the latent representations assigned to a respective concept and the respective concept being specified by a scalar value. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Testbild einen Fußgänger als ein Objekt umfasst, wobei die Konzepte Körperzonen des Fußgängers zugeordnet sind.Method according to one of the preceding claims, wherein the test image comprises a pedestrian as an object, the concepts being associated with body zones of the pedestrian. Verfahren nach einem der vorhergehenden Ansprüche, wobei als erstes Testbild das Kamerabild eines realen Szenarios verwendet wird und für alle nachfolgenden Testbilder synthetische Objekte erzeugt werden.Method according to one of the preceding claims, wherein the camera image of a real scenario is used as the first test image and synthetic objects are generated for all subsequent test images.
DE102022204618.8A 2022-05-11 2022-05-11 Effective quality determination of object recognition by a neural network Pending DE102022204618A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022204618.8A DE102022204618A1 (en) 2022-05-11 2022-05-11 Effective quality determination of object recognition by a neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022204618.8A DE102022204618A1 (en) 2022-05-11 2022-05-11 Effective quality determination of object recognition by a neural network

Publications (1)

Publication Number Publication Date
DE102022204618A1 true DE102022204618A1 (en) 2023-11-16

Family

ID=88510168

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022204618.8A Pending DE102022204618A1 (en) 2022-05-11 2022-05-11 Effective quality determination of object recognition by a neural network

Country Status (1)

Country Link
DE (1) DE102022204618A1 (en)

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CASANOVA, A., et al.: Instance-conditioned gan. In: Advances in Neural Information Processing Systems, 2021, 34. Jg., S. 1-13. [online abrufbar über https://proceedings.neurips.cc/paper/2021/file/e7ac288b0f2d41445904d071ba37aaff-Paper.pdf]
CHEN, C., et al.: This looks like that: deep learning for interpretable image recognition. In: Advances in neural information processing systems, 2019, 32. Jg. S. 1-12. Supplementary Material [online abrufbar über https://proceedings.neurips.cc/paper/2019/file/adf7ee2dcf142b0e11888e72b43fcb75-Supplemental.zip]
CHEN, Chaofan [u.a.]: This looks like that: deep learning for interpretable image recognition. In: 33rd Conference on Neural Information Processing Systems (NeurIPS 2019), 8. Dezember 2019 – 14. Dezember 2019, Vancouver, Canada, 2019, S. 1-12. - ISBN 9781713807933. URL: https://proceedings.neurips.cc/paper/2019/file/adf7ee2dcf142b0e11888e72b43fcb75-Paper.pdf [abgerufen am 2022-06-23].
FEIFEL, Patrick ; BONARENS, Frank ; KÖSTER, Frank: Leveraging interpretability: Concept-based pedestrian detection with deep neural networks. In: CSCS '21: Computer Science in Cars Symposium, 30. November 2021, Ingolstadt, Germany, Artikelnummer: 2, S. 1-10. - ISBN 978-1-4503-9139-9. DOI: 10.1145/3488904 3493379. URL: https://dl.acm.org/doi/pdf/10.1145/3488904.3493379 [abgerufen am 2022-06-13].

Similar Documents

Publication Publication Date Title
WO2020049154A1 (en) Method and device for classifying objects
DE102018128289A1 (en) METHOD AND DEVICE FOR AUTONOMOUS SYSTEM PERFORMANCE AND CLASSIFICATION
EP3393875B1 (en) Method for the improved detection of objects by a driver assistance system
DE102010013943A1 (en) Method and device for a functional test of an object recognition device of a motor vehicle
DE102019204139A1 (en) Training for artificial neural networks with better utilization of the learning data sets
DE112017008149T5 (en) DEVICE FOR COMMUNICATION FROM A VEHICLE, METHOD FOR COMMUNICATING A VEHICLE OUTSIDE, INFORMATION PROCESSING DEVICE AND PROGRAM FOR COMMUNICATION FROM A VEHICLE
DE102021201124A1 (en) TRAINING IMAGE CLASSIFIER NETWORKS
DE102018206806A1 (en) Method and device for converting an input image of a first domain into an output image of a second domain
WO2020249758A1 (en) Method and generator for generating disturbed input data for a neural network
DE102021207613A1 (en) Process for quality assurance of a system
DE102020208474B4 (en) Measuring the sensitivity of classifiers based on interacting disturbances
DE102019208735B4 (en) Method for operating a driver assistance system for a vehicle and a driver assistance system for a vehicle
EP3584748A1 (en) Method for generating a test data set, method for testing, method for operating a system, device, control system, computer program product, computer readable medium, generation and use
DE112018007277T5 (en) DEVICE AND METHOD FOR AUTOMATIC ERROR THRESHOLD DETECTION FOR IMAGES
DE102020214596A1 (en) Method for generating training data for a recognition model for recognizing objects in sensor data of an environment sensor system of a vehicle, method for generating such a recognition model and method for controlling an actuator system of a vehicle
WO2020200620A1 (en) Masking of objects contained in an image
DE102017201796A1 (en) Control device for determining a self-motion of a motor vehicle and motor vehicle and method for providing the control device
DE102022204618A1 (en) Effective quality determination of object recognition by a neural network
DE102022204364A1 (en) Quality determination of object recognition by a neural network
DE102018205146B4 (en) Testing procedures for high-resolution headlights using AI
DE102020212921A1 (en) Method, computer program and device for evaluating a usability of simulation data
EP3772017A1 (en) Rail signal detection for autonomous railway vehicles
DE102020208765A1 (en) Image classifier with variable receptive fields in convolutional layers
DE102019114049A1 (en) Method for validating a driver assistance system using further generated test input data sets
DE102022204623A1 (en) Object recognition by neural network with uncertainty measure

Legal Events

Date Code Title Description
R084 Declaration of willingness to licence
R163 Identified publications notified
R081 Change of applicant/patentee

Owner name: STELLANTIS AUTO SAS, FR

Free format text: FORMER OWNER: PSA AUTOMOBILES SA, POISSY, FR