EP4573482A1 - Verfahren zum evaluieren eines trainierten tiefen neuronalen netzes - Google Patents

Verfahren zum evaluieren eines trainierten tiefen neuronalen netzes

Info

Publication number
EP4573482A1
EP4573482A1 EP23744735.4A EP23744735A EP4573482A1 EP 4573482 A1 EP4573482 A1 EP 4573482A1 EP 23744735 A EP23744735 A EP 23744735A EP 4573482 A1 EP4573482 A1 EP 4573482A1
Authority
EP
European Patent Office
Prior art keywords
data sets
neural network
deep neural
evaluation
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23744735.4A
Other languages
English (en)
French (fr)
Inventor
Patrick FEIFEL
Frank Bonarens
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stellantis Auto SAS
Original Assignee
Stellantis Auto SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stellantis Auto SAS filed Critical Stellantis Auto SAS
Publication of EP4573482A1 publication Critical patent/EP4573482A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Definitions

  • the invention relates to a method for evaluating a trained deep neural network.
  • the invention further relates to computer programs and computer program products for carrying out the method.
  • a corresponding latent representation data set can be generated for each evaluation data set by the deep neural network, with relevant latent representations being selected from the corresponding latent representation data set for annotated data of each evaluation data set.
  • An average distance value in the latent space can be determined from the selected relevant latent representations of the evaluation data sets, with the determined average distance value being used as a reference variable and/or as an evaluation variable.
  • output data can be generated for each evaluation data set by the deep neural network, with a performance value being determined by means of a comparison between the generated output data and the reference data of the respective evaluation data set, the performance value being used as a reference variable and/or as an evaluation variable.
  • the method for varying data sets can include a parameterized change of all data in a data set.
  • the object is solved by a computer program which, when executed on a computing unit within a maneuver planning device, instructs the respective computing unit to carry out the method.
  • the object is achieved by a computer program product with a program code for carrying out the method, which is stored on a medium readable by a computer.
  • Figure 1 shows a block diagram of a deep neural network
  • Figure 2 shows an image input data set with an annotated bounding box and a latent representation data set Z;
  • FIG. 3 shows a flowchart of an evaluation method according to the invention.
  • the DNN 10 has a number of feature extraction levels 11 and a number of perception levels 12.
  • the feature extraction levels 11 are designed to generate a latent representation data set Z for a current image input data set 1 and to pass it on to the perception levels 12.
  • the perception levels 12 are designed to compare latent representations from a current latent representation data set Z with a number of learned prototypes for different classes of objects for similarity, so that based on this, objects in the 2D image data can be recognized, i.e. classified and localized.
  • the image input data set 1 shown in FIG. 2 contains or describes a 2D image of a vehicle environment, which may have been recorded, for example, with a vehicle front camera.
  • the image input data set 1 has a number of pixels which are arranged in rows and columns relative to one another in accordance with the height H and a width W of the image.
  • Each pixel of the image input data set 1 is described, for example, by a vector in the three-dimensional RBG color space.
  • the DNN 10 can, for example, be designed as a convolutional neural network (CNN), the architecture of which provides special convolution and bundling structures in the feature extraction levels 11.
  • CNN convolutional neural network
  • a latent representation data set Z is generated for each current image input data set 1, with a data reduction being achieved with regard to the number of data.
  • a latent representation data set Z with 512 x 256 latent representations Zjj is generated from an image input data set 1 with a size of 2048 x 1024 pixels.
  • a respective latent representation contains a vector with features in an n-dimensional latent space.
  • Each latent representation encodes in the n features (e.g. 256 features) semantic relationships between image input data of a receptive field that has been incorporated into the respective latent representation.
  • the perception levels 12 of the DNN 10 have a number of prototypes that can be represented by a vector in the same latent space as the latent representations of the latent representation data set Z. In this respect, all latent representations can each be compared with a number of prototypes, which are also using machine learning have been learned based on the training data. From the comparison, the DNN 10 produces output data sets 3 which contain classes and positions of objects that have been recognized by the perception levels 12 in the latent representation data set Z.
  • the internal structures of the DNN 10, which can also be referred to as hidden or latent structures, are fundamentally incomprehensible when viewed from the outside.
  • the latent representations Zjj can be assigned to a spatially corresponding group of pixels of the image input data set 1.
  • the DNN 10 is connected to a training algorithm 20.
  • the training algorithm 20 the weighting parameters and prototypes can be gradually optimized with a sequence of training iteration steps and by minimizing an internal cost function.
  • a training data set is provided, which includes an image input data set 1 and an associated reference data set 2.
  • a reference data set 2 is provided, which is shown in Figure 2 as an annotated bounding box.
  • the training algorithm is given 20 classes and positions of objects to be recognized, which are in an image of the corresponding image input data set 1 are present and should be recognized by the DNN 10.
  • the training algorithm 20 is also supplied with an output data set 3, which contains classes and positions of objects that have been recognized by the perception levels 12 from the latent representation data set Z.
  • the weighting parameters and prototypes of the DNN 10 are adjusted by the training algorithm 10 in each training iteration step in such a way that the classes and positions of objects of the output data set 3 match those of the reference data set 2 as closely as possible.
  • FIG. 3 shows a sequence of an evaluation method 100 according to the invention, with which a trained deep neural network can be evaluated with regard to its robustness and/or performance.
  • a DNN 10 and an associated training algorithm 20 are provided, which, as a fully trained hardware and/or software component, may have been supplied by a supplier, for example.
  • the already learned weighting parameters and prototypes of the feature extraction levels 11 and the perception levels 12 are frozen and saved as a data record.
  • a predetermined number of evaluation data sets is provided, each evaluation data set comprising an image input data set 1 and an associated reference data set 2.
  • the evaluation data sets are fed to the DNN 10 and the associated training algorithm 20 in a defined order.
  • the DNN 10 For each evaluation data set, the DNN 10 generates a latent representation data set Z and an output data set 3 with data about classes and positions of recognized objects.
  • the data of reference data set 2 are compared with those of output data set 3.
  • An error rate F is determined based on a number of objects that were not recognized or were recognized falsely positively by the DNN 10 compared to the reference data and saved associated with each evaluation data set. For the number of all evaluation data sets, an average and/or maximum error rate is determined and stored as a reference value for the performance of the DNN 10.
  • all latent representations Zjj that match the positions of the annotated bounding boxes are determined and stored.
  • a distance average is calculated from the stored latent representations Zjj of all evaluation data sets, which is stored as a reference value for the robustness of the DNN 10.
  • Methods for varying data sets can be global changes to the image such as contrast or brightness changes. But additions of additional objects in the image (e.g. people, pedestrians, etc.) are also possible. Furthermore, an image can be overlaid with snowfall, rain or other image noise.
  • an additional training data set is generated based on each test data set, the pixels of which in the image input data set 1 have been manipulated or adjusted by a predetermined value with regard to the contrast values.
  • a fourth step 104 the DNN 10 is placed in a training mode and trained in additional training with a number of additional training data sets that have been generated for a first selected method for varying data sets. If a corresponding additional training step with the number of additional training data sets has been completed, the training mode of the DNN 10 is ended again.
  • a fifth step 105 the evaluation data sets are fed to the DNN 10 and the associated training algorithm 20 in the defined order.
  • the DNN 10 again generates a latent representation data set Z and an output data set 3 with data about classes and positions of recognized objects.
  • a sixth step 106 for each evaluation data set based on the Reference data set 2 determines all latent representations Zjj that match the positions of the annotated bounding boxes. A mean distance value is again determined from the latent representations Zjj of all evaluation data sets, which is saved as an evaluation variable for the robustness of the DNN 10.
  • a difference is formed from the determined evaluation variable for the robustness and from the reference value for the robustness of the DNN 10 stored in the second step 102 and compared with a limit value for a change in robustness. If the limit value is not met, i.e. if the robustness has deteriorated to a certain extent after the additional training, the deep neural network 10 is assessed as not suitable for the selected method.
  • the procedure for evaluating the DNN 10 can be completed with step 110.
  • an error rate F is determined again for each evaluation data set and saved by comparing the reference data sets 2 with the output data sets 3.
  • the error rate F results from a number of objects that were not recognized by the DNN 10 or were recognized as false positives compared to the reference data. Accordingly, an average and/or maximum error rate is again determined and stored for the number of all evaluation data sets, which serves as an evaluation variable for the performance of the DNN 10.
  • the DNN 10 is assessed as suitable for the selected method.
  • the DNN 10 can be reset by playing back the originally learned weighting parameters and prototypes of the feature extraction levels 11 and the perception levels 12 stored as a data record. If it is also determined in the eighth step 108 that there is another method available for varying data sets, ie not yet used for additional training, this will be done in the fourth step 104 the DNN 10 again placed in a training mode and trained with a number of additional training data sets in additional training that were generated for another selected method for varying data sets.
  • the DNN 10 is assessed as suitable for all methods used. The method ends with a positive evaluation of the DNN 10 in step 109.
  • the deep neural network 10 is assessed as not suitable for a selected method, as an alternative to terminating the method 110 it can be provided to carry out further additional training for the methods for varying data sets that have not yet been used to get a complete list of which methods the deep neural network is suitable for and which is not.
  • DNN deep neural network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

Die vorliegende Offenbarung betrifft ein Verfahren zur Evaluierung eines tiefen neuronalen Netzes (10), das auf eine Objekterkennung im Umfeld eines Kraftfahrzeuges trainiert worden ist. Anhand einer vorbestimmten Anzahl von Evaluierungsdatensätzen und mit Hilfe des tiefen neuronalen Netzes (10) wird wenigstens eine Bezugsgröße ermittelt. Ferner wird eine Anzahl von Testdatensätzen bereitgestellt, aus denen mittels einer ausgewählten Methode zum Variieren von Datensätzen eine Anzahl von Zusatztrainingsdatensätzen erzeugt wird. Das tiefe neuronale Netz (10) wird in einem Zusatztrainingsschritt mit den erzeugten Zusatztrainingsdatensätzen trainiert, wobei nach dem Durchlaufen des Zusatztrainingsschritt anhand der vorbestimmten Anzahl von Evaluierungsdatensätzen und mit Hilfe des tiefen neuronalen Netzes (10) wenigstens eine Bewertungsgröße ermittelt wird. Das tiefe neuronalen Netz (10) wird für die ausgewählte Methode als nicht geeignet bewertet, wenn eine Differenz zwischen der wenigsten einen Bezugsgröße und einer korrespondierenden Bewertungsgröße einen vorbestimmten Grenzwert überschreitet.

Description

Beschreibung
VERFAHREN ZUM EVALUIEREN EINES TRAINIERTEN TIEFEN NEURONALEN
NETZES
Technisches Gebiet
Die Erfindung betrifft ein Verfahren zum Evaluieren eines trainierten tiefen neuronalen Netzes. Die Erfindung betrifft ferner Computerprogramm und Computerprogrammprodukt zum Ausführen des Verfahrens.
Stand der Technik
Die Perzeption bzw. Modellierung eines Fahrzeugumfeldes stellt eine wesentliche Herausforderung bei einer Entwicklung von automatisierten Fahrfunktionen bzw. fortgeschrittenen Fahrerassistenzsystemen (engl. advanced driver assistance systems, ADAS) dar. Für eine Objekterkennung (engl. object detection), d.h. eine Klassifizierung (engl. classification) und Lokalisierung (engl. localisation) von sensorisch erfassten Objekten spielen tiefe neuronale Netze (engl. deep neural network, DNN) aufgrund ihrer hervorragenden Performanz eine entscheidende Rolle.
Durch einen Trainingsalgorithmus und mit einer Anzahl von Trainingsiterationsschritten wird in den inneren Strukturen eines tiefen neuronalen Netzes ein Merkmalsraum gelernt, durch den die zu erkennenden Objekte repräsentiert werden können. Durch eine Erweiterung eines entsprechenden Trainingsdatensatzes kann die Performanz eines DNN im Allgemeinen verbessert werden. Nach einem erfolgreichen Basistraining können Trainingsdatensätze bereitgestellt werden, deren Objekte für das DNN schwer zu erfassen sind, wobei dennoch eine korrekte Detektion anforderungsbedingt erwartet werden muss. Derartige Trainingsdatensätze können Bilder mit seltenen Situationen (eng. corner cases) oder Bilder mit einer begrenzten Bildqualität (z.B. hinsichtlich des Kontrastes, der Helligkeit, etc.) enthalten.
Die Performanz sagt als Kriterium nichts darüber aus, wie eine DNN seinen Merkmalsraum anhand von vorgegenebnen Trainingsdaten in einer endlichen Anzahl von Trainingsiterationen lernt. Die inneren Strukturen eines DNN, die auch als verborgene oder latente Strukturen bezeichnet werden können, sind von außen betrachtet im Wesentlichen nicht nachvollziehbar. Somit ist während bzw. nach einem Training von außen auch nicht klar, ob sich gelernte Repräsentationen in einem Bereich des Merkmalsraumes stabilisieren oder ob von Trainingsschritt zu Trainingsschritt vollkommen unterschiedliche Bereiche zur Repräsentation des Gelernten genutzt werden.
Neben der Performanz stellt also auch die Robustheit ein besonders wichtiges Kriterium zur Beurteilung eines ausreichenden Trainings dar. Das Ziel eines Trainings ist gerade nicht, einem DNN so viele Datensätze zuzuführen, dass es jede relevante Situation einmal im Training berücksichtigt worden ist („Training durch Auswendiglernen aller Situationen“), da ein solches Vorgehen das Risiko eines Over Fittings birgt. Stattdessen soll das DNN durch das Training die Fähigkeit zur Generalisierung bei der Objekterkennung erlangen, die durch eine ausreichende Robustheit beurteilt werden kann.
In der deutschen Patentanmeldung 10 2021 207 505.3 wurde ein Verfahren zum Trainieren eines tiefen neuronalen Netzes zur Objekterkennung im Umfeld eines Kraftfahrzeuges vorgestellt, das eine Evaluierung eines aktuellen Lernzustandes eines Trainings ermöglicht.
Eine nachträgliche Evaluierung eines bereits trainierten tiefen neuronalen Netzes ist mit dem beschriebenen Verfahren jedoch nicht möglich.
Kurzbeschreibung der Erfindung
Vor diesem Hintergrund liegt der Erfindung die Aufgabe zugrunde, ein Verfahren zur Evaluierung eines tiefen neuronalen Netzes bereitzustellen, dessen Training auf eine Objekterkennung im Umfeld eines Kraftfahrzeuges bereits abgeschlossen worden ist.
Vorgeschlagen wird dementsprechend ein Verfahren gemäß dem Hauptanspruch sowie Computerprogramm und ein Computerprogrammprodukt gemäß den Nebenansprüchen. Weiterführende Ausgestaltungen sind Gegenstand der jeweils abhängigen Ansprüche.
Gemäß einem ersten Aspekt der Erfindung wird die Aufgabe gelöst durch ein Verfahren zur Evaluierung eines tiefen neuronalen Netzes, das auf eine Objekterkennung im Umfeld eines Kraftfahrzeuges trainiert worden ist. Anhand einer vorbestimmten Anzahl von Evaluierungsdatensätzen und mit Hilfe des tiefen neuronalen Netzes wird wenigstens eine Bezugsgröße ermittelt. Ferner wird eine Anzahl von Testdatensätzen bereitgestellt, aus denen mittels einer ausgewählten Methode zum Variieren von Datensätzen eine Anzahl von Zusatztrainingsdatensätzen erzeugt werden. Das tiefe neuronale Netz wird in einem Zusatztrainingsschritt mit den erzeugten Zusatztrainingsdatensätzen trainiert, wobei nach dem Durchlaufen des Zusatztrainingsschrittes anhand der vorbestimmten Anzahl von Evaluierungsdatensätzen und mit Hilfe des tiefen neuronalen Netzes wenigstens eine Bewertungsgröße ermittelt wird. Das tiefe neuronale Netz wird für die ausgewählte Methode als nicht geeignet bewertet, wenn eine Differenz zwischen der wenigsten einen Bezugsgröße und einer korrespondierenden Bewertungsgröße einen vorbestimmten Grenzwert überschreitet.
Entsprechend kann das tiefe neuronale Netz für die ausgewählte Methode als geeignet bewertet werden, wenn die Differenz zwischen der wenigsten einen Bezugsgröße und einer korrespondierenden Bewertungsgröße den vorbestimmten Grenzwert einhält.
Eine Idee hinter der vorliegenden Erfindung ist, zusätzliche Zusatztrainingsschritte nicht für ein erweitertes Trainieren eines tiefen neuronalen Netzes zu verwenden, sondern zur Evaluierung eines bereits trainierten tiefen neuronalen Netzes zu nutzen.
Gemäß einer Weiterbildung des Verfahrens kann daher vorgesehen werden, dass ursprünglich gelernte Parameter des trainierten tiefen neuronalen Netzes zunächst ausgelesen und abgespeichert werden, bevor ein erster Zusatztrainingsschritt durchgeführt wird.
Dadurch, dass der Trainingszustand des tiefen neuronalen Netzes eingefroren wird, können die gelernten Parameter des tiefen neuronalen Netzes nach einer Evaluierung auf den ursprünglich Lernzustand zurückgesetzt werden. Die gespeicherten Parameter können beispielsweise Gewichtungsparameter und Prototypen oder Konzepte von Merkmalsextrationsebenen und Perzeptionsebenen für die inneren Strukturen eines tiefen neuronalen Netzes umfassen.
Gemäß einer Weiterbildung des Verfahrens können alle Parameter des tiefen neuronalen Netzes auf die abgespeicherten ursprünglich gelernten Parameter zurückgesetzt werden, nachdem die wenigstens eine Bewertungsgröße ermittelt worden ist.
Da die Zusatztrainingsschritte kein zusätzliches Training bewirken sollen, um beispielsweise das Risiko eines Over Fitting zu vermeiden, wird der ursprüngliche ausgelesene und abgespeicherte Trainingsstand wieder zurückgesetzt, sobald das tiefe neuronalen Netz für die ausgewählte Methode als geeignet bewertet wurde. Das durchgeführte Zusatztraining hat somit nur eine Auswirkung auf einen Evaluierungsschritt, das auf der ausgewählten Methode zum Variieren von Datensätzen basiert. Ein Zusatztrainingsschritt hat somit keinen Einfluss auf einen Praxisbetrieb eines evaluierten tiefen neuronalen Netzes.
Gemäß einer Weiterbildung des Verfahrens kann eine Anzahl unterschiedlicher Methoden zum Variieren von Datensätzen bereitgestellt wird, wobei für jeder der unterschiedlichen Methoden zum Variieren von Datensätzen jeweils eine Anzahl von Zusatztrainingsdatensätzen bereitgestellt wird, so dass eine der Anzahl der Methoden entsprechende Anzahl aufeinanderfolgender Zusatztrainingsschritte durchlaufen wird. Somit kann das tiefe neuronale Netz nacheinander basierend auf unterschiedlichen kritischen Grenzfällen bewertet werden.
In diesem Zusammenhang können Parameter des tiefen neuronalen Netzes nach jedem Zusatztrainingsschritt auf die abgespeicherten ursprünglich gelernten Parameter zurückgesetzt werden, sobald die entsprechenden Bewertungsgrößen ermittelt worden sind.
Somit kann jedes Zusatztraining für eine jeweilige Methode zum Variieren von Datensätzen auf dem jeweils gleichen ursprünglichen Trainingsstand des tiefen neuronalen Netzes beginnen. Ein vorhergehender Zusatztrainingsschritt hat somit keinen Einfluss auf die Bewertung einer aktuell ausgewählten Methode.
Gemäß einer Weiterbildung kann für jeden Evaluierungsdatensatz durch das tiefe neuronale Netz jeweils ein korrespondierender latenter Repräsentationsdatensatz erzeugt werden, wobei zu annotierten Daten jedes Evaluierungsdatensatzes relevante latente Repräsentationen aus dem korrespondierenden latenten Repräsentationsdatensatz ausgewählt werden. Aus den ausgewählten relevanten latenten Repräsentationen der Evaluierungsdatensätze kann ein Abstandsmittelwert im latenten Raum ermittelt werden, wobei der ermittelte Abstandsmittelwert als Referenzgröße und/oder als Bewertungsgröße herangezogen wird.
Alternativ oder ergänzend können für jeden Evaluierungsdatensatz durch das tiefe neuronale Netz Ausgabedaten erzeugt werden, wobei mittels eines Abgleichs zwischen den erzeugten Ausgabedaten und den Referenzdaten des jeweiligen Evaluierungsdatensatzes eine Performanzwert bestimmt wird, wobei der Performanzwert als Referenzgröße und/oder als Bewertungsgröße herangezogen wird.
Gemäß einer Weiterbildung kann die Methode zum Variieren von Datensäten ein parametrisiertes Verändern aller Daten eines Datensatzes umfassen.
Alternativ oder ergänzend kann die Methode zum Variieren von Datensätzen ein Hinzufügen von Objekten in einen jeweiligen Datensatz umfassen.
Nach einem weiteren Aspekt der Erfindung wird die Aufgabe gelöst durch ein Computerprogramm, das, wenn es auf einer Recheneinheit innerhalb einer Manöverplanungseinrichtung ausgeführt wird, die jeweilige Recheneinheit anleitet, das Verfahren auszuführen.
Nach einem weiteren Aspekt der Erfindung wird die Aufgabe gelöst durch ein Computerprogrammprodukt mit einem Programmcode zur Durchführung des Verfahrens, der auf einem von einem Computer lesbaren Medium gespeichert ist. Kurze Beschreibung der Zeichnunqsfiquren
Weitere Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale bilden für sich oder in beliebiger, sinnvoller Kombination den Gegenstand, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separater Anmeldungen sein. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen. Dabei zeigen:
Figur 1 zeigt ein Blockdiagramm eines tiefen neuronalen Netzes;
Figur 2 zeigt eine Bildeingangsdatensatz mit einem annotierten Begrenzungsrahmen und einem latenten Repräsentationsdatensatz Z;
Figur 3 zeigt ein Ablaufdiagramm eines erfindungsgemäßen Evaluierungsverfahrens.
Beschreibung der Ausführunqsarten
In der Figur 1 ist ein Blockdiagramm eines tiefen neuronalen Netz 10 (DNN) dargestellt, das auf eine Erkennung von Objekten, beispielsweise auf Fußgänger, in kamerabasierten 2D-Bilddaten aus einem Fahrzeugumfeld trainiert worden ist. Das DNN 10 besitzt eine Anzahl von Merkmalsextrationsebenen 11 und eine Anzahl von Perzeptionsebenen 12. Die Merkmalsextrationsebenen 11 sind ausgebildet, für einen aktuellen Bildeingangsdatensatz 1 jeweils einen latenten Repräsentationsdatensatz Z zu erzeugen und an die Perzeptionsebenen 12 weiterzugeben. Die Perzeptionsebenen 12 sind ausgebildet, latente Repräsentationen aus einem aktuellen latenten Repräsentationsdatensatz Z mit einer Anzahl von gelernten Prototypen für verschiedene Klassen von Objekten auf Ähnlichkeit hin zu vergleichen, so dass darauf basierend Objekte in den 2D-Bilddaten erkannt, d.h. klassifiziert und lokalisiert werden können.
Der in der Figur 2 dargestellte Bildeingangsdatensatz 1 enthält bzw. beschreibt ein 2D- Bild einer Fahrzeugumgebung, das beispielsweise mit einer Fahrzeugfrontkamera aufgenommen worden sein kann. Der Bildeingangsdatensatz 1 besitzt eine Anzahl Bildpunkte (engl. pixel), die entsprechend der Höhe (engl. height) H und einer Breite (engl. width) W des Bildes in Zeilen und Spalten zueinander angeordnet sind. Jeder Bildpunkt des Bildeingangsdatensatzes 1 wird zum Beispiel durch einen Vektor im dreidimensionalen RBG- Farbraum beschrieben. Das DNN 10 kann zum Beispiel als ein faltendes neuronales Netzwerk (engl. convolutional neural network, CNN) ausgebildet sein, dessen Architektur in den Merkmalsextrationsebenen 11 spezielle Faltungs- und Bündelungsstrukturen vorsieht.
Mit den Merkmalsextrationsebenen 11 wird für jeden aktuellen Bildeingangsdatensatz 1 ein latenter Repräsentationsdatensatz Z erzeugt, wobei hinsichtlich der Anzahl von Daten eine Datenreduktion erzielt wird. So wird beispielsweise aus einem 2048 x 1024 Bildpunkte großen Bildeingangsdatensatz 1 ein latenter Repräsentationsdatensatz Z mit 512 x 256 latenten Repräsentationen Zjj erzeugt.
Während jeder Bildpunkt durch einen Vektor mit drei Farbwerten im RGB-Farbraum definiert wird, enthält eine jeweilige latente Repräsentation einen Vektor mit Merkmalen in einem n-dimensionalen latenten Raum. Jede latente Repräsentation kodiert in den n Merkmalen (z.B. 256 Merkmale) semantische Beziehungen zwischen Bildeingangsdaten eines rezeptiven Feldes (engl. receptive field), das in die jeweilige latente Repräsentation eingeflossen ist.
Wie ein jeweiliger Bildeingangsdatensatz 1 auf den latenten Repräsentationsdatensatz Z abgebildet wird, bestimmt sich einerseits durch die Netzarchitektur der Merkmalsextrationsebenen 11 des DNN 10, andererseits durch eine Anzahl zugehöriger Gewichtungsparameter, die mittels maschinellen Lernens anhand von Trainingsdaten gelernt worden sind.
Die Perzeptionsebenen 12 des DNN 10 besitzen eine Anzahl Prototypen, die durch einen Vektor in demselben latenten Raum darstellbar sind, wie die latenten Repräsentationen des latenten Repräsentationsdatensatzes Z. Insofern können alle latenten Repräsentationen jeweils mit einer Anzahl von Prototypen verglichen werden, die ebenfalls mittels maschinellen Lernens anhand der Trainingsdaten gelernt worden sind. Aus dem Vergleich werden durch das DNN 10 Ausgabedatensätze 3 gewonnen, die Klassen und Positionen von Objekten enthalten, die durch die Perzeptionsebenen 12 in dem latenten Repräsentationsdatensatzes Z erkannt worden sind.
Die inneren Strukturen des DNN 10, die auch als verborgene oder latente Strukturen bezeichnet werden können, sind von außen betrachtet grundsätzlich nicht nachvollziehbar. Die latenten Repräsentationen Zjj können jedoch einer örtlich entsprechenden Gruppe von Bildpunkten des Bildeingangsdatensatz 1 zugeordnet werden.
Zu Trainings- bzw. Evaluierungszwecken wird das DNN 10 mit einem Trainingsalgorithmus 20 verbunden. Mit dem Trainingsalgorithmus 20 können die Gewichtungsparameter und Prototypen mit einer Folge von Trainingsiterationsschritten und durch Minimieren einer internen Kostenfunktion schrittweise optimiert werden. Für jeden Trainingsiterationsschritt wird jeweils ein Trainingsdatensatz bereitgestellt, der einen Bildeingangsdatensatz 1 und einen zugehörigen Referenzdatendatensatz 2 umfasst. Mit jedem Bildeingangsdatensatz 1 wird ein Referenzdatensatz 2 bereitgestellt, der in der Figur 2 als ein annotierter Begrenzungsrahmen (engl. annotated bounding box) dargestellt ist, werden dem Trainingsalgorithmus 20 Klassen und Positionen von zu erkennenden Objekten vorgegeben, die in einem Bild des entsprechenden Bildeingangsdatensatzes 1 vorhanden sind und die von dem DNN 10 erkannt werden sollen. Von dem DNN 10 wird dem Trainingsalgorithmus 20 ferner ein Ausgabedatensatz 3 zugeführt, der Klassen und Positionen von Objekten enthält, die durch die Perzeptionsebenen 12 aus dem latenten Repräsentationsdatensatzes Z erkannt worden sind. Die Gewichtungsparameter und Prototypen des DNN 10 werden durch den Trainingsalgorithmus 10 in jedem Trainingsiterationsschritt derart angepasst, dass die Klassen und Positionen von Objekten des Ausgabedatensatzes 3 mit denen des Referenzdatensatzes 2 möglichst gut übereinstimmen.
In der Figur 3 ist ein Ablauf eines erfindungsgemäßen Evaluierungsverfahrens 100 dargestellt, mit dem ein trainiertes tiefes neuronale Netz bezüglich seiner Robustheit und/oder Performanz evaluiert werden kann.
In einem ersten Schritt 101 wird ein DNN 10 und einen zugehöriger Trainingsalgorithmus 20 bereitgestellt, die, als fertigt trainierte Hard- und/oder Softwarekomponente beispielsweise von einem Zulieferer zugeliefert worden sein kann. Die bereits gelernten Gewichtungsparameter und Prototypen der Merkmalsextrationsebenen 11 bzw. der Perzeptionsebenen 12 werden eingefroren und als Datensatz abgespeichert.
In einem zweiten Schritt 102 wird eine vorbestimmte Anzahl Evaluierungsdatensätze bereitgestellt, wobei jeder Evaluierungsdatensatz jeweils einen Bildeingangsdatensatz 1 und einen zugehörigen Referenzdatensatz 2 umfasst. Die Evaluierungsdatensätze werden in einer definierten Reihenfolge dem DNN 10 und dem zugehörigen Trainingsalgorithmus 20 zugeführt. Zu jedem Evaluierungsdatensatz erzeugt das DNN 10 einen latenten Repräsentationsdatensatz Z sowie einen Ausgabedatensatz 3 mit Daten über Klassen und Positionen von erkannten Objekten.
Die Daten des Referenzdatensatzes 2 werden mit denen des Ausgabedatensatzes 3 verglichen. Basierend auf einer Anzahl von Objekten, die von dem DNN 10 gegenüber den Referenzdaten nicht bzw. falsch-positiv erkannt wurden, wird eine Fehlerrate F ermittelt und zugehörig zu jedem Evaluierungsdatensatz abgespeichert. Für die Anzahl aller Evaluierungsdatensätze wird eine gemittelte und/oder maximale Fehlerrate als ein Bezugswert für die Performanz des DNN 10 bestimmt und abgespeichert.
Ferner werden basierend auf dem Referenzdatensatzes 2 alle latenten Repräsentationen Zjj ermittelt und abgespeichert, die mit den Positionen der annotierten Begrenzungsrahmen übereinstimmen. Aus den gespeicherten latenten Repräsentationen Zjj aller Evaluierungsdatensätze wird ein Abstandsmittelwert berechnet, der als Bezugswert für die Robustheit des DNN 10 abgespeichert wird.
In einem dritten Schritt 103 wird eine Anzahl von Testdatensätzen und eine Anzahl von Methoden zum Variieren von Datensätzen bereitgestellt. Für jede Methode zum Variieren von Datensäten wird eine Anzahl von Zusatztrainingsdatensäten erzeugt.
Die Testdatensätze enthalten jeweils einen Bildeingangsdatensatz 1 und einen zugehörigen Referenzdatendatensatz 2, mit den Klassen und Positionen der zu erkennenden Objekte, die wie üblich annotiert bzw. vorgegeben werden.
Methoden zum Variieren von Datensätzen können globale Veränderungen des Bildes wie Kontrast- oder Helligkeitsänderungen sein. Aber auch Ergänzungen um zusätzliche Objekte im Bild (z.B. Personen, Fußgänger, usw.) sind möglich. Ferner kann ein Bild mit einem Schneefall, Regen oder ein anderem Bildrauschen überlagert werden.
Wird beispielsweise die Methode der Kontraständerungen ausgewählt, wird basierend auf jedem Testdatensatz ein Zusatztrainingsdatensatz erzeugt, dessen Bildpunkte im Bildeingangsdatensatz 1 hinsichtlich der Kontrastwerte um einen vorgegebenen Wert manipuliert bzw. angepasst worden sind.
In einem vierten Schritt 104 wird das DNN 10 in einen Trainingsmodus versetzt und mit einer Anzahl von Zusatztrainingsdatensätzen in einem Zusatztraining trainiert, die für eine erste ausgewählte Methode zum Variieren von Datensätzen erzeugt worden sind. Wurde ein entsprechender Zusatztrainingsschritt mit der Anzahl von Zusatztrainingsdatensätzen durchlaufen, wird der Trainingsmodus des DNN 10 wieder beendet.
In einem fünften Schritt 105 werden die Evaluierungsdatensätze in der definierten Reihenfolge dem DNN 10 und dem zugehörigen Trainingsalgorithmus 20 zugeführt. Zu jedem Evaluierungsdatensatz erzeugt das DNN 10 erneut einen latenten Repräsentationsdatensatz Z sowie einen Ausgabedatensatz 3 mit Daten über Klassen und Positionen von erkannten Objekten.
In einem sechsten Schritt 106 werden für jeden Evaluierungsdatensatz basierend auf dem Referenzdatensatzes 2 alle latenten Repräsentationen Zjj ermittelt, die mit den Positionen der annotierten Begrenzungsrahmen übereinstimmen. Aus den ermittelten latenten Repräsentationen Zjj aller Evaluierungsdatensätze wird erneut ein Abstandsmittelwert ermittelt, der als Bewertungsgröße für die Robustheit des DNN 10 abgespeichert wird.
Aus der ermittelten Bewertungsgröße für die Robustheit und aus dem im zweiten Schritt 102 abgespeicherten Bezugswert für die Robustheit des DNN 10 wird eine Differenz gebildet und mit einem Grenzwert für eine Robustheitsänderung verglichen. Wird der Grenzwert nicht eingehalten, d.h. wenn sich die Robustheit über ein bestimmtes Maß nach dem Zusatztraining verschlechtert hat, wird die das tiefe neuronalen Netz 10 für die ausgewählte Methode als nicht geeignet bewertet. Das Verfahren zur Evaluierung des DNN 10 kann mit Schritt 110 beendet werden.
Sofern der Grenzwert für die Robustheitsänderung eingehalten worden ist, wird in einem siebten Schritt 107 für jeden Evaluierungsdatensatz erneut eine Fehlerrate F ermittelt und abgespeichert, indem die Referenzdatensätze 2 mit den Ausgabedatensätzen 3 verglichen werden. Wie zuvor in dem zweiten Schritt 102 beschrieben, ergibt sich die Fehlerrate F aus einer Anzahl von Objekten, die von dem DNN 10 gegenüber den Referenzdaten nicht bzw. falsch-positiv erkannt wurden. Entsprechend wird für die Anzahl aller Evaluierungsdatensätze erneut eine gemittelte und/oder maximale Fehlerrate ermittelt und abgespeichert, die als eine Bewertungsgröße für die Performanz des DNN 10 dient.
Aus der ermittelten Bewertungsgröße für die Performanz und dem im zweiten Schritt 102 abgespeicherten Bezugswert für die Performanz des DNN 10 wird in dem siebten Schritt 107 ferner eine Differenz ermittelt und mit einem vorgegebenen Grenzwert für eine Performanzänderung verglichen. Wird der Grenzwert nicht eingehalten, d.h. wenn sich die Performanz über ein bestimmtes Maß nach dem Zusatztraining verschlechtert hat, wird die das tiefe neuronalen Netz 10 für die ausgewählte Methode als nicht geeignet bewertet. Das Verfahren zur Evaluierung des DNN 10 kann entsprechend beendet 110 werden.
Sofern der Grenzwert für die Performanzänderung eingehalten worden ist, wird das DNN 10 für die ausgewählte Methode als geeignet bewertet. In einem nachfolgenden achten Schritt 108 kann das DNN 10 zurückgesetzt werden, indem die als Datensatz gespeicherten ursprünglich gelernten Gewichtungsparameter und Prototypen der Merkmalsextrationsebenen 11 bzw. der Perzeptionsebenen 12 zurückgespielt werden. Wird in dem achten Schritt 108 ferner festgestellt, dass noch weitere, d.h. für ein Zusatztraining noch nicht verwendete Methode zum Variieren von Datensäten zur Verfügung steht, wird in dem vierten Schritt 104 das DNN 10 erneut in einen Trainingsmodus versetzt und mit einer Anzahl von Zusatztrainingsdatensäten in einem Zusatztraining trainiert, die für eine weitere ausgewählte Methode zum Variieren von Datensätzen erzeugt wurden.
Wird in dem achten Schritt 108 festgestellt, dass sämtliche Zusatztrainingsdatensätze für alle Methoden zum Variieren von Datensätzen verwendet worden sind, wird das DNN 10 für alle verwendeten Methoden als geeignet bewertet. Das Verfahren wird mit einer positiven Evaluierung des DNN 10 in Schritt 109 beendet.
Wird in dem sechsten Schritt 106 und/oder siebten Schritt 107 das tiefe neuronalen Netz 10 für eine ausgewählte Methode als nicht geeignet bewertet, kann alternativ zu einer Beendigung 110 des Verfahrens vorgesehen werden, weitere Zusatztrainings für die noch nicht verwendete Methoden zum Variieren von Datensätzen durchzuführen, um eine komplette Liste drüber zu erhalten, für welcher Methoden das tiefe neuronale Netz geeignet ist und für welche nicht.
Obwohl der Gegenstand im Detail durch Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird. Liste der Bezugszeichen
1 Bildeingangsdatensatz
2 Referenzdatensatz
3 Ausgabedatensatz
10 tiefes neuronales Netz (DNN)
11 Merkmalsextrationsebenen
12 Perzeptionsebenen
20 T rainingsalgorithmus
F Fehlerrate
Z latenter Repräsentationsdatensatz
Zi,j latente Repräsentation
100 Evaluierungsverfahren
101 erster Schritt
102 zweiter Schritt
103 dritter Schritt
104 vierter Schritt
105 fünfter Schritt
106 sechster Schritt
107 siebter Schritt
108 achter Schritt
109 Ende; für alle verwendeten Methoden als geeignet bewertet
110 Ende; für eine ausgewählte Methode als nicht geeignet bewertet

Claims

Ansprüche
1. Verfahren zur Evaluierung eines tiefen neuronalen Netzes (10), das auf eine Objekterkennung im Umfeld eines Kraftfahrzeuges trainiert worden ist, wobei anhand einer vorbestimmten Anzahl von Evaluierungsdatensätzen und mit Hilfe des tiefen neuronalen Netzes (10) wenigstens eine Bezugsgröße ermittelt wird, und wobei eine Anzahl von Testdatensätzen bereitgestellt wird, aus denen mittels einer ausgewählten Methode zum Variieren von Datensätzen eine Anzahl von Zu- satztrainingsdatensäten erzeugt wird, wobei das tiefe neuronale Netz (10) in einem Zusatztrainingsschritt mit den erzeugten Zusatztrainingsdatensäten trainiert wird, wobei nach dem Durchlaufen des Zusatztrainingsschritt anhand der vorbestimmten Anzahl von Evaluierungsdatensätzen und mit Hilfe des tiefen neuronalen Netzes (10) wenigstens eine Bewertungsgröße ermittelt wird, und wobei das tiefe neuronalen Netz (10) für die ausgewählte Methode als nicht geeignet bewertet wird, wenn eine Differenz zwischen der wenigsten einen Bezugsgröße und einer korrespondierenden Bewertungsgröße einen vorbestimmten Grenzwert überschreitet.
2. Verfahren gemäß vorstehendem Anspruch 1 , wobei ursprünglich gelernte Parameter des tiefen neuronalen Netzes (10) ausgelesen abgespeichert werden, bevor ein erster Zusatztrainingsschritt durchgeführt wird.
3. Verfahren gemäß vorstehendem Anspruch 2, wobei alle Parameter des tiefen neuronalen Netzes (10) auf die abgespeicherten ursprünglich gelernten Parameter zurückgesetzt werden, nachdem die wenigstens eine Bewertungsgröße ermittelt worden ist.
4. Verfahren gemäß einem der vorstehenden Ansprüche 1 bis 3, wobei eine Anzahl unterschiedlicher Methoden zum Variieren von Datensätzen bereitgestellt wird, wobei für jeder der unterschiedlichen Methoden zum Variieren von Datensätzen jeweils eine Anzahl von Zusatztrainingsdatensätzen aus den Testdatensätzen erzeugt wird, so dass eine der Anzahl der Methoden entsprechende Anzahl aufeinanderfolgenden Zusatztrainingsschritte durchlaufen wird.
5. Verfahren gemäß einem der vorstehendem Ansprüche 1 bis 4, wobei für jeden Evaluierungsdatensatz durch das tiefe neuronale Netz (10) ein korrespondierender latenter Repräsentationsdatensatz (Z) erzeugt wird, wobei zu annotierten Daten (2) jedes Evaluierungsdatensatzes relevante latente Repräsentationen (Zjj) aus dem korrespondierenden latenten Repräsentationsdatensatz (Z) ausgewählt werden, wobei aus den ausgewählten relevanten latenten Repräsentationen der Evaluierungsdatensätze ein Abstandsmittelwert im latenten Raum ermittelt wird, und wobei der ermittelte Abstandsmittelwert als Referenzgröße und/oder als Bewertungsgröße herangezogen wird.
6. Verfahren gemäß einem der vorstehenden Ansprüche 1 bis 5, wobei für jeden Evaluierungsdatensatz durch das tiefe neuronale Netz (10) Ausgabedaten (3) erzeugt werden, wobei mittels eines Abgleichs zwischen den erzeugten Ausgabedaten (3) und den Referenzdaten (2) des jeweiligen Evaluierungsdatensatzes eine Performanz bestimmt wird, wobei die Performanz als Referenzgröße und/oder als Bewertungsgröße herangezogen wird.
7. Verfahren gemäß einem der vorstehenden Ansprüche, wobei die Methode zum Variieren von Datensätzen ein parametrisiertes Verändern aller Daten eines Datensatzes umfasst.
8. Verfahren gemäß einem der vorstehenden Ansprüche, wobei die Methode zum Variieren von Datensätzen ein Hinzufügen von Objekten in einen jeweiligen Datensatz umfasst.
9. Computerprogramm, das, wenn es auf einer Recheneinheit ausgeführt wird, die jeweilige Recheneinheit anleitet, ein Verfahren nach einem der Ansprüche 1 bis 8 auszuführen.
10. Computerprogrammprodukt mit einem Programmcode, der auf einem von einem Computer lesbaren Medium gespeichert ist zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 9.
EP23744735.4A 2022-08-16 2023-07-18 Verfahren zum evaluieren eines trainierten tiefen neuronalen netzes Pending EP4573482A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022208480.2A DE102022208480A1 (de) 2022-08-16 2022-08-16 Verfahren zum Evaluieren eines trainierten tiefen neuronalen Netzes
PCT/EP2023/069934 WO2024037811A1 (de) 2022-08-16 2023-07-18 Verfahren zum evaluieren eines trainierten tiefen neuronalen netzes

Publications (1)

Publication Number Publication Date
EP4573482A1 true EP4573482A1 (de) 2025-06-25

Family

ID=87429278

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23744735.4A Pending EP4573482A1 (de) 2022-08-16 2023-07-18 Verfahren zum evaluieren eines trainierten tiefen neuronalen netzes

Country Status (3)

Country Link
EP (1) EP4573482A1 (de)
DE (1) DE102022208480A1 (de)
WO (1) WO2024037811A1 (de)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200134444A1 (en) * 2018-10-31 2020-04-30 Sony Interactive Entertainment Inc. Systems and methods for domain adaptation in neural networks
US20220138511A1 (en) * 2020-10-30 2022-05-05 Robert Bosch Gmbh Deep neural networks via prototype factorization
DE102021207505A1 (de) 2021-07-14 2023-01-19 Psa Automobiles Sa Verfahren zum Trainieren eines tiefen neuronalen Netzes

Also Published As

Publication number Publication date
WO2024037811A1 (de) 2024-02-22
DE102022208480A1 (de) 2024-02-22

Similar Documents

Publication Publication Date Title
EP3748453B1 (de) Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs
DE102018200724A1 (de) Verfahren und Vorrichtung zum Verbessern der Robustheit gegen "Adversarial Examples"
EP3869390B1 (de) Computerimplementiertes verfahren und system zum erzeugen einer virtuellen fahrzeugumgebung
DE102021200643B3 (de) Verfahren zur Umfelderkennung für teilautonome oder autonome Fahrfunktionen eines Kraftfahrzeugs mittels eines neuronalen Netzes
EP3748454A1 (de) Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs
DE102022208083A1 (de) Trainieren eines neuronalen Netzwerks mit Hilfe von Wissensgraphen
DE102019209463A1 (de) Verfahren zur Bestimmung eines Vertrauenswertes eines Objektes einer Klasse
EP4371034B1 (de) Verfahren zum trainieren eines tiefen neuronalen netzes
DE102020213238A1 (de) Erzeugung von vereinfachten computer-implementierten neuronalen netzwerken
WO2020233992A1 (de) Verfahren zum funktionsspezifischen robustifizieren eines neuronalen netzes
EP4573482A1 (de) Verfahren zum evaluieren eines trainierten tiefen neuronalen netzes
WO2021180470A1 (de) Verfahren zur qualitätssicherung eines beispielbasierten systems
DE102020122979A1 (de) Verfahren zum Bereitstellen eines komprimierten, robusten neuronalen Netzes und Assistenzeinrichtung
EP3973455A1 (de) Verfahren zum beurteilen einer funktionsspezifischen robustheit eines neuronalen netzes
DE102019213797A1 (de) Verfahren zur Bewertung einer Sequenz von Repräsentationen zumindest eines Szenarios
DE102018114912A1 (de) Verfahren zum Klassifizieren einer Farbe einer Fahrbahnmarkierung mittels eines statistischen Fahrbahnmarkierungsbestimmungsmodells, elektronische Recheneinrichtung sowie Fahrerassistenzsystem
DE102021114044A1 (de) Verfahren zum Bereitstellen eines künstlichen neuronalen Netzes zur dreidimensionalen Objekterkennung, Recheneinrichtung für ein Fahrzeug, Computerprogramm sowie Computerlesbares (Speicher)Medium
EP4002217A1 (de) Verfahren zur reduktion von trainingsdaten
DE102021214552A1 (de) Verfahren zum Evaluieren eines trainierten tiefen neuronalen Netz
DE102020204758A1 (de) Schnelle Symmetrieerkennung für die Klassifikation von Objekten aus digitalen Bildern
DE102019219926B4 (de) Verfahren und Vorrichtung zum Trainieren eines Neuronalen Netzes
DE102024120801A1 (de) Verfahren zum trainieren eines maschinenlernmodells zur objektdetektion in einer fahrzeugumgebung
DE102022213064A1 (de) Erkennung unbekannter Objekte durch neuronale Netze für Fahrzeuge
WO2024132949A1 (de) Verfahren und system zum kriterienbasierten extrahieren von bilddaten
DE102024203903A1 (de) Verfahren zum Trainieren eines Maschinenlernmodells für eine Detektionsanwendung in einem Fahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250130

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)