DE102019115092A1

DE102019115092A1 - Determining an object recognition rate of an artificial neural network for object recognition for an automated motor vehicle

Info

Publication number: DE102019115092A1
Application number: DE102019115092.2A
Authority: DE
Inventors: Jelena Frtunikj
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2019-06-05
Filing date: 2019-06-05
Publication date: 2020-12-10

Abstract

Ein Aspekt der Erfindung betrifft ein Verfahren zum Bestimmen einer Objekterkennungsrate eines künstlichen neuronalen Netzes zur Objekterkennung für ein automatisiertes Kraftfahrzeug. Ein Schritt des Verfahrens ist das Auswählen von Daten mit einer bestimmten Bedingung aus einem Testdatensatz. Ein weiterer Schritt des Verfahrens ist das Bestimmen der Objekterkennungsrate des künstlichen neuronalen Netzes für die ausgewählten Daten mit der bestimmten Bedingung.One aspect of the invention relates to a method for determining an object recognition rate of an artificial neural network for object recognition for an automated motor vehicle. One step of the method is to select data with a particular condition from a test data set. Another step of the method is to determine the object recognition rate of the artificial neural network for the selected data with the specific condition.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bestimmen einer Objekterkennungsrate eines künstlichen neuronalen Netzes zur Objekterkennung für ein automatisiertes Kraftfahrzeug.The invention relates to a method and a device for determining an object recognition rate of an artificial neural network for object recognition for an automated motor vehicle.

Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012). Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich. Die vorstehend genannten vier Automatisierungsgrade gemäß der Definition der BASt entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) gemäß der BASt dem Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.In the context of the document, the term “automated driving” can be understood to mean driving with automated longitudinal or lateral guidance or autonomous driving with automated longitudinal and lateral guidance. The term “automated driving” includes automated driving with any degree of automation. Exemplary degrees of automation are assisted, partially automated, highly automated or fully automated driving. These degrees of automation were defined by the Federal Highway Research Institute (BASt) (see BASt publication “Research compact”, edition 11/2012). With assisted driving, the driver continuously performs longitudinal or lateral guidance, while the system takes on the other function within certain limits. With partially automated driving (TAF), the system takes over the longitudinal and lateral guidance for a certain period of time and / or in specific situations, whereby the driver has to continuously monitor the system as with assisted driving. With highly automated driving (HAF), the system takes over the longitudinal and lateral guidance for a certain period of time without the driver having to monitor the system permanently; however, the driver must be able to take over driving the vehicle within a certain period of time. With fully automated driving (VAF), the system can automatically cope with driving in all situations for a specific application; a driver is no longer required for this application. The four degrees of automation mentioned above, as defined by BASt, correspond to SAE levels 1 to 4 of the SAE J3016 standard (SAE - Society of Automotive Engineering). For example, highly automated driving (HAF) according to BASt corresponds to Level 3 of the SAE J3016 standard. In addition, SAE J3016 provides SAE level 5 as the highest level of automation, which is not included in the definition of BASt. SAE level 5 corresponds to driverless driving in which the system can automatically handle all situations like a human driver during the entire journey; a driver is generally no longer required.

Verfahren zur Bestimmung einer Objekterkennungsrate eines künstlichen neuronalen Netzes sind bekannt. Eine Objekterkennungsrate wird dabei üblicherweise mittels einer Objekterkennungsmetrik bestimmt.Methods for determining an object recognition rate of an artificial neural network are known. An object recognition rate is usually determined by means of an object recognition metric.

Es ist Aufgabe der Erfindung, ein alternatives Verfahren zur Bestimmung einer Objekterkennungsrate eines künstlichen neuronalen Netzes und eine entsprechende Vorrichtung anzugeben, beispielsweise unter Berücksichtigung von Anforderungen der funktionalen Sicherheit.It is the object of the invention to specify an alternative method for determining an object recognition rate of an artificial neural network and a corresponding device, for example taking into account requirements of functional safety.

Die Aufgabe wird durch die Merkmale der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.The object is achieved by the features of the independent claims. Advantageous embodiments are described in the dependent claims. It is pointed out that additional features of a patent claim dependent on an independent patent claim without the features of the independent patent claim or only in combination with a subset of the features of the independent patent claim can form a separate invention independent of the combination of all features of the independent patent claim, which can be made the subject of an independent claim, a divisional application or a subsequent application. This applies equally to the technical teachings described in the description, which can form an invention that is independent of the features of the independent patent claims.

Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Bestimmen einer auf einer Objekterkennungsmetrik basierenden Objekterkennungsrate eines künstlichen neuronalen Netzes zur Objekterkennung für ein automatisiertes Kraftfahrzeug.A first aspect of the invention relates to a method for determining an object recognition rate based on an object recognition metric of an artificial neural network for object recognition for an automated motor vehicle.

Ein neuronales Netz (seltener auch neurales Netz) ist eine Ansammlung von einzelnen Informationsverarbeitungseinheiten (Neuronen), die schichtweise in einer Netzarchitektur angeordnet sind. Im Zusammenhang mit künstlicher Intelligenz spricht man von künstlichen neuronalen Netzen.A neural network (seldom also neural network) is a collection of individual information processing units (neurons) that are arranged in layers in a network architecture. In connection with artificial intelligence, one speaks of artificial neural networks.

Die Neuronen (auch Knotenpunkte) eines künstlichen neuronalen Netzes sind schichtweise in sogenannten Layern angeordnet und in der Regel in einer festen Hierarchie miteinander verbunden. Die Neuronen sind dabei zumeist zwischen zwei Layern verbunden (Inter-Neuronlayer-Connection), in selteneren Fällen aber auch innerhalb eines Layers (Intra-Neuronlayer-Connection).The neurons (also nodes) of an artificial neural network are arranged in so-called layers and are usually connected to one another in a fixed hierarchy. The neurons are mostly connected between two layers (inter-neuron-layer connection), but in rarer cases also within a layer (intra-neuron-layer connection).

Beginnend mit der Eingabeschicht (Input Layer) fließen Informationen über eine oder mehrere Zwischenschichten (Hidden Layer) bis hin zur Ausgabeschicht (Output Layer). Dabei ist der Output des einen Neurons der Input des nächsten.Starting with the input layer, information flows through one or more intermediate layers (hidden layers) to the output layer. The output of one neuron is the input of the next.

Die Eingabeschicht ist der Startpunkt des Informationsflusses in einem künstlichen neuronalen Netz.The input layer is the starting point for the flow of information in an artificial neural network.

Eingangssignale werden üblicherweise von den Neuronen am Anfang dieser Schicht aufgenommen und am Ende gewichtet an die Neuronen der ersten Zwischenschicht weitergegeben. Dabei gibt ein Neuron der Eingabeschicht die jeweilige Information an die Neuronen der ersten Zwischenschicht weiter.Input signals are usually picked up by the neurons at the beginning of this layer and weighted to the neurons at the end passed first intermediate layer. A neuron of the input layer forwards the respective information to the neurons of the first intermediate layer.

Zwischen der Eingabe- und der Ausgabeschicht befindet sich in jedem künstlichen neuronalen Netz mindestens eine Zwischenschicht (auch Aktivitätsschicht oder verborgene Schicht von engl.: hidden layer). Je mehr Zwischenschichten es gibt, desto „tiefer“ ist das neuronale Netz, im englischen spricht man in solchen Fällen auch von Deep Learning.In every artificial neural network there is at least one intermediate layer between the input and output layers (also known as the activity layer or hidden layer). The more intermediate layers there are, the “deeper” the neural network. In English, this is also known as deep learning.

Theoretisch ist die Anzahl der möglichen verborgenen Schichten in einem künstlichen neuronalen Netzwerk unbegrenzt. In der Praxis bewirkt jede hinzukommende verborgene Schicht jedoch auch einen Anstieg der benötigten Rechenleistung, die für den Betrieb des Netzes notwendig ist.Theoretically, the number of possible hidden layers in an artificial neural network is unlimited. In practice, however, each additional hidden layer also causes an increase in the computing power required for the operation of the network.

Die Ausgabeschicht liegt hinter den Zwischenschichten und bildet die letzte Schicht in einem künstlichen neuronalen Netzwerk. In der Ausgabeschicht angeordnete Neuronen sind jeweils mit den Neuronen der letzten Zwischenschicht verbunden. Die Ausgabeschicht stellt den Endpunkt des Informationsflusses in einem künstlichen neuronalen Netz dar und enthält das Ergebnis der Informationsverarbeitung durch das Netzwerk.The output layer lies behind the intermediate layers and forms the last layer in an artificial neural network. Neurons arranged in the output layer are each connected to the neurons in the last intermediate layer. The output layer represents the end point of the information flow in an artificial neural network and contains the result of the information processing by the network.

Gewichte beschreiben die Intensität des Informationsflusses entlang einer Verbindung in einem neuronalen Netzwerk. Jedes Neuron vergibt dazu ein Gewicht für die durchfließende Information und gibt diese dann gewichtet und gegebenenfalls nach der Addition eines Wertes für die Neuronenspezifische Verzerrung (Bias) an die Neuronen der nächsten Schicht weiter. Üblicherweise werden die Gewichte und Verzerrungen zum Beginn des Trainings initialisiert. Das Ergebnis der Gewichtung und Verzerrung wird oft durch eine sogenannte Aktivierungsfunktion (z.B: Sigmoid oder tanh) geleitet, bevor es an die Neuronen der nächsten Schicht weitergeleitet wird.Weights describe the intensity of the flow of information along a connection in a neural network. For this purpose, each neuron assigns a weight to the information flowing through it and then passes it on to the neurons of the next layer, weighted and, if necessary, after adding a value for the neuron-specific distortion (bias). Usually the weights and distortions are initialized at the beginning of the training. The result of the weighting and distortion is often passed through a so-called activation function (e.g. sigmoid or tanh) before it is passed on to the neurons of the next layer.

Die Gewichte und Verzerrungen werden während des Trainingsprozesses so angepasst, dass das Endresultat möglichst genau den Anforderungen entspricht.The weights and distortions are adjusted during the training process so that the end result meets the requirements as closely as possible.

Ein Schritt des Verfahrens ist das Bereitstellen eines Datensatzes, wobei jedes Datum des Datensatzes von einem Sensor des automatisierten Kraftfahrzeugs erfasst wurde, und wobei für jedes Datum des Datensatzes zumindest eine zum Zeitpunkt der Erfassung des Datums vorliegende Bedingung erfasst wurde,One step of the method is the provision of a data record, with each date of the data record being recorded by a sensor of the automated motor vehicle, and with at least one condition present at the time of recording of the date being recorded for each date of the data record,

Ein weiterer Schritt des Verfahrens ist das Aufteilen des Datensatzes in einen Trainingsdatensatz und einen Testdatensatz. Insbesondere sind der Trainingsdatensatz und der Testdatensatz zueinander disjunkt.Another step of the method is the division of the data set into a training data set and a test data set. In particular, the training data set and the test data set are disjoint to one another.

Ein weiterer Schritt des Verfahrens ist das Trainieren des künstlichen neuronalen Netzes mit dem Trainingsdatensatz.Another step of the process is training the artificial neural network with the training data set.

Ein wichtiges Merkmal von Systemen mit künstlicher Intelligenz ist die Fähigkeit, selbständig zu lernen. Anders als bei klassischer Software, die Probleme und Fragen auf Basis von vorher festgelegten Regeln abarbeitet, können selbstlernende Machine Learning Algorithmen die besten Regeln für die Lösung bestimmter Aufgaben selber lernen.An important characteristic of systems with artificial intelligence is the ability to learn independently. In contrast to traditional software, which processes problems and questions on the basis of previously defined rules, self-learning machine learning algorithms can learn the best rules for solving certain tasks themselves.

Das Lernen kann beispielsweise wie folgt funktionieren: Nachdem die NetzStruktur aufgebaut wurde, erhält jedes Neuron ein zufälliges AnfangsGewicht. Dann werden die Eingangs-Daten in das Netz gegeben, und jedes Neuron gewichtet die Eingangs-Signale mit seinem Gewicht und gibt das Ergebnis weiter an die Neuronen des nächsten Layers. Am Output-Layer wird dann das Gesamt-Ergebnis berechnet - und dieses wird in der Regel wenig mit dem bekannten tatsächlichen Ergebnis zu tun haben, da ja alle Neuronen ein zufälliges Anfangsgewicht haben. Man kann jedoch die Größe des Fehlers berechnen, und den Anteil, den jedes Neuron an diesem Fehler hatte, und dann das Gewicht jedes Neurons ein kleines bisschen in die Richtung verändern, die den Fehler minimiert. Dann erfolgt der nächste Durchlauf, eine erneute Messung des Fehlers und Anpassung der Gewichte und so weiter. So „lernt“ ein neuronales Netz zunehmend besser, von den Input-Daten auf die bekannten Output-Daten zu schließen.Learning can work as follows, for example: After the network structure has been set up, each neuron is given a random initial weight. Then the input data are fed into the network, and each neuron weights the input signals with its weight and forwards the result to the neurons of the next layer. The total result is then calculated at the output layer - and this will usually have little to do with the known actual result, since all neurons have a random initial weight. However, one can calculate the size of the error and how much each neuron contributed to that error, and then change the weight of each neuron a tiny bit in the direction that minimizes the error. Then the next run takes place, a new measurement of the error and adjustment of the weights and so on. In this way, a neural network “learns” increasingly better to infer the known output data from the input data.

Im Detail werden auf der einen Seite des neuronalen Netzes die Input-Daten eingespeist. Dabei wird jedes Input Signal an jedes einzelne Neuron des ersten Layers verteilt. Jedes Neuron gewichtet dann das ankommenden Signal mit einem Input-spezifischen Gewicht (das zu Beginn zufällig vergeben wurde), addiert einen sogenannten Neuron-spezifischen Bias-Term hinzu und summiert alle so gewichteten Input Daten zum Output dieses einen Neurons.In detail, the input data is fed into one side of the neural network. Each input signal is distributed to each individual neuron of the first layer. Each neuron then weights the incoming signal with an input-specific weight (which was assigned randomly at the beginning), adds a so-called neuron-specific bias term and adds up all input data weighted in this way to the output of this one neuron.

Oft wird der Output dabei noch durch eine nicht lineare Aktivierungsfunktion geleitet, um z.B. einen bestimmten Wertebereich des Outputs zu erzwingen (z.B. Sigmoid, tanh, etc.). Der Output jedes Neurons wird dann als Input an alle Neuronen des folgenden Layers weitergegeben. Dieser Prozess setzt sich fort, bis der Output-Layer erreicht wird, der das Ergebnis aller Berechnungen liefert.Often the output is still routed through a non-linear activation function, e.g. To force a certain value range of the output (e.g. sigmoid, tanh, etc.). The output of each neuron is then passed on as input to all neurons of the following layer. This process continues until the output layer is reached, which provides the result of all calculations.

Bis hierhin hat das künstliche neuronale Netz noch nichts gelernt. Da alle Gewichte bei der Initialisierung eines neuronalen Netzes zufällig innerhalb eines vorgegebenen Wertebereichs gewählt werden (z.B. zwischen -1 und 1), wird das Ergebnis ein rein zufälliger Wert sein. Die derzeit am meisten genutzte Variante ein Netz lernen zu lassen, ist das sogenannten Supervised Learning, womit das Lernen anhand von Beispielen gemeint ist.So far, the artificial neural network has not learned anything. Since all weights are chosen randomly within a given range of values during the initialization of a neural network (for example between -1 and 1), the result is pure be random value. The currently most popular variant of letting a network learn is what is known as supervised learning, which means learning based on examples.

Ein Beispiel bedeutet in diesem Fall eine Kombination von echten Input-Output Datenpaaren. Diese Beispiele werden im Rahmen des Trainings von künstlichen neuronalen Netzen verwendet, um alle Gewichte und Bias Terms optimal einzustellen, sodass das Netz am Ende des Trainings für alle Input Daten und auch für bisher noch nicht gesehene neue Input Daten das korrekte Ergebnis berechnen kann.An example in this case means a combination of real input-output data pairs. These examples are used as part of the training of artificial neural networks in order to optimally set all weights and bias terms so that the network can calculate the correct result at the end of the training for all input data and also for new input data not yet seen.

Hierbei errechnet das noch untrainierte neuronale Netz für einen Satz von Input-Daten (auch Features genannt) jeweils ein Ergebnis. Dieses Ergebnis wird dann mit den bekannten Ergebnissen des Beispiel-Datensatzes (auch Targets oder Label genannt) verglichen, und es wird die Größe der Abweichung bzw. des Fehlers berechnet. Um sowohl positive als auch negative Abweichungen gleichzeitig abbilden zu können, wird zum Beispiel der Mittelwert der quadratischen Abweichung (Squared Mean Error, SME) oder eine andere Fehlerfunktion verwendet.The untrained neural network calculates a result for a set of input data (also called features). This result is then compared with the known results of the example data set (also called targets or labels), and the size of the deviation or error is calculated. In order to be able to map both positive and negative deviations at the same time, the mean value of the square deviation (Squared Mean Error, SME) or another error function is used, for example.

Dann beginnt das eigentliche „Lernen“: Der gemessene Fehler wird rückwärts zurück in das künstliche Neuronale Netz geleitet (der sog. Backward Pass oder Backward Propagation), und jedes Gewicht und jeder Bias Term wird ein kleines Stückchen in die Richtung angepasst, die den Fehler kleiner macht. Die Größe dieser Anpassung wird erstens über den Anteil, den ein bestimmtes Neuronen-Gewicht am Ergebnis hatte (d.h. über sein aktuelles Gewicht) berechnet, und zum zweiten über die sogenannte Learning Rate, die zu den wichtigsten Einstellgrößen (Hyperparameter) von neuronalen Netzen gehört.Then the actual “learning” begins: The measured error is fed backwards into the artificial neural network (the so-called backward pass or backward propagation), and each weight and each bias term is adjusted a little bit in the direction that the error occurred makes smaller. The size of this adaptation is calculated firstly via the proportion that a certain neuron weight had in the result (i.e. via its current weight), and secondly via the so-called learning rate, which is one of the most important setting variables (hyperparameters) of neural networks.

Gängige Learning Rates sind z.B. 0,001 oder 0,01, d.h. nur ein Hundertstel bis ein Tausendstel des errechneten Fehlers wird pro Durchlauf korrigiert. Ist die Anpassung pro Durchlauf zu groß, kann es dazu kommen, dass das Minimum der Fehlerkurve verfehlt wird und die Abweichnungen immer größer statt kleiner werden (Overshooting). Manchmal wird die Learning Rate daher während des Trainings zunehmend verkleinert (Learning Rate Decay), um das Minimum der Fehlerfunktion besser zu bestimmen.Common learning rates are e.g. 0.001 or 0.01, i.e. only one hundredth to one thousandth of the calculated error is corrected per run. If the adjustment per run is too large, it can happen that the minimum of the error curve is missed and the deviations become larger instead of smaller (overshooting). Sometimes the learning rate is therefore increasingly reduced during training (learning rate decay) in order to better determine the minimum of the error function.

Eine andere mögliche Problematik sind Fehlerfunktionen mit lokalen Minima, in denen das neuronale Netz „hängen“ bleibt und daher das eigentliche Minimum nicht findet. Die Richtung der Korrektur wird durch die Ableitung der jeweiligen Funktionen errechnet, deren negativer Wert die Richtung vorgibt, in welcher die Fehlerfunktion minimiert wird. Die Minimierung der gewählten Fehlerfunktion ist das Ziel des Trainings bzw. des Lernens.Another possible problem is error functions with local minima, in which the neural network “gets stuck” and therefore cannot find the actual minimum. The direction of the correction is calculated by deriving the respective functions, the negative value of which specifies the direction in which the error function is minimized. The aim of training and learning is to minimize the selected error function.

Nachdem alle Gewichte angepasst sind, erfolgt ein weiterer Durchlauf aller Input-Daten und die erneute Messung des Fehlers sowie die Backward Propagation dieses Fehlers zur erneuten Anpassung der Gewichte. Ein kompletter Durchlauf aller Input-Daten wird dabei jeweils als Epoche bezeichnet. Die Anzahl der Trainings-Epochen ist ebenfalls ein wichtiger Hyperparameter für das Training von neuronalen Netzen. Dabei können die Input-Daten je nach Größe des Datensatzes auch in gleich große Gruppen (Batches) eingeteilt werden, und das Training kann jeweils pro Batch durchgeführt werden.After all the weights have been adjusted, all input data is run through again and the error is measured again, as well as the backward propagation of this error to adjust the weights again. A complete cycle of all input data is referred to as an epoch. The number of training epochs is also an important hyper parameter for training neural networks. The input data can also be divided into groups (batches) of the same size, depending on the size of the data set, and training can be carried out per batch.

Dies kann z.B. sinnvoll sein, um ein künstliches neuronales Netz schneller lernen zu lassen, oder um Begrenzungen der Rechenkapazität des ausführenden Computers Rechnung einzuhalten. Wichtig ist bei der Aufteilung in Batches eine Normalverteilung der Werte innerhalb jedes Batches im Vergleich zum gesamten Datensatz. Wenn alle Batches das neuronale Netz einmal durchlaufen haben, ist eine Epoche vollendet.This can e.g. be useful to let an artificial neural network learn faster, or to comply with the limits of the computing capacity of the executing computer. When dividing the data into batches, it is important to have a normal distribution of the values within each batch compared to the entire data set. When all batches have passed through the neural network once, an epoch is complete.

Je mehr Beispiele ein künstliches neuronales Netz für das Training bekommt und je öfter es diese gesehen hat, desto kleiner wird der Fehler bei den Ergebnissen. Das Hinlaufen und Anlehnen der Fehlerkurve an die 100% Linie wird dabei als Convergence bezeichnet, und während des Trainings wird der Verlauf der Fehlerkurve beobachtet, um ggfs. das Training zu stoppen und Anpassungen an den Hyperparametern vornehmen zu können. Doch nicht immer bedeutet ein kleiner Fehler auch eine gute allgemeine Performance des neuronalen Netzes.The more examples an artificial neural network gets for training and the more often it has seen them, the smaller the error in the results. The approach and leaning of the error curve on the 100% line is referred to as convergence, and the course of the error curve is observed during training in order to be able to stop the training and make adjustments to the hyperparameters if necessary. But a small error does not always mean good general performance of the neural network.

Denn wenn es während des Trainings alle bekannten Daten sehr oft gesehen hat, kann es dazu kommen, dass das künstliche neuronale Netz diese Daten eher auswendig lernt, statt ein abstraktes Konzept zu lernen. Dieses Problem wird auch als Overfitting bezeichnet. Da neuronale Netze auch hochkomplexe Funktionen abbilden können, besteht die Gefahr, dass sie irgendwann die perfekte Funktion für jeden bekannten Datenpunkt gefunden haben, diese Funktion aber für neue Daten nicht gut funktioniert.Because if it has seen all the known data very often during the training, it can happen that the artificial neural network learns this data by heart rather than learning an abstract concept. This problem is also known as overfitting. Since neural networks can also map highly complex functions, there is a risk that at some point they will have found the perfect function for every known data point, but this function will not work well for new data.

Um sicherzustellen, dass ein neuronales Netz von bekannten Beispieldaten abstrahieren und auch korrekte Ergebnisse für bisher nicht gelernte Input-Daten liefern kann, werden die Beispieldaten vor dem Training unterteilt in Trainingsdaten, Testdaten und Blind-Testdaten, z.B. im Verhältnis 70/20/10.In order to ensure that a neural network can abstract from known sample data and also provide correct results for input data that has not been learned up to now, the sample data are divided into training data, test data and blind test data, e.g. in the ratio 70/20/10.

Während des Trainings werden dann nur die Trainingsdaten verwendet, und die Fehlerquote (Error Rate) wird jeweils sowohl für die Trainingsdaten, als auch für die Test-Daten gemessen. Der gemessene Fehler der Test-Daten wird jedoch nicht in das künstliche neuronale Netz zurück gespeist. Dann wird das neuronale Netz durch Anpassungen aller Variablen so verbessert, dass es die maximale Performance in Bezug auf Trainings- und Test-Daten erreicht (Hyperparameter Tuning). Dieses „tunen“ von neuronalen Netzen gehört zu den Kerntätigkeiten von Ingenieuren für künstliche Intelligenz.Only the training data is then used during training, and the error rate is measured for both the training data and the test data. The however, measured errors in the test data are not fed back into the artificial neural network. Then the neural network is improved by adapting all variables in such a way that it achieves the maximum performance with regard to training and test data (hyperparameter tuning). This “tuning” of neural networks is one of the core activities of artificial intelligence engineers.

Erst wenn das Netz vermeintlich vollständig trainiert ist, kommen die Blind-Testdaten zum Einsatz. Wenn das künstliche neuronale Netz auch im Blind-Test gut abschneidet, ist die Wahrscheinlichkeit hoch, dass es ein abstraktes Konzept gut gelernt hat.The blind test data is only used when the network is supposedly fully trained. If the artificial neural network does well in the blind test, too, there is a high probability that it has learned an abstract concept well.

Für das beschriebene Supervised Learning wird entsprechend eine große Menge an Beispieldaten benötigt. Eine große Menge bedeutet hier z.B. eine Million Beispiele. Zwar können künstliche neuronale Netze teilweise auch mit kleineren Datensätzen schon beachtliche Ergebnisse erzielen, aber je mehr Daten zur Verfügung stehen, desto besser. Für die Klassifizierung von Bildern werden z.B. ab ca. 1.000 Beispielbildern pro Klasse brauchbare Ergebnisse erzielt. Eine ganze Forschungsrichtung der künstlichen Intelligenz beschäftigt sich auch mit Verfahren für das sogenannte One-Shot-Learning, d.h. das Lernen anhand von sehr wenigen oder nur einem Beispiel.A large amount of sample data is accordingly required for the supervised learning described. A large amount here means e.g. a million examples. Artificial neural networks can in some cases achieve remarkable results even with smaller data sets, but the more data that is available, the better. For the classification of images, e.g. Achieving useful results from approx. 1,000 sample images per class. A whole line of research in artificial intelligence is also concerned with methods for so-called one-shot learning, i.e. learning from very few or just one example.

Das Supervised Learning (überwachtes lernen) selber kann noch weiter unterteilt werden in verschiedene Methoden der Datenverwendung und - Weitergabe innerhalb von künstlichen neuronalen Netzen: Bei sogenannten Recurring Neural Networks fließt z.B. das Ergebnis der vorherigen Input-Daten in die Berechnung des aktuellen Outputs ein, so dass z.B. Zeitreihen und Texte analysiert und verarbeitet werden können, so z.B. auch bei Long-Short-Term-Memory Netzen (LSTM) und Sequence-to-Sequence Netzen, die z.B. für die Spracherkennung und für die Übersetzung von Texten verwendet werden. Für die Bildverarbeitung werden sogenannte Convolutional Neural Networks (CNN) verwendet, welche Bilder mit einem Raster abtasten und von tieferen Ebenen (Punkten, Linien etc.) in jedem Layer weiter abstrahieren zu höheren Konzepten (ein Gesicht, ein Haus etc.).Supervised learning itself can be further subdivided into various methods of data use and transfer within artificial neural networks: In so-called recurring neural networks, e.g. incorporate the result of the previous input data into the calculation of the current output, so that e.g. Time series and texts can be analyzed and processed, e.g. also with long-short-term-memory networks (LSTM) and sequence-to-sequence networks, which e.g. can be used for speech recognition and for the translation of texts. So-called convolutional neural networks (CNN) are used for image processing, which scan images with a grid and further abstract from lower levels (points, lines, etc.) in each layer to higher concepts (a face, a house, etc.).

Ein weiterer Schritt des Verfahrens ist das Bestimmen einer Bedingung, insbesondere einer Bedingung eines Datums aus dem Datensatz. Insbesondere ist dieser Schritt alternativ auch das Bestimmen von zumindest zwei Bedingungen.A further step of the method is the determination of a condition, in particular a condition of a date from the data record. In particular, this step is alternatively also the determination of at least two conditions.

Ein weiterer Schritt des Verfahrens ist das Auswählen der Daten mit der bestimmten Bedingung aus dem Testdatensatz, und das Bestimmen der Objekterkennungsrate des künstlichen neuronalen Netzes für die ausgewählten Daten mit der bestimmten Bedingung.A further step of the method is the selection of the data with the specific condition from the test data set, and the determination of the object recognition rate of the artificial neural network for the selected data with the specific condition.

Insbesondere wenn im vorhergehenden Schritt zumindest zwei Bedingungen bestimmt wurden ist dieser Schritt des Verfahrens das Auswählen der Daten mit allen bestimmten Bedingungen aus dem Testdatensatz, und das Bestimmen der Objekterkennungsrate des künstlichen neuronalen Netzes für die ausgewählten Daten mit den bestimmten Bedingungen.In particular if at least two conditions were determined in the previous step, this step of the method is the selection of the data with all certain conditions from the test data set, and the determination of the object recognition rate of the artificial neural network for the selected data with the certain conditions.

Insbesondere wird dabei bestimmt, wie viele der ausgewählten Daten das künstliche neuronale Netz korrekt erkennt.In particular, it is determined how much of the selected data the artificial neural network correctly recognizes.

Alternativ dazu kann auch eine andere Metrik auf den ausgewählten Daten als Objekterkennungsrate bestimmt werden. Beispielsweise kann die sog. „precision“ bestimmt werden. Die precision ist der Quotient aus den richtig-positiv bestimmten Daten und der Summe aus den richtig-positiv bestimmten Daten und den falsch-positiv bestimmten Daten. Beispielsweise kann auch der sog. „recall“ bestimmt werden. Der recall ist der Quotient aus den richtig-positiv bestimmten Daten und der Summe aus den richtig-positiv bestimmten Daten und den falsch-negativ bestimmten daten.Alternatively, another metric can also be determined on the selected data as the object detection rate. For example, the so-called “precision” can be determined. The precision is the quotient of the correctly-positively determined data and the sum of the correctly-positively determined data and the false-positively determined data. For example, the so-called “recall” can also be determined. The recall is the quotient of the correct-positive data and the sum of the correct-positive data and the false-negative data.

In einer vorteilhaften Ausführungsform ist die Bedingung eine Umweltbedingung für das automatisierte Kraftfahrzeug. Eine Umweltbedingung ist dabei ein an dem Standort des automatisierten Kraftfahrzeugs herrschender, für das automatisierte Kraftfahrzeug bedeutsamer Einfluss.In an advantageous embodiment, the condition is an environmental condition for the automated motor vehicle. An environmental condition is an influence that prevails at the location of the automated motor vehicle and is significant for the automated motor vehicle.

Insbesondere ist die Umweltbedingung für eine Wetterbedingung im Umfeld des automatisierten Kraftfahrzeugs charakteristisch. Beispielsweise ist die Umweltbedingung charakteristisch für Regen, Sonnenschein, Schnee oder Nebel.In particular, the environmental condition is characteristic of a weather condition in the vicinity of the automated motor vehicle. For example, the environmental condition is characteristic of rain, sunshine, snow or fog.

Alternativ oder zusätzlich ist die Umweltbedingung für eine Umgebungshelligkeit im Umfeld des automatisierten Kraftfahrzeugs charakteristisch. Insbesondere ist die Umweltbedingung für eine Umgebungshelligkeit im Umfeld des automatisierten Kraftfahrzeugs charakteristisch, bei der ein Betrieb eines Fahrerassistenzsystem möglich ist, beispielweise einem Fahrerassistenzsystem zur Längs- und/oder Querführung des automatisierten Kraftfahrzeugs.Alternatively or additionally, the environmental condition is characteristic of an ambient brightness in the environment of the automated motor vehicle. In particular, the environmental condition is characteristic of an ambient brightness in the environment of the automated motor vehicle in which operation of a driver assistance system is possible, for example a driver assistance system for longitudinal and / or lateral guidance of the automated motor vehicle.

Die Umweltbedingung ist beispielsweise für eine Umgebungshelligkeit am Tag oder in der Nacht im Umfeld des automatisierten Kraftfahrzeugs charakteristisch.The environmental condition is characteristic, for example, of ambient brightness during the day or at night in the vicinity of the automated motor vehicle.

In einer weiteren vorteilhaften Ausführungsform ist die Bedingung für einen Abstand des automatisierten Kraftfahrzeugs zu einem Verkehrsteilnehmer im Umfeld des automatisierten Kraftfahrzeugs charakteristisch.In a further advantageous embodiment, the condition for a distance between the automated motor vehicle and a road user in the vicinity of the automated motor vehicle is characteristic.

In einer weiteren vorteilhaften Ausführungsform umfassen die zumindest zwei Bedingungen eine für das Wetter im Umfeld des automatisierten Kraftfahrzeugs charakteristische Größe und eine für den Abstand des automatisierten Kraftfahrzeugs zu einem Verkehrsteilnehmer im Umfeld des automatisierten Kraftfahrzeugs charakteristische Größe.In a further advantageous embodiment, the at least two conditions include a variable that is characteristic of the weather in the vicinity of the automated motor vehicle and a variable that is characteristic of the distance between the automated motor vehicle and a road user in the vicinity of the automated motor vehicle.

Ein Vorteil der Erfindung ist beispielsweise, dass von Objekten, die sich in geringer Entfernung zum automatisierten Kraftfahrzeug befinden, eine höhere Gefahr für das automatisierte Kraftfahrzeug ausgeht, als von Objekten, die sich in größerer Entfernung zum automatisierten Kraftfahrzeug befinden. Somit ist für die Sicherheit des automatisierten Kraftfahrzeugs die Erkennung von nahen Objekten wichtiger als die Erkennung von fernen Objekten. Diese Priorisierung kann somit auch in das erfindungsgemäße Verfahren zum Bestimmen der Objekterkennungsrate des künstlichen neuronalen Netzes übertragen werden.One advantage of the invention is, for example, that objects that are located a short distance from the automated motor vehicle pose a higher risk to the automated motor vehicle than objects that are located a greater distance from the automated motor vehicle. The detection of objects in the vicinity is thus more important for the safety of the automated motor vehicle than the detection of objects in the distance. This prioritization can thus also be transferred to the method according to the invention for determining the object recognition rate of the artificial neural network.

In einer weiteren vorteilhaften Ausführungsform ist die Bedingung für einen Winkel des automatisierten Kraftfahrzeugs zu einem Verkehrsteilnehmer im Umfeld des automatisierten Kraftfahrzeugs charakteristisch.In a further advantageous embodiment, the condition for an angle between the automated motor vehicle and a road user in the vicinity of the automated motor vehicle is characteristic.

Ein zweiter Aspekt der Erfindung betrifft eine Vorrichtung zum Bestimmen einer Objekterkennungsrate eines künstlichen neuronalen Netzes zur Objekterkennung für ein automatisiertes Kraftfahrzeug. Die Vorrichtung ist dabei eingerichtet, einen Datensatz bereitzustellen, wobei jedes Datum des Datensatzes von einem Sensor des automatisierten Kraftfahrzeugs erfasst wurde, und wobei für jedes Datum des Datensatzes zumindest eine zum Zeitpunkt der Erfassung des Datensatzes vorliegende Bedingung erfasst wurde, den Datensatz in einen Trainingsdatensatz und einen Testdatensatz aufzuteilen, das künstliche neuronale Netz mit dem Trainingsdatensatz zu trainieren, eine Bedingung zu bestimmen, die Daten mit der bestimmten Bedingung aus dem Testdatensatz auszuwählen, und die Objekterkennungsrate des künstlichen neuronalen Netzes für die ausgewählten Daten mit der bestimmten Bedingung zu bestimmen.A second aspect of the invention relates to a device for determining an object recognition rate of an artificial neural network for object recognition for an automated motor vehicle. The device is set up to provide a data record, each date of the data record being recorded by a sensor of the automated motor vehicle, and where for each date of the data record at least one condition that was present at the time the record was recorded was recorded, the data record in a training data record and split a test data set, train the artificial neural network with the training data set, determine a condition, select the data with the specific condition from the test data set, and determine the object recognition rate of the artificial neural network for the selected data with the specific condition.

Die vorstehenden Ausführungen zum erfindungsgemäßen Verfahren nach dem ersten Aspekt der Erfindung gelten in entsprechender Weise auch für die erfindungsgemäße Vorrichtung nach dem zweiten Aspekt der Erfindung; vorteilhafte Ausführungsbeispiele der erfindungsgemäßen Vorrichtung entsprechen den beschriebenen vorteilhaften Ausführungsbeispielen des erfindungsgemäßen Verfahrens. An dieser Stelle nicht explizit beschriebene vorteilhafte Ausführungsbeispiele des erfindungsgemäßen Fahrzeugs entsprechen den beschriebenen vorteilhaften Ausführungsbeispielen des erfindungsgemäßen Verfahrens.The above statements regarding the method according to the invention according to the first aspect of the invention also apply in a corresponding manner to the device according to the invention according to the second aspect of the invention; Advantageous embodiments of the device according to the invention correspond to the described advantageous embodiments of the method according to the invention. Advantageous exemplary embodiments of the vehicle according to the invention not explicitly described at this point correspond to the described advantageous exemplary embodiments of the method according to the invention.

Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels unter Zuhilfenahme der beigefügten Zeichnung beschrieben. In dieser zeigt 1 ein Ausführungsbeispiel des erfindungsgemäßen Verfahren zum Bestimmen einer Objekterkennungsrate eines künstlichen neuronalen Netzes zur Objekterkennung für ein automatisiertes Kraftfahrzeug.The invention is described below on the basis of an exemplary embodiment with the aid of the accompanying drawing. In this shows 1 an embodiment of the method according to the invention for determining an object recognition rate of an artificial neural network for object recognition for an automated motor vehicle.

Ein Schritt des Verfahrens ist das Bereitstellen 100 eines Datensatzes, wobei jedes Datum des Datensatzes von einem Sensor des automatisierten Kraftfahrzeugs erfasst wurde, und wobei für jedes Datum des Datensatzes zumindest eine zum Zeitpunkt der Erfassung des Datums vorliegende Bedingung erfasst wurde.One step of the process is provisioning 100 a data record, wherein each date of the data record was recorded by a sensor of the automated motor vehicle, and wherein at least one condition that was present at the time the date was recorded was recorded for each date of the data record.

Die Bedingung ist insbesondere eine Umweltbedingung für das automatisierte Kraftfahrzeug, beispielsweise eine Wetterbedingung im Umfeld des automatisierten Kraftfahrzeugs.The condition is in particular an environmental condition for the automated motor vehicle, for example a weather condition in the vicinity of the automated motor vehicle.

Ein weiterer Schritt des Verfahrens ist das Aufteilen 110 des Datensatzes in einen Trainingsdatensatz und einen Testdatensatz.Another step in the process is splitting 110 of the data set into a training data set and a test data set.

Ein weiterer Schritt des Verfahrens ist das Trainieren 120 des künstlichen neuronalen Netzes mit dem Trainingsdatensatz.Another step in the process is exercising 120 of the artificial neural network with the training data set.

Ein weiterer Schritt des Verfahrens ist das Bestimmen 130 einer Bedingung und damit die entsprechende Objekterkennungsmetrik.Another step in the process is determining 130 a condition and thus the corresponding object recognition metric.

Ein weiterer Schritt des Verfahrens ist das Auswählen 140 der Daten mit der bestimmten Bedingung aus dem Testdatensatz.Another step in the process is selecting 140 of the data with the specific condition from the test data set.

Ein weiterer Schritt des Verfahrens ist das Bestimmen 150 der Objekterkennungsmetrik und Berechnung der Objekterkennungsrate des künstlichen neuronalen Netzes für die ausgewählten Daten mit der bestimmten Bedingung.Another step in the process is determining 150 the object recognition metrics and calculation of the object recognition rate of the artificial neural network for the selected data with the specific condition.

Claims

A method for determining an object recognition rate of an artificial neural network for object recognition for an automated motor vehicle, the method comprising the following steps: providing (100) a data record, each datum of the data record being recorded by a sensor of the automated motor vehicle, and where for each Date of the data record at least one condition was recorded at the time the date was recorded, • dividing (110) the data set into a training data set and a test data set, • training (120) the artificial neural network with the training data set, • determining (130) a condition and thus a corresponding object recognition metric, • selecting (140) the data with the determined Condition from the test data set, and • determining (150) the object recognition metrics and the object recognition rate of the artificial neural network for the selected data with the determined condition.

Procedure according to Claim 1 , wherein the condition is an environmental condition for the automated motor vehicle.

Procedure according to Claim 2 , wherein the environmental condition is characteristic of a weather condition in the vicinity of the automated motor vehicle.

Procedure according to Claim 3 , wherein the environmental condition is characteristic of an ambient brightness in the environment of the automated motor vehicle.

Procedure according to Claim 1 , the condition for a distance between the automated motor vehicle and a road user in the vicinity of the automated motor vehicle is characteristic.

Procedure according to Claim 1 , wherein the condition is characteristic of an angle between the automated motor vehicle and a road user in the vicinity of the automated motor vehicle.

Method according to one of the preceding claims, wherein the object recognition metric is characteristic of the selected data correctly recognized by the neural network with the specific condition.

Device for determining an object recognition rate of an artificial neural network for object recognition for an automated motor vehicle, the device being set up • to provide a data record (100), each date of the data record being recorded by a sensor of the automated motor vehicle, and where for each date of the data record at least one condition present at the time the data record was recorded was recorded, • to split the data set into a training data set and a test data set (110), • to train the artificial neural network with the training data set (120), • to determine a condition and thus an object recognition metric (130), • select the data with the particular condition from the test data set (140), and • to determine the object recognition rate based on the object recognition metrics of the artificial neural network for the selected data with the specific condition (150).