DE102022207786A1

DE102022207786A1 - Method for training an artificial neural network

Info

Publication number: DE102022207786A1
Application number: DE102022207786.5A
Authority: DE
Inventors: Erick Giovanni Gonzalez Melendez
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-07-28
Filing date: 2022-07-28
Publication date: 2024-02-08
Also published as: WO2024023091A1

Abstract

Die Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes, wobei das Verfahren (1) folgende Schritte aufweist: Bereitstellen von Trainingsdaten zum Trainieren des künstlichen neuronalen Netzes (2); und Trainieren des künstlichen neuronalen Netzes basierend auf den Trainingsdaten und Informationen über einen Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess (3).The invention relates to a method for training an artificial neural network, the method (1) having the following steps: providing training data for training the artificial neural network (2); and training the artificial neural network based on the training data and information via a process processing outputs of the artificial neural network (3).

Description

Die Erfindung betrifft ein Verfahren zu Trainieren eines künstlichen neuronalen Netzes, mit welchem ein künstliches neuronales Netz trainiert werden kann, dass an einen nachfolgenden beziehungsweise nachgeordneten, Ausgaben des neuronalen Netzes verarbeitenden Prozess angepasst ist und gleichzeitig vergleichsweise wenig Ressourcen benötigt.The invention relates to a method for training an artificial neural network, with which an artificial neural network can be trained that is adapted to a subsequent or downstream process that processes outputs of the neural network and at the same time requires comparatively few resources.

Algorithmen des maschinellen Lernens basieren darauf, dass Verfahren der Statistik verwendet werden, um eine Datenverarbeitungsanlage derart zu trainieren, dass diese eine bestimmte Aufgabe ausführen kann, ohne dass diese ursprünglich explizit hierzu programmiert wurde. Das Ziel des maschinellen Lernens besteht dabei darin, Algorithmen zu konstruieren, die aus Daten lernen und Vorhersagen treffen können. Diese Algorithmen erstellen mathematische Modelle, mit denen beispielsweise Daten klassifiziert werden können.Machine learning algorithms are based on the fact that statistical methods are used to train a data processing system so that it can carry out a specific task without it having originally been explicitly programmed for this purpose. The goal of machine learning is to construct algorithms that can learn from data and make predictions. These algorithms create mathematical models that can be used, for example, to classify data.

Ein Beispiel derartiger Algorithmen des maschinellen Lernens sind dabei künstliche neuronale Netze. Künstliche neuronale Netze orientieren sich an biologischen Neuronen und erlauben es, ein unbekanntes Systemverhalten aus vorhandenen Trainingsdaten anzulernen und anschließend das angelernte Systemverhalten auch auf unbekannte Eingangsgrößen anzuwenden. Dabei besteht das neuronale Netz aus Schichten mit idealisierten Neuronen, welche gemäß einer Topologie des Netzes in unterschiedlicher Weise miteinander verbunden sind. Die erste Schicht, welche auch als Eingangsschicht bezeichnet wird, erfasst und überträgt dabei Eingangswerte, wobei die Anzahl der Neuronen in der Eingangsschicht der Anzahl an Eingangssignalen, welche verarbeitet werden sollen, entspricht. Die letzte Schicht wird auch als Ausgangsschicht bezeichnet und weist genauso viele Neuronen auf, wie Ausgaben beziehungsweise Ausgabewerte bereitgestellt werden sollen. Zwischen der Eingangsschicht und der Ausgangsschicht befindet sich zudem wenigstens eine Zwischenschicht, welche oftmals auch als verborgene Schicht bezeichnet wird, wobei die Anzahl der Zwischenschichten und die Anzahl der Neuronen in diesen Schichten für gewöhnlich abhängig von der konkreten Aufgabe, welche durch das neuronale Netz gelöst werden soll, ist.An example of such machine learning algorithms are artificial neural networks. Artificial neural networks are based on biological neurons and allow unknown system behavior to be learned from existing training data and then the learned system behavior to be applied to unknown input variables. The neural network consists of layers with idealized neurons, which are connected to each other in different ways according to a topology of the network. The first layer, which is also referred to as the input layer, records and transmits input values, whereby the number of neurons in the input layer corresponds to the number of input signals that are to be processed. The last layer is also referred to as the output layer and has as many neurons as the outputs or output values are to be provided. Between the input layer and the output layer there is also at least one intermediate layer, which is often referred to as a hidden layer, with the number of intermediate layers and the number of neurons in these layers usually depending on the specific task being solved by the neural network should, is.

Derartige künstliche neuronale Netze werden dabei häufig basierend auf Kostenfunktionen trainiert. Unter Kostenfunktion beziehungsweise Loss wird dabei ein Verlust beziehungsweise ein Fehler zwischen ermittelten Ausgabewerten des künstlichen neuronalen Netzes und Referenzwerten beziehungsweise gelabelten Vergleichswerten, beispielsweise entsprechenden tatsächlichen Gegebenheiten beziehungsweise tatsächlich gemessenen Daten verstanden. Als nachteilig erweist sich dabei jedoch, dass trainierte künstliche neuronale Netze für gewöhnlich nicht an Anforderungen nachfolgender Prozesse, welche Ausgaben des entsprechend trainierten künstlichen neuronalen Netzes verarbeiten, angepasst sind. Gleichzeitig besteht, insbesondere basierend auf vergleichsweise geringen in der entsprechenden Anwendung zur Verfügung stehenden Ressourcen, beispielsweise Speicher- und/oder Prozessorkapazitäten, häufig Bedarf an möglichst kleinen künstlichen neuronalen Netzen, welche beispielsweise möglichst wenig Zwischenschichten aufweisen. Folglich besteht Bedarf an verbesserten Verfahren zum Trainieren eines künstlichen neuronalen Netzes, mit welchen ein künstliches neuronales Netz trainiert werden kann, das an einen nachfolgenden, Ausgaben des neuronalen Netzes verarbeitenden Prozess angepasst beziehungsweise auf diesen abgestimmt ist und gleichzeitig vergleichsweise wenig Ressourcen benötigt.Such artificial neural networks are often trained based on cost functions. The term cost function or loss is understood to mean a loss or an error between the determined output values of the artificial neural network and reference values or labeled comparison values, for example corresponding actual conditions or actually measured data. However, the disadvantage here is that trained artificial neural networks are usually not adapted to the requirements of subsequent processes that process outputs from the correspondingly trained artificial neural network. At the same time, there is often a need for artificial neural networks that are as small as possible and which, for example, have as few intermediate layers as possible, particularly based on the comparatively low resources available in the corresponding application, for example memory and/or processor capacities. Consequently, there is a need for improved methods for training an artificial neural network, with which an artificial neural network can be trained that is adapted or coordinated with a subsequent process that processes outputs of the neural network and at the same time requires comparatively few resources.

Aus der Druckschrift DE 10 2019 217 300 A1 ist ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes in Abhängigkeit von einer Verlustfunktion bekannt, wobei das künstliche neuronale Netz derart eingerichtet ist, in Abhängigkeit einer Eingabe eine Vorhersage und eine der Vorhersage zugeordnete Unsicherheit zu ermitteln, wobei die Verlustfunktion die ermittelte Unsicherheit berücksichtigt, wobei die ermittelte Unsicherheit eine begrenzte Unsicherheit ist.From the publication DE 10 2019 217 300 A1 a method for training an artificial neural network as a function of a loss function is known, wherein the artificial neural network is set up to determine a prediction and an uncertainty associated with the prediction as a function of an input, the loss function taking the determined uncertainty into account, the The uncertainty determined is a limited uncertainty.

Der Erfindung liegt somit die Aufgabe zugrunde, ein verbessertes Verfahren zum Trainieren eines künstlichen neuronalen Netzes anzugeben, mit welchen ein künstliches neuronales Netz trainiert werden kann, dass an einen nachfolgenden, Ausgaben des neuronalen Netzes verarbeitenden Prozess angepasst beziehungsweise auf diesen abgestimmt ist und gleichzeitig vergleichsweise wenig Ressourcen benötigt.The invention is therefore based on the object of specifying an improved method for training an artificial neural network, with which an artificial neural network can be trained that is adapted to or coordinated with a subsequent process that processes outputs of the neural network and at the same time comparatively little Resources needed.

Die Aufgabe wird gelöst durch ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes gemäß den Merkmalen des Patentanspruchs 1.The task is solved by a method for training an artificial neural network according to the features of patent claim 1.

Die Aufgabe wird zudem auch gelöst durch ein System zum Trainieren eines künstlichen neuronalen Netzes gemäß den Merkmalen des Patentanspruchs 6.The task is also solved by a system for training an artificial neural network according to the features of patent claim 6.

Offenbarung der ErfindungDisclosure of the invention

Gemäß einer Ausführungsform der Erfindung wird diese Aufgabe gelöst durch ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes, wobei das Verfahren ein Bereitstellen von Trainingsdaten zum Trainieren des künstlichen neuronalen Netzes und ein Trainieren des künstlichen neuronalen Netzes basierend auf den Trainingsdaten und Informationen über einen Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess aufweist.According to one embodiment of the invention, this object is achieved by a method for training an artificial neural network, wherein the method involves providing training data for training the artificial neural network Network and training the artificial neural network based on the training data and information about a process processing outputs of the artificial neural network.

Unter Informationen über den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozessen wird dabei ein den Prozess beschreibendes Modell beziehungsweise werden den Prozess kennzeichnende Daten verstanden.Information about the processes processing the outputs of the artificial neural network is understood to mean a model describing the process or data characterizing the process.

Dadurch, dass die Informationen über den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess direkt beim Training des künstlichen neuronalen Netzes berücksichtigt werden, kann das künstliche neuronale Netz in kurzer Zeit derart trainiert werden, für den Ausgaben des neuronalen Netzes verarbeitenden Prozess optimale Werte und insbesondere durch diesen Prozess weiterverarbeitbare Werte auszugeben. Dies resultiert wiederum darin, dass vergleichsweise kleine, bezüglich dem nachfolgenden Prozess optimierte künstliche neuronale Netze trainiert werden können und insbesondere künstliche neuronal Netze, welche auf entsprechenden, vergleichsweise wenig Ressourcen aufweisenden Anwendungen, beispielsweise Steuergeräten von Kraftfahrzeugen, ausgeführt werden können.Because the information about the process processing the outputs of the artificial neural network is taken into account directly when training the artificial neural network, the artificial neural network can be trained in a short time in such a way that optimal values are obtained for the process processing the outputs of the neural network and in particular through this to output values that can be processed further. This in turn results in the fact that comparatively small artificial neural networks that are optimized with respect to the subsequent process can be trained and in particular artificial neural networks that can be executed on corresponding applications with comparatively few resources, for example control devices of motor vehicles.

Insgesamt wird somit ein verbessertes Verfahren zum Trainieren eines künstlichen neuronalen Netzes angegeben, mit welchen ein künstliches neuronales Netz trainiert werden kann, das an einen nachfolgenden, Ausgaben des neuronalen Netzes verarbeitenden Prozess angepasst beziehungsweise auf diesen abgestimmt ist und gleichzeitig vergleichsweise wenig Ressourcen benötigt.Overall, an improved method for training an artificial neural network is thus specified, with which an artificial neural network can be trained that is adapted or coordinated with a subsequent process that processes outputs of the neural network and at the same time requires comparatively few resources.

Dabei kann der Schritt des Trainierens des künstlichen neuronalen Netzes ein Bestimmen einer Kostenfunktion basierend auf den Trainingsdaten und den Informationen über den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess, und ein Trainieren des künstlichen neuronalen Netzes basierend auf der bestimmten Kostenfunktion aufweisen. Dass die Informationen über den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess dabei direkt in die Bestimmung einer Kostenfunktion zum Trainieren des neuronalen Netzes miteinfließen, hat den Vorteil, dass keine aufwendigen und ressourcenintensiven Anpassungen oder Funktionen vonnöten sind, um die Informationen über den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess beim Trainieren des künstlichen neuronalen Netzes zu berücksichtigen.The step of training the artificial neural network can include determining a cost function based on the training data and the information about the outputs of the artificial neural network processing process, and training the artificial neural network based on the determined cost function. The fact that the information about the output of the artificial neural network is incorporated directly into the determination of a cost function for training the neural network has the advantage that no complex and resource-intensive adjustments or functions are necessary to process the information about the output of the artificial neural network Network processing process must be taken into account when training the artificial neural network.

In einer Ausführungsform weist das Bestimmen der Kostenfunktion basierend auf den Trainingsdaten und den Informationen über den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess dabei ein Erzeugen von Ausgaben des künstliche neuronale Netz während des Trainierens des künstlichen neuronalen Netzes, ein jeweiliges Erzeugen von Ausgaben des Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess basierend auf den erzeugten Ausgaben des künstlichen neuronalen Netzes, für alle Ausgaben des Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesse jeweils ein Überprüfen ob die entsprechende Ausgabe innerhalb eines durch den die Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses erwarteten Bereiches liegt, ein jeweiliges Gewichten der erzeugten Ausgaben des künstlichen neuronalen Netzes basierend darauf, ob die basierend auf der entsprechenden Ausgabe des künstlichen neuronalen Netzes erzeugte Ausgabe des Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses innerhalb des durch den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses erwarteten Bereiches liegt, und ein Bestimmen der Kostenfunktion basierend auf den Trainingsdaten und den gewichteten Ausgaben auf.In one embodiment, determining the cost function based on the training data and the information about the outputs of the artificial neural network processing process includes generating outputs of the artificial neural network during training of the artificial neural network, respectively generating outputs of the outputs of the artificial one neural network processing process based on the generated outputs of the artificial neural network, for all outputs of the processes processing the outputs of the artificial neural network, a check is carried out in each case as to whether the corresponding output is within a range expected by the process processing the outputs of the artificial neural network, a respective one Weighting the generated outputs of the artificial neural network based on whether the output of the process processing outputs of the artificial neural network generated based on the corresponding output of the artificial neural network is within the range expected by the process processing outputs of the artificial neural network, and determining the cost function based on the training data and the weighted outputs.

Unter einem durch den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses erwarteten Bereich wird weiter ein Bereich verstanden, in welchem für den Ausgaben des neuronalen Netzes verarbeitenden Prozess optimale Werte und/oder durch diesen Prozess in der Vergangenheit weiterverarbeitete Werte liegen.A range expected by the process processing the outputs of the artificial neural network is further understood to be a range in which optimal values for the process processing the outputs of the neural network and/or values further processed by this process in the past lie.

Unter Gewichtung wird weiter die Bewertung einzelner Einflussgrößen eines mathematischen Modells beispielsweise hinsichtlich ihrer Wichtigkeit und Zuverlässigkeit verstanden. Beispielsweise können die erzeugten Ausgaben dabei derart gewichtet werden, dass die erzeugten Ausgaben, welche nicht innerhalb des durch den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses erwarteten Bereich liegen, beim Trainieren des künstlichen neuronalen Netzes stärker berücksichtigt werden.Weighting is also understood to mean the evaluation of individual influencing variables of a mathematical model, for example in terms of their importance and reliability. For example, the generated outputs can be weighted in such a way that the generated outputs, which do not lie within the range expected by the process processing the outputs of the artificial neural network, are given greater consideration when training the artificial neural network.

Dass Ausgaben des künstlichen neuronalen Netzes erzeugt werden, bedeutet dabei, dass in den Trainingsdaten enthaltene Eingabedaten durch das entsprechend trainierte neuronale Netz in Ausgabedaten beziehungsweise Ausgaben des neuronalen Netzes abgebildet werden.The fact that outputs of the artificial neural network are generated means that input data contained in the training data are mapped into output data or outputs of the neural network by the correspondingly trained neural network.

Dass Ausgaben des Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses erzeugt werden, bedeutet weiter, dass Ausgaben des künstlichen neuronalen Netzes durch den Prozess in Ausgabedaten beziehungsweise Ausgaben des Prozesses abgebildet werden.The fact that outputs of the process processing outputs of the artificial neural network are generated further means that outputs of the artificial neural network are mapped by the process into output data or outputs of the process.

Dass die Kostenfunktion basierend auf den Trainingsdaten und den gewichteten Ausgaben bestimmt wird, bedeutet ferner, dass Fehler durch jeweiliges Vergleichen der Ausgaben des künstlichen neuronalen Netzes mit in den Trainingsdaten enthaltenen Vergleichsdaten beziehungsweise erwarteten Werten erkannt werden, wobei die Kostenfunktion basierend auf den erkannten Fehlern bestimmt wird, und wobei die erkannten Fehler jeweils basierend auf der den entsprechenden Ausgaben zugeordneten Gewichtung beim Bestimmen der Kostenfunktion berücksichtigt werden.That the cost function based on the training data and the weighted outputs is determined, further means that errors are recognized by respectively comparing the outputs of the artificial neural network with comparison data or expected values contained in the training data, the cost function being determined based on the recognized errors, and wherein the recognized errors are each based on the The weighting assigned to corresponding expenditures must be taken into account when determining the cost function.

Somit kann die Kostenfunktion auf einfache Art und Weise bestimmt werden, ohne dass aufwendige und ressourcenintensive Verfahren beziehungsweise Anpassungen vonnöten wären.This means that the cost function can be determined in a simple manner, without the need for complex and resource-intensive procedures or adjustments.

Die Trainingsdaten können ferner Sensordaten aufweisen, insbesondere Sensordaten, welche die Merkmale eines zu überprüfenden, durch ein Fertigungsverfahren gefertigten Produkts und dessen Komponenten betreffen, beispielsweise Spannungen, Ströme und Innenwiderstände.The training data can also include sensor data, in particular sensor data which relate to the characteristics of a product to be checked, manufactured by a manufacturing process, and its components, for example voltages, currents and internal resistances.

Ein Sensor, welcher auch als (Mess-) Fühler bezeichnet wird, ist ein technisches Bauteil, das bestimmte physikalische oder chemische Eigenschaften und/oder die stoffliche Beschaffenheit seiner Umgebung qualitativ oder als Messgröße quantitativ erfassen kann.A sensor, which is also referred to as a (measuring) probe, is a technical component that can record certain physical or chemical properties and/or the material properties of its environment qualitatively or quantitatively as a measurement variable.

Somit können auf einfache Art und Weise Gegebenheiten außerhalb der eigentlichen Datenverarbeitungsanlage, auf welcher das künstliche neuronale Netz trainiert wird, erfasst und beim Trainieren des künstlichen neuronalen Netzes berücksichtigt werden.This means that circumstances outside the actual data processing system on which the artificial neural network is trained can be recorded in a simple manner and taken into account when training the artificial neural network.

Mit einer weiteren Ausführungsform der Erfindung wird weiter auch ein Verfahren zum Überprüfen von durch ein Fertigungsverfahren gefertigten Produktes basierend auf einem künstlichen neuronalen Netz angegeben, wobei das Verfahren ein Bereitstellen eines künstlichen neuronalen Netzes zum Überprüfen der gefertigten Produkte, wobei das künstliche neuronale Netz durch ein obenstehend beschriebenes Verfahren zum Trainieren eines künstlichen neuronalen Netzes trainiert wurde, und ein Überprüfen der gefertigten Produkte basierend auf dem bereitgestellten künstlichen neuronalen Netz aufweist.With a further embodiment of the invention, a method for checking products manufactured by a manufacturing process based on an artificial neural network is also specified, wherein the method involves providing an artificial neural network for checking the manufactured products, wherein the artificial neural network is provided by a above described method for training an artificial neural network was trained, and checking the manufactured products based on the artificial neural network provided.

Somit wird ein Verfahren zum Überprüfen von durch ein Fertigungsverfahren gefertigten Produkten angegeben, welches auf einem durch ein verbessertes Verfahren zum Trainieren eines künstlichen neuronalen Netzes, mit welchen ein künstliches neuronales Netz trainiert werden kann, das an einen nachfolgenden, Ausgaben des neuronalen Netzes verarbeitenden Prozess angepasst beziehungsweise auf diesen abgestimmt ist und gleichzeitig vergleichsweise wenig Ressourcen benötigt, trainierten künstlichen neuronalen Netz basiert. Dadurch, dass die Informationen über den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess direkt beim Training des künstlichen neuronalen Netzes berücksichtigt werden, kann das künstliche neuronale Netz in kurzer Zeit derart trainiert werden, für den Ausgaben des neuronalen Netzes verarbeitenden Prozess optimale Werte und insbesondere durch diesen Prozess weiterverarbeitbare Werte auszugeben. Dies resultiert wiederum darin, dass vergleichsweise kleine, bezüglich dem nachfolgenden Prozess optimierte künstliche neuronale Netze trainiert werden können und insbesondere künstliche neuronal Netze, welche auf entsprechenden, vergleichsweise wenig Ressourcen aufweisenden Anwendungen, beispielsweise Steuergeräten von Kraftfahrzeugen, ausgeführt werden können.Thus, a method for checking products manufactured by a manufacturing process is specified, which is based on an improved method for training an artificial neural network, with which an artificial neural network can be trained, which is adapted to a subsequent process processing outputs of the neural network or is tailored to this and at the same time requires comparatively few resources, based on a trained artificial neural network. Because the information about the process processing the outputs of the artificial neural network is taken into account directly when training the artificial neural network, the artificial neural network can be trained in a short time in such a way that optimal values are obtained for the process processing the outputs of the neural network and in particular through this to output values that can be processed further. This in turn results in the fact that comparatively small artificial neural networks that are optimized with respect to the subsequent process can be trained and in particular artificial neural networks that can be executed on corresponding applications with comparatively few resources, for example control devices of motor vehicles.

Mit einer weiteren Ausführungsform der Erfindung wird weiter auch ein System zum Trainieren eines künstlichen neuronalen Netzes angegeben, wobei das System eine Bereitstellungseinheit, welche ausgebildet ist, Trainingsdaten zum Trainieren des künstlichen neuronalen Netzes bereitzustellen, und eine Trainingseinheit, welche ausgebildet ist, das künstliche neuronale Netz basierend auf den Trainingsdaten und Informationen über einen Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess zu trainieren, aufweist.A further embodiment of the invention also specifies a system for training an artificial neural network, wherein the system has a provision unit which is designed to provide training data for training the artificial neural network, and a training unit which is designed to provide the artificial neural network based on the training data and information about a process processing outputs of the artificial neural network.

Somit wird ein verbessertes Steuergerät zum Trainieren eines künstlichen neuronalen Netzes angegeben, mit welchen ein künstliches neuronales Netz trainiert werden kann, das an einen nachfolgenden, Ausgaben des neuronalen Netzes verarbeitenden Prozess angepasst beziehungsweise auf diesen abgestimmt ist und gleichzeitig vergleichsweise wenig Ressourcen benötigt. Dadurch, dass die Informationen über den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess direkt beim Training des künstlichen neuronalen Netzes berücksichtigt werden, kann das künstliche neuronale Netz in kurzer Zeit derart trainiert werden, für den Ausgaben des neuronalen Netzes verarbeitenden Prozess optimale Werte und insbesondere durch diesen Prozess weiterverarbeitbare Werte auszugeben. Dies resultiert wiederum darin, dass vergleichsweise kleine, bezüglich dem nachfolgenden Prozess optimierte künstliche neuronale Netze trainiert werden können und insbesondere künstliche neuronal Netze, welche auf entsprechenden, vergleichsweise wenig Ressourcen aufweisenden Anwendungen, beispielsweise Steuergeräten von Kraftfahrzeugen, ausgeführt werden können.Thus, an improved control device for training an artificial neural network is specified, with which an artificial neural network can be trained, which is adapted or coordinated with a subsequent process that processes outputs of the neural network and at the same time requires comparatively few resources. Because the information about the process processing the outputs of the artificial neural network is taken into account directly when training the artificial neural network, the artificial neural network can be trained in a short time in such a way that optimal values are obtained for the process processing the outputs of the neural network and in particular through this to output values that can be processed further. This in turn results in the fact that comparatively small artificial neural networks that are optimized with respect to the subsequent process can be trained and in particular artificial neural networks that can be executed on corresponding applications with comparatively few resources, for example control devices of motor vehicles.

Dabei kann die Trainingseinheit eine Bestimmungseinheit, welche ausgebildet ist, eine Kostenfunktion basierend auf den Trainingsdaten und den Informationen über den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess zu bestimmen, aufweisen, wobei die Trainingseinheit ausgebildet ist, das künstliche neuronale Netz basierend auf der Kostenfunktion zu trainieren. Dass die Informationen über den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess dabei direkt in die Bestimmung einer Kostenfunktion zum Trainieren des neuronalen Netzes miteinfließen, hat den Vorteil, dass keine aufwendigen und ressourcenintensiven Anpassungen oder Funktionen vonnöten sind, um die Informationen über den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess beim Trainieren des künstlichen neuronalen Netzes zu berücksichtigen.The training unit can be a determination unit which is designed to have a cost function based on the training data and the To determine information about the outputs of the artificial neural network processing process, wherein the training unit is designed to train the artificial neural network based on the cost function. The fact that the information about the output of the artificial neural network is incorporated directly into the determination of a cost function for training the neural network has the advantage that no complex and resource-intensive adjustments or functions are necessary to process the information about the output of the artificial neural network Network processing process must be taken into account when training the artificial neural network.

In einer Ausführungsform weist die Bestimmungseinheit dabei eine erste Erzeugungseinheit, welche ausgebildet ist, während des Trainierens des künstlichen neuronalen Netzes Ausgaben des künstlichen neuronalen Netzes zu erzeugen, eine zweite Erzeugungseinheit, welche ausgebildet ist, basierend auf den Ausgaben des künstlichen neuronalen Netzes jeweils Ausgaben des Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses zu erzeugen, eine Überprüfungseinheit, welche ausgebildet ist, für alle erzeugten Ausgaben des Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses jeweils zu überprüfen, ob die entsprechende Ausgabe innerhalb eines durch den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess erwarteten Bereiches liegt, und eine Gewichtungseinheit, welche ausgebildet ist, die erzeugten Ausgaben des künstlichen neuronalen Netzes jeweils basierend darauf, ob die basierend auf der entsprechenden Ausgabe des künstlichen neuronalen Netzes erzeugte Ausgabe des Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses innerhalb des durch den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses erwarteten Bereiches liegt, zu gewichten, auf, wobei die Bestimmungseinheit ausgebildet ist, die Kostenfunktion basierend auf den Trainingsdaten und den gewichteten Ausgaben zu erzeugen. Somit kann die Kostenfunktion auf einfache Art und Weise bestimmt werden, ohne dass aufwendige und ressourcenintensive Verfahren beziehungsweise Anpassungen vonnöten wären.In one embodiment, the determination unit has a first generation unit, which is designed to generate outputs of the artificial neural network during training of the artificial neural network, a second generation unit, which is designed to generate outputs of the outputs based on the outputs of the artificial neural network of the artificial neural network processing process, a checking unit which is designed to check for all generated outputs of the outputs of the artificial neural network processing process whether the corresponding output is within a range expected by the outputs of the artificial neural network processing process , and a weighting unit which is designed to process the generated outputs of the artificial neural network based on whether the output of the artificial neural network output generated based on the corresponding output of the artificial neural network is within the process generated by the outputs of the artificial neural network Processing process expected range is to be weighted, whereby the determination unit is designed to generate the cost function based on the training data and the weighted outputs. This means that the cost function can be determined in a simple manner, without the need for complex and resource-intensive procedures or adjustments.

Die Trainingsdaten können ferner wiederum Sensordaten aufweisen, insbesondere Sensordaten, welche die Merkmale eines zu überprüfenden, durch ein Fertigungsverfahren gefertigten Produkts und dessen Komponenten betreffen, beispielsweise Spannungen, Ströme und Innenwiderstände. Somit können auf einfache Art und Weise Gegebenheiten außerhalb der eigentlichen Datenverarbeitungsanlage, auf welcher das künstliche neuronale Netz trainiert wird, erfasst und beim Trainieren des künstlichen neuronalen Netzes berücksichtigt werden.The training data can furthermore include sensor data, in particular sensor data which relate to the characteristics of a product to be checked and manufactured by a manufacturing process and its components, for example voltages, currents and internal resistances. This means that circumstances outside the actual data processing system on which the artificial neural network is trained can be recorded in a simple manner and taken into account when training the artificial neural network.

Mit einer weiteren Ausführungsform der Erfindung wird zudem auch ein System zum Überprüfen von durch ein Fertigungsverfahren gefertigten Produkten basierend auf einem künstlichen neuronalen Netz angegeben, wobei das System eine Bereitstellungseinheit, welche ausgebildet ist, ein künstliches neuronales Netz zum Überprüfen der gefertigten Produkte bereitzustellen, wobei das künstliche neuronale Netz durch ein obenstehend beschriebenes System zum Trainieren eines künstlichen neuronalen Netzes trainiert wurde, und eine Überprüfungseinheit, welche ausgebildet ist, die gefertigten Produkte basierend auf dem bereitgestellten künstlichen neuronalen Netz zu überprüfen, aufweist.A further embodiment of the invention also provides a system for checking products manufactured by a manufacturing process based on an artificial neural network, wherein the system includes a provision unit which is designed to provide an artificial neural network for checking the manufactured products, wherein the artificial neural network was trained by a system for training an artificial neural network described above, and a checking unit which is designed to check the manufactured products based on the artificial neural network provided.

Somit wird ein Steuergerät zum Überprüfen eines durch ein Fertigungsverfahren gefertigten Produktes angegeben, welches auf einem durch ein verbessertes Steuergerät zum Trainieren eines künstlichen neuronalen Netzes, mit welchen ein künstliches neuronales Netz trainiert werden kann, das an einen nachfolgenden, Ausgaben des neuronalen Netzes verarbeitenden Prozess angepasst beziehungsweise auf diesen abgestimmt ist und gleichzeitig vergleichsweise wenig Ressourcen benötigt, trainierten künstlichen neuronalen Netz basiert. Dadurch, dass die Informationen über den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess direkt beim Training des künstlichen neuronalen Netzes berücksichtigt werden, kann das künstliche neuronale Netz in kurzer Zeit derart trainiert werden, für den Ausgaben des neuronalen Netzes verarbeitenden Prozess optimale Werte und insbesondere durch diesen Prozess weiterverarbeitbare Werte auszugeben. Dies resultiert wiederum darin, dass vergleichsweise kleine, bezüglich dem nachfolgenden Prozess optimierte künstliche neuronale Netze trainiert werden können und insbesondere künstliche neuronal Netze, welche auf entsprechenden, vergleichsweise wenig Ressourcen aufweisenden Anwendungen, beispielsweise Steuergeräten von Kraftfahrzeugen, ausgeführt werden können.Thus, a control device for checking a product manufactured by a manufacturing process is specified, which is based on an improved control device for training an artificial neural network, with which an artificial neural network can be trained, which is adapted to a subsequent process processing outputs of the neural network or is tailored to this and at the same time requires comparatively few resources, based on a trained artificial neural network. Because the information about the process processing the outputs of the artificial neural network is taken into account directly when training the artificial neural network, the artificial neural network can be trained in a short time in such a way that optimal values are obtained for the process processing the outputs of the neural network and in particular through this to output values that can be processed further. This in turn results in the fact that comparatively small artificial neural networks that are optimized with respect to the subsequent process can be trained and in particular artificial neural networks that can be executed on corresponding applications with comparatively few resources, for example control devices of motor vehicles.

Mit einer weiteren Ausführungsform der Erfindung wird außerdem auch ein Computerprogramm mit Programmcode, um ein obenstehend beschriebenes Verfahren zum Trainieren eines künstlichen neuronalen Netzes auszuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird, angegeben.A further embodiment of the invention also provides a computer program with program code for carrying out a method described above for training an artificial neural network when the computer program is executed on a computer.

Mit einer weiteren Ausführungsform der Erfindung wird ferner auch ein computerlesbarer Datenträger mit Programmcode eines Computerprogramms, um ein obenstehend beschriebenes Verfahren zum Trainieren eines künstlichen neuronalen Netzes auszuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird, angegeben.A further embodiment of the invention also provides a computer-readable data carrier with program code of a computer program in order to carry out a method described above for training an artificial neural network when the computer program is executed on a computer.

Das Computerprogramm und der computerlesbare Datenträger haben dabei jeweils den Vorteil, dass diese jeweils ausgebildet sind, ein verbessertes Verfahren zum Trainieren eines künstlichen neuronalen Netzes, mit welchen ein künstliches neuronales Netz trainiert werden kann, das an einen nachfolgenden, Ausgaben des neuronalen Netzes verarbeitenden Prozess angepasst beziehungsweise auf diesen abgestimmt ist und gleichzeitig vergleichsweise wenig Ressourcen benötigt, auszuführen. Dadurch, dass die Informationen über den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess direkt beim Training des künstlichen neuronalen Netzes berücksichtigt werden, kann das künstliche neuronale Netz in kurzer Zeit derart trainiert werden, für den Ausgaben des neuronalen Netzes verarbeitenden Prozess optimale Werte und insbesondere durch diesen Prozess weiterverarbeitbare Werte auszugeben. Dies resultiert wiederum darin, dass vergleichsweise kleine, bezüglich dem nachfolgenden Prozess optimierte künstliche neuronale Netze trainiert werden können und insbesondere künstliche neuronal Netze, welche auf entsprechenden, vergleichsweise wenig Ressourcen aufweisenden Anwendungen, beispielsweise Steuergeräten von Kraftfahrzeugen, ausgeführt werden können.The computer program and the computer-readable data carrier each have the advantage that they are each designed to be an improved method for training an artificial neural network, with which an artificial neural network can be trained, which is adapted to a subsequent process processing outputs of the neural network or is tailored to it and at the same time requires comparatively few resources. Because the information about the process processing the outputs of the artificial neural network is taken into account directly when training the artificial neural network, the artificial neural network can be trained in a short time in such a way that optimal values are obtained for the process processing the outputs of the neural network and in particular through this to output values that can be processed further. This in turn results in the fact that comparatively small artificial neural networks that are optimized with respect to the subsequent process can be trained and in particular artificial neural networks that can be executed on corresponding applications with comparatively few resources, for example control devices of motor vehicles.

Zusammenfassend ist festzustellen, dass mit der vorliegenden Erfindung ein Verfahren zu Trainieren eines künstlichen neuronalen Netzes angegeben wird, mit welchem ein künstliches neuronales Netz trainiert werden kann, dass an einen nachfolgenden beziehungsweise nachgeordneten, Ausgaben des neuronalen Netzes verarbeitenden Prozess angepasst ist und gleichzeitig vergleichsweise wenig Ressourcen benötigt.In summary, it should be noted that the present invention provides a method for training an artificial neural network, with which an artificial neural network can be trained that is adapted to a subsequent or downstream process that processes outputs of the neural network and at the same time requires comparatively few resources needed.

Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmalen der Erfindung.Further possible refinements, further developments and implementations of the invention also include combinations of features of the invention described previously or below with regard to the exemplary embodiments that are not explicitly mentioned.

Kurze Beschreibung der ZeichnungenBrief description of the drawings

Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung ein Verfahren zu Trainieren eines künstlichen neuronalen Netzes angegeben wird, mit welchem ein künstliches neuronales Netz trainiert werden kann, dass an einen nachfolgenden, Ausgaben des neuronalen Netzes verarbeitenden Prozess angepasst ist und gleichzeitig vergleichsweise wenig Ressourcen benötigt.The accompanying drawings are intended to provide further understanding of embodiments of the invention. They illustrate embodiments and, in connection with the description, serve to explain the principles and concepts of the invention, a method for training an artificial neural network is specified, with which an artificial neural network can be trained that is sent to a subsequent process processing outputs of the neural network adapted and at the same time requires comparatively few resources.

Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die dargestellten Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.Other embodiments and many of the advantages mentioned arise with regard to the drawings. The illustrated elements of the drawings are not necessarily shown to scale to one another.

Es zeigen:

1 ein Flussdiagramm eines Verfahrens zum Trainieren eines künstlichen neuronalen Netzes gemäß Ausführungsformen der Erfindung; und
2 ein schematisches Blockschaltbild eines Systems zum Trainieren eines künstlichen neuronalen Netzes gemäß Ausführungsformen der Erfindung.

Show it:

1 a flowchart of a method for training an artificial neural network according to embodiments of the invention; and
2 a schematic block diagram of a system for training an artificial neural network according to embodiments of the invention.

In den Figuren der Zeichnungen bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile oder Komponenten, soweit nichts Gegenteiliges angegeben ist.In the figures of the drawings, the same reference numerals designate the same or functionally identical elements, parts or components, unless otherwise stated.

1 zeigt ein Flussdiagramm eines Verfahrens zum Trainieren eines künstlichen neuronalen Netzes 1 gemäß Ausführungsformen der Erfindung. 1 shows a flowchart of a method for training an artificial neural network 1 according to embodiments of the invention.

Beispielsweise in der Halbleiterfertigung werden im Rahmen der Qualitätssicherung nach einer Vielzahl von Fertigungsschritten Überprüfungen an den gefertigten Halbleiterchips durchgeführt, beispielsweise um die Temperaurbeständigkeit der einzelnen Halbleiter zu überprüfen. Insbesondere soll dabei das Verhalten der gefertigten Halbleiterchips sowohl bei hohen als auch bei tiefen Temperaturen überprüft werden. Da Halbleiter für gewöhnlich ihren Innenwiderstand bei Temperaturänderungen ändern, sollte anschließend jeweils auch noch eine entsprechende Drift-Spannung bestimmt werden.For example, in semiconductor production, as part of quality assurance, checks are carried out on the manufactured semiconductor chips after a large number of production steps, for example to check the temperature resistance of the individual semiconductors. In particular, the behavior of the manufactured semiconductor chips should be checked at both high and low temperatures. Since semiconductors usually change their internal resistance when the temperature changes, a corresponding drift voltage should then be determined.

Zum Überprüfen der Temperaturbeständigkeit derartiger Halbleiterchips werden dabei häufig künstliche neuronale Netze eingesetzt, welche basierend auf Deep-Learning Verfahren trainiert wurden. Insbesondere werden derartige künstliche neuronale Netze dabei häufig basierend auf Kostenfunktionen trainiert. Als nachteilig erweist sich dabei jedoch, dass trainierte künstliche neuronale Netze für gewöhnlich nicht an Anforderungen nachfolgender Prozesse, welche Ausgaben des entsprechend trainierten künstlichen neuronalen Netzes verarbeiten, beispielsweise eine anschließende Bestimmung eines Korrekturparameters der in einem Halbleiterchip gespeichert wird und für die Berechnung einer Chip-internen Korrektur von von dem entsprechenden Halbleiterchip gemessenen elektrischen Werten benutzt wird, angepasst sind. To check the temperature resistance of such semiconductor chips, artificial neural networks are often used, which have been trained based on deep learning methods. In particular, such artificial neural networks are often trained based on cost functions. However, it proves to be disadvantageous that trained artificial neural networks usually do not respond to the requirements of subsequent processes that process outputs of the correspondingly trained artificial neural network, for example a subsequent determination of a correction parameter that is stored in a semiconductor chip and for the calculation of a chip-internal Correction of electrical values measured by the corresponding semiconductor chip is used, are adapted.

Gleichzeitig besteht, insbesondere basierend auf vergleichsweise geringen in der entsprechenden Anwendung zur Verfügung stehenden Ressourcen, beispielsweise Speicher- und/oder Prozessorkapazitäten, häufig Bedarf an möglichst kleinen künstlichen neuronalen Netzen, welche beispielsweise möglichst wenig Zwischenschichten aufweisen. Folglich besteht Bedarf an verbesserten Verfahren zum Trainieren eines künstlichen neuronalen Netzes, mit welchen ein künstliches neuronales Netz trainiert werden kann, das an einen nachfolgenden, Ausgaben des neuronalen Netzes verarbeitenden Prozess angepasst beziehungsweise auf diesen abgestimmt ist und gleichzeitig vergleichsweise wenig Ressourcen benötigt.At the same time, there is, in particular based on comparatively low resources available in the corresponding application, for example memory and/or Processor capacities, often the need for the smallest possible artificial neural networks, which, for example, have as few intermediate layers as possible. Consequently, there is a need for improved methods for training an artificial neural network, with which an artificial neural network can be trained that is adapted or coordinated with a subsequent process that processes outputs of the neural network and at the same time requires comparatively few resources.

1 zeigt dabei ein Verfahren 1, welches einen Schritt 2 eines Bereitstellens von Trainingsdaten zum Trainieren des künstlichen neuronalen Netzes und einen Schritt 3 eines Trainierens des künstlichen neuronalen Netzes basierend auf den Trainingsdaten und Informationen über einen Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess aufweist. 1 shows a method 1, which has a step 2 of providing training data for training the artificial neural network and a step 3 of training the artificial neural network based on the training data and information about a process processing outputs of the artificial neural network.

Insgesamt wird somit ein verbessertes Verfahren zum Trainieren eines künstlichen neuronalen Netzes 1 angegeben, mit welchen ein künstliches neuronales Netz trainiert werden kann, das an einen nachfolgenden, Ausgaben des neuronalen Netzes verarbeitenden Prozess angepasst beziehungsweise auf diesen abgestimmt ist und gleichzeitig vergleichsweise wenig Ressourcen benötigt.Overall, an improved method for training an artificial neural network 1 is thus specified, with which an artificial neural network can be trained that is adapted or coordinated with a subsequent process that processes outputs of the neural network and at the same time requires comparatively few resources.

Insbesondere zeigt 1 ein Verfahren 1, bei dem durch nachfolgenden Prozess vorgegebene Nebenbedingungen beim Trainieren des künstlichen neuronalen Netzes berücksichtigt werden.In particular shows 1 a method 1, in which secondary conditions specified by the subsequent process are taken into account when training the artificial neural network.

Gemäß den Ausführungsformen der 1 weist der Schritt 3 des Trainierens des künstlichen neuronalen Netzes dabei einen Schritt eines Bestimmens einer Kostenfunktion basierend auf den Trainingsdaten und den Informationen über den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess, und einen Schritt 4 eines Trainierens des künstlichen neuronalen Netzes basierend auf der bestimmten Kostenfunktion auf.According to the embodiments of 1 the step 3 of training the artificial neural network has a step of determining a cost function based on the training data and the information about the outputs of the artificial neural network processing process, and a step 4 of training the artificial neural network based on the determined cost function .

Wie 1 zeigt, weist der Schritt des Bestimmens der Kostenfunktion gemäß den Ausführungsformen der 1 dabei einen Schritt 5 eines Erzeugens von Ausgaben des künstlichen neuronalen Netzes während des Trainierens des künstlichen neuronalen Netzes, einen Schritt 6 eines jeweiligen Erzeugens von Ausgaben des Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses basierend auf den erzeugten Ausgaben des künstlichen neuronalen Netzes, einen Schritt 7 eines, für alle erzeugten Ausgaben des Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses, jeweiligen Überprüfens ob die entsprechende Ausgabe innerhalb eines durch den die Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess erwarteten Bereiches liegt, einen Schritt 8 eines jeweiligen Gewichtens der erzeugten Ausgaben des künstlichen neuronalen Netzes basierend darauf, ob die basierend auf der entsprechenden Ausgabe des künstlichen neuronalen Netzes erzeugte Ausgabe des Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses innerhalb des durch den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses erwarteten Bereiches liegt, und einen Schritt 9 eines Bestimmens der Kostenfunktion basierend auf den Trainingsdaten, das heißt ob die erzeugten Ausgaben des künstlichen neuronalen Netzes jeweils erwarteten Werten entsprechen, und den gewichteten Ausgaben auf.How 1 shows, the step of determining the cost function according to the embodiments of 1 a step 5 of generating outputs of the artificial neural network during training of the artificial neural network, a step 6 of a respective generating outputs of the outputs of the artificial neural network processing process based on the generated outputs of the artificial neural network, a step 7 of , for all generated outputs of the process processing the outputs of the artificial neural network, each checking whether the corresponding output is within a range expected by the process processing the outputs of the artificial neural network, a step 8 of respective weighting of the generated outputs of the artificial neural network whether the output of the artificial neural network output processing process generated based on the corresponding artificial neural network output is within the range expected by the artificial neural network output processing process, and a step 9 of determining the cost function based on the training data , that is, whether the generated outputs of the artificial neural network correspond to expected values, and the weighted outputs.

Das Verfahren gemäß den Ausführungsformen der 1 erlaubt dem künstlichen neuronalen Netz somit Ausgaben zu erlernen, welche nicht zwingend erwarteten Ausgaben de künstlichen neuronalen Netzes entsprechen, welche jedoch entsprechende Vorgaben eines Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses erfüllen.The method according to the embodiments of 1 thus allows the artificial neural network to learn outputs which do not necessarily correspond to expected outputs of the artificial neural network, but which fulfill corresponding specifications of a process processing outputs of the artificial neural network.

Gemäß den Ausführungsformen der 1 werden dabei Ausgaben des künstlichen neuronalen Netzes jeweils mit einem Gewicht, das einen Wert größer gleich Null jedoch kleiner als Eins aufweist, und bevorzugt mit einem Gewicht, das einen Wert Null aufweist, versehen, falls die basierend auf der entsprechenden Ausgabe des künstlichen neuronalen Netzes erzeugte Ausgabe des Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses innerhalb des durch den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses erwarteten Bereiches liegt. Gemäß den Ausführungsformen der 1 werden ferner Ausgaben des künstlichen neuronalen Netzes jeweils mit einem Gewicht, das einen Wert kleiner gleich Eins jedoch größer als Null aufweist, und bevorzugt mit einem Gewicht, das einen Wert Eins aufweist, versehen, falls die basierend auf der entsprechenden Ausgabe des künstlichen neuronalen Netzes erzeugte Ausgabe des Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses nicht innerhalb des durch den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses erwarteten Bereiches liegt. Hierdurch können Fehler von nicht prozesskonforme Werte beim Trainieren des künstlichen neuronalen Netzes und insbesondere bei der Bestimmung der Kostenfunktion mit einfließen, wohingegen Fehler von prozesskonformen Werte ignoriert werden.According to the embodiments of 1 Outputs of the artificial neural network are each provided with a weight that has a value greater than or equal to zero but less than one, and preferably with a weight that has a value of zero if the weight is generated based on the corresponding output of the artificial neural network Output of the process processing outputs of the artificial neural network is within the range expected by the process processing outputs of the artificial neural network. According to the embodiments of 1 Furthermore, outputs of the artificial neural network are each provided with a weight that has a value less than or equal to one but greater than zero, and preferably with a weight that has a value of one, if the output of the artificial neural network output processing process generated based on the corresponding output of the artificial neural network is not within the range expected by the artificial neural network output processing process. As a result, errors from values that do not conform to the process can be taken into account when training the artificial neural network and in particular when determining the cost function, whereas errors from values that conform to the process are ignored.

Die Kostenfunktion kann dabei anschließend beispielsweise durch jeweiliges Bilden der absoluten oder der quadratischen Fehler zwischen den bei der Bestimmung der Kostenfunktion berücksichtigten, erzeugten Ausgaben des künstlichen neuronalen Netzes und dem entsprechenden erwarteten Wert bestimmt werden.The cost function can then be determined, for example, by forming the absolute or squared errors between the generated outputs of the artificial neural network taken into account when determining the cost function and the corresponding expected value.

Gemäß den Ausführungsformen der 1 weisen die Trainingsdaten ferner Sensordaten auf, insbesondere Sensordaten, welche die Merkmale eines zu überprüfenden, durch ein Fertigungsverfahren gefertigten Produkts und dessen Komponenten betreffen, beispielsweise Spannungen, Ströme und Innenwiderstände.According to the embodiments of 1 The training data also includes sensor data, in particular sensor data, which relate to the characteristics of a product to be checked, manufactured by a manufacturing process, and its components, for example voltages, currents and internal resistances.

Das entsprechend trainierte künstliche neuronale Netz kann dabei basierend auf entsprechenden, gelabelten Trainingsdaten beispielsweise derart trainiert werden, um anschließend im Rahmen der Qualitätssicherung bei der Fertigung von Halbleitern zur Überprüfung der Temperaturbeständigkeit der gefertigten Halbleiterchips herangezogen zu werden, wobei anschließend jeweils noch ein Korrekturparameter, welcher in einem Halbleiterchip gespeichert und für die Berechnung einer Chip-internen Korrektur von von dem entsprechenden Halbleiterchip gemessenen elektrischen Werten benutzt wird, basierend auf durch das entsprechende künstliche neuronale Netz erzeugten Werten ermittelt werden kann.The correspondingly trained artificial neural network can be trained based on corresponding, labeled training data, for example, in such a way that it can then be used as part of quality assurance in the production of semiconductors to check the temperature resistance of the manufactured semiconductor chips, with a correction parameter then being added in each case stored on a semiconductor chip and used to calculate an internal chip correction of electrical values measured by the corresponding semiconductor chip, which can be determined based on values generated by the corresponding artificial neural network.

Basierend auf der Überprüfung können dabei ferner gefertigte Halbleiterchips, welche Vorgaben hinsichtlich der Temperaturbeständigkeit nicht erfüllen, insbesondere automatisch aussortiert beziehungsweise verworfen werden. Die nicht aussortierten Halbleiterchips können anschließend ferner beispielsweise die Grundlage eines Steuergerätes einer Bremssteuerung eines Kraftfahrzeuges bilden.Based on the check, manufactured semiconductor chips that do not meet specifications with regard to temperature resistance can, in particular, be sorted out or discarded automatically. The semiconductor chips that have not been sorted out can then, for example, form the basis of a control device for a brake control system for a motor vehicle.

Ferner kann das künstliche neuronale Netz aber auch trainiert werden, ein steuerbares System beziehungsweise ein Robotiksystem zu steuern, wobei ein Ausgaben des künstlichen neuronalen Netzes verarbeitender Prozess nachgeschaltet ist.Furthermore, the artificial neural network can also be trained to control a controllable system or a robotic system, with a process that processes the output of the artificial neural network being downstream.

2 zeigt ein schematisches Blockschaltbild eines Systems zum Trainieren eines künstlichen neuronalen Netzes 10 gemäß Ausführungsformen der Erfindung. 2 shows a schematic block diagram of a system for training an artificial neural network 10 according to embodiments of the invention.

Wie 2 zeigt, weist das System 10 dabei eine Bereitstellungseinheit 11, welche ausgebildet ist, Trainingsdaten zum Trainieren des künstlichen neuronalen Netzes bereitzustellen, und eine Trainingseinheit 12, welche ausgebildet ist, das künstliche neuronale Netz basierend auf den Trainingsdaten und Informationen über einen Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess zu trainieren, auf.How 2 shows, the system 10 has a provision unit 11, which is designed to provide training data for training the artificial neural network, and a training unit 12, which is designed to provide the artificial neural network based on the training data and information about an output of the artificial neural network to train the processing process.

Bei der Bereitstellungseinheit kann es sich dabei insbesondere um einen Empfänger, welcher ausgebildet ist, entsprechende Daten, insbesondere Sensordaten zu empfangen, handeln. Die Trainingseinheit kann beispielsweise basierend auf einem in einem Speicher hinterlegten und durch einen Prozessor ausführbaren Code realisiert werden.The provision unit can in particular be a receiver which is designed to receive corresponding data, in particular sensor data. The training unit can be implemented, for example, based on code stored in a memory and executable by a processor.

Gemäß den Ausführungsformen der 2 weist die Trainingseinheit weiter eine Bestimmungseinheit 13 auf, welche ausgebildet ist, eine Kostenfunktion basierend auf den Trainingsdaten und den Informationen über den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozess zu bestimmen, wobei die Trainingseinheit 12 ausgebildet ist, das künstliche neuronale Netz basierend auf der Kostenfunktion zu trainieren.According to the embodiments of 2 the training unit further has a determination unit 13, which is designed to determine a cost function based on the training data and the information about the outputs of the artificial neural network processing process, wherein the training unit 12 is designed to assign the artificial neural network based on the cost function train.

Die Bestimmungseinheit kann dabei insbesondere wiederum basierend auf einem in einem Speicher hinterlegten und durch einen Prozessor ausführbaren Code realisiert werden.The determination unit can in particular be implemented based on a code stored in a memory and executable by a processor.

Wie 2 zeigt, weist die Bestimmungseinheit 13 dabei eine erste Erzeugungseinheit 14, welche ausgebildet ist, während des Trainierens des künstlichen neuronalen Netzes Ausgaben durch das künstliche neuronale Netz zu erzeugen, eine zweite Erzeugungseinheit 15, welche ausgebildet ist, basierend auf den erzeugten Ausgaben des künstlichen neuronalen Netzes jeweils Ausgaben des Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses zu erzeugen, eine Überprüfungseinheit 16, welche ausgebildet ist, für alle erzeugten Ausgaben des Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses jeweils zu überprüfen, ob die entsprechende Ausgabe innerhalb eines durch den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses erwarteten Bereiches liegt, und eine Gewichtungseinheit 17, welche ausgebildet ist, die erzeugten Ausgaben des künstlichen neuronalen Netzes jeweils basierend darauf, ob die basierend auf der entsprechenden Ausgabe des künstlichen neuronalen Netzes erzeugte Ausgabe des Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses innerhalb des durch den Ausgaben des künstlichen neuronalen Netzes verarbeitenden Prozesses erwarteten Bereiches liegt, zu gewichten, aufweist, wobei die Bestimmungseinheit 13 ausgebildet ist, die Kostenfunktion basierend auf den Trainingsdaten und den gewichteten Ausgaben zu erzeugen.How 2 shows, the determination unit 13 has a first generation unit 14, which is designed to generate outputs by the artificial neural network during training of the artificial neural network, and a second generation unit 15, which is designed based on the generated outputs of the artificial neural network to generate outputs of the process processing the outputs of the artificial neural network, a checking unit 16 which is designed to check for all generated outputs of the process processing the outputs of the artificial neural network whether the corresponding output is within a process defined by the outputs of the artificial neural network processing process is expected range, and a weighting unit 17, which is designed, the generated outputs of the artificial neural network based on whether the output of the output generated based on the corresponding output of the artificial neural network of the artificial neural network processing process is within the range expected by the outputs of the artificial neural network processing process, to be weighted, wherein the determination unit 13 is designed to generate the cost function based on the training data and the weighted outputs.

Gemäß den Ausführungsformen der 2 weisen die Trainingsdaten wiederum Sensordaten auf, insbesondere Sensordaten, welche die Merkmale eines zu überprüfenden, durch ein Fertigungsverfahren gefertigten Produkts und dessen Komponenten betreffen, beispielsweise Spannungen, Ströme und Innenwiderstände.According to the embodiments of 2 The training data in turn includes sensor data, in particular sensor data, which relate to the characteristics of a product to be checked, manufactured by a manufacturing process, and its components, for example voltages, currents and internal resistances.

Ferner kann das entsprechend trainierte künstliche neuronale Netz dabei beispielsweise wiederum derart trainiert werden, um anschließend im Rahmen der Qualitätssicherung bei der Fertigung von Halbleitern zur Überprüfung der Temperaturbeständigkeit der gefertigten Halbleiterchips herangezogen werden, wobei anschließend jeweils noch ein Korrekturparameter, welcher in einem Halbleiterchip gespeichert und für die Berechnung einer Chip-internen Korrektur von von dem entsprechenden Halbleiterchip gemessenen elektrischen Werten benutzt wird, basierend auf durch das entsprechende künstliche neuronale Netz erzeugten Werten ermittelt werden kann, oder aber auch derart trainiert werden, ein steuerbares System beziehungsweise ein Robotiksystem zu steuern, wobei ein Ausgaben des künstlichen neuronalen Netzes verarbeitender Prozess nachgeschaltet ist.Furthermore, the correspondingly trained artificial neural network can, for example, be trained in such a way that it can then be used as part of quality assurance in the production of semiconductors to check the temperature resistance of the manufactured semiconductor chips, with a correction parameter then being stored in a semiconductor chip and used for the calculation of a chip-internal correction of electrical values measured by the corresponding semiconductor chip is used, based on values generated by the corresponding artificial neural network, or can also be trained in such a way as to control a controllable system or a robotic system, wherein a Outputs of the artificial neural network processing process is downstream.

Zudem ist das System zum Trainieren eines künstlichen neuronalen Netzes 10 ausgebildet, ein obenstehend beschriebenes Verfahren zum Trainieren eines künstlichen neuronalen Netzes auszuführen.In addition, the system for training an artificial neural network 10 is designed to carry out a method for training an artificial neural network described above.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102019217300 A1 [0005]

Claims

Method for training an artificial neural network, the method (1) having the following steps: - Providing training data for training the artificial neural network (2); and - Training the artificial neural network based on the training data and information about a process (3) processing outputs of the artificial neural network.

Procedure according to Claim 1 , wherein the step of training the artificial neural network (3) comprises the following steps: - determining a cost function based on the training data and the information about the outputs of the artificial neural network processing process; and - training the artificial neural network based on the determined cost function (4).

Procedure according to Claim 2 , wherein the step of determining the cost function based on the training data and the information about the outputs of the artificial neural network processing process comprises the following steps: - During training the artificial neural network, generating outputs of the artificial neural network (5); - Based on the generated outputs of the artificial neural network, each generating outputs of the process (6) processing the outputs of the artificial neural network; - For all generated outputs of the process processing the outputs of the artificial neural network, check in each case whether the corresponding output is within a range expected by the process processing the outputs of the artificial neural network (7); - each weighting the generated outputs of the artificial neural network based on whether the output of the process processing outputs of the artificial neural network generated based on the corresponding output of the artificial neural network is within the range expected by the process processing outputs of the artificial neural network; and - determining the cost function based on the training data and the weighted outputs of the artificial neural network.

Procedure according to one of the Claims 1 until 3 , where the training data includes sensor data.

Method for checking products manufactured by a manufacturing process based on an artificial neural network, the method having the following steps: - Providing an artificial neural network for checking the manufactured products, the artificial neural network being carried out by a method for training an artificial neural network one of the Claims 1 until 4 was trained; and - checking the manufactured products based on the provided artificial neural network.

System for training an artificial neural network, wherein the system (10) has a provision unit (11), which is designed to provide training data for training the artificial neural network, and a training unit (12), which is designed to provide the artificial neural network based on to train the training data and information via a process that processes outputs from the artificial neural network.

System after Claim 6 , wherein the training unit (12) has a determination unit (13) which is designed to determine a cost function based on the training data and the information about the outputs of the artificial neural network processing process, and wherein the training unit (12) is designed, to train the artificial neural network based on the determined cost function.

System after Claim 7 , wherein the determination unit (13) has a first generation unit (14), which is designed to generate outputs of the artificial neural network during training of the artificial neural network, a second generation unit (15), which is designed based on the generated outputs of the artificial neural network to generate outputs of the process processing the outputs of the artificial neural network, a checking unit (16) which is designed to check for all generated outputs of the process processing the outputs of the artificial neural network whether the corresponding output is within a process defined by the Outputs of the artificial neural network processing process is within the expected range, and a weighting unit (17), which is designed, the generated outputs of the artificial neural network based on whether the output of the artificial neural network generated based on the corresponding output of the artificial neural network Neural network processing process is within the range expected by the outputs of the artificial neural network processing process, to be weighted, and wherein the determination unit (13) is designed to determine the cost function based on the training data and the weighted outputs.

System according to one of the Claims 6 until 8th , where the training data includes sensor data.

System for checking products manufactured by a manufacturing process based on an artificial neural network, the system having a provision unit which is designed to provide an artificial neural network for checking the manufactured products, the artificial neural network being implemented by a system described above for training a artificial neural network was trained, and a checking unit which is designed to check the manufactured products based on the artificial neural network provided.

Computer program with program code to provide a method for training an artificial neural network according to one of the Claims 1 until 4 to execute when the computer program is executed on a computer.

Computer-readable data carrier with program code of a computer program in order to provide a method for training an artificial neural network according to one of the Claims 1 until 4 to execute when the computer program is executed on a computer.