DE102020207564A1

DE102020207564A1 - Method and apparatus for training an image classifier

Info

Publication number: DE102020207564A1
Application number: DE102020207564.6A
Authority: DE
Inventors: Konrad Groh
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-06-18
Filing date: 2020-06-18
Publication date: 2021-12-23

Abstract

Computerimplementiertes Verfahren zum Trainieren eines ersten Bildklassifikators (60), wobei der erste Bildklassifikator (60) ausgebildet ist zu einem dem ersten Bildklassifikator (60) übermittelten Eingabebild (x) ein erstes Ausgabesignal (y) und einen Gütewert (g) zu ermitteln, wobei das erste Ausgabesignal (y) eine Klassifikation des Eingabebildes charakterisiert und der Gütewert (g) eine Güte der Klassifikation charakterisiert, wobei das Verfahren zum Trainieren die folgenden Schritte umfasst:• Bereitstellen (501) eines zweiten Bildklassifikators, wobei der zweite Bildklassifikator ausgebildet ist, zu einem übermittelten Eingabebild (x) ein zweites Ausgabesignal zu ermitteln, wobei das zweite Ausgabesignal eine Klassifikation des Eingabebildes (x) charakterisiert;• Ermitteln (502) von einer Mehrzahl von zweiten Ausgabesignalen zu einer Mehrzahl von Eingabebildern mittels des zweiten Bildklassifikators,• Ermitteln (503) eines zu einem Eingabebild korrespondierenden Gütewertes, wobei der Gütewert basierend auf einem dem Eingabebild zugeordneten zweiten Ausgabesignal und dem zugeordneten gewünschten Ausgabesignal ermittelt wird und eine Güte der Klassifikation des zweiten Ausgabesignals charakterisiert;• Ermitteln (504) eines Gütewertmodells basierend auf einer Mehrzahl von Eingabebildern und korrespondieren Gütewerten, wobei das Gütewertmodell ausgebildet ist zu einem Eingabebild einen Gütewert zu ermitteln;• Bereitstellen (505) des zweiten Bildklassifikators und des Gütewertmodells als ersten Bildklassifikator.Computer-implemented method for training a first image classifier (60), the first image classifier (60) being designed to determine a first output signal (y) and a quality value (g) for an input image (x) transmitted to the first image classifier (60), the first output signal (y) characterizes a classification of the input image and the quality value (g) characterizes a quality of the classification, the method for training comprising the following steps: • providing (501) a second image classifier, the second image classifier being formed into a transmitted input image (x) to determine a second output signal, wherein the second output signal characterizes a classification of the input image (x);• determining (502) a plurality of second output signals for a plurality of input images by means of the second image classifier,• determining (503) a quality value corresponding to an input image, where the quality value is determined based on a second output signal assigned to the input image and the assigned desired output signal and characterizes a quality of the classification of the second output signal;• determining (504) a quality value model based on a plurality of input images and corresponding quality values, the quality value model being designed to determining a quality value from an input image;• providing (505) the second image classifier and the quality value model as a first image classifier.

Description

Stand der TechnikState of the art

Vorteile der ErfindungAdvantages of the invention

Bildklassifikatoren können verwendet werden, um die Umwelt eines zumindest teilautomatisierten Roboters wahrzunehmen. Diese Wahrnehmung kann dann verwendet werden, um mögliche Aktionen des Roboters zu planen.Image classifiers can be used to perceive the environment of an at least partially automated robot. This perception can then be used to plan possible actions of the robot.

Bildklassifikatoren können jedoch Fehler bei der Umfeldwahrnehmung begehen, die ein ungewünschtes oder sogar gefährliches Verhalten des Roboters provozieren können. Zum Beispiel ist denkbar, dass der Roboter ein zumindest teilautomatisiertes Fahrzeug ist und ein Bildklassifikator zur Wahrnehmung von in der Nähe des Fahrzeugs befindlichen Fußgängern verwendet wird, um basierend auf der Wahrnehmung eine kollisionsfreie Trajektorie durch die Umwelt zu planen. Falls der Bildklassifikator einen Fußgänger fälschlicherweise nicht detektiert, kann dies zu einer Trajektorie führen, auf der das Fahrzeug mit dem nicht erkannten Fußgänger kollidiert.Image classifiers can, however, make mistakes in the perception of the surroundings, which can provoke undesired or even dangerous behavior of the robot. For example, it is conceivable that the robot is an at least partially automated vehicle and an image classifier is used to perceive pedestrians in the vicinity of the vehicle in order to plan a collision-free trajectory through the environment based on the perception. If the image classifier incorrectly does not detect a pedestrian, this can lead to a trajectory on which the vehicle collides with the undetected pedestrian.

Der Vorteil des Verfahrens mit den Merkmalen des unabhängigen Anspruchs 1 ist, dass es erlaubt einen Bildklassifikator zu trainieren, der zusätzlich zur Klassifikation einen Gütewert ermittelt, der charakterisiert, inwiefern die Klassifikation des Bildklassifikators korrekt ist. Dieser Wert erlaubt das Ansteuern eines zumindest teilautomatisierten Roboters wesentlich sicherer zu gestalten. Zum Beispiel ist denkbar, dass bei einem ermittelten niedrigen Gütewert das Fahrzeug aus dem genannten Beispiel sich nur mit sehr niedriger Geschwindigkeit bewegen darf oder die Geschwindigkeit reduziert wird. Weiterhin ist denkbar, dass in diesem Fall die Steuerung des Fahrzeugs an einen Fahrer oder eine Leitstelle übergeben wird.The advantage of the method with the features of independent claim 1 is that it allows an image classifier to be trained which, in addition to the classification, determines a quality value that characterizes the extent to which the classification of the image classifier is correct. This value allows the control of an at least partially automated robot to be made much safer. For example, it is conceivable that when a low quality value is determined, the vehicle from the example mentioned may only move at a very low speed or that the speed is reduced. It is also conceivable that in this case the control of the vehicle is transferred to a driver or a control center.

Der Gütewert verbessert dadurch das Verhalten eines Roboters hin zu einem sichereren und entsprechend gewünschtem Verhalten.The quality value improves the behavior of a robot towards a safer and correspondingly desired behavior.

Offenbarung der ErfindungDisclosure of the invention

In einem ersten Aspekt beschäftigt sich die Erfindung mit einem computerimplementierten Verfahren zum Trainieren eines ersten Bildklassifikators, wobei der erste Bildklassifikator ausgebildet ist zu einem dem ersten Bildklassifikator übermittelten Eingabebild ein erstes Ausgabesignal und einen Gütewert zu ermitteln, wobei das erste Ausgabesignal eine Klassifikation des Eingabebildes charakterisiert und der Gütewert eine Güte der Klassifikation charakterisiert, wobei das Verfahren zum Trainieren die folgenden Schritte umfasst:

• Bereitstellen eines zweiten Bildklassifikators, wobei der zweite Bildklassifikator ausgebildet ist, zu einem übermittelten Eingabebild ein zweites Ausgabesignal zu ermitteln, wobei das zweite Ausgabesignal eine Klassifikation des Eingabebildes charakterisiert;
• Ermitteln von einer Mehrzahl von zweiten Ausgabesignalen zu einer Mehrzahl von Eingabebildern mittels des zweiten Bildklassifikators, wobei einem Eingabebild der Mehrzahl von Eingabebildern ein gewünschtes Ausgabesignal zugeordnet ist und ein zweites Ausgabesignal aus der Mehrzahl von zweiten Ausgabesignalen dem Eingabebild zugeordnet wird welches vom zweiten Bildklassifikator für das Eingabebild ermittelt wurde;
• Ermitteln eines zu einem Eingabebild korrespondierenden Gütewertes, wobei der Gütewert basierend auf einem dem Eingabebild zugeordneten zweiten Ausgabesignal und dem zugeordneten gewünschten Ausgabesignal ermittelt wird und eine Güte der Klassifikation des zweiten Ausgabesignals charakterisiert;
• Ermitteln eines Gütewertmodells basierend auf einer Mehrzahl von Eingabebildern und korrespondieren Gütewerten, wobei das Gütewertmodell ausgebildet ist zu einem Eingabebild einen Gütewert zu ermitteln;
• Bereitstellen des zweiten Bildklassifikators und des Gütewertmodells als ersten Bildklassifikator.

In a first aspect, the invention deals with a computer-implemented method for training a first image classifier, the first image classifier being designed to determine a first output signal and a quality value for an input image transmitted to the first image classifier, the first output signal characterizing a classification of the input image and the quality value characterizes a quality of the classification, the method for training comprising the following steps:

• providing a second image classifier, the second image classifier being designed to determine a second output signal for a transmitted input image, the second output signal characterizing a classification of the input image;
• Determination of a plurality of second output signals for a plurality of input images by means of the second image classifier, with one input image of the plurality of input images being assigned a desired output signal and a second output signal from the plurality of second output signals being assigned to the input image which is assigned by the second image classifier for the Input image was determined;
• Determining a quality value corresponding to an input image, the quality value being determined based on a second output signal assigned to the input image and the assigned desired output signal and characterizing a quality of the classification of the second output signal;
• Determining a quality value model based on a plurality of input images and corresponding quality values, the quality value model being designed to determine a quality value for an input image;
• Providing the second image classifier and the quality model as the first image classifier.

Das Verfahren kann als eine Möglichkeit verstanden werden, einen Bildklassifikator um ein Gütewertmodell zu erweitern, welches zum Zeitpunkt der Klassifikation ermitteln kann, inwiefern die Klassifikation des Bildklassifikators korrekt ist. Zu diesem Zweck ermittelt das Verfahren während des Trainings des Bildklassifikators jeweils Gütewerte des zweiten Klassifikators auf einer Mehrzahl von Bildern, mit denen anschließend das Gütewertmodell trainiert wird. Das Gütewertmodell ist daher in der Lage nach dem Training die Güte der Klassifikation des zweiten Bildklassifikators zu ermitteln.The method can be understood as a possibility of adding a quality value model to an image classifier, which at the time of classification can determine to what extent the classification of the image classifier is correct. For this purpose, the method determines quality values of the second classifier on a plurality of images during the training of the image classifier, with which the quality value model is then trained. The quality value model is therefore able to determine the quality of the classification of the second image classifier after the training.

Ein Bildklassifikator kann im Allgemeinen ein Eingabebild falsch klassifizieren. Die Güte einer Klassifikation kann daher als ein Maß verstanden werden, inwiefern ein von einem Bildklassifikator ermitteltes Ausgabesignal von einem gewünschten Ausgabesignal abweicht. Eine hohe Güte kann eine entsprechende korrekte Klassifikation anzeigen, während eine niedrige Güte eine entsprechende Fehlklassifikation anzeigen kann.An image classifier can generally misclassify an input image. The quality of a classification can therefore be understood as a measure of the extent to which an output signal determined by an image classifier deviates from a desired output signal. A high quality can indicate a corresponding correct classification, while a low quality can indicate a corresponding misclassification.

Während Klassifikationen diskret sind, können Bildklassifikatoren einer Klassifikation beispielsweise einen prozentualen Wert zuordnen, über den bestimmt werden kann, inwiefern der Bildklassifikator sich der klassifizierten Klasse sicher ist. In diesem Sinn kann die Güte einer Klassifikation als ein kontinuierliches Maß verstanden werden. Zum Beispiel ist denkbar, dass ein Bildklassifikator einer falschen Klasse eine Wahrscheinlichkeit von 51% zuordnet, während er einer korrekten Klasse 49% Wahrscheinlichkeit zuordnen. Die Güte der Klassifikation kann in diesem Fall so gewählt werden, dass sie zwar einer korrekten Klassifikation nicht entspricht, aber ebenso wenig einer komplett falschen Klassifikation, da der korrekten Klasse eine verhältnismäßig hohe Wahrscheinlichkeit zugeordnet wurde.While classifications are discrete, image classifiers can assign a classification, for example, a percentage value that can be used to determine to what extent the Image classifier is sure of the classified class. In this sense, the quality of a classification can be understood as a continuous measure. For example, it is conceivable that an image classifier assigns a probability of 51% to a wrong class, while it assigns a 49% probability to a correct class. In this case, the quality of the classification can be selected such that it does not correspond to a correct classification, but just as little to a completely wrong classification, since a relatively high probability was assigned to the correct class.

Der zweite Bildklassifikator kann zur Ermittlung des zweiten Ausgabesignals ein entsprechendes Eingabebild an ein Machine-Learning-Modell weiterleiten, welches wiederum ausgebildet ist eine Klassifikation des Eingabebildes zu ermitteln, insbesondere ein Convolutional Neural Network. Weiterhin ist denkbar, dass der zweite Bildklassifikator das Eingabebild anpasst, z.B. Farbwerte des Bildes ändern, oder Merkmale aus dem Eingabebild extrahiert, z.B. Kanten, Ecken, Gradienten oder andere über diskrete Faltungen ermittelbare Merkmale, und dann das angepasste Bild bzw. die extrahierten Merkmale an das Machine Learning Modell weiterleitet. Weiterhin ist denkbar, dass der Klassifikator eine Ausgabe des Machine Learning Modells nachverarbeitet und die nachverarbeitete Ausgabe als Ausgabesignal zur Verfügung stellt.To determine the second output signal, the second image classifier can forward a corresponding input image to a machine learning model, which in turn is designed to determine a classification of the input image, in particular a convolutional neural network. It is also conceivable that the second image classifier adapts the input image, e.g. changing color values of the image, or extracts features from the input image, e.g. edges, corners, gradients or other features that can be determined via discrete folds, and then adapts the adapted image or the extracted features forwards the machine learning model. It is also conceivable that the classifier post-processes an output of the machine learning model and makes the post-processed output available as an output signal.

Die Klassifikation, die durch das Ausgabesignal charakterisiert wird, kann dem Eingabebild eine oder mehrere Klassen zuordnen. Alternativ oder zusätzlich kann die Klassifikation auch ein Objekt und seine Position im Eingabebild beschreiben (Objektdetektion). Alternativ oder zusätzlich kann die Klassifikation auch einer Mehrzahl von Pixeln des Eingabebildes eine entsprechende Klasse zuordnen (Semantische Segmentierung).The classification that is characterized by the output signal can assign one or more classes to the input image. Alternatively or additionally, the classification can also describe an object and its position in the input image (object detection). As an alternative or in addition, the classification can also assign a corresponding class to a plurality of pixels of the input image (semantic segmentation).

Ein Bildklassifikator kann ausgebildet sein, Bilddaten eines bestimmten Sensortyps als Eingabebilder zu verarbeiten, insbesondere Bilder, die von einer Videokamera, einem RADAR-Sensoren, einem LIDAR-Sensoren, einem Ultraschallsensor oder einer Thermalkamera aufgezeichnet wurden. Darüber hinaus ist denkbar, dass ein Bildklassifikator derart ausgebildet ist, dass er Bilddaten von Kombinationen verschiedener Sensortypen verarbeiten kann.An image classifier can be designed to process image data of a certain sensor type as input images, in particular images that have been recorded by a video camera, a RADAR sensor, a LIDAR sensor, an ultrasonic sensor or a thermal camera. In addition, it is conceivable that an image classifier is designed in such a way that it can process image data from combinations of different sensor types.

Der Gütewert kann als skalarer Wert verstanden werden, der eine Bewertung der Genauigkeit der Klassifikation charakterisiert. Beispielsweise kann der Gütewert zwischen 0 und 1 liegen und als Wahrscheinlichkeit verstanden werden, dass die Klassifikation des Eingabebildes korrekt. Alternativ ist denkbar, dass der Gütewert diskret ist und eine Güteklasse charakterisiert und das Gütewertmodell wiederum ein Bildklassifikator ist, welches die Güteklasse ermittelt.The quality value can be understood as a scalar value that characterizes an evaluation of the accuracy of the classification. For example, the quality value can be between 0 and 1 and can be understood as the probability that the classification of the input image is correct. Alternatively, it is conceivable that the quality value is discrete and characterizes a quality class and the quality value model is in turn an image classifier which determines the quality class.

Im Allgemeinen kann das Gütewertmodell ein weiteres Machine-Learning-Modell sein, welches entsprechend entweder eine Klassifikation oder eine Regression durchführt.In general, the figure of merit model can be a further machine learning model, which accordingly carries out either a classification or a regression.

Das Bereitstellen des zweiten Bildklassifikators kann auf unterschiedliche Arten durchgeführt werden. Zum Beispiel kann der zweite Bildklassifikator auf einer Mehrzahl von Trainingsbilder trainiert werden. Es ist aber auch denkbar, dass ein bereits trainierter Bildklassifikator aus einer Quelle bezogen wird, wie zum Beispiel dem Internet, und als zweiter Bildklassifikator zur Verfügung gestellt wird.The second image classifier can be provided in different ways. For example, the second image classifier can be trained on a plurality of training images. However, it is also conceivable that an image classifier that has already been trained is obtained from a source, such as the Internet, and is made available as a second image classifier.

Zum Ermitteln eines zu einem Eingabebild korrespondierenden Gütewerts während des Trainings, kann Beispielsweise ein Wert ermitteln werden, der die Abweichung vom zum Eingabebild korrespondierenden gewünschten Ausgabesignal und vom zweiten Bildklassifikator zum Eingabebild ermittelten Ausgabesignal charakterisiert, und der Wert als Gütewert verwendet werden.To determine a quality value corresponding to an input image during training, a value can be determined, for example, which characterizes the deviation from the desired output signal corresponding to the input image and the output signal determined by the second image classifier for the input image, and the value can be used as a quality value.

Im Allgemeinen ist vorstellbar, dass das zum Eingabebild ermittelte Ausgabesignals und das gewünschte Ausgabesignal jeweils als Vektoren vorliegen. Als Gütewert kann in diesem Fall zum Beispiel eine Norm einer Differenz der beiden Vektoren verwendet werden, zum Beispiel die Li-Norm.In general, it is conceivable that the output signal determined for the input image and the desired output signal are each available as vectors. In this case, for example, a norm of a difference between the two vectors can be used as the quality value, for example the Li norm.

Weiterhin ist denkbar, dass die beiden Vektoren als Vektor von Wahrscheinlichkeiten bezüglich der möglichen Klassen vorliegen. In diesem Fall ist denkbar, dass eine Kreuzentropie zwischen den durch die Vektoren charakterisierten Wahrscheinlichkeitsverteilungen als Gütewert verwendet wird.It is also conceivable that the two vectors are present as a vector of probabilities with regard to the possible classes. In this case it is conceivable that a cross entropy between the probability distributions characterized by the vectors is used as the quality value.

In einem weiteren Aspekt der Erfindung ist vorstellbar, dass im Schritt des Ermitteins des Gütewertes der Gütewert zusätzlich basierend auf anderen Eingabebildern zugeordneten zweiten Ausgabesignalen und gewünschten Ausgabesignalen ermittelt wird.In a further aspect of the invention, it is conceivable that, in the step of determining the quality value, the quality value is additionally determined based on second output signals and desired output signals assigned to other input images.

Zum Beispiel ist denkbar, dass die Mehrzahl von Eingabebildern Sequenzen von Eingabebildern enthalten, die einen zeitlichen Verlauf darstellen. Zum Beispiel können Sequenzen aus aufeinanderfolgenden Bildern einer Videoaufnahme bestehen.For example, it is conceivable that the plurality of input images contain sequences of input images that represent a time course. For example, sequences can consist of successive images of a video recording.

Für eine Sequenz kann dann jeweils ein Gütewert ermittelt werden, der anschließend beim Training des Gütewert für alle Eingabebilder der Sequenz verwendet wird. Zum Beispiel ist denkbar, dass jeweils Kreuzentropiewerte für alle Eingabebilder der Sequenz ermittelt werden und als Gütewert der Sequenz der Durchschnitt, der Median, das Minimum oder das Maximum der Kreuzentropiewerte verwendet wird. Weiterhin ist denkbar, dass für die vom zweiten Bildklassifikator ermittelten Ausgabesignale für die Eingabebilder der zweiten Sequenz eine Klassifikationsperformanz bezüglich der Sequenz als Gütewert verwendet wird. Zum Beispiel ist denkbar, dass für die Sequenz die Klassifikationsgenauigkeit ermittelt wird und als Gütewert für alle Eingabebilder zum Training des Gütewertmodells verwendet wird.A quality value can then be determined for each sequence, which is then used when training the quality value for all input images of the sequence. For example, it is conceivable that cross entropy values are determined for all input images of the sequence and that the quality value is the Sequence the mean, median, minimum, or maximum of the cross entropy values is used. It is also conceivable that a classification performance with respect to the sequence is used as the quality value for the output signals determined by the second image classifier for the input images of the second sequence. For example, it is conceivable that the classification accuracy is determined for the sequence and used as a quality value for all input images for training the quality value model.

Für den Fall, dass die Bildklassifikatoren zur Objektdetektion ausgebildet sind, kann das Verfahren mit Average Precision oder Mean Average Precision als Klassifikationsperformanz durchgeführt werden.In the event that the image classifiers are designed for object detection, the method can be carried out with Average Precision or Mean Average Precision as the classification performance.

Für den Fall, dass die Bildklassifikatoren zur semantischen Segmentierung ausgebildet sind, kann das Verfahren mit der Intersection over Union oder mean Intersection over Union als Klassifikationsperformanz durchgeführt werden.In the event that the image classifiers are designed for semantic segmentation, the method can be carried out with the intersection over union or mean intersection over union as classification performance.

Der Vorteil der Verwendung von anderen Ausgabesignalen zur Ermittlung eines Gütewertes ist, dass das Gütewertmodell nicht nur mit Informationen bezüglich eines Eingabebildes trainiert wird, sondern darüber hinaus Informationen von anderen Eingabebildern erhält. Dies ermöglicht es dem Gütewertmodell Situationen zu bestimmen, in denen die Klassifikation des aktuellen Eingabebildes zwar noch eine hohe Güte aufweist, sich jedoch in sehr kurzer Zeit ändert. Hierdurch erhält das Gütewertmodell die Möglichkeit bestimmte zukünftige Klassifikationsgüten zu antizipieren und dies im Gütewert anzuzeigen. Ein System, welches den Gütewert z.B. zur Steuerung verwendet, kann hierdurch auf ein mögliches baldiges verschlechtern der Klassifikationsgüte hingewiesen werden und entsprechende Maßnahmen einleiten, um das System weiter in einem gewünschten Zustand zu halten. Dies erhöht die Performanz, Zuverlässigkeit und Sicherheit des Systems.The advantage of using other output signals to determine a quality value is that the quality value model is not only trained with information relating to an input image, but also receives information from other input images. This enables the quality model to determine situations in which the classification of the current input image is still of high quality, but changes in a very short time. This gives the quality model the possibility to anticipate certain future classification qualities and to display this in the quality value. A system that uses the quality value, e.g. for control purposes, can be notified of a possible deterioration in the quality of the classification in the near future and appropriate measures can be taken to keep the system in a desired state. This increases the performance, reliability and security of the system.

In einem weiteren Aspekt beschäftigt sich die Erfindung mit einem computerimplementierten Verfahren zum Ansteuern eines Aktors basierend auf einem Ausgabesignal und einem Gütewert, wobei das Ausgabesignal eine Klassifikation eines Eingabebildes charakterisiert und der Gütewert eine Güte der Klassifikation charakterisiert, umfassend die Schritte:

• Trainieren eines ersten Bildklassifikators nach einem der vorhergehenden Aspekte;
• Bereitstellen des ersten Bildklassifikators an ein Steuerungssystem;
• Ermitteln des Ausgabesignals und des Gütewerts durch das Steuerungssystem, wobei das Steuerungssystem das Eingabebild an den ersten Bildklassifikator übermittelt, um das Ausgabesignal und den Gütewert zu ermitteln;
• Ansteuern des Aktors entsprechend der durch das Ausgabesignal charakterisierten Klassifikation und der durch den Gütewert charakterisierten Güte der Klassifikation.

In a further aspect, the invention deals with a computer-implemented method for controlling an actuator based on an output signal and a quality value, the output signal characterizing a classification of an input image and the quality value characterizing a quality of the classification, comprising the steps:

• training a first image classifier according to one of the preceding aspects;
• Providing the first image classifier to a control system;
Determination of the output signal and the quality value by the control system, the control system transmitting the input image to the first image classifier in order to determine the output signal and the quality value;
• Activation of the actuator in accordance with the classification characterized by the output signal and the quality of the classification characterized by the quality value.

Unter einem Aktor kann eine Vorrichtung verstanden werden, die ein Signal in eine mechanische Bewegung bzw. Veränderung physikalischer Größen umwandelt. Zum Beispiel kann ein Aktor ein Motor sein, der einen zumindest teilweise automatisierten Roboter antreibt.An actuator can be understood to mean a device that converts a signal into a mechanical movement or change in physical quantities. For example, an actuator can be a motor that drives an at least partially automated robot.

Der Vorteil dieser Herangehensweise ist, dass zur Steuerung des Aktors neben der eigentlichen Klassifikation die Güte der Klassifikation mitberücksichtigt werden kann. Zum Beispiel ist denkbar, dass bei einer niedrigen Güte der Aktor in seiner Bewegung bzw. Fähigkeit zur Veränderung physikalischer Größen entsprechend eingeschränkt wird. Beispielsweise ist denkbar, dass der Aktor ein Motor ist und bei einem entsprechenden niedrigen Gütewert die maximale Geschwindigkeit des Motors eingeschränkt wird. Dies bietet den Vorteil, dass der Aktor auch bei einer möglichen Fehlklassifikation des Bildklassifikators weiter korrekt und sicher betrieben werden kann.The advantage of this approach is that, in addition to the actual classification, the quality of the classification can also be taken into account to control the actuator. For example, it is conceivable that in the case of a low quality the actuator is correspondingly restricted in its movement or ability to change physical quantities. For example, it is conceivable that the actuator is a motor and the maximum speed of the motor is restricted at a correspondingly low quality value. This offers the advantage that the actuator can continue to be operated correctly and safely even in the event of a possible misclassification of the image classifier.

In einem weiteren Aspekt ist denkbar, dass das Verfahren aus dem vorherigen Aspekt verwendet wird, um einen zumindest teilweise automatisierten Roboter zu steuern und eine maximale Bewegungsgeschwindigkeit des Roboters begrenzt wird und/oder eine dem Roboter mögliche Aktionen nicht ausgeführt wird und/oder die Steuerung des Roboters an einen Menschen übergeben wird genau dann, wenn der Gütewert eine inadäquate Güte der Klassifikation anzeigt.In a further aspect, it is conceivable that the method from the previous aspect is used to control an at least partially automated robot and a maximum movement speed of the robot is limited and / or an action possible for the robot is not carried out and / or the control of the Robot is handed over to a human precisely when the quality value indicates an inadequate quality of the classification.

Unter einem zumindest teilweise automatisierten Roboter kann ein Roboter verstanden werden, der zumindest zeitweise eine Aufgabe ohne die Steuerung eines Menschen durchführt. Ein solcher Roboter kann zum Beispiel ein zumindest teilweise autonomes Fahrzeug sein. Ein ermittelter Gütewert kann zum Beispiel als inadäquat erachtet werden, wenn ein hoher Gütewert eine entsprechende hohe Güte der Klassifikation anzeigt und der ermittelte Gütewert unter einen vordefinierten Schwellenwert fällt.An at least partially automated robot can be understood to mean a robot that at least temporarily performs a task without human control. Such a robot can, for example, be an at least partially autonomous vehicle. An ascertained quality value can be regarded as inadequate, for example, if a high quality value indicates a correspondingly high quality of the classification and the ascertained quality value falls below a predefined threshold value.

In diesem Fall kann zum Beispiel bestimmt werden, dass nicht mehr alle Aktionen, die der Roboter in der Lage wäre durchzuführen, sicher sind, da die Umwelt des Roboters nicht als korrekt klassifiziert erachtet werden kann. Im Fall des zumindest teilweise automatisierten Fahrzeugs kann beispielsweise bestimmt werden, dass das Fahrzeug keine Spurwechsel mehr durchführen darf, falls der Gütewert unter den vordefinierten Schwellenwert fällt.In this case, it can be determined, for example, that not all actions that the robot would be able to perform are safe, since the environment of the robot cannot be considered to be correctly classified. In the case of the at least partially automated vehicle, it can be determined, for example, that the vehicle is no longer allowed to change lanes if the quality value falls below the predefined threshold value.

Der Vorteil dieser Herangehensweise ist, dass der Roboter auch bei einer Fehlklassifikation der Umwelt weiter sicher betrieben werden kann, indem sein Funktionsumfang entweder beschränkt wird oder die Steuerung an einen Menschen übergeben wird.The advantage of this approach is that the robot can continue to operate safely even in the event of a misclassification of the environment by either limiting its functional scope or handing control over to a person.

Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert. In den Zeichnungen zeigen:

1 schematisch einen Aufbau eines Steuerungssystems zur Ansteuerung eines Aktors;
2 schematisch ein Ausführungsbeispiel zur Steuerung eines wenigstens teilautonomen Roboters;
3 schematisch ein Ausführungsbeispiel zur Steuerung eines Fertigu ngssystems;
4 schematisch ein Ausführungsbeispiel zur Steuerung eines persönlichen Assistenten und
5 ein Flussdiagramm mit Schritten zum Trainieren eines Bildklassifikators.

Embodiments of the invention are explained in more detail below with reference to the accompanying drawings. In the drawings show:

1 schematically a structure of a control system for controlling an actuator;
2 schematically an embodiment for controlling an at least partially autonomous robot;
3 schematically an embodiment for controlling a manufacturing system;
4th schematically an embodiment for controlling a personal assistant and
5 Figure 12 is a flowchart showing steps for training an image classifier.

Beschreibung der AusführungsbeispieleDescription of the exemplary embodiments

1 zeigt einen Aktor (10) in seiner Umgebung (20) in Interaktion mit einem Steuerungssystem (40). In vorzugsweise regelmäßigen zeitlichen Abständen wird die Umgebung (20) in einem Sensor (30), insbesondere einem bildgebenden Sensor wie einem Videosensor, erfasst, der auch durch eine Mehrzahl von Sensoren gegeben sein kann, beispielsweise eine Stereokamera. Das Sensorsignal (S) - bzw. im Fall mehrerer Sensoren je ein Sensorsignal (S) - des Sensors (30) wird an das Steuerungssystem (40) übermittelt. Das Steuerungssystem (40) empfängt somit eine Folge von Sensorsignalen (S). Das Steuerungssystem (40) ermittelt hieraus Ansteuersignale (A), welche an den Aktor (10) übertragen werden. 1 shows an actuator ( 10 ) in its environment ( 20th ) in interaction with a control system ( 40 ). The environment ( 20th ) in one sensor ( 30th ), in particular an imaging sensor such as a video sensor, which can also be provided by a plurality of sensors, for example a stereo camera. The sensor signal ( S. ) - or in the case of several sensors, one sensor signal each ( S. ) - of the sensor ( 30th ) is sent to the control system ( 40 ) transmitted. The control system ( 40 ) thus receives a sequence of sensor signals ( S. ). The control system ( 40 ) uses this to determine control signals ( A. ), which are sent to the actuator ( 10 ) be transmitted.

Das Steuerungssystem (40) empfängt die Folge von Sensorsignalen (S) des Sensors (30) in einer optionalen Empfangseinheit (50), die die Folge von Sensorsignalen (S) in eine Folge von Eingabebildern (x) umwandelt (alternativ kann auch unmittelbar je das Sensorsignal (S) als Eingabebild (x) übernommen werden). Das Eingabebild (x) kann beispielsweise ein Ausschnitt oder eine Weiterverarbeitung des Sensorsignals (S) sein. Das Eingabebild (x) umfasst einzelne Frames einer Videoaufzeichnung. Mit anderen Worten wird das Eingabebild (x) abhängig von Sensorsignal (S) ermittelt. Die Folge von Eingabebildern (x) wird einem ersten Bildklassifikator (60) zugeführt.The control system ( 40 ) receives the sequence of sensor signals ( S. ) of the sensor ( 30th ) in an optional receiving unit ( 50 ), which are the sequence of sensor signals ( S. ) into a sequence of input images ( x ) (alternatively, the sensor signal ( S. ) as input image ( x ) are accepted). The input image ( x ), for example, a section or further processing of the sensor signal ( S. ) being. The input image ( x ) comprises individual frames of a video recording. In other words, the input image ( x ) depending on the sensor signal ( S. ) determined. The sequence of input images ( x ) is a first image classifier ( 60 ) supplied.

Der erste Bildklassifikator (60) wird vorzugsweise parametriert durch Parameter (Φ), die in einem Parameterspeicher (P) hinterlegt sind und von diesem bereitgestellt werden. Ferner umfasst der erste Bildklassifikator (60) einen zweiten Bildklassifikator und ein Gütemodell.The first image classifier ( 60 ) is preferably parameterized by parameters (Φ), which are stored in a parameter memory ( P. ) are stored and are provided by it. Furthermore, the first image classifier ( 60 ) a second image classifier and a quality model.

Der erste Bildklassifikator (60) ermittelt aus einem Eingabebild (x) ein Ausgabesignal (y) und einen Gütewert (g). Hierzu übermittelt der erste Bildklassifikator (60) das Eingabebild (x) an den zweiten Bildklassifikator, welcher das Ausgabesignal (y) ermittelt. Zusätzlich übermittelt der erste Bildklassifikator (60) das Eingabesignal an das Gütemodell, welches den Gütewert (g) ermittelt. Ein Ausgabesignal (y) umfasst Klassifikationen von Objekte, die der Sensor (30) erfasst hat und ein Gütewert (g) umfasst Informationen bezüglich der Güte der Klassifikationen.The first image classifier ( 60 ) determined from an input image ( x ) an output signal ( y ) and a quality value ( G ). To do this, the first image classifier transmits ( 60 ) the input image ( x ) to the second image classifier, which sends the output signal ( y ) determined. In addition, the first image classifier transmits ( 60 ) the input signal to the quality model, which the quality value ( G ) determined. An output signal ( y ) includes classifications of objects that the sensor ( 30th ) and a quality value ( G ) includes information on the quality of the classifications.

Das Ausgabesignal (y) und der Gütewert (g) werden einer Umformeinheit (80) zugeführt, die hieraus ein oder mehrere Ansteuersignale (A) ermittelt, welche dem Aktor (10) zugeführt werden, um den Aktor (10) entsprechend anzusteuern.The output signal ( y ) and the quality value ( G ) are a forming unit ( 80 ), which from this one or more control signals ( A. ) determines which of the actuator ( 10 ) are fed to the actuator ( 10 ) to be controlled accordingly.

Der Aktor (10) empfängt die Ansteuersignale (A), wird entsprechend angesteuert und führt eine entsprechende Aktion aus. Der Aktor (10) kann hierbei eine (nicht notwendigerweise baulich integrierte) Ansteuerlogik umfassen, welche aus dem Ansteuersignal (A) ein zweites Ansteuersignal ermittelt, mit dem dann der Aktor (10) angesteuert wird.The actuator ( 10 ) receives the control signals ( A. ), is controlled accordingly and carries out a corresponding action. The actuator ( 10 ) can include a (not necessarily structurally integrated) control logic, which is derived from the control signal ( A. ) a second control signal is determined with which the actuator ( 10 ) is controlled.

In weiteren Ausführungsformen umfasst das Steuerungssystem (40) den Sensor (30). In noch weiteren Ausführungsformen umfasst das Steuerungssystem (40) alternativ oder zusätzlich auch den Aktor (10).In further embodiments the control system comprises ( 40 ) the sensor ( 30th ). In still further embodiments the control system comprises ( 40 ) alternatively or additionally also the actuator ( 10 ).

In weiteren bevorzugten Ausführungsformen umfasst das Steuerungssystem (40) eine Ein- oder Mehrzahl von Prozessoren (45) und wenigstens ein maschinenlesbares Speichermedium (46), auf dem Anweisungen gespeichert sind, die dann, wenn sie auf den Prozessoren (45) ausgeführt werden, das Steuerungssystem (40) veranlassen, das erfindungsgemäße Verfahren auszuführen.In further preferred embodiments, the control system comprises ( 40 ) a single or multiple processors ( 45 ) and at least one machine-readable storage medium ( 46 ), on which instructions are stored that, when they are on the processors ( 45 ) are executed, the control system ( 40 ) cause the method according to the invention to be carried out.

In alternativen Ausführungsformen ist alternativ oder zusätzlich zum Aktor (10) eine Anzeigeeinheit (10a) vorgesehen.In alternative embodiments, as an alternative or in addition to the actuator ( 10 ) a display unit ( 10a) intended.

2 zeigt, wie das Steuerungssystem (40) zur Steuerung eines wenigstens teilautonomen Roboters, hier eines wenigstens teilautonomen Kraftfahrzeugs (100), eingesetzt werden kann. 2 shows how the control system ( 40 ) to control an at least partially autonomous robot, here an at least partially autonomous motor vehicle ( 100 ), can be used.

Bei dem Sensor (30) kann es sich beispielsweise um einen vorzugsweise im Kraftfahrzeug (100) angeordneten Videosensor handeln.The sensor ( 30th ) it can be, for example, a preferably in a motor vehicle ( 100 ) arranged video sensor act.

Der erste Bildklassifikator (60) ist eingerichtet, aus den Eingabebildern (x) Objekte zu identifizieren.The first image classifier ( 60 ) is set up, from the input images ( x ) Identify objects.

Bei dem vorzugsweise im Kraftfahrzeug (100) angeordneten Aktor (10) kann es sich beispielsweise um eine Bremse, einen Antrieb oder eine Lenkung des Kraftfahrzeugs (100) handeln. Das Ansteuersignal (A) kann dann derart ermittelt werden, dass der Aktor oder die Aktoren (10) derart angesteuert wird, dass das Kraftfahrzeug (100) beispielsweise eine Kollision mit den vom Bildklassifikator (60) sicher identifizierten Objekte verhindert, insbesondere, wenn es sich um Objekte bestimmter Klassen, z.B. um Fußgänger, handelt.In the case of the preferably in the motor vehicle ( 100 ) arranged actuator ( 10 ) it can be, for example, a brake, a drive or a steering of the motor vehicle ( 100 ) Act. The control signal ( A. ) can then be determined in such a way that the actuator or actuators ( 10 ) is controlled in such a way that the motor vehicle ( 100 ) for example a collision with the image classifier ( 60 ) prevents safely identified objects, especially if they are objects of certain classes, e.g. pedestrians.

Für den Fall, dass ein Gütewert (g) unterhalb eines vordefinierten Schwellenwertes liegt, kann die Umformeinheit (80) ein Ansteuersignal (A) derart ermitteln, dass die maximale Geschwindigkeit des Fahrzeugs unter einer vordefinierten maximalen Geschwindigkeit liegt, die unterhalb einer maximalen Geschwindigkeit liegt, mit der das Fahrzeug sich bewegen könnte. Alternativ oder zusätzlich kann der Aktor (10) derart angesteuert werden, dass das Fahrzeuge keine Spurwechsel vornimmt oder anhält.In the event that a quality value ( G ) is below a predefined threshold value, the forming unit ( 80 ) a control signal ( A. ) determine in such a way that the maximum speed of the vehicle is below a predefined maximum speed which is below a maximum speed at which the vehicle could move. Alternatively or additionally, the actuator ( 10 ) are controlled in such a way that the vehicle does not change lanes or stop.

Alternativ ist auch vorstellbar, dass, falls der Gütewert (g) unterhalb des vordefinierten Schwellenwerts liegt, die Steuerung des Fahrzeugs an einen nicht notwendigerweise im Fahrzeug befindlichen Fahrer oder einen anderen Betreiber übergeben wird.Alternatively, it is also conceivable that, if the quality value ( G ) is below the predefined threshold value, control of the vehicle is transferred to a driver who is not necessarily in the vehicle or to another operator.

Alternativ kann es sich bei dem wenigstens teilautonomen Roboter auch um einen anderen mobilen Roboter (nicht abgebildet) handeln, beispielsweise um einen solchen, der sich durch Fliegen, Schwimmen, Tauchen oder Schreiten fortbewegt. Bei dem mobilen Roboter kann es sich beispielsweise auch um einen wenigstens teilautonomen Rasenmäher oder einen wenigstens teilautonomen Putzroboter handeln. Auch in diesen Fällen kann das Ansteuersignal (A) derart ermittelt werden, dass Antrieb und/oder Lenkung des mobilen Roboters derart angesteuert werden, dass der wenigstens teilautonome Roboter beispielsweise eine Kollision mit vom erste Bildklassifikator (60) identifizierten Objekten verhindert. Darüber hinaus ist denkbar, dass der Roboter bei einem Gütewert (g) unterhalb eines vordefinierten Schwellenwerts den Betrieb einstellt und/oder eine Benachrichtigung bezüglich des unterschreiten des Schwellenwerts übermittelt, zum Beispiel über einen Lautsprecher an einen in der Nähe befindlichen Menschen oder per Datenverbindung an einen Betreiber und/oder Hersteller des Roboters.Alternatively, the at least partially autonomous robot can also be another mobile robot (not shown), for example one that moves by flying, swimming, diving or walking. The mobile robot can also be, for example, an at least partially autonomous lawnmower or an at least partially autonomous cleaning robot. In these cases, too, the control signal ( A. ) are determined in such a way that the drive and / or steering of the mobile robot are controlled in such a way that the at least partially autonomous robot, for example, has a collision with the first image classifier ( 60 ) identified objects. In addition, it is conceivable that the robot with a quality value ( G ) stops operating below a predefined threshold value and / or transmits a notification regarding the undershooting of the threshold value, for example via a loudspeaker to a person in the vicinity or via data connection to an operator and / or manufacturer of the robot.

3 zeigt ein Ausführungsbeispiel, in dem das Steuerungssystem (40) zur Ansteuerung einer Fertigungsmaschine (11) eines Fertigungssystems (200) verwendet wird, indem ein diese Fertigungsmaschine (11) steuernder Aktor (10) angesteuert wird. Bei der Fertigungsmaschine (11) kann es sich beispielsweise um eine Maschine zum Stanzen, Sägen, Bohren und/oder Schneiden handeln. 3 shows an embodiment in which the control system ( 40 ) to control a production machine ( 11 ) of a manufacturing system ( 200 ) is used by using this manufacturing machine ( 11 ) controlling actuator ( 10 ) is controlled. At the manufacturing machine ( 11 ) it can be, for example, a machine for punching, sawing, drilling and / or cutting.

Bei dem Sensor (30) kann es sich dann beispielsweise um einen optischen Sensor handeln, der z.B. Eigenschaften von Fertigungserzeugnissen (12a, 12b) erfasst. Es ist möglich, dass diese Fertigungserzeugnisse (12a, 12b) beweglich sind. Es ist möglich, dass der die Fertigungsmaschine (11) steuernde Aktor (10) abhängig von einer Zuordnung der erfassten Fertigungserzeugnisse (12a, 12b) angesteuert wird, damit die Fertigungsmaschine (11) entsprechend einen nachfolgenden Bearbeitungsschritt des richtigen Fertigungserzeugnisses (12a, 12b) ausführt. Es ist auch möglich, dass durch Identifikation der richtigen Eigenschaften desselben der Fertigungserzeugnisse (12a, 12b) (d.h. ohne eine Fehlzuordnung) die Fertigungsmaschine (11) entsprechend den gleichen Fertigungsschritt für eine Bearbeitung eines nachfolgenden Fertigungserzeugnisses anpasst.The sensor ( 30th ) it can then be, for example, an optical sensor that, for example, measures the properties of manufactured products ( 12a , 12b) recorded. It is possible that these manufactured products ( 12a , 12b) are movable. It is possible that the manufacturing machine ( 11 ) controlling actuator ( 10 ) depending on an assignment of the recorded production products ( 12a , 12b) is controlled so that the production machine ( 11 ) corresponding to a subsequent processing step of the correct manufactured product ( 12a , 12b) executes. It is also possible that by identifying the correct properties of the manufactured products ( 12a , 12b) (i.e. without a misallocation) the production machine ( 11 ) accordingly adapts the same production step for processing a subsequent production product.

Fall der ermittelte Gütewert (g) einen vordefinierten Schwellenwert unterschreitet, ist vorstellbar, dass die Fertigungsmaschine (11) ihren Betrieb einstellt und/oder einen Menschen benachrichtigt, um die ermittelte Klassifikation zu überprüfen. Alternativ kann das Fertigungserzeugnis (12a, 12b), das auf dem Eingabebild (x) zu erkennen ist, für welches der Gütewert (g) ermittelt wurde, zu einer weiteren Inspektion von einem Menschen aussortiert und/oder verwahrt werden.Case the determined quality value ( G ) falls below a predefined threshold value, it is conceivable that the production machine ( 11 ) ceases operations and / or notifies a person to check the determined classification. Alternatively, the manufactured product ( 12a , 12b) that appears on the input screen ( x ) it can be seen for which the quality value ( G ) was identified, sorted out and / or kept by a person for a further inspection.

4 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem (40) zur Steuerung eines persönlichen Assistenten (250) eingesetzt wird. Der Sensor (30) ist bevorzugt ein optischer Sensor, der Bilder einer Geste eines Nutzers (249) empfängt. 4th shows an embodiment in which the control system ( 40 ) to control a personal assistant ( 250 ) is used. The sensor ( 30th ) is preferably an optical sensor, the images of a gesture by a user ( 249 ) receives.

Abhängig von den Signalen des Sensors (30) ermittelt das Steuerungssystem (40) ein Ansteuersignal (A) des persönlichen Assistenten (250), beispielsweise, indem der erste Bildklassifikator (60) eine Gestenerkennung durchführt. Dem persönlichen Assistenten (250) wird dann dieses ermittelte Ansteuersignal (A) übermittelt und er somit entsprechend angesteuert. Dieses ermittelte Ansteuersignal (A) kann insbesondere derart gewählt werden, dass es einer vermuteten gewünschten Ansteuerung durch den Nutzer (249) entspricht. Diese vermutete gewünschte Ansteuerung kann abhängig von der vom Bildklassifikator (60) erkannten Geste ermittelt werden. Das Steuerungssystem (40) kann dann abhängig von der vermuteten gewünschten Ansteuerung das Ansteuersignal (A) zur Übermittlung an den persönlichen Assistenten (250) wählen und/oder das Ansteuersignal (A) zur Übermittlung an den persönlichen Assistenten entsprechend der vermuteten gewünschten Ansteuerung (250) wählen.Depending on the signals from the sensor ( 30th ) the control system determines ( 40 ) a control signal ( A. ) of the personal assistant ( 250 ), for example by adding the first image classifier ( 60 ) performs gesture recognition. The personal assistant ( 250 ) then this determined control signal ( A. ) and is thus controlled accordingly. This determined control signal ( A. ) can in particular be selected in such a way that there is a presumed desired activation by the user ( 249 ) is equivalent to. This presumed desired control can depend on the image classifier ( 60 ) recognized gesture can be determined. The control system ( 40 ), depending on the presumed desired activation, the activation signal ( A. ) for transmission to the personal assistant ( 250 ) and / or the control signal ( A. ) for transmission to the personal assistant according to the presumed desired control ( 250 ) Select.

Falls der zu einem Eingabebild (x) ermittelte Gütewert (g) einen vordefinierten Schwellenwert unterschreitet, kann der persönliche Assistent (250) dem Nutzer (249) mitteilen, dass die Klassifikation der Geste unsicher war und um Bestätigung bitte, dass sie richtig erkannt wurde.If the to an input image ( x ) determined quality value ( G ) falls below a predefined threshold, the personal assistant ( 250 ) the user ( 249 ) inform you that the classification of the gesture was uncertain and ask for confirmation that it was recognized correctly.

Diese entsprechende Ansteuerung kann beispielsweise beinhalten, dass der persönliche Assistent (250) Informationen aus einer Datenbank abruft und sie für den Nutzer (249) rezipierbar wiedergibt.This corresponding control can include, for example, that the personal assistant ( 250 ) Retrieves information from a database and makes it available to the user ( 249 ) reproduces in a receivable manner.

Anstelle des persönlichen Assistenten (250) kann auch ein Haushaltsgerät (nicht abgebildet), insbesondere eine Waschmaschine, ein Herd, ein Backofen, eine Mikrowelle oder eine Spülmaschine vorgesehen sein, um entsprechend angesteuert zu werden.Instead of the personal assistant ( 250 ) a household appliance (not shown), in particular a washing machine, a stove, an oven, a microwave or a dishwasher, can also be provided in order to be controlled accordingly.

5 zeigt schematisch den Ablauf eines Verfahrens zum Training des ersten Bildklassifikators (60). 5 shows schematically the sequence of a method for training the first image classifier ( 60 ).

In einem ersten Schritt (501) wird der zweite Bildklassifikator bereitgestellt, indem er mittels eines ersten Trainingsdatensatzes (T₁) trainiert wird. Der erste Trainingsdatensatz (T₁) umfasst zu diesem Zweck eine Mehrzahl von Eingabebildern, wobei den Eingabebildern jeweils ein korrespondierendes gewünschtes Ausgabesignal zugeordnet ist. Vorzugsweise umfasst der zweite Bildklassifikator ein Machine-Learning-Modell, insbesondere ein neuronales Netz, welches mit den Daten des ersten Trainingsdatensatzes (T₁) trainiert wird.In a first step ( 501 ) the second image classifier is provided in that it is trained using a first training data set (T ₁ ). For this purpose, the first training data set (T ₁ ) comprises a plurality of input images, a corresponding desired output signal being assigned to each of the input images. The second image classifier preferably comprises a machine learning model, in particular a neural network, which is trained with the data of the first training data set (T ₁ ).

In einem zweiten Schritt (502) werden zu einem zweiten Trainingsdatensatz (T₂) Ausgabesignale mittels des zweiten Bildklassifikators ermittelt. Der zweite Trainingsdatensatz (T₂) umfasst eine Mehrzahl von Eingabebildern und zu jedem Eingabebild ein korrespondierendes gewünschtes Ausgabesignal. Zu jedem Eingabebild wird mittels des zweiten Bildklassifikators ein Ausgabesignal ermittelt, sodass zu jedem Eingabebild des zweiten Trainingsdatensatzes (T₂) ein ermitteltes Ausgabesignal und ein gewünschtes Ausgabesignal vorliegen.In a second step ( 502 ) output signals are determined for a second training data set (T ₂ ) by means of the second image classifier. The second training data set (T ₂ ) comprises a plurality of input images and a corresponding desired output signal for each input image. An output signal is determined for each input image by means of the second image classifier, so that a determined output signal and a desired output signal are present _{for each input image of the second training data set (T 2).}

Alternativ ist auch vorstellbar, dass der erste Trainingsdatensatz (T₁) als zweiter Trainingsdatensatz (T₂) verwendet wird.Alternatively, it is also conceivable that the first training data set _{(T 1} ) is used as the second training _{data set (T 2).}

Aus den ermittelten Ausgabesignalen und gewünschten Ausgabesignalen wird in einem dritten Schritt (503) für jedes Eingabebild des zweiten Trainingsdatensatzes (T₂) und Gütewert ermittelt. Als Gütewert wird für jedes Eingabebild eine Abweichung zwischen zum Eingabebilde korrespondierenden ermittelten Ausgabesignal und gewünschten Ausgabesignal ermittelt. Zum Beispiel ist vorstellbar, dass die verschiedenen Ausgabesignale jeweils als Vektoren von Wahrscheinlichkeiten vorliegen und die Abweichung mittels der Kreuzentropiefunktion ermittelt wird.In a third step ( 503 ) determined for each input image of the second training _{data set (T 2} ) and quality value. A deviation between the determined output signal corresponding to the input image and the desired output signal is determined as the quality value for each input image. For example, it is conceivable that the various output signals are each present as vectors of probabilities and that the deviation is determined by means of the cross entropy function.

Alternativ ist vorstellbar, dass der Gütewert für ein Eingabebild auch basierend auf den ermittelten und gewünschten Ausgabesignalen anderer Eingabebilder ermittelt wird. Zum Beispiel ist denkbar, dass die Eingabebilder des zweiten Trainingsdatensatzes (T₂) als Sequenzen von Aufnahmen einer Videokamera vorliegen. In diesem Fall können die Gütewerte für die Eingabebilder einer Sequenz derart ermittelt werden, dass für die Sequenz ein Gütewert bestimmt wird und dieser Gütewert für alle Eingabebilder der Sequenz als Gütewert verwendet wird.Alternatively, it is conceivable that the quality value for an input image is also determined based on the determined and desired output signals of other input images. For example, it is conceivable that the input _{images of the second training data set (T 2} ) are available as sequences of recordings from a video camera. In this case, the quality values for the input images of a sequence can be determined in such a way that a quality value is determined for the sequence and this quality value is used as a quality value for all input images of the sequence.

In einem vierten Schritt (504) wird mittels der Eingabebilder des zweiten Trainingsdatensatzes (T₂) und den zu den Eingabebildern entsprechend ermittelten Gütewerte ein Gütewertmodell trainiert. Das Gütewertmodell ist dabei vorzugsweise ein Machine-Learning-Modell, insbesondere ein neuronales Netz. Dass Gütewertmodell wird so trainiert, dass es zu einem Eingabebild des zweiten Trainingsdatensatzes (T₂) den entsprechenden Gütewert ermittelt. Es ist vorstellbar, dass das Gütewertmodell als Regressionsmodell trainiert wird, um die Gütewerte von Eingabebildern zu ermitteln. Alternativ ist vorstellbar, dass die im dritten Schritt (503) ermittelten Gütewerte auf eine Mehrzahl von Gütewertstufen quantisiert werden und das Gütewertmodell als Klassifikator trainiert wird. Hierbei wird das Gütewertmodell derart trainiert, dass es für ein Eingabebild die Gütewertstufe klassifiziert, auf die der entsprechende Gütewert quantisiert wurde.In a fourth step ( 504 ) a quality value model is trained using the input images of the second training _{data set (T 2} ) and the quality values determined corresponding to the input images. The quality value model is preferably a machine learning model, in particular a neural network. The quality value model is trained in such a way that it determines the corresponding quality value _{for an input image of the second training data set (T 2).} It is conceivable that the quality value model is trained as a regression model in order to determine the quality values of input images. Alternatively, it is conceivable that the third step ( 503 ) determined quality values are quantized to a plurality of quality value levels and the quality value model is trained as a classifier. Here, the quality value model is trained in such a way that it classifies the quality value level to which the corresponding quality value was quantized for an input image.

In einem fünften Schritt (505) werden der zweite Bildklassifikator und das Gütewertmodell als erster Bildklassifikator (60) bereitgestellt.In a fifth step ( 505 ) the second image classifier and the quality model are used as the first image classifier ( 60 ) provided.

Der Begriff „Computer“ umfasst beliebige Geräte zur Abarbeitung vorgebbarer Rechenvorschriften. Diese Rechenvorschriften können in Form von Software vorliegen, oder in Form von Hardware, oder auch in einer Mischform aus Software und Hardware.The term “computer” encompasses any device for processing specifiable arithmetic rules. These calculation rules can be in the form of software, or in the form of hardware, or also in a mixed form of software and hardware.

Claims

Computer-implemented method for training a first image classifier (60), wherein the first image classifier (60) is designed to determine a first output signal (y) and a quality value (g) for an input image (x) transmitted to the first image classifier (60), wherein the first output signal (y) characterizes a classification of the input image and the quality value (g) a quality of the Classification characterized, the method for training comprising the following steps: providing (501) a second image classifier, the second image classifier being designed to determine a second output signal for a transmitted input image (x), the second output signal being a classification of the input image (x) characterized; Determination (502) of a plurality of second output signals for a plurality of input images by means of the second image classifier, one input image of the plurality of input images being assigned a desired output signal and a second output signal from the plurality of second output signals being assigned to the input image, which of the second Image classifier has been determined for the input image; • determining (503) a quality value corresponding to an input image, the quality value being determined based on a second output signal assigned to the input image and the assigned desired output signal and characterizing a quality of the classification of the second output signal; • determining (504) a quality value model based on a plurality of input images and corresponding quality values, the quality value model being designed to determine a quality value for an input image; • Providing (505) the second image classifier and the quality model as a first image classifier.

Procedure according to Claim 1 , wherein in the step of determining the quality value, the quality value is additionally determined based on second output signals and desired output signals assigned to other input images.

Computer-implemented method for controlling an actuator (10) based on an output signal (y) and a quality value (g), the output signal (y) characterizing a classification of an input image (x) and the quality value (g) characterizing a quality of the classification, comprising the steps: • training a first image classifier (60) according to one of the preceding claims; • providing the first image classifier (60) to a control system (40); • Determination of the output signal (y) and the quality value (g) by the control system (40), the control system (40) transmitting the input image (x) to the first image classifier (60) in order to convert the output signal (y) and the quality value ( g) to determine; • Activation of the actuator (10) in accordance with the classification characterized by the output signal (y) and the quality of the classification characterized by the quality value (g).

Procedure according to Claim 3 , wherein in the step of controlling the actuator (10) the actuator (10) is controlled according to the classification characterized by the output signal (y) and the action of the actuator (10a) is restricted accordingly by the quality of the classification characterized by the quality value.

Method according to one of the Claims 3 or 4th , wherein the input image (x) is determined based on a signal (S) of a sensor (30).

Method according to one of the Claims 3 until 5 wherein the control system (40) is used to control a robot (100, 250).

Procedure according to Claim 6 , whereby a maximum movement speed of the robot (100, 250) is limited and / or one of the actions possible for the robot (100, 250) is not carried out and / or the control of the robot is transferred to a human exactly when the quality value (g ) indicates an inadequate quality of the classification.

Training device which is set up, the method according to one of the Claims 1 or 2 to execute.

Computer program which is set up, the method according to one of the Claims 1 until 7th to execute.

Machine-readable storage medium (46) on which the computer program is based Claim 9 is stored.