DE102021108934A1

DE102021108934A1 - Method and system for providing a function using a machine-learned processing unit

Info

Publication number: DE102021108934A1
Application number: DE102021108934.4A
Authority: DE
Inventors: Fridolin Bauer; Hans-Joerg Voegel
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2021-04-09
Filing date: 2021-04-09
Publication date: 2022-10-13

Abstract

Es wird ein Verfahren zur Bereitstellung einer Funktion mittels einer Maschinen-erlernten Verarbeitungseinheit beschrieben, wobei die Verarbeitungseinheit eingerichtet ist, einen erfassten Sensor-Datensatz zu verarbeiten, um ein Funktionsergebnis zu ermitteln, und wobei die Verarbeitungseinheit auf Basis von ersten Trainingsdaten angelernt wurde. Das Verfahren umfasst das Generieren eines rekonstruierten Sensor-Datensatzes für den erfassten Sensor-Datensatz anhand eines Maschinen-erlernten Autoencoders, wobei der Autoencoder anhand der ersten Trainingsdaten angelernt wurde. Des Weiteren umfasst das Verfahren das Vergleichen des erfassten Sensor-Datensatzes mit dem rekonstruierten Sensor-Datensatz, und das Anpassen der Verarbeitungseinheit zur Bereitstellung der Funktion unter Verwendung des erfassten Sensor-Datensatzes als Trainingsdaten in Abhängigkeit von dem Vergleich.

A method for providing a function using a machine-learned processing unit is described, the processing unit being set up to process a detected sensor data set in order to determine a function result, and the processing unit being trained on the basis of first training data. The method includes generating a reconstructed sensor dataset for the acquired sensor dataset using a machine-learned autoencoder, where the autoencoder was trained using the first training data. Furthermore, the method includes comparing the acquired sensor dataset with the reconstructed sensor dataset, and adapting the processing unit to provide the function using the acquired sensor dataset as training data depending on the comparison.

Description

Die Erfindung betrifft ein Verfahren und ein entsprechendes System zur Bereitstellung einer Funktion mittels einer Maschinen-erlernten Verarbeitungseinheit. Das Verfahren und das System sind insbesondere darauf ausgelegt, den Anwendungsbereich, etwa die Operational Design Domain (ODD), der durch eine Verarbeitungseinheit bereitgestellten Funktion, zu erweitern.The invention relates to a method and a corresponding system for providing a function by means of a machine-learned processing unit. The method and the system are designed in particular to expand the area of application, such as the operational design domain (ODD), of the function provided by a processing unit.

Ein Fahrzeug kann ein oder mehrere Maschinen-erlernte Verarbeitungseinheiten aufweisen, die z.B. ausgebildet sind, die Bilder einer Fahrzeugkamera zu verarbeiten, um Objekte im Umfeld des Fahrzeugs und/oder um Fahrspurmarkierungen zu erkennen. Eine Maschinen-erlernte Verarbeitungseinheit wird zu diesem Zweck im Vorfeld auf Basis von Trainingsdaten angelernt, wobei die Trainingsdaten unterschiedliche Konstellationen mit Objekten und/oder Fahrspurmarkierungen aufweisen.A vehicle may have one or more machine-learned processing units configured, for example, to process images from a vehicle camera to detect objects in the vehicle's surroundings and/or around lane markings. For this purpose, a machine-learned processing unit is trained in advance on the basis of training data, the training data having different constellations with objects and/or lane markings.

Der Anwendungsbereich einer Verarbeitungseinheit ist meist auf die Gegebenheiten bzw. Situationen begrenzt, die durch die Trainingsdaten, die zum Anlernen der Verarbeitungseinheit verwendet wurden, wiedergegeben werden. Als Folge daraus kann die Verarbeitungsgüte, z.B. in Bezug auf die Zuverlässigkeit der Erkennung eines Objektes und/oder einer Fahrspurmarkierung, für Gegebenheiten bzw. Situationen außerhalb des Anwendungsbereichs beeinträchtigt sein.The area of application of a processing unit is usually limited to the circumstances or situations represented by the training data used to teach the processing unit. As a result, the processing quality, e.g. with regard to the reliability of the detection of an object and/or a lane marking, can be impaired for circumstances or situations outside the area of application.

Das vorliegende Dokument befasst sich mit der technischen Aufgabe, die Güte einer auf Basis einer Maschinen-erlernten Verarbeitungseinheit bereitgestellten Funktion in effizienter und zuverlässiger Weise zu erhöhen. Insbesondere befasst sich das vorliegende Dokument mit der technischen Aufgabe, den Anwendungsbereich einer Maschinen-erlernten Verarbeitungseinheit (und der damit bereitgestellten Funktion) in effizienter und zuverlässiger Weise anzupassen, insbesondere zu erweitern.The present document deals with the technical task of increasing the quality of a function provided on the basis of a machine-learned processing unit in an efficient and reliable manner. In particular, the present document deals with the technical task of adapting, in particular expanding, the area of application of a machine-learned processing unit (and the function provided thereby) in an efficient and reliable manner.

Die Aufgabe wird durch jeden der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.The object is solved by each of the independent claims. Advantageous embodiments are described inter alia in the dependent claims. It is pointed out that additional features of a patent claim dependent on an independent patent claim without the features of the independent patent claim or only in combination with a subset of the features of the independent patent claim can form a separate invention independent of the combination of all features of the independent patent claim, which can be made the subject of an independent claim, a divisional application or a subsequent application. This applies equally to the technical teachings described in the description, which can form an invention independent of the features of the independent patent claims.

Gemäß einem Aspekt wird ein Verfahren zur Bereitstellung einer Funktion mittels einer Maschinen-erlernten Verarbeitungseinheit beschrieben. Die Verarbeitungseinheit kann eingerichtet sein, einen (an einem ersten Zeitpunkt) erfassten Sensor-Datensatz zu verarbeiten, um ein Funktionsergebnis zu ermitteln. Das Verfahren kann z.B. in einem Fahrzeug ausgeführt werden. Der Sensor-Datensatz kann durch ein oder mehrere Umfeldsensoren eines Fahrzeugs erfasst worden sein.According to one aspect, a method for providing a function using a machine-learned processing unit is described. The processing unit can be set up to process a sensor data record that is recorded (at a first point in time) in order to determine a functional result. For example, the method may be performed in a vehicle. The sensor data record can have been recorded by one or more environment sensors of a vehicle.

Die Verarbeitungseinheit kann ein oder mehrere neuronale Netze umfassen. Die Verarbeitungseinheit, insbesondere die ein oder mehreren neuronalen Netze, können auf Basis von ersten Trainingsdaten angelernt worden sein. Der erfasste Sensor-Datensatz kann z.B. ein von einer Kamera erfasstes Bild umfassen (z.B. mit einer Auflösung von 100 x 100 Bildpunkten oder höher). Die von der Verarbeitungseinheit bereitgestellte Funktion kann die Objekterkennung und/oder die Objektklassifizierung auf Basis des erfassten Bildes umfassen. Alternativ oder ergänzend kann die von der Verarbeitungseinheit bereitgestellte Funktion eine semantische Segmentierung von Bildern sein (bei der die einzelnen Bildpunkte eines Bildes ein oder mehreren Klassen und/oder Objekten zugeordnet werden). Das Funktionsergebnis kann die Position von ein oder mehreren Objekten umfassen, die in dem erfassten Bild dargestellt sind. Alternativ oder ergänzend kann das Funktionsergebnis den Typ eines Objektes umfassen, das in dem erfassten Bild dargestellt ist.The processing unit may include one or more neural networks. The processing unit, in particular the one or more neural networks, can have been trained on the basis of first training data. The recorded sensor data set can, for example, comprise an image recorded by a camera (e.g. with a resolution of 100×100 pixels or higher). The function provided by the processing unit can include object recognition and/or object classification based on the captured image. Alternatively or additionally, the function provided by the processing unit can be a semantic segmentation of images (in which the individual pixels of an image are assigned to one or more classes and/or objects). The function result may include the position of one or more objects represented in the captured image. Alternatively or additionally, the function result can include the type of an object that is represented in the captured image.

Die Verarbeitungseinheit kann ein oder mehrere neuronale Netze umfassen. Die Verarbeitungseinheit, insbesondere die ein oder mehreren neuronalen Netze, kann auf Basis von ersten Trainingsdaten angelernt worden sein. Die ersten Trainingsdaten können eine Vielzahl von (gelabelten) Sensor-Datensätzen aufweisen. Die Label der einzelnen Sensor-Datensätze können dabei das Soll-Funktionsergebnis der Verarbeitungseinheit für den jeweiligen Sensor-Datensatz anzeigen.The processing unit may include one or more neural networks. The processing unit, in particular the one or more neural networks, can have been trained on the basis of first training data. The first training data can have a large number of (labeled) sensor data sets. The labels of the individual sensor data sets can display the target functional result of the processing unit for the respective sensor data set.

Das Verfahren umfasst das Generieren eines rekonstruierten Sensor-Datensatzes für den erfassten Sensor-Datensatz anhand eines Maschinen-erlernten Autoencoders, insbesondere eines Variational Autoencoders (VAE). Zu diesem Zweck kann anhand eines (Maschinen-erlernten) Encoders des Autoencoders ein Code oder eine Repräsentation für den erfassten Sensor-Datensatz ermittelt werden. Dabei weist der Code oder die Repräsentation typischerweise eine gegenüber dem erfassten Sensor-Datensatz reduzierte Dimension auf (z.B. reduziert um den Faktor 10 oder mehr, oder um den Faktor 100 oder mehr). Des Weiteren kann der rekonstruierte Sensor-Datensatz anhand eines (Maschinen-erlernten) Decoders des Autoencoders auf Basis des Codes oder der Repräsentation ermittelt werden.The method includes generating a reconstructed sensor data set for the acquired sensor data set using a machine-learned autoencoder, in particular a variational autoencoder (VAE). For this purpose, a code or a representation for the recorded sensor data set can be determined using a (machine-learned) encoder of the autoencoder. The code or the representation typically has a reduced dimension (e.g. reduced by a factor of 10 or more, or by a factor of 100 or more). Furthermore, the reconstructed sensor data set can be determined using a (machine-learned) decoder of the autoencoder based on the code or the representation.

Der Autoencoder, insbesondere der Encoder und/oder der Decoder des Autoencoders, kann ein oder mehrere neuronale Netze umfassen. Dabei kann der Autoencoder anhand der ersten Trainingsdaten angelernt worden sein. Insbesondere kann der Autoencoder mit den gleichen (nicht-gelabelten) Trainingsdaten angelernt worden sein wie die Verarbeitungseinheit. Der Autoencoder kann dabei angelernt worden sein, um für die einzelnen Sensor-Datensätze aus den ersten Trainingsdaten jeweils rekonstruierte Sensor-Datensätze zu generieren, die (im Mittel) den ursprünglichen Sensor-Datensätzen möglichst ähnlich sind. Im Rahmen des Anlernens des Encoders kann der (mittlere) Wert eines Distanzmaßes für die Abweichung zwischen den rekonstruierten Sensor-Datensätzen und den entsprechenden ursprünglichen Sensor-Datensätzen reduziert, insbesondere minimiert, worden sein.The autoencoder, in particular the encoder and/or the decoder of the autoencoder, can include one or more neural networks. The autoencoder can have been taught based on the first training data. In particular, the autoencoder can have been trained with the same (unlabeled) training data as the processing unit. The autoencoder can have been trained to generate reconstructed sensor datasets for the individual sensor datasets from the first training data, which (on average) are as similar as possible to the original sensor datasets. The (mean) value of a distance measure for the deviation between the reconstructed sensor data sets and the corresponding original sensor data sets can have been reduced, in particular minimized, as part of the training of the encoder.

Im Rahmen des in diesem Dokument beschriebenen Verfahrens kann ein Autoencoder dazu verwendet werden, durch Generieren des rekonstruierten Sensor-Datensatzes für den erfassten Sensor-Datensatz (anhand eines Autoencoders) zu überprüfen, ob der erfasste Sensor-Datensatz innerhalb des Anwendungsbereichs liegt, für den die Verarbeitungseinheit (anhand der ersten Trainingsdaten) angelernt wurde.As part of the method described in this document, an autoencoder can be used to check (using an autoencoder) for the acquired sensor dataset by generating the reconstructed sensor dataset whether the acquired sensor dataset is within the scope for which the Processing unit (based on the first training data) was trained.

Das Verfahren umfasst ferner das Vergleichen des erfassten Sensor-Datensatzes mit dem rekonstruierten Sensor-Datensatz. Insbesondere kann im Rahmen des Vergleichs der Wert des Distanzmaßes für die Abweichung des rekonstruierten Sensor-Datensatzes von dem erfassten Sensor-Datensatz ermittelt werden. Das Distanzmaß kann z.B. die mittlere (absolute und/oder quadratische) Abweichung der einzelnen Datenpunkte des rekonstruierten Sensor-Datensatzes von den entsprechenden Datenpunkten des erfassten Sensor-Datensatzes umfassen.The method further includes comparing the captured sensor dataset to the reconstructed sensor dataset. In particular, the value of the distance measure for the deviation of the reconstructed sensor data set from the detected sensor data set can be determined as part of the comparison. The distance measure can include, for example, the mean (absolute and/or quadratic) deviation of the individual data points of the reconstructed sensor data set from the corresponding data points of the recorded sensor data set.

Des Weiteren umfasst das Verfahren das Bereitstellen der Funktion in Abhängigkeit von dem Vergleich. Die Funktion kann insbesondere in Abhängigkeit von dem Wert des Distanzmaßes bereitgestellt werden.The method also includes providing the function as a function of the comparison. In particular, the function can be provided as a function of the value of the distance measure.

Wie bereits oben dargelegt, kann der Autoencoder, insbesondere der Vergleich des rekonstruierten Sensor-Datensatzes und des zu verarbeitenden (d.h. des erfassten) Sensor-Datensatzes, dazu verwendet werden, um zu überprüfen, ob der von der Verarbeitungseinheit zu verarbeitende Sensor-Datensatz innerhalb oder außerhalb des Anwendungsbereichs der Verarbeitungseinheit liegt. So können die Güte und die Zuverlässigkeit der von der Verarbeitungseinheit bereitgestellten Funktion in effizienter Weise erhöht werden. Insbesondere kann es so ermöglicht werden, ein oder mehrere Sensor-Datensätze zu identifizieren (insbesondere ein oder mehrere Sensor-Datensätze, die außerhalb des Anwendungsbereichs der Verarbeitungseinheit liegen), um mit den ein oder mehreren identifizierten Sensor-Datensätzen die Verarbeitungseinheit erneut zu trainieren und um damit die Güte und die Zuverlässigkeit der von der Verarbeitungsfunktion bereitgestellten Funktion zu erhöhen. Der Autoencoder wird somit nicht als Diagnosefunktion zur Überprüfung der Verarbeitungseinheit verwendet. Vielmehr wird der Autoencoder zur Auswahl von ein oder mehreren Sensor-Datensätzen zum Antrainieren der Verarbeitungseinheit verwendet.As already explained above, the autoencoder, in particular the comparison of the reconstructed sensor data set and the sensor data set to be processed (i.e. the recorded) can be used to check whether the sensor data set to be processed by the processing unit is within or is outside the scope of the processing unit. In this way, the quality and the reliability of the function provided by the processing unit can be increased in an efficient manner. In particular, it can be made possible in this way to identify one or more sensor data sets (in particular one or more sensor data sets that are outside the scope of the processing unit) in order to train the processing unit again with the one or more identified sensor data sets and to thus increasing the quality and reliability of the function provided by the processing function. The autoencoder is therefore not used as a diagnostic function to check the processing unit. Rather, the autoencoder is used to select one or more sensor data sets for training the processing unit.

Der für den erfassten Sensor-Datensatz ermittelte Wert des Distanzmaßes kann mit einem Distanz-Schwellenwert verglichen werden. Dabei kann der Distanz-Schwellenwert als Abgrenzung für den Anwendungsbereich der Verarbeitungseinheit verwendet werden. Die Funktion kann dann in Abhängigkeit davon bereitgestellt werden, ob der Wert des Distanzmaßes größer oder kleiner als der Distanz-Schwellenwert ist. Insbesondere kann bestimmt werden, dass der erfasste Sensor-Datensatz außerhalb des Anwendungsbereichs der Verarbeitungseinheit liegt, wenn der Wert des Distanzmaßes größer als der Distanz-Schwellenwert ist. Andererseits kann bestimmt werden, dass der erfasste Sensor-Datensatz innerhalb des Anwendungsbereichs der Verarbeitungseinheit liegt, wenn der Wert des Distanzmaßes kleiner als der Distanz-Schwellenwert ist. So können die Güte und die Zuverlässigkeit der von der Verarbeitungseinheit bereitgestellten Funktion weiter erhöht werden.The value of the distance measure determined for the recorded sensor data set can be compared with a distance threshold value. In this case, the distance threshold value can be used as a delimitation for the application area of the processing unit. The function can then be provided depending on whether the value of the distance measure is greater or less than the distance threshold. In particular, it can be determined that the acquired sensor data set is outside the scope of the processing unit if the value of the distance measure is greater than the distance threshold value. On the other hand, it can be determined that the acquired sensor data set is within the scope of the processing unit if the value of the distance measure is less than the distance threshold value. In this way, the quality and the reliability of the function provided by the processing unit can be increased further.

Die Verarbeitungseinheit kann, in Abhängigkeit von dem Vergleich, unter Verwendung des erfassten Sensor-Datensatzes als (zusätzliche) Trainingsdaten angepasst werden (insbesondere dann, wenn erkannt wird, dass der erfasste Sensor-Datensatz außerhalb des Anwendungsbereichs der Verarbeitungseinheit liegt). So kann in effizienter und zuverlässiger Weise der Anwendungsbereich der Verarbeitungseinheit erweitert werden. Ferner kann so in effizienter und zuverlässiger Weise die Güte der Verarbeitungseinheit in Anwendungsbereichen verbessert werden, die anhand des Autoencoders als nicht ausreichend performant identifiziert wurden.Depending on the comparison, the processing unit can be adapted using the acquired sensor data set as (additional) training data (in particular if it is recognized that the acquired sensor data set is outside the scope of the processing unit). In this way, the range of application of the processing unit can be expanded in an efficient and reliable manner. Furthermore, in this way the quality of the processing unit can be improved in an efficient and reliable manner in application areas that have been identified as insufficiently performant on the basis of the autoencoder.

Es kann somit auf Basis des Vergleichs des rekonstruierten Sensor-Datensatzes mit dem erfassten Sensor-Datensatzes bestimmt werden, ob der erfasste Sensor-Datensatz innerhalb oder außerhalb des von den ersten Trainingsdaten abhängigen Anwendungsbereichs der Verarbeitungseinheit liegt. Die Funktion kann dann bereitgestellt werden, insbesondere kann die Verarbeitungseinheit zur Bereitstellung der Funktion angepasst werden, in Abhängigkeit davon, ob der erfasste Sensor-Datensatz innerhalb oder außerhalb des Anwendungsbereichs der Verarbeitungseinheit liegt. So können die Güte und die Zuverlässigkeit der von der Verarbeitungseinheit bereitgestellten Funktion weiter erhöht werden.It can thus be determined on the basis of the comparison of the reconstructed sensor data set with the acquired sensor data set whether the acquired sensor data set is inside or outside of what is dependent on the first training data Scope of the processing unit is located. The function can then be provided, in particular the processing unit for providing the function can be adapted depending on whether the acquired sensor data set is within or outside the scope of the processing unit. In this way, the quality and the reliability of the function provided by the processing unit can be increased further.

Das Verfahren kann umfassen, das Verwenden des erfassten Sensor-Datensatzes als Trainingsdaten zum Anlernen der Verarbeitungseinheit, wenn der Wert des Distanzmaßes größer als der Distanz-Schwellenwert ist (und somit der erfasste Sensor-Datensatz außerhalb des Anwendungsbereichs der Verarbeitungseinheit liegt). In entsprechender Weise kann der erfasste Sensor-Datensatz als Trainingsdaten zum Anlernen des Autoencoders verwendet werden, wenn der Wert des Distanzmaßes größer als der Distanz-Schwellenwert ist. So kann in effizienter und zuverlässiger Weise der Anwendungsbereich der Verarbeitungseinheit erweitert werden.The method may include using the collected sensor data set as training data for training the processing unit if the value of the distance measure is greater than the distance threshold (and thus the collected sensor data set is outside the scope of the processing unit). Correspondingly, the recorded sensor data record can be used as training data for teaching the autoencoder if the value of the distance measure is greater than the distance threshold value. In this way, the range of application of the processing unit can be expanded in an efficient and reliable manner.

Wie bereits oben dargelegt, kann der erfasste Sensor-Datensatz von zumindest einem Sensor (z.B. von einer Kamera) an einem ersten Zeitpunkt erfasst worden sein. Das Verfahren kann umfassen, wenn der Wert des Distanzmaßes für den erfassten Sensor-Datensatz (an dem ersten Zeitpunkt) größer als der Distanz-Schwellenwert ist, das Ermitteln einer zeitlichen Sequenz von erfassten Sensor-Datensätzen ausgehend von dem ersten Zeitpunkt, sowie das Ermitteln von zweiten Trainingsdaten zum Anlernen der Verarbeitungseinheit und/oder des Autoencoders auf Basis der zeitlichen Sequenz von erfassten Sensor-Datensätzen. Es können somit bei Erkennung eines Sensor-Datensatzes, der außerhalb des Anwendungsbereichs liegt, direkt mehrere direkt darauffolgende Sensor-Datensätze erfasst und als Trainingsdaten verwendet werden. So können in besonders effizienter und zuverlässiger Weise der Anwendungsbereich der Verarbeitungseinheit erweitert und/oder die Güte der Verarbeitungseinheit innerhalb eines bestimmten Anwendungsbereichs erhöht werden.As already explained above, the recorded sensor data set can have been recorded by at least one sensor (e.g. by a camera) at a first point in time. The method can include, if the value of the distance measure for the captured sensor data set (at the first point in time) is greater than the distance threshold value, determining a time sequence of captured sensor data sets starting from the first point in time, and determining second training data for training the processing unit and/or the autoencoder on the basis of the temporal sequence of recorded sensor data sets. Thus, when a sensor data record is detected that is outside the application area, several sensor data records that follow directly thereafter can be recorded and used as training data. In this way, the area of application of the processing unit can be expanded in a particularly efficient and reliable manner and/or the quality of the processing unit can be increased within a specific area of application.

Die angepasste Verarbeitungseinheit und der angepasste Autoencoder (die auf Basis der ursprünglichen ersten Trainingsdaten und auf Basis der weiteren Trainingsdaten angelernt wurden) können erneut im Rahmen des beschriebenen Verfahrens verwendet werden, um die Funktion (mit erhöhter Güte und/oder mit erweitertem Anwendungsbereich) bereitzustellen. Es können dann wieder auf Basis des (angepassten) Autoencoders Trainingsdaten zur weiteren Anpassung der Verarbeitungseinheit und/oder des Autoencoders identifiziert werden. So können iterativ die Güte und/oder der Anwendungsbereich der Verarbeitungseinheit erweitert werden.The adapted processing unit and the adapted autoencoder (which were trained on the basis of the original first training data and on the basis of the further training data) can be used again within the framework of the method described in order to provide the function (with increased quality and/or with an extended range of application). Training data for further adjustment of the processing unit and/or the autoencoder can then be identified again on the basis of the (adapted) autoencoder. In this way, the quality and/or the area of application of the processing unit can be expanded iteratively.

Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs und/oder auf einem Server) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.According to a further aspect, a software (SW) program is described. The SW program can be set up to be executed on a processor (e.g. on a vehicle's control unit and/or on a server) and thereby to execute the method described in this document.

Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.According to a further aspect, a storage medium is described. The storage medium can comprise a SW program which is set up to be executed on a processor and thereby to carry out the method described in this document.

Gemäß einem weiteren Aspekt wird ein System zur Bereitstellung einer Funktion mittels einer Maschinen-erlernten Verarbeitungseinheit beschrieben, die eingerichtet ist, einen erfassten Sensor-Datensatz zu verarbeiten, um ein Funktionsergebnis zu ermitteln. Das System umfasst einen Maschinen-erlernten Autoencoder, der eingerichtet ist, einen rekonstruierten Sensor-Datensatz für den erfassten Sensor-Datensatz zu generieren. Außerdem umfasst das System eine Vergleichseinheit, die eingerichtet ist, den erfassten Sensor-Datensatz mit dem rekonstruierten Sensor-Datensatz zu vergleichen, um ein Vergleichsergebnis zu ermitteln. Des Weiteren ist das System eingerichtet, die Funktion in Abhängigkeit von dem Vergleichsergebnis der Vergleichseinheit bereitzustellen.According to a further aspect, a system for providing a function using a machine-learned processing unit is described, which is set up to process a detected sensor data record in order to determine a function result. The system includes a machine-learned autoencoder configured to generate a reconstructed sensor data set for the acquired sensor data set. The system also includes a comparison unit that is set up to compare the recorded sensor data set with the reconstructed sensor data set in order to determine a comparison result. Furthermore, the system is set up to provide the function depending on the comparison result of the comparison unit.

Gemäß einem weiteren Aspekt wird ein (Straßen-) Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus oder ein Motorrad) oder ein Server beschrieben, das bzw. der das in diesem Dokument beschriebene System umfasst.According to a further aspect, a (road) motor vehicle (in particular a passenger car or a truck or a bus or a motorcycle) or a server is described which comprises the system described in this document.

Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden.It should be noted that the methods, devices and systems described in this document can be used both alone and in combination with other methods, devices and systems described in this document. Furthermore, any aspects of the methods, devices and systems described in this document can be combined with one another in a variety of ways. In particular, the features of the claims can be combined with one another in many different ways.

Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen

1 beispielhafte Komponenten eines Fahrzeugs;
2a ein beispielhaftes neuronales Netz;
2b ein beispielhaftes Neuron;
3a ein beispielhaftes System zur Anpassung des Anwendungsbereichs einer Maschinen-erlernten Verarbeitungseinheit;
3b einen beispielhaften Maschinen-erlernten Autoencoder; und
4 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Anpassung des Anwendungsbereichs einer Maschinen-erlernten Verarbeitungseinheit.

The invention is described in more detail below using exemplary embodiments. show it

1 exemplary components of a vehicle;
2a an exemplary neural network;
2 B an exemplary neuron;
3a an example system for adapting the scope of a machine-learned processing unit;
3b an example machine-learned autoencoder; and
4 14 is a flow diagram of an example method for adjusting the scope of a machine-learned processing unit.

Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der effizienten und zuverlässigen Anpassung des Anwendungsbereichs einer Maschinen-erlernten Verarbeitungseinheit zur Bereitstellung einer bestimmten Funktion. In diesem Zusammenhang zeigt 1 beispielhafte Komponenten eines Fahrzeugs 100, in dem ein oder mehrere Maschinen-erlernte Verarbeitungseinheiten bereitgestellt werden, z.B. im Rahmen einer automatisierten Fahrfunktion des Fahrzeugs 100.As stated at the outset, the present document deals with the efficient and reliable adaptation of the scope of a machine-learned processing unit to provide a specific function. In this context shows 1 exemplary components of a vehicle 100 in which one or more machine-learned processing units are provided, e.g. as part of an automated driving function of the vehicle 100.

Das Fahrzeug 100 kann ein oder mehrere Umfeldsensoren 102 (z.B. eine Kamera, einen Radarsensor, einen Lidarsensor, etc.) umfassen, die eingerichtet sind, Umfelddaten (d.h. Sensordaten) in Bezug auf das Umfeld des Fahrzeugs 100 zu erfassen. Eine (Steuer- und/oder Auswerte-) Vorrichtung 101 des Fahrzeugs 100 kann eingerichtet sein, auf Basis der Umfelddaten und unter Verwendung von ein oder mehreren Maschinen-erlernten Verarbeitungseinheiten ein oder mehrere Funktionen bereitzustellen. Beispielsweise können auf Basis der Umfelddaten durch eine erste Funktion Objekte im Umfeld des Fahrzeugs 100 erkannt werden. Ferner kann durch eine zweite Funktion auf Basis der Umfelddaten eine Erkennung von Fahrspurmarkierungen erfolgen. Ferner können durch eine weitere Funktion auf Basis der Umfelddaten Fahrparameter (wie z.B. die Fahrgeschwindigkeit, der Schwimmwinkel, etc.) des Fahrzeugs 100 ermittelt werden.The vehicle 100 may include one or more environment sensors 102 (e.g., a camera, a radar sensor, a lidar sensor, etc.) configured to capture environment data (i.e., sensor data) relating to the environment of the vehicle 100 . A (control and/or evaluation) device 101 of the vehicle 100 can be set up to provide one or more functions based on the environmental data and using one or more machine-learned processing units. For example, objects in the vicinity of vehicle 100 can be detected on the basis of the surroundings data using a first function. Furthermore, lane markings can be recognized by a second function based on the environmental data. Furthermore, driving parameters (such as driving speed, sideslip angle, etc.) of vehicle 100 can be determined using a further function based on the environmental data.

Das Fahrzeug 100 kann ferner ein oder mehrere Aktoren 103 (wie z.B. eine Lenkvorrichtung, einen Antriebsmotor, eine Bremsvorrichtung, etc.) umfassen, die von der Vorrichtung 101 betrieben werden (z.B. auf Basis der erkannten Objekte, Fahrspurmarkierungen und/oder Fahrparameter), z.B. um das Fahrzeug 100 zumindest teilweise automatisiert längs- und/oder querzuführen.The vehicle 100 may further include one or more actuators 103 (such as a steering device, a drive motor, a braking device, etc.) that are operated by the device 101 (e.g. based on the detected objects, lane markings and/or driving parameters), e.g. to guide vehicle 100 longitudinally and/or laterally in an at least partially automated manner.

Eine Maschinen-erlernte Verarbeitungseinheit kann ein oder mehrere angelernte neuronale Netze umfassen. 2a und 2b zeigen beispielhafte Komponenten eines neuronalen Netzes 200, insbesondere eines Feedforward-Netzes. Das Netz 200 umfasst in dem dargestellten Beispiel zwei Eingangs-Neuronen bzw. Eingabe-Knoten 202, die zu einem bestimmten Zeitpunkt t jeweils einen aktuellen Wert einer Eingangsgröße als Eingangswert 201 aufnehmen. Die ein oder mehrere Eingangs-Knoten 202 sind Teil einer Eingangs-Schicht 211. Allgemein kann das Netz 200 ausgebildet sein, Eingangsdaten mit ein oder mehreren Eingangswerten 201 (z.B. die Bildpunkte eines Bildes) aufzunehmen.A machine-learned processing unit may include one or more trained neural networks. 2a and 2 B show exemplary components of a neural network 200, in particular a feedforward network. In the example shown, the network 200 comprises two input neurons or input nodes 202, which each record a current value of an input variable as the input value 201 at a specific point in time t. The one or more input nodes 202 are part of an input layer 211. In general, the network 200 can be designed to receive input data with one or more input values 201 (eg the pixels of an image).

Das neuronale Netz 200 umfasst ferner Neuronen 220 in ein oder mehreren verdeckten Schichten 212 des neuronalen Netzes 200. Jedes der Neuronen 220 kann als Eingangswerte die einzelnen Ausgangswerte der Neuronen der vorhergehenden Schicht 212, 211 aufweisen (oder zumindest einen Teil davon). In jedem der Neuronen 220 erfolgt eine Verarbeitung, um in Abhängigkeit von den Eingangswerten einen Ausgangswert des Neurons 220 zu ermitteln. Die Ausgangswerte der Neuronen 220 der letzten verdeckten Schicht 212 können in einem Ausgangs-Neuron bzw. Ausgabe-Knoten 220 einer Ausgangs-Schicht 213 verarbeitet werden, um die ein oder mehreren Ausgangswerte 203 des neuronalen Netzes 200 zu ermitteln. Allgemein kann das Netz 200 ausgebildet sein, Ausgangsdaten mit ein oder mehreren Ausgangswerten 203 bereitzustellen.The neural network 200 further comprises neurons 220 in one or more hidden layers 212 of the neural network 200. Each of the neurons 220 can have as input values the individual output values of the neurons of the previous layer 212, 211 (or at least a part thereof). Processing is carried out in each of the neurons 220 in order to determine an output value of the neuron 220 depending on the input values. The output values of the neurons 220 of the last hidden layer 212 can be processed in an output neuron or output node 220 of an output layer 213 in order to determine the one or more output values 203 of the neural network 200 . In general, the network 200 can be designed to provide output data with one or more output values 203 .

2b veranschaulicht die beispielhafte Signalverarbeitung innerhalb eines Neurons 220, insbesondere innerhalb der Neuronen 202 der ein oder mehreren verdeckten Schichten 212 und/oder der Ausgangs-Schicht 213 und/oder der Eingangs-Schicht 211. Die Eingangswerte 221 des Neurons 220 werden mit individuellen Gewichten 222 gewichtet, um in einer Summeneinheit 223 eine gewichtete Summe 224 der Eingangswerte 221 zu ermitteln (ggf. unter Berücksichtigung eines Bias bzw. Offsets 227). Durch eine Aktivierungsfunktion 225 kann die gewichtete Summe 224 auf einen Ausgangswert 226 des Neurons 220 abgebildet werden. Dabei kann durch die Aktivierungsfunktion 225 z.B. eine Begrenzung des Wertebereichs erfolgen. Für ein Neuron 220 kann z.B. eine Sigmoid-Funktion oder eine Tangens hyperbolicus (tanh)-Funktion oder eine Rectified Linear Unit (ReLU), z.B. f(x) = max(0, x) als Aktivierungsfunktion 225 verwendet werden. Ggf. kann der Wert der gewichteten Summe 224 mit einem Offset 227 verschoben werden. 2 B 1 illustrates the exemplary signal processing within a neuron 220, in particular within the neurons 202 of the one or more hidden layers 212 and/or the output layer 213 and/or the input layer 211. The input values 221 of the neuron 220 are weighted with individual weights 222 , in order to determine a weighted sum 224 of the input values 221 in a summation unit 223 (possibly taking into account a bias or offset 227). The weighted sum 224 can be mapped to an output value 226 of the neuron 220 by an activation function 225 . In this case, the activation function 225 can be used, for example, to limit the value range. For example, a sigmoid function or a hyperbolic tangent (tanh) function or a rectified linear unit (ReLU), eg f(x)=max(0, x) can be used as activation function 225 for a neuron 220 . If necessary, the value of the weighted sum 224 can be shifted with an offset 227 .

Ein Neuron 220 weist somit Gewichte 222 und/oder ggf. einen Offset 227 als Neuron-Parameter auf. Die Neuron-Parameter der Neuronen 220 eines neuronalen Netzes 200 können in einer Trainingsphase angelernt werden, um zu bewirken, dass das neuronale Netz 200 eine bestimmte Funktion approximiert und/oder ein bestimmtes Verhalten modelliert.A neuron 220 thus has weights 222 and/or possibly an offset 227 as neuron parameters. The neuron parameters of the neurons 220 of a neural network 200 can be learned in a training phase in order to cause the neural network 200 to approximate a specific function and/or to model a specific behavior.

Das Anlernen eines neuronalen Netzes 200 kann z.B. anhand des Backpropagation-Algorithmus erfolgen. Zu diesem Zweck können in einer ersten Phase einer q^ten Epoche eines Lernalgorithmus für die Eingangswerte 201 an den ein oder mehreren Eingangs-Knoten 202 des neuronalen Netzes 200 einer bestimmten Menge von Trainings-Datensätzen entsprechende Ausgangswerte 203 an dem Ausgang der ein oder mehreren Ausgangs-Neuronen 220 ermittelt werden. Auf Basis der Ausgangswerte 203 kann der Fehlerwert einer Optimierungs- bzw. Fehlerfunktion ermittelt werden. Insbesondere können die Abweichungen zwischen den von dem Netz 200 berechneten Ausgangswerten 203 und dem Soll-Ausgangswerten aus den Trainings-Datensätzen als Fehlerwerte berechnet werden.A neural network 200 can be trained using the backpropagation algorithm, for example take place. For this purpose, in a first phase of a q ^th epoch of a learning algorithm for the input values 201 at the one or more input nodes 202 of the neural network 200, output values 203 corresponding to a specific set of training data sets can be generated at the output of the one or more output Neurons 220 are identified. The error value of an optimization or error function can be determined on the basis of the output values 203 . In particular, the deviations between the initial values 203 calculated by the network 200 and the target initial values from the training data records can be calculated as error values.

In einer zweiten Phase der q^ten Epoche des Lernalgorithmus erfolgt eine Rückpropagation des Fehlers bzw. des Fehlerwertes von dem Ausgang zum Eingang des neuronalen Netzes, um schichtweise die Neuron-Parameter der Neuronen 220 zu verändern. Dabei kann die ermittelte Fehlerfunktion am Ausgang partiell nach jedem einzelnen Neuron-Parameter des neuronalen Netzes 200 abgeleitet werden, um ein Ausmaß und/oder eine Richtung zur Anpassung der einzelnen Neuron-Parameter zu ermitteln. Dieser Lernalgorithmus kann iterativ für eine Vielzahl von Epochen wiederholt werden, bis ein vordefiniertes Konvergenz- und/oder Abbruchkriterium erreicht wird.In a second phase of the q ^th epoch of the learning algorithm, the error or the error value is backpropagated from the output to the input of the neural network in order to change the neuron parameters of the neurons 220 layer by layer. In this case, the determined error function at the output can be partially derived according to each individual neuron parameter of the neural network 200 in order to determine an extent and/or a direction for the adjustment of the individual neuron parameters. This learning algorithm can be repeated iteratively for a large number of epochs until a predefined convergence and/or termination criterion is reached.

Zum Anlernen eines neuronalen Netzes 200 für eine Maschinen-erlernte Verarbeitungseinheit können somit Trainingsdaten mit einer Vielzahl von Trainings-Datensätzen verwendet werden. Ein Trainings-Datensatz weist dabei als Eingangsdaten 201 einen Sensor-Datensatz (z.B. das Bild einer Umfeld-Kamera 102 eines Fahrzeugs 100) auf. Der Sensor-Datensatz kann eine bestimmte Situation (z.B. ein oder mehrere bestimmte Objekte) wiedergeben. Der Trainings-Datensatz kann ferner Soll-Ausgangsdaten 203 für den entsprechenden Sensor-Datensatz (z.B. die Position und/oder den Typ der ein oder mehreren Objekte) anzeigen. Der Sensor-Datensatz kann somit gemäß der Funktion, die durch die Maschinen-erlernte Verarbeitungseinheit zu erbringen ist, gelabelt sein.Training data with a large number of training data sets can thus be used to train a neural network 200 for a machine-learned processing unit. A training data set has a sensor data set (e.g. the image of a surroundings camera 102 of a vehicle 100) as input data 201 . The sensor data set can reflect a specific situation (e.g. one or more specific objects). The training data set may also indicate target output data 203 for the corresponding sensor data set (e.g., the location and/or type of the one or more objects). The sensor data set can thus be labeled according to the function to be performed by the machine-learned processing unit.

Die zum Anlernen eines neuronalen Netzes 200 einer Verarbeitungseinheit verwendeten Trainingsdaten geben typischerweise nur eine begrenzte Anzahl von Situationen wieder, durch den der Anwendungsbereich des neuronalen Netzes 200 begrenzt wird. Der Anwendungsbereich kann ggf. von einer Operational Design Domain, ODD, abhängen, die mit einer bestimmten Taxonomie (z.B. mit Dimensionen wie Wetter, Straßentyp, Lichtverhältnisse, etc.) assoziiert ist. Ggf. kann der Anwendungsbereich unabhängig von einer bestimmten ODD sein.The training data used to train a neural network 200 of a processing unit typically only reflects a limited number of situations, which limits the range of application of the neural network 200 . The scope may depend on an Operational Design Domain, ODD, associated with a specific taxonomy (e.g. with dimensions such as weather, road type, lighting conditions, etc.). If necessary, the area of application can be independent of a specific ODD.

Die Begrenzung des Anwendungsbereichs kann zur Folge haben, dass die Funktion der Verarbeitungseinheit bei einem Sensor-Datensatz, der eine Situation beschreibt, die außerhalb des Anwendungsbereichs der Verarbeitungseinheit liegt, eine reduzierte Güte aufweist.Limiting the area of application can result in the function of the processing unit having a reduced quality in the case of a sensor data set that describes a situation that lies outside the area of application of the processing unit.

3a zeigt ein System 300 zur Anpassung, insbesondere zur Erweiterung, des Anwendungsbereichs einer Maschinen-erlernten Verarbeitungseinheit 310, wobei die Verarbeitungseinheit 310 z.B. ein oder mehrere neuronale Netze 200 umfasst. Anhand von ein oder mehreren Sensoren 102 kann ein Sensor-Datensatz 301 (z.B. ein Bild einer Kamera bzw. die Umfelddaten von ein oder mehreren Umfeldsensoren 102) bereitgestellt und als Eingangsdaten 201 an die Verarbeitungseinheit 310 übergeben werden. Die Verarbeitungseinheit 310 kann eingerichtet sein, basierend auf dem Sensor-Datensatz 301 ein Funktionsergebnis 303 als Ausgangsdaten 203 bereitzustellen. Beispielhafte Funktionsergebnisse 303 sind der Typ und/oder die Position von ein oder mehreren erkannten Objekten in dem Sensor-Datensatz 301. 3a shows a system 300 for adapting, in particular for expanding, the scope of a machine-learned processing unit 310, wherein the processing unit 310 comprises one or more neural networks 200, for example. A sensor data record 301 (for example an image from a camera or the surroundings data from one or more surroundings sensors 102 ) can be provided on the basis of one or more sensors 102 and transferred to the processing unit 310 as input data 201 . The processing unit 310 can be set up to provide a functional result 303 as output data 203 based on the sensor data record 301 . Example function results 303 are the type and/or the position of one or more detected objects in the sensor data set 301.

Das System 300 umfasst ferner einen Maschinen-erlernten Autoencoder 320, der eingerichtet ist, den erfassten Sensor-Datensatz 301 der ein oder mehreren Sensoren 102 zu kodieren und zu dekodieren, um einen rekonstruierten Sensor-Datensatz 321 aus dem erfassten Sensor-Datensatz 301 zu generieren. Der Maschinen-erlernte Autoencoder 320 wurde dabei auf Basis der gleichen Trainingsdaten angelernt wie die Verarbeitungseinheit 310 und weist somit den gleichen Anwendungsbereich auf wie die Verarbeitungseinheit 310. Der Autoencoder 320 kann somit dazu verwendet werden, einen Sensor-Datensatz 301 zu erkennen, der außerhalb des Anwendungsbereichs der Verarbeitungseinheit 310 liegt.The system 300 further includes a machine-learned autoencoder 320 configured to encode and decode the captured sensor data set 301 of the one or more sensors 102 in order to generate a reconstructed sensor data set 321 from the captured sensor data set 301 . The machine-learned autoencoder 320 was taught on the basis of the same training data as the processing unit 310 and thus has the same area of application as the processing unit 310. The autoencoder 320 can therefore be used to detect a sensor data set 301 that is outside of the Scope of application of the processing unit 310 is located.

Das System 300 weist eine Vergleichseinheit 322 auf, die eingerichtet ist, den erfassten Sensor-Datensatz 301 mit dem rekonstruierten Sensor-Datensatz 321 zu vergleichen. Insbesondere kann die Vergleichseinheit 322 eingerichtet sein, den Wert 323 eines Distanzmaßes für die Distanz zwischen dem erfassten Sensor-Datensatz 301 und dem rekonstruierten Sensor-Datensatz 321 zu ermitteln. Das Distanzmaß kann z.B. eine mittlere quadratische Abweichung zwischen dem erfassten Sensor-Datensatz 301 und dem rekonstruierten Sensor-Datensatz 321 umfassen. Das Distanzmaß, das zur Erkennung eines Sensor-Datensatzes 301 verwendet wird, der außerhalb des Anwendungsbereichs der Verarbeitungseinheit 310 liegt, kann das gleiche Distanzmaß sein, das zum Anlernen des Autoencoders 320 verwendet wird.The system 300 has a comparison unit 322 which is set up to compare the recorded sensor data record 301 with the reconstructed sensor data record 321 . In particular, the comparison unit 322 can be set up to determine the value 323 of a distance measure for the distance between the detected sensor data set 301 and the reconstructed sensor data set 321 . The distance measure can include, for example, a mean square deviation between the recorded sensor data set 301 and the reconstructed sensor data set 321 . The distance measure used to identify a sensor dataset 301 that is outside the scope of processing unit 310 may be the same distance measure used to train autoencoder 320 .

Des Weiteren kann das System 300 eine Entscheidungseinheit 324 umfassen, die eingerichtet ist, auf Basis des ermittelten Wertes 323 des Distanzmaßes zu entscheiden, ob der erfasste Sensor-Datensatz 301 innerhalb oder außerhalb des Anwendungsbereichs der Verarbeitungseinheit 310 liegt. Beispielsweise kann entschieden werden, dass der erfasste Sensor-Datensatz 301 innerhalb des Anwendungsbereichs liegt, wenn der Wert 323 des Distanzmaßes kleiner als oder gleich wie ein bestimmten Distanz-Schwellenwert ist. Andererseits kann entschieden werden, dass der erfasste Sensor-Datensatz 301 außerhalb des Anwendungsbereichs liegt.Furthermore, the system 300 can include a decision unit 324 which is set up to decide on the basis of the determined value 323 of the distance measure whether the recorded sensor data set 301 is within or outside the application range of the processing unit 310 . For example, it may be decided that the sensed sensor data set 301 is within the scope if the distance measure value 323 is less than or equal to a certain distance threshold value. On the other hand, it can be decided that the detected sensor data set 301 is outside the application area.

Mittels einer Auswahleinheit 325 kann auf Basis der Entscheidung der Entscheidungseinheit 324 bewirkt werden, dass der erfasste Sensor-Datensatz 301 (und ggf. direkt darauf folgende Sensor-Datensätze) zur Erweiterung der Trainingsdaten in einen Datenspeicher 305 aufgenommen wird oder nicht. Insbesondere können in dem Datenspeicher 305 erfasste Sensor-Datensätze 311 gespeichert werden, die als außerhalb des Anwendungsbereichs der Verarbeitungseinheit 310 liegend erkannt wurden. Diese Sensor-Datensätze 311 können dann als Trainingsdaten 306 verwendet werden, um den Anwendungsbereich der Verarbeitungseinheit 310 zu erweitern. Zu diesem Zweck können die identifizierten Sensor-Datensätze 311 gelabelt werden, um ein überwachtes Maschinenlernen der Verarbeitungseinheit 310 zu ermöglichen.Based on the decision of the decision unit 324, a selection unit 325 can be used to ensure that the recorded sensor data set 301 (and possibly directly subsequent sensor data sets) is or is not included in a data memory 305 to expand the training data. In particular, recorded sensor data sets 311 that were recognized as being outside the area of application of the processing unit 310 can be stored in the data memory 305 . These sensor data sets 311 can then be used as training data 306 in order to extend the scope of the processing unit 310 . For this purpose, the identified sensor data sets 311 can be labeled to enable supervised machine learning of the processing unit 310 .

Des Weiteren kann der Autoencoder 320 auf Basis der Trainingsdaten 306 angepasst werden (mittels einer unbeaufsichtigten Lern-Methode) um zu bewirken, dass der angepasste Autoencoder 320 den angepassten, insbesondere den erweiterten, Anwendungsbereich repräsentiert.Furthermore, the autoencoder 320 can be adjusted based on the training data 306 (by means of an unsupervised learning method) in order to cause the adjusted autoencoder 320 to represent the adjusted, in particular the extended, application area.

3b zeigt einen beispielhaften Autoencoder 320, der einen Encoder 332 (mit ein oder mehreren neuronalen Netzen 200) umfasst, der eingerichtet ist, einen Sensor-Datensatz 301 in einen Code bzw. in eine Repräsentation 331 zu überführen, wobei der Code bzw. die Repräsentation 331 eine gegenüber dem Sensor-Datensatz 301 reduzierte Dimension aufweist. Der Encoder 332 kann ausgebildet sein, redundante Information aus dem Sensor-Datensatz 301 zu entfernen, um einen Code bzw. eine Repräsentation 331 zu ermitteln, der den Sensor-Datensatz 301 möglichst präzise und möglichst kompakt (d.h. mit einer möglichst niedrigen Dimension) repräsentiert. 3b shows an exemplary autoencoder 320, which includes an encoder 332 (with one or more neural networks 200) that is set up to convert a sensor data set 301 into a code or a representation 331, with the code or the representation 331 has a reduced dimension compared to the sensor data set 301 . The encoder 332 can be designed to remove redundant information from the sensor data set 301 in order to determine a code or a representation 331 that represents the sensor data set 301 as precisely and as compactly as possible (ie with the lowest possible dimension).

Der Autoencoder 320 umfasst ferner einen Decoder 333, der eingerichtet ist, auf Basis des Codes bzw. der Repräsentation 331 einen rekonstruierten Datensatz 321 zu generieren. Der Decoder 333 kann ein oder mehrere neuronale Netze 200 umfassen.The autoencoder 320 also includes a decoder 333 which is set up to generate a reconstructed data set 321 on the basis of the code or the representation 331 . Decoder 333 may include one or more neural networks 200.

Zum Anlernen des Autoencoders 320 kann eine Vielzahl von (nicht-gelabelten) Sensor-Datensätzen 301 als Trainingsdaten verwendet werden. Der Encoder 332 und der Decoder 333 können dabei derart angelernt werden, dass (im Mittel) die Abweichung (z.B. der Wert 323 des Distanzmaßes) zwischen den rekonstruierten Sensor-Datensätzen 321 und den ursprünglichen Sensor-Datensätzen 301 reduziert, insbesondere minimiert, wird.A large number of (unlabeled) sensor data records 301 can be used as training data for training the autoencoder 320 . The encoder 332 and the decoder 333 can be trained in such a way that (on average) the deviation (e.g. the value 323 of the distance measure) between the reconstructed sensor data sets 321 and the original sensor data sets 301 is reduced, in particular minimized.

Als Verarbeitungseinheit 310 kann somit ein tiefes neuronales Netz 200 mit Trainingsdaten A (Bilddaten 301 ggf. mit Labels) für eine gewisse Aufgabe bzw. Funktion, wie beispielsweise Objekt-Erkennung (Generierung von 2D / 3D-Begrenzungsrahmen) oder Objekt-Unterteilung trainiert werden. Parallel kann ein weiteres Netz 200 als Autoencoder 320, insbesondere als Variational Autoencoder (VAE)), mit denselben Trainingsdaten A trainiert werden (typischerweise ohne Label).As a processing unit 310, a deep neural network 200 can thus be trained with training data A (image data 301, possibly with labels) for a certain task or function, such as object recognition (generation of 2D/3D bounding frames) or object subdivision. In parallel, a further network 200 can be trained as an autoencoder 320, in particular as a variational autoencoder (VAE)), with the same training data A (typically without a label).

Die in diesem Dokument beschriebenen Maßnahmen können darauf ausgelegt sein, die Verarbeitungseinheit 310 durch gezieltes Zuführen von relevanten Trainingsdaten 306 zu verbessern. Der Autoencoder 320 kann dazu verwendet werden, die relevanten Trainingsdaten 306 zu identifizieren.The measures described in this document can be designed to improve the processing unit 310 by supplying relevant training data 306 in a targeted manner. The autoencoder 320 can be used to identify the relevant training data 306 .

Das Trainieren des Autoencoders 320 kann wie folgt erfolgen: Als Eingangsdaten des Autoencoders 320 können Bilder 301 der Kamera 102 verwendet werden. Der Autoencoder 320, insbesondere der Encoder 332, übersetzt die einzelnen Bilder 310 jeweils in einen Code bzw. in eine Repräsentation 331 (innerhalb des solgenannten „latent space“). Aus dem „latent space“ werden die jeweiligen Bilder rekonstruiert, jeweils derart, dass das rekonstruierte Bild 321 dem ursprünglichen Bild 301 möglichst ähnlich ist.Autoencoder 320 can be trained as follows: Images 301 of camera 102 can be used as input data for autoencoder 320 . The autoencoder 320, in particular the encoder 332, translates the individual images 310 into a code or into a representation 331 (within the so-called “latent space”). The respective images are reconstructed from the "latent space" in such a way that the reconstructed image 321 is as similar as possible to the original image 301 .

Der Trainings-Loss des Autoencoders 320 ist die Distanz zwischen den einzelnen originalen Bildern 301 und den entsprechenden rekonstruierten Bildern 321. Diese Distanz wird auch als „reconstruction error“ bezeichnet. Es kann für die Distanz zwischen einem Originalbild 301 und einem entsprechenden rekonstruierten Bild 321 ein Distanz-Schwellenwerten definiert werden, der in diesem Dokument als Trigger verwendet wird, um geeignete Trainingsdaten für die Verarbeitungseinheit 310 zu identifizieren. Der Distanz-Schwellenwert kann somit dazu verwendet werden, zu entscheiden, ob ein Originalbild 301 innerhalb des Anwendungsbereichs oder außerhalb des Anwendungsbereichs der Verarbeitungseinheit 310 liegt.The training loss of the autoencoder 320 is the distance between the individual original images 301 and the corresponding reconstructed images 321. This distance is also referred to as the “reconstruction error”. A distance threshold value can be defined for the distance between an original image 301 and a corresponding reconstructed image 321, which is used in this document as a trigger to identify suitable training data for the processing unit 310. The distance threshold can thus be used to decide whether an original image 301 is within the scope or outside the scope of the processing unit 310 .

Während des Betriebs der Verarbeitungseinheit 310 (z.B. bei einer Fahrt eines Fahrzeugs 100) können die einzelnen (von einer Kamera 102) erfassten Bilder 301 von der Verarbeitungseinheit 310 analysiert werden. Des Weiteren können für die einzelnen erfassten Bilder 301 durch den Autoencoder 320 entsprechende rekonstruierte Bilder 321 generiert werden.During the operation of the processing unit 310 (eg when a vehicle 100 is driving), the individual images 301 captured (by a camera 102 ) can be analyzed by the processing unit 310 . Furthermore, corresponding reconstructed images 321 can be generated by the autoencoder 320 for the individual captured images 301 .

Wenn von dem Autoencoder 320 ein an einem ersten Zeitpunkt erfasstes Bild 301 erkannt wird, bei dem der definierte Distanz-Schwellenwert zwischen dem originalen, erfassten, Bild 301 und dem rekonstruierten Bild 321 überschritten wird, kann die Datenaufzeichnung zur Trainingsdatensammlung gestartet werden. Insbesondere können (direkt nachfolgend zu dem ersten Zeitpunkt) ein oder mehrere Bilder 311 (z.B. eine zeitliche Sequenz von Bildern) erfasst und in der Speichereinheit 305 gespeichert werden.If the autoencoder 320 recognizes an image 301 captured at a first point in time, at which the defined distance threshold value between the original, captured image 301 and the reconstructed image 321 is exceeded, the data recording for training data collection can be started. In particular, one or more images 311 (e.g. a temporal sequence of images) can be captured (directly subsequent to the first time) and stored in the storage unit 305 .

Die ein oder mehreren Bilder 311 können gelabelt werden und ergeben zusammen mit den bisher verwendeten Trainingsdaten ergänzte Trainingsdaten. Die neuronalen Netze 200 der Verarbeitungseinheit 310 und des Autoencoders 320 können auf Basis der ergänzten Trainingsdaten aktualisiert werden. Als Folge daraus kann der Anwendungsbereich der Verarbeitungseinheit 310 erweitert werden. Ferner kann der Autoencoder 320 an den erweiterten Anwendungsbereich der Verarbeitungseinheit 310 angepasst werden, um die durch den Autoencoder 320 bewirkte OOD-Erkennung an den erweiterten Anwendungsbereich anzupassen. Die aktualisierte Verarbeitungseinheit 310 und der aktualisierte Autoencoder 320 können dann im laufenden Betrieb (z.B. in einem Fahrzeug 100) genutzt werden.The one or more images 311 can be labeled and together with the previously used training data result in supplemented training data. The neural networks 200 of the processing unit 310 and the autoencoder 320 can be updated based on the supplemented training data. As a result, the scope of application of the processing unit 310 can be expanded. Furthermore, the autoencoder 320 can be adapted to the expanded scope of the processing unit 310 in order to adapt the OOD detection effected by the autoencoder 320 to the expanded scope of application. The updated processing unit 310 and the updated autoencoder 320 can then be used on the fly (e.g. in a vehicle 100).

Das Aktualisieren der Verarbeitungseinheit 310 und/oder des Autoencoders 320 können offline (z.B. auf einem Backend-Server) oder online (z.B. in dem System, etwa in dem Fahrzeug 100, in dem die Verarbeitungseinheit 310 und/oder der Autoencoder 320 genutzt werden) erfolgen.Updating the processing unit 310 and/or the autoencoder 320 can be done offline (e.g., on a backend server) or online (e.g., in the system, such as the vehicle 100, in which the processing unit 310 and/or the autoencoder 320 is used). .

4 zeigt ein Ablaufdiagramm eines beispielhaften (ggf. Computerimplementierten) Verfahrens 400 zur Bereitstellung einer Funktion mittels einer Maschinen-erlernten Verarbeitungseinheit 310. Die Funktion kann z.B. die Objekterkennung und/oder Objektklassifizierung und/oder die semantische Segmentierung umfassen. Die Verarbeitungseinheit 310 kann eingerichtet sein, einen erfassten Sensor-Datensatz 301 (z.B. ein von einer Kamera 102 erfasstes Bild) zu verarbeiten, um ein Funktionsergebnis 303 (z.B. die Position und/oder den Typ eines in dem Bild dargestellten Objektes) zu ermitteln. Die Verarbeitungseinheit 310 kann auf Basis von ersten (gelabelten) Trainingsdaten angelernt worden sein. Die Label können dabei für die einzelnen Sensor-Datensätze 301 der ersten Trainingsdaten das zu erzielende Funktionsergebnis 303 anzeigen. 4 FIG. 4 shows a flowchart of an exemplary (possibly computer-implemented) method 400 for providing a function by means of a machine-learned processing unit 310. The function can include object recognition and/or object classification and/or semantic segmentation, for example. The processing unit 310 can be set up to process a recorded sensor data set 301 (eg an image recorded by a camera 102) in order to determine a function result 303 (eg the position and/or the type of an object represented in the image). The processing unit 310 may have been trained on the basis of first (labeled) training data. In this case, the labels can indicate the functional result 303 to be achieved for the individual sensor data sets 301 of the first training data.

Das Verfahren 400 umfasst das Generieren 401 eines rekonstruierten Sensor-Datensatzes 321 für den erfassten Sensor-Datensatz 301 anhand eines Maschinen-erlernten Autoencoders 320, insbesondere anhand eines Variational Autoencoders. Der Autoencoder 320 wurde dabei anhand der ersten Trainingsdaten angelernt. Mit anderen Worten, die (gelabelten) Trainingsdaten, die zum Anlernen der Verarbeitungseinheit 310 verwendet wurden, wurden auch (nicht-gelabelt) zum Anlernen des Autoencoders 320 verwendet. Als Folge daraus weisen die Verarbeitungseinheit 310 und der Autoencoder 320 den gleichen Anwendungsbereich (d.h. den gleichen ODD) auf.The method 400 includes the generation 401 of a reconstructed sensor data set 321 for the detected sensor data set 301 using a machine-learned autoencoder 320, in particular using a variational autoencoder. The Autoencoder 320 was trained using the first training data. In other words, the (labeled) training data used to train the processing unit 310 was also used (unlabeled) to train the autoencoder 320 . As a result, the processing unit 310 and the autoencoder 320 have the same scope (i.e. the same ODD).

Des Weiteren umfasst das Verfahren 400 das Vergleichen 402 des erfassten Sensor-Datensatzes 301 mit dem rekonstruierten Sensor-Datensatz 321. Dabei kann insbesondere der Wert 323 eines Distanzmaßes für die Distanz bzw. für die Abweichung zwischen dem erfassten Sensor-Datensatz 301 und dem rekonstruierten Sensor-Datensatz 321 ermittelt werden.Furthermore, the method 400 includes the comparison 402 of the captured sensor data set 301 with the reconstructed sensor data set 321. In particular, the value 323 of a distance measure for the distance or for the deviation between the captured sensor data set 301 and the reconstructed sensor -Record 321 are determined.

Das Verfahren 400 umfasst ferner das Bereitstellen 403 der Funktion (unter Verwendung der Verarbeitungseinheit 310) in Abhängigkeit von dem Vergleich. Insbesondere kann die Verarbeitungseinheit 310 in Abhängigkeit von dem Vergleich anpasst werden, um den Anwendungsbereich der Verarbeitungseinheit 310 und somit der damit bereitgestellten Funktion anzupassen. Alternativ oder ergänzend kann das von der Verarbeitungseinheit 310 ermittelte Funktionsergebnis 303 in Abhängigkeit von dem Vergleich verwendet oder ignoriert werden. Beispielsweise kann das Funktionsergebnis 303 verwendet werden, wenn der Vergleich anzeigt, dass der erfasste Sensor-Datensatz 301 innerhalb des Anwendungsbereichs liegt. Andererseits kann das Funktionsergebnis 303 ggf. ignoriert werden.The method 400 further includes providing 403 the function (using the processing unit 310) as a function of the comparison. In particular, the processing unit 310 can be adjusted as a function of the comparison in order to adapt the area of application of the processing unit 310 and thus the function provided thereby. As an alternative or in addition, the function result 303 determined by the processing unit 310 can be used or ignored depending on the comparison. For example, the function result 303 can be used when the comparison indicates that the collected sensor data set 301 is within the scope. On the other hand, the function result 303 can be ignored if necessary.

Durch die in diesem Dokument beschriebenen Maßnahmen kann in effizienter Weise ein effizientes Trainieren einer Maschinen-erlernten Verarbeitungseinheit 310 fokussiert in den Bereichen durchgeführt werden, in denen die Verarbeitungseinheit 310 eine reduzierte Funktionsgüte aufweist. So kann die Güte der bereitgestellten Funktion erhöht werden.The measures described in this document can be used to efficiently train a machine-learned processing unit 310 in a focused manner in those areas in which the processing unit 310 has a reduced functional quality. In this way, the quality of the provided function can be increased.

Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur beispielhaft das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.The present invention is not limited to the exemplary embodiments shown. In particular, it should be noted that the description and the figures are only intended to illustrate the principle of the proposed methods, devices and systems by way of example.

Claims

Method (400) for providing a function by means of a machine-learned processing unit (310) which is set up to process a detected sensor data set (301) in order to determine a function result (303); wherein the processing unit (310) has been trained on the basis of first training data; the method (400) comprising - Generating (401) a reconstructed sensor data set (321) for the detected sensor data set (301) using a machine-learned autoencoder (320); wherein the autoencoder (320) was trained using the first training data; - Comparing (402) the detected sensor data set (301) with the reconstructed sensor data set (321); and - Adjusting the processing unit (310) to provide the function using the detected sensor data set (301) as training data, depending on the comparison.

Method (400) according to claim 1 , wherein the method (400) comprises - determining a value (323) of a distance measure for a deviation of the reconstructed sensor data set (321) from the detected sensor data set (301); and - adapting the processing unit (310) to provide the function using the detected sensor data set (301) as training data, depending on the value (323) of the distance measure.

Method (400) according to claim 2 the method (400) comprising - comparing the value (323) of the distance measure to a distance threshold; and - adjusting the processing unit (310) using the detected sensor data set (301) as training data, depending on whether the value (323) of the distance measure is greater or less than the distance threshold value.

Method (400) according to claim 3 , wherein the method (400) comprises, - using the detected sensor data set (301) as training data for training the processing unit (310) if the value (323) of the distance measure is greater than the distance threshold value; and/or - using the detected sensor data set (301) as training data for teaching the autoencoder (320) if the value (323) of the distance measure is greater than the distance threshold value.

Method (400) according to any one of claims 3 until 4 , wherein - the recorded sensor data set (301) was recorded by at least one sensor (102) at a first point in time; and - the method (400) includes, if the value (323) of the distance measure for the detected sensor data set (301) is greater than the distance threshold value, - determining a time sequence of detected sensor data sets (301) based on the first point in time; and - determining second training data for training the processing unit (310) and/or the autoencoder (320) on the basis of the temporal sequence of recorded sensor data sets (301).

Method (400) according to any one of the preceding claims, wherein the method (400) comprises - Determining, on the basis of the comparison, whether the detected sensor data set (301) is inside or outside an application area of the processing unit (310) that is dependent on the first training data, and - adapting the processing unit (310) to provide the function depending on whether the detected sensor data set (301) is within or outside the scope of the processing unit (310).

Method (400) according to one of the preceding claims, wherein the generation (401) of the reconstructed sensor data set (321) for the detected sensor data set (301) comprises, - Determining a code (331) on the basis of the detected sensor data set (301) using an encoder (332) of the autoencoder (320); wherein the code (331) has a reduced dimension compared to the detected sensor data set (301); and - Determining the reconstructed sensor data set (321) on the basis of the code (331) using a decoder (333) of the autoencoder (320).

Method (400) according to any one of the preceding claims, wherein - The detected sensor data set (301) includes a camera (102) captured image; and or - the function result (303) includes, - a position of one or more objects represented in the captured image; and or - a type of object represented in the captured image, - a semantic segmentation of the captured image; and or - the function includes object recognition and/or object classification and/or semantic segmentation based on the captured image.

System (300) for providing a function by means of a machine-learned processing unit (310), which is set up to capture a to process the th sensor data set (301) in order to determine a function result (303); wherein the processing unit (310) has been trained on the basis of first training data; - the system (300) comprises a machine-learned autoencoder (320) which is set up to generate a reconstructed sensor data set (321) for the detected sensor data set (301); wherein the autoencoder (320) was trained using the first training data; - The system (300) comprises a comparison unit (322) which is set up to compare the detected sensor data set (301) with the reconstructed sensor data set (321) in order to determine a comparison result; and - the system (300) is set up, depending on the comparison result, to adapt the processing unit (310) to provide the function using the recorded sensor data set (301) as training data.