DE102022208564A1

DE102022208564A1 - Evaluation of measurement data with an adjusted increase in resolution

Info

Publication number: DE102022208564A1
Application number: DE102022208564.7A
Authority: DE
Inventors: Jens Eric Markus Mehnert
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-08-18
Filing date: 2022-08-18
Publication date: 2024-02-29

Abstract

Vorrichtung (1) zum Verarbeiten von Messdaten (10) im Hinblick auf eine vorgegebene Aufgabe, umfassend• eine trainierbare oder trainierte Vorverarbeitungseinheit (2), deren Verhalten durch Vorverarbeitungs-Parameter (2a) charakterisiert ist und die dazu ausgebildet ist, eingegebene Messdaten (10) zu einem Zwischenprodukt (11) zu verarbeiten, welches gegenüber den eingegebenen Messdaten (10) zumindest teilweise in der Auflösung erhöht ist; und• einen trainierbaren oder trainierten Task-Kopf (3), dessen Verhalten durch Task-Kopf-Parameter (3a) charakterisiert ist und der dazu ausgebildet ist, aus dem Zwischenprodukt (11) eine Ausgabe (12) in Bezug auf die vorgegebene Aufgabe zu ermitteln.Device (1) for processing measurement data (10) with regard to a given task, comprising a trainable or trained pre-processing unit (2), the behavior of which is characterized by pre-processing parameters (2a) and which is designed to process input measurement data (10 ) to process it into an intermediate product (11) which is at least partially increased in resolution compared to the entered measurement data (10); and • a trainable or trained task head (3), whose behavior is characterized by task head parameters (3a) and which is designed to produce an output (12) from the intermediate product (11) in relation to the specified task determine.

Description

Die vorliegende Erfindung betrifft die Auswertung von Messdaten, wie beispielsweise Bildern oder Zeitreihen von Messwerten, im Hinblick auf eine vorgegebene Aufgabe, wie beispielsweise Klassifikation dieser Messdaten.The present invention relates to the evaluation of measurement data, such as images or time series of measurement values, with regard to a given task, such as classification of these measurement data.

Stand der TechnikState of the art

Messdaten, wie beispielsweise Bilder, lassen sich mit neuronalen Netzwerken oder ähnlichen Task-Köpfen im Hinblick auf eine vorgegebene Aufgabe (Task) auswerten. Hiermit kann beispielsweise ermittelt werden, welche Typen von Objekten in einem Bild enthalten sind. Die hierbei erzielbare Genauigkeit hängt von der Bildqualität ab.Measurement data, such as images, can be evaluated with neural networks or similar task heads with regard to a given task. This can be used, for example, to determine which types of objects are contained in an image. The accuracy that can be achieved depends on the image quality.

Die DE 10 2017 211 331 A1 offenbart, dass durch eine geeignete Vorverarbeitung, die die Bildqualität verbessert, die Genauigkeit einer nachgeschalteten Klassifikation oder anderen Analyse des Bildes deutlich verbessert werden kann. Diese Vorverarbeitung kann insbesondere gezielt darauf trainiert werden, dass die Genauigkeit gesteigert wird, indem für die Klassifikation bzw. andere Analyse jeweils besonders wichtige Aspekte des Bildes herausgearbeitet werden.The DE 10 2017 211 331 A1 discloses that through appropriate preprocessing that improves image quality, the accuracy of downstream classification or other analysis of the image can be significantly improved. This preprocessing can be specifically trained to increase accuracy by highlighting aspects of the image that are particularly important for classification or other analysis.

Offenbarung der ErfindungDisclosure of the invention

Die Erfindung stellt eine Vorrichtung zum Verarbeiten von Messdaten im Hinblick auf eine vorgegebene Aufgabe (Task) bereit. Diese Vorrichtung umfasst eine trainierbare oder trainierte Vorverarbeitungseinheit sowie einen trainierbaren oder trainierten Task-Kopf.The invention provides a device for processing measurement data with regard to a given task. This device includes a trainable or trained preprocessing unit and a trainable or trained task head.

Die Vorverarbeitungseinheit ist dazu ausgebildet, eingegebene Messdaten zu einem Zwischenprodukt zu verarbeiten, welches gegenüber den eingegebenen Messdaten zumindest teilweise in der Auflösung erhöht ist. Das Verhalten der Vorverarbeitungseinheit ist durch Vorverarbeitungs-Parameter charakterisiert.The preprocessing unit is designed to process input measurement data into an intermediate product which has at least a partial increase in resolution compared to the input measurement data. The behavior of the preprocessing unit is characterized by preprocessing parameters.

Unter einer „zumindest teilweisen“ Erhöhung der Auflösung wird insbesondere beispielsweise verstanden, dass mindestens ein Teil der Messdaten lokal in der Auflösung erhöht ist. Beispielsweise kann in einem Bild ein Bildbereich oder in einer Zeitreihe von Messwerten ein Zeitabschnitt in der Auflösung erhöht sein. Allgemein kann sich der Begriff der Auflösung insbesondere beispielsweise auf die Feinheit einer Diskretisierung beziehen, mit der die Messdaten Orts- und/oder Zeitkoordinaten jeweils einen Messwert zuordnen. So kann ein Bild beispielsweise aus Pixeln bestehen, die in einem diskreten zwei- oder dreidimensionalen Raster angeordnet sind, wobei jedem dieser Pixel ein Intensitätswert oder anderer Messwert zugeordnet wird. Jedes dieser Pixel repräsentiert einen Ort in dem Bild und kann beispielsweise zu einem Ort in einem mit mindestens einem Sensor beobachteten Bereich korrespondieren. Eine Zeitreihe von Messwerten ordnet diskreten Zeitpunkten Messwerte zu. Eine Auflösungssteigerung bewirkt insbesondere, dass auch Orten bzw. Zeitpunkten, denen zuvor kein Messwert explizit zugeordnet war, nunmehr ein oder mehrere Messwerte zugeordnet werden.An “at least partial” increase in resolution means, for example, that at least part of the measurement data has a local increase in resolution. For example, an image area in an image or a time period in a time series of measured values can be increased in resolution. In general, the term resolution can refer in particular, for example, to the fineness of a discretization with which the measurement data each assigns a measured value to location and/or time coordinates. For example, an image can consist of pixels arranged in a discrete two- or three-dimensional grid, with each of these pixels being assigned an intensity value or other measurement value. Each of these pixels represents a location in the image and can, for example, correspond to a location in an area observed with at least one sensor. A time series of measured values assigns measured values to discrete points in time. In particular, an increase in resolution means that one or more measured values are now assigned to locations or times to which no measured value was previously explicitly assigned.

Der Task-Kopf ist dazu ausgebildet, aus dem Zwischenprodukt eine Ausgabe in Bezug auf die vorgegebene Aufgabe zu ermitteln. Das Verhalten des Task-Kopfes ist durch Task-Kopf-Parameter charakterisiert.The task head is designed to determine an output from the intermediate product in relation to the specified task. The behavior of the task head is characterized by task head parameters.

Es wurde erkannt, dass gerade eine Erhöhung der Auflösung die Erkennung von Objekten oder anderen Merkmalen in den Messdaten durch den Task-Kopf deutlich erleichtern kann. So werden beispielsweise in einem Kamerabild weit entfernte Objekte mit nur wenigen Pixeln dargestellt, was bei einer Objekterkennung oder einer semantischen Segmentierung schlechtere Ergebnisse erzeugt. Auch genügt beispielsweise eine kurze Temperaturzeitreihe nicht, um die aktuelle Wettersituation zu erkennen. Eine Anreichung des Bildes, bzw. der Temperaturzeitreihe, mit zusätzlichen Details durch Erhöhung der Auflösung kann die vom Task-Kopf gelieferten Ergebnisse deutlich verbessern.It was recognized that increasing the resolution can make it significantly easier for the task head to recognize objects or other features in the measurement data. For example, in a camera image, distant objects are represented with only a few pixels, which produces poorer results in object recognition or semantic segmentation. For example, a short temperature time series is not enough to identify the current weather situation. Enriching the image or temperature time series with additional details by increasing the resolution can significantly improve the results provided by the task head.

Dabei gilt aber auch nicht generell „viel hilft viel“. Eine zu starke Erhöhung der Auflösung schadet der Generalisierung des Task-Kopfes und kann Informationen in die Messdaten einfügen, die nicht durch die vorhandenen Messdaten gestützt sind oder gar im Widerspruch zu den vorhandenen Messdaten stehen.However, it is not generally the case that “a lot helps a lot”. Increasing the resolution too much damages the generalization of the task head and can insert information into the measurement data that is not supported by the existing measurement data or even contradicts the existing measurement data.

Daher ist es vorteilhaft, die Erhöhung der Auflösung gerade in dem Maße vorzunehmen, in dem dies der nachgeschalteten Verarbeitung durch den Task-Kopf tatsächlich hilft. Die Vorverarbeitungseinheit kann also lernen, welche konkreten Messdaten im Hinblick auf welche Task in welchem Maße in der Auflösung gesteigert werden sollen, um den Task-Kopf bestmöglich zu unterstützen.It is therefore advantageous to increase the resolution to the extent that this actually helps the downstream processing by the task head. The preprocessing unit can therefore learn which specific measurement data should be increased in resolution with regard to which task and to what extent in order to best support the task head.

Die Vorverarbeitungseinheit, und/oder der Task-Kopf, können insbesondere jeweils ein neuronales Netzwerk und/oder einen Teil eines neuronalen Netzwerks umfassen, und/oder sie können ein neuronales Netzwerk und/oder Teil hiervon sein. Die Vorverarbeitungseinheit und der Task-Kopf können also beispielsweise in einer gemeinsamen Netzwerkarchitektur zusammengefasst sein, aber auch in separaten Netzwerken mit verschiedenen Architekturen implementiert sein. Es ist auch nicht erforderlich, dass die Vorverarbeitungseinheit und der Task-Kopf gemeinsam trainiert werden. Eine Verbesserung ist bereits dann sichtbar, wenn einem fertig trainierten Task-Kopf eine generisch trainierte Vorverarbeitungseinheit vorgeschaltet wird.The preprocessing unit and/or the task head can in particular each comprise a neural network and/or a part of a neural network, and/or they can be a neural network and/or part thereof. The preprocessing unit and the task head can, for example, be combined in a common network architecture, but can also be implemented in separate networks with different architectures. It is also not necessary that the preprocessing unit and the task header be trained together. An improvement is already visible when a fully trained task head is preceded by a generically trained pre-processing unit.

In einer besonders vorteilhaften Ausgestaltung umfasst und/oder ist die Vorverarbeitungseinheit ein Transformer-Netzwerk. Dieses Transformer-Netzwerk ist dazu ausgebildet, die Messdaten in eine Punktwolke als Zwischenprodukt umzuwandeln. Dabei ordnen die Punkte dieser Punktwolke Koordinaten auf mindestens einer zeitlichen und/oder räumlichen Skala mindestens einen Messwert einer oder mehreren Messgrößen zu. So kann beispielsweise aus einem Bild ein Zwischenprodukt gebildet werden, in dem auch vielen Orten, die nicht mit den bisherigen diskreten Orten von Pixeln übereinstimmen, Werte mindestens einer Messgröße zugeordnet werden. In a particularly advantageous embodiment, the preprocessing unit comprises and/or is a transformer network. This transformer network is designed to convert the measurement data into a point cloud as an intermediate product. The points of this point cloud assign coordinates on at least one temporal and/or spatial scale to at least one measured value of one or more measured variables. For example, an intermediate product can be formed from an image in which values of at least one measurement variable can be assigned to many locations that do not correspond to the previous discrete locations of pixels.

Ebenso kann aus einer Zeitreihe von Messwerten ein Zwischenprodukt gebildet werden, das Werte der mindestens einen interessierenden Messgröße auch für Zeitpunkte enthält, die in der bisherigen Reihe diskreter Zeitpunkte nicht vorkamen. Ein Transformer-Netzwerk ist hier besonders geeignet, um mit seinem Attention-Mechanismus Korrelationen zwischen allen Teilen der Messdaten zu berücksichtigen. Auf diese Weise werden nur solche Informationen in das Zwischenprodukt eingefügt, die mit dem Gesamtzusammenhang der Messdaten stimmig sind.Likewise, an intermediate product can be formed from a time series of measured values that contains values of the at least one measured variable of interest even for points in time that did not occur in the previous series of discrete points in time. A transformer network is particularly suitable here for taking into account correlations between all parts of the measurement data with its attention mechanism. In this way, only information that is consistent with the overall context of the measurement data is inserted into the intermediate product.

Die Vorverarbeitungseinheit kann insbesondere beispielsweise dazu ausgebildet sein, eine Punktwolke mit variabler Dichte der Punkte im von den Koordinaten aufgespannten Raum zu erzeugen. Die Auflösung und ihre Steigerung durch die Vorverarbeitungseinheit können also innerhalb des Zwischenprodukts variieren. Beispielsweise kann die Vorverarbeitungseinheit lernen, in einem Bild nur diejenigen Bereiche durch Steigerung der Auflösung herauszuarbeiten, die für die Bearbeitung der vorgegebenen Aufgabe besonders wichtig sind. So ist beispielsweise in einem Bild eines gefertigten Produkts, das im Rahmen der automatisierten Qualitätskontrolle aufgenommen wurde, nur der Bereich wichtig, der das Produkt selbst zeigt. Würde hingegen die Auflösung auch des Bildhintergrunds gesteigert, könnte der Task-Kopf hierdurch von den eigentlich wichtigen Merkmalen des Produkts abgelenkt werden.The preprocessing unit can in particular be designed, for example, to generate a point cloud with a variable density of the points in the space spanned by the coordinates. The resolution and its increase by the preprocessing unit can therefore vary within the intermediate product. For example, the pre-processing unit can learn to highlight only those areas in an image by increasing the resolution that are particularly important for processing the given task. For example, in an image of a manufactured product taken as part of automated quality control, only the area that shows the product itself is important. However, if the resolution of the image background were also increased, the task head could be distracted from the actually important features of the product.

Die Verarbeitungseinheit kann beispielsweise dazu ausgebildet sein, zunächst eine Anzahl benötigter Punkte und dann eine Verteilung dieser Punkte zu ermitteln. Die Anzahl der benötigten Punkte kann insbesondere beispielsweise über die gesamte Trainingsmenge mit einem Parameter eingeschränkt sein. Die Verteilung der Punkte kann insbesondere beispielsweise mit einem Kern-Dichte-Schätzer oder einem anderen nicht-parametrischen Verfahren ermittelt werden. Hierbei können Beschränkungen für die minimale und die maximale lokale Dichte vorab festgelegt werden.The processing unit can, for example, be designed to first determine a number of required points and then a distribution of these points. The number of points required can be limited with one parameter, for example over the entire training set. The distribution of the points can in particular be determined, for example, using a kernel density estimator or another non-parametric method. Restrictions for the minimum and maximum local density can be set in advance.

In einer weiteren besonders vorteilhaften Ausgestaltung ist die Vorverarbeitungseinheit dazu ausgebildet,

• zunächst die Punktwolke abhängig von den Vorverarbeitungs-Parametern mit zumindest teilweise erhöhter Auflösung zu erzeugen und
• dann auf diese Punktwolke mindestens eine weitere Verarbeitungsoperation anzuwenden, deren Verhalten ebenfalls durch Vorverarbeitungs-Parameter charakterisiert ist.

In a further particularly advantageous embodiment, the preprocessing unit is designed to:

• first generate the point cloud with at least partially increased resolution depending on the preprocessing parameters and
• then apply at least one further processing operation to this point cloud, the behavior of which is also characterized by preprocessing parameters.

Mit der weiteren Verarbeitungsoperation wird eine noch größere Freiheit geschaffen, das Zwischenprodukt so zu optimieren, dass es durch den nachgeschalteten Task-Kopf besser analysiert werden kann. Wenn beispielsweise Bilder von Verkehrssituationen auf das Vorhandensein von Fußgängern analysiert werden sollen, kann eine Person im Karnevalskostüm durch eine generische Variante einer Person ersetzt werden, die für den Task-Kopf besser erkennbar ist. Diese Ersetzung der Person ändert den Informationsgehalt in Bezug auf die konkret zu lösende Task nicht, denn die Person bleibt nach wie vor ein Fußgänger.The further processing operation creates even greater freedom to optimize the intermediate product so that it can be better analyzed by the downstream task head. For example, if images of traffic situations are to be analyzed for the presence of pedestrians, a person in a carnival costume can be replaced with a generic variant of a person that is more recognizable to the task head. This replacement of the person does not change the information content regarding the specific task to be solved, because the person still remains a pedestrian.

Wie zuvor erläutert, kann der Task-Kopf insbesondere beispielsweise als Klassifikator, und/oder als Objektdetektor, ausgebildet sein. Gerade bei diesen Tasks gibt es ein Optimum dahingehend, welche Steigerung der Auflösung in welchen Teilen der Messdaten die beste Unterstützung für die Lösung der Task darstellt.As explained above, the task head can in particular be designed, for example, as a classifier and/or as an object detector. With these tasks in particular, there is an optimum in terms of which increase in resolution in which parts of the measurement data provides the best support for solving the task.

Wie zuvor erläutert, kann die Vorrichtung insbesondere beispielsweise dazu ausgebildet sein, Bilder und/oder Zeitreihen von Messwerten mindestens einer Messgröße als Messdaten zu verarbeiten. Gerade in derartige Messdaten lässt sich durch die Vorverarbeitungseinheit besonders gut Information einfügen.As explained above, the device can in particular be designed, for example, to process images and/or time series of measured values of at least one measured variable as measurement data. Information can be inserted particularly well into such measurement data using the preprocessing unit.

Die Erfindung stellt auch ein Verfahren zum Trainieren der zuvor beschriebenen Vorrichtung bereit.The invention also provides a method for training the previously described device.

Im Rahmen dieses Verfahrens werden Trainings-Beispiele von Messdaten bereitgestellt, die mit Soll-Ausgaben in Bezug auf die vorgegebene Aufgabe gelabelt sind. Diese Trainings-Beispiele werden der Vorrichtung zugeführt. Sie durchlaufen somit in der Vorrichtung zunächst die Vorverarbeitungseinheit und werden zu Zwischenprodukten verarbeitet, die dann anschließend vom Task-Kopf auf die gesuchten Ausgaben in Bezug auf die vorgesehene Aufgabe (Task) abgebildet werden.As part of this procedure, training examples of measurement data are provided that are labeled with target outputs in relation to the given task. These training examples are fed to the device. They therefore first pass through the pre-processing unit in the device and are processed into intermediate products, which are then processed by the task header the outputs sought are mapped in relation to the intended task.

Abweichungen dieser Ausgaben von den jeweiligen Soll-Ausgaben werden mit einer vorgegebenen Task-Kostenfunktion bewertet. Sowohl die Task-Kopf-Parameter als auch die Vorverarbeitungs-Parameter werden nun optimiert mit dem Ziel, dass sich bei weiterer Verarbeitung von Trainings-Beispielen die Bewertung durch die Task-Kostenfunktion verbessert.Deviations of these expenditures from the respective target expenditures are evaluated using a specified task cost function. Both the task head parameters and the preprocessing parameters are now optimized with the aim of improving the evaluation by the task cost function as training examples are further processed.

Auf diese Weise kann die Vorverarbeitungseinheit lernen, die Messdaten so aufzubereiten, dass sie bestmöglich vom Task-Kopf analysiert werden können. Zugleich kann der Task-Kopf lernen, die zusätzliche Auflösung, die ihm von der Vorverarbeitungseinheit angeboten wird, bestmöglich zu nutzen. Beide Effekte können Hand in Hand gehen, so dass letztendlich die Genauigkeit in Bezug auf die vorgegebene Task gesteigert wird.In this way, the preprocessing unit can learn to prepare the measurement data so that it can be analyzed in the best possible way by the task head. At the same time, the task head can learn to make the best possible use of the additional resolution offered to it by the pre-processing unit. Both effects can go hand in hand, ultimately increasing the accuracy of the given task.

In einer besonders vorteilhaften Ausgestaltung wird die Vorverarbeitungseinheit in einer ersten Phase des Trainings nur darauf trainiert wird, eine Punktwolke mit gegenüber den Trainings-Beispielen zumindest teilweise erhöhten Auflösung zu erzeugen. Erst in einer zweiten Phase des Trainings wird die Vorverarbeitungseinheit zusätzlich auch darauf trainiert, auf diese Punktwolke mindestens eine weitere Verarbeitungsoperation anzuwenden. Indem die Vorverarbeitungseinheit zunächst in Bezug auf die Erhöhung der Auflösung „Tritt fasst“ und sich dann der schwierigeren Aufgabe widmet, die Punktwolke weiter abzuwandeln, kann die Konvergenz des Trainings beschleunigt werden.In a particularly advantageous embodiment, the preprocessing unit is trained in a first phase of training only to generate a point cloud with at least partially increased resolution compared to the training examples. Only in a second phase of training is the preprocessing unit additionally trained to apply at least one further processing operation to this point cloud. By having the preprocessing unit first get up to speed on increasing the resolution and then move on to the more difficult task of further modifying the point cloud, training convergence can be accelerated.

In einer weiteren besonders vorteilhaften Ausgestaltung werden die bei der Verarbeitung der Trainings-Beispiele gebildeten Zwischenprodukte zusammen mit weiteren Beispielen für Messdaten, die auf anderem Wege eine im Vergleich zu den Trainings-Beispielen zumindest teilweise erhöhte Auflösung erhalten haben, in einem Pool zusammengeführt. Aus diesem Pool werden Elemente gezogen und einem Diskriminator zugeführt. Der Diskriminator klassifiziert dann binär, ob das jeweilige Element eines der Zwischenprodukte oder aber eines der weiteren Beispiele für Messdaten ist.In a further particularly advantageous embodiment, the intermediate products formed during the processing of the training examples are brought together in a pool together with further examples of measurement data that have received an at least partially increased resolution compared to the training examples in another way. Elements are drawn from this pool and fed to a discriminator. The discriminator then binarily classifies whether the respective element is one of the intermediate products or one of the other examples of measurement data.

Die Korrektheit der vom Diskriminator getroffenen Entscheidungen wird mit einer Diskriminator-Kostenfunktion bewertet. Die Vorverarbeitungs-Parameter werden auf das Ziel optimiert, dass sich bei weiterer Verarbeitung von Trainings-Beispielen die Bewertung durch die Diskriminator-Kostenfunktion verschlechtert. Das heißt, die Vorverarbeitungseinheit lernt, immer bessere „Fälschungen“ hochaufgelöster Messdaten zu erzeugen, die vom Diskriminator immer schlechter als „Fälschungen“ identifiziert werden. Wenn also beispielsweise ein beliebiger Algorithmus zum Erhöhen der Auflösung bereits bekannt ist, kann dieser genutzt werden, um die Vorverarbeitungseinheit „anzulernen“.The correctness of the decisions made by the discriminator is evaluated using a discriminator cost function. The preprocessing parameters are optimized with the aim of ensuring that the evaluation by the discriminator cost function deteriorates with further processing of training examples. This means that the preprocessing unit learns to produce ever better “fakes” of high-resolution measurement data, which are increasingly poorly identified as “fakes” by the discriminator. For example, if any algorithm for increasing the resolution is already known, it can be used to “train” the preprocessing unit.

Hierfür ist es nicht zwingend erforderlich, dass der Diskriminator trainierbar ist. Auch ein vorgegebener, feststehender Diskriminator kann das Training der Vorverarbeitungseinheit bereits in die richtige Richtung lenken.It is not absolutely necessary for the discriminator to be trainable. Even a given, fixed discriminator can guide the training of the preprocessing unit in the right direction.

In einer besonders vorteilhaften Ausgestaltung wird jedoch ein trainierbarer Diskriminator gewählt, dessen Verhalten durch Diskriminator-Parameter charakterisiert ist. Die Diskriminator-Parameter werden auf das Ziel optimiert, dass sich bei weiterer Verarbeitung von Trainings-Beispielen die Bewertung durch die Diskriminator-Kostenfunktion verbessert. Dieses Training kann insbesondere beispielsweise im Wechsel mit dem Training der Vorverarbeitungseinheit erfolgen. Auf diese Weise wird, analog zum Training von GANs, die Vorverarbeitungseinheit noch stärker dazu angehalten, gute „Fälschungen“ höher aufgelöster Messdaten zu erzeugen. Da jedoch die Vorverarbeitungseinheit auch nach wie vor darauf trainiert wird, den Task-Kopf bei der Lösung der vorgegebenen Task optimal zu unterstützen, wird die Vorverarbeitungseinheit nicht zu einer bloßen Nachbildung der für die Bereitstellung der weiteren, hochaufgelösten Beispiele für Messdaten verwendeten Quelle „abdriften“.In a particularly advantageous embodiment, however, a trainable discriminator is selected whose behavior is characterized by discriminator parameters. The discriminator parameters are optimized with the aim of improving the evaluation by the discriminator cost function with further processing of training examples. This training can in particular take place, for example, alternating with the training of the pre-processing unit. In this way, analogous to the training of GANs, the preprocessing unit is even more encouraged to produce good “fakes” of higher-resolution measurement data. However, since the pre-processing unit is still trained to optimally support the task head in solving the given task, the pre-processing unit will not "drift" into a mere replica of the source used to provide the further, high-resolution examples of measurement data. .

Die weiteren Beispiele für Messdaten können beispielsweise direkt aus Messdaten bezogen werden, die mit einer höheren Auflösung aufgenommen wurden als die Trainings-Beispiele. Wenn die Trainings-Beispiele etwa Bilder enthalten, können die weiteren Beispiele etwa von einer höherwertigen Kamera bezogen werden, deren Sensor eine bessere Auflösung liefert.The further examples of measurement data can, for example, be obtained directly from measurement data that were recorded with a higher resolution than the training examples. If the training examples contain images, the other examples can be obtained from a higher-quality camera whose sensor provides better resolution.

Die weiteren Beispiele für Messdaten können auch beispielsweise mit einer anderen als der in der Vorverarbeitungseinheit verwendeten Methode auf die erhöhte Auflösung gebracht werden. So haben beispielsweise generische Super-Auflösungs-Algorithmen, die zur Steigerung der Auflösung beliebiger Fotos oder anderer Bilder trainiert worden sind, bereits Einzug in Bildbearbeitungssoftware für Privatanwender gehalten, etwa in Form der „ML Super Resolution“-Funktion in Pixelmator Pro oder der von Topaz verkauften Software „Gigapixel Al“.The further examples of measurement data can also be brought to the increased resolution, for example, using a method other than the one used in the pre-processing unit. For example, generic super-resolution algorithms that have been trained to increase the resolution of any photo or other image have already found their way into consumer image editing software, such as the ML Super Resolution feature in Pixelmator Pro or Topaz “Gigapixel Al” software sold.

Die weiteren Beispiele für Messdaten können aber auch beispielsweise synthetisch in der erhöhten Auflösung generiert werden, etwa mit einem GAN.The other examples of measurement data can also be generated synthetically with increased resolution, for example with a GAN.

In einer weiteren vorteilhaften Ausgestaltung werden der trainierten Vorrichtung Messdaten zugeführt. Aus der von der Vorrichtung gelieferten Ausgabe in Bezug auf die vorgegebene Aufgabe wird ein Ansteuersignal ermittelt. Ein Fahrzeug, ein Fahrassistenzsystem, ein System zur Qualitätskontrolle, ein System zur Überwachung von Bereichen, und/oder ein System zur medizinischen Bildgebung, wird mit diesem Ansteuersignal angesteuert. Indem durch das Training die Genauigkeit der Ausgabe erhöht ist, ist auch die Wahrscheinlichkeit erhöht, dass die Reaktion des angesteuerten technischen Systems auf das Ansteuersignal der mit den Messdaten erfassten Situation angemessen ist.In a further advantageous embodiment, measurement data is supplied to the trained device. From the output provided by the device A control signal is determined in relation to the specified task. A vehicle, a driving assistance system, a quality control system, an area monitoring system, and/or a medical imaging system is controlled with this control signal. Because the accuracy of the output is increased through training, the probability is also increased that the reaction of the controlled technical system to the control signal is appropriate to the situation recorded with the measurement data.

Die Vorrichtung und das Verfahren können insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern und/oder Compute-Instanzen ausgeführt werden, den oder die Computer und/oder Compute-Instanzen zu der beschriebenen Vorrichtung aufwerten, und/oder dazu veranlassen, das beschriebene Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen. Beispiele für Compute-Instanzen sind virtuelle Maschinen, Container oder serverlose Ausführungsumgebungen für die Ausführung maschinenlesbarer Anweisungen in einer Cloud.The device and the method can in particular be implemented entirely or partially by computer. Therefore, the invention also relates to a computer program with machine-readable instructions which, when executed on one or more computers and/or compute instances, upgrade the computer(s) and/or compute instances to the device described, and/or cause you to carry out the procedure described. In this sense, control devices for vehicles and embedded systems for technical devices that are also capable of executing machine-readable instructions are also considered computers. Examples of compute instances include virtual machines, containers, or serverless execution environments for executing machine-readable instructions in a cloud.

Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.The invention also relates to a machine-readable data carrier and/or to a download product with the computer program. A download product is a digital product that can be transferred via a data network, i.e. downloadable by a user of the data network and which can be offered for sale in an online shop for immediate download, for example.

Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.Furthermore, a computer can be equipped with the computer program, with the machine-readable data carrier or with the download product.

Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.Further measures improving the invention are shown in more detail below together with the description of the preferred exemplary embodiments of the invention using figures.

AusführungsbeispieleExamples of embodiments

Es zeigt:

1 Ausführungsbeispiel der Vorrichtung 1;
2 Veranschaulichung der Bildung einer Punktwolke mit Punkten 11a als Zwischenprodukt 11 aus einem Bild mit Pixeln 10# als Messdaten 10;
3 Ausführungsbeispiel des Verfahrens 100.

It shows:

1 Embodiment of the device 1;
2 Illustration of the formation of a point cloud with points 11a as an intermediate product 11 from an image with pixels 10# as measurement data 10;
3 Embodiment of method 100.

1 ist eine schematisches Blockschaltbild eines Ausführungsbeispiels der Vorrichtung 1 zum Verarbeiten von Messdaten 10. Die Messdaten 10 werden einer trainierbaren oder trainierten Vorverarbeitungseinheit 2 zugeführt, deren Verhalten durch Vorverarbeitungs-Parameter 2a charakterisiert ist. Diese Vorverarbeitungseinheit 2 ist dazu ausgebildet, eingegebene Messdaten 10 zu einem Zwischenprodukt 11 zu verarbeiten. Dieses Zwischenprodukt ist gegenüber den eingegebenen Messdaten 10 zumindest teilweise in der Auflösung erhöht. 1 is a schematic block diagram of an exemplary embodiment of the device 1 for processing measurement data 10. The measurement data 10 is fed to a trainable or trained preprocessing unit 2, whose behavior is characterized by preprocessing parameters 2a. This preprocessing unit 2 is designed to process input measurement data 10 into an intermediate product 11. This intermediate product is at least partially increased in resolution compared to the entered measurement data 10.

Das Zwischenprodukt 11 wird einem trainierbaren oder trainierten Task-Kopf 3 zugeführt, dessen Verhalten durch Task-Kopf-Parameter 3a charakterisiert ist. The intermediate product 11 is fed to a trainable or trained task head 3, whose behavior is characterized by task head parameters 3a.

Dieser Task-Kopf 3 ist dazu ausgebildet, aus dem Zwischenprodukt 11 eine Ausgabe 12 in Bezug auf die vorgegebene Aufgabe zu ermitteln, wie beispielsweise Klassifikations-Scores in Bezug auf eine oder mehrere Klassen einer vorgegebenen Klassifikation.This task header 3 is designed to determine an output 12 from the intermediate product 11 in relation to the given task, such as, for example, classification scores in relation to one or more classes of a given classification.

In 2 ist beispielhaft veranschaulicht, wie aus einem Bild mit Pixeln 10# als Messdaten 10 eine Punktwolke mit Punkten 11a als in der Auflösung gesteigertes Zwischenprodukt 11 gebildet werden kann. Die Punktwolke als Zwischenprodukt 11 ordnet jedem ihrer Punkte 11a einen Intensitätswert zu, so wie zuvor das Bild als Messdaten 10 jedem seiner Pixel 10# einen Intensitätswert zugeordnet hat. Dabei ist die Verteilung der Punkte 11a frei, und es ist nicht erforderlich, dass sich an dem Ort, auf den sich ein jedes Pixel 10# bezieht, auch ein Punkt 11a befindet. Die Verteilung der Punkte 11a kann beispielsweise mit einem Kern-Dichte-Schätzer ermittelt werden.In 2 is an example of how a point cloud with points 11a can be formed as an intermediate product 11 with increased resolution from an image with pixels 10# as measurement data 10. The point cloud as an intermediate product 11 assigns an intensity value to each of its points 11a, just as the image as measurement data 10 previously assigned an intensity value to each of its pixels 10#. The distribution of the points 11a is free, and it is not necessary that there is also a point 11a at the location to which each pixel 10# refers. The distribution of the points 11a can be determined, for example, using a kernel density estimator.

In dem in 2 gezeigten Beispiel gibt es im Bild drei unterscheidbare Regionen A, B und C. In Region A liegt eine hohe Dichte von Punkten 11a, in Region B eine mittlere Dichte von Punkten 11a und in Region C eine niedrige Dichte von Punkten 11a vor. Das bedeutet, dass in den drei Regionen A, B und C durch den Übergang zur Punktwolke als Zwischenprodukt 11 die Auflösung gegenüber dem ursprünglichen Bild in stark unterschiedlichem Maße gesteigert wird. Wenn in dem ursprünglichen Bild einzelne Pixel 10# mit Soll-Ausgaben 12 gelabelt waren, so können die Punkte 11a der Punktwolke beispielsweise als mit der Soll-Ausgabe des jeweils nächsten Pixels 10# gelabelt angesehen werden.In the in 2 In the example shown, there are three distinguishable regions A, B and C in the image. In region A there is a high density of points 11a, in region B there is a medium density of points 11a and in region C there is a low density of points 11a. This means that in the three regions A, B and C the transition to the point cloud as an intermediate product 11 increases the resolution to very different degrees compared to the original image. If individual pixels 10# were labeled with target outputs 12 in the original image, the points 11a of the point cloud can, for example, be viewed as being labeled with the target output of the next pixel 10#.

3 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100 zum Trainieren der zuvor beschriebenen Vorrichtung 1. 3 is a schematic flow diagram of an exemplary embodiment of the method 100 for training the previously described device 1.

In Schritt 110 werden Trainings-Beispiele 10a von Messdaten 10 bereitgestellt, die mit Soll-Ausgaben 12a in Bezug auf die vorgegebene Aufgabe gelabelt sind.In step 110, training examples 10a of measurement data 10 are provided, which are labeled with target outputs 12a in relation to the specified task.

In Schritt 120 werden die Trainings-Beispiele 10a der Vorrichtung 1 zugeführt, so dass Ausgaben 12 in Bezug auf die vorgegebene Aufgabe entstehen.In step 120, the training examples 10a are fed to the device 1, so that outputs 12 arise in relation to the given task.

In Schritt 130 werden Abweichungen dieser Ausgaben 12 von den jeweiligen Soll-Ausgaben 12a mit einer vorgegebenen Task-Kostenfunktion 13 bewertet. Es entsteht eine Bewertung 13a.In step 130, deviations of these outputs 12 from the respective target outputs 12a are evaluated with a predetermined task cost function 13. A rating of 13a is created.

In Schritt 140 werden sowohl die Task-Kopf-Parameter 3a als auch die Vorverarbeitungs-Parameter 2a optimiert mit dem Ziel, dass sich bei weiterer Verarbeitung von Trainings-Beispielen 10 die Bewertung 13a durch die Task-Kostenfunktion 13 verbessert.In step 140, both the task head parameters 3a and the preprocessing parameters 2a are optimized with the aim of improving the evaluation 13a by the task cost function 13 upon further processing of training examples 10.

Hierbei kann die Vorverarbeitungseinheit 2 gemäß Block 141 in einer ersten Phase des Trainings nur darauf trainiert werden, eine Punktwolke mit gegenüber den Trainings-Beispielen 10a zumindest teilweise erhöhten Auflösung zu erzeugen. Sie kann dann gemäß Block 142 in einer zweiten Phase des Trainings zusätzlich auch darauf trainiert werden, auf diese Punktwolke mindestens eine weitere Verarbeitungsoperation anzuwenden.Here, the preprocessing unit 2 according to block 141 can only be trained in a first phase of training to generate a point cloud with at least partially increased resolution compared to the training examples 10a. According to block 142, it can then also be additionally trained in a second phase of training to apply at least one further processing operation to this point cloud.

Die fertig trainierten Zustände der Vorverarbeitungs-Parameter 2a und der Task-Kopf-Parameter 3a sind mit den Bezugszeichen 2a* bzw. 3a* bezeichnet. Diese fertig trainierten Zustände legen das Verhalten der trainierten Vorrichtung 1* fest.The fully trained states of the preprocessing parameters 2a and the task head parameters 3a are designated by the reference numbers 2a* and 3a*, respectively. These fully trained states determine the behavior of the trained device 1*.

In Schritt 150 werden die bei der Verarbeitung der Trainings-Beispiele 10a gebildeten Zwischenprodukte 11 zusammen mit weiteren Beispielen 10b für Messdaten, die auf anderem Wege eine im Vergleich zu den Trainings-Beispielen 10a zumindest teilweise erhöhte Auflösung erhalten haben, in einem Pool P zusammengeführt.In step 150, the intermediate products 11 formed during the processing of the training examples 10a are brought together in a pool P together with further examples 10b for measurement data that have otherwise received at least a partially increased resolution compared to the training examples 10a.

Aus diesem Pool P werden in Schritt 160 Elemente 14 gezogen und einem Diskriminator 4 zugeführt. Daraufhin klassifiziert dieser Diskriminator 4 binär mit einer Entscheidung 14a, ob das jeweilige Element 14 eines der Zwischenprodukte 11 oder aber eines der weiteren Beispiele 10b für Messdaten ist.In step 160, elements 14 are drawn from this pool P and fed to a discriminator 4. This discriminator 4 then classifies binary with a decision 14a as to whether the respective element 14 is one of the intermediate products 11 or one of the further examples 10b for measurement data.

Die Korrektheit dieser Entscheidungen 14a wird in Schritt 170 mit einer Diskriminator-Kostenfunktion 16 bewertet.The correctness of these decisions 14a is evaluated in step 170 with a discriminator cost function 16.

In Schritt 180 werden die Vorverarbeitungs-Parameter 2a auf das Ziel optimiert, dass sich bei weiterer Verarbeitung von Trainings-Beispielen 10a die Bewertung 16a durch die Diskriminator-Kostenfunktion 16 verschlechtert.In step 180, the preprocessing parameters 2a are optimized to the goal that the evaluation 16a by the discriminator cost function 16 deteriorates with further processing of training examples 10a.

Gemäß Block 161 kann ein trainierbarer Diskriminator 4 gewählt werden, dessen Verhalten durch Diskriminator-Parameter 4a charakterisiert ist. Es können dann gemäß Block 181 auch die Diskriminator-Parameter 4a auf das Ziel optimiert werden 181, dass sich bei weiterer Verarbeitung von Trainings-Beispielen 10a die Bewertung 16a durch die Diskriminator-Kostenfunktion 16 verbessert. Das Training der Vorverarbeitungseinheit 2 einerseits und das Training des Diskriminators 4 andererseits arbeiten dann also gegeneinander, analog zu einem GAN.According to block 161, a trainable discriminator 4 can be selected, whose behavior is characterized by discriminator parameters 4a. According to block 181, the discriminator parameters 4a can then also be optimized 181 to the goal that, with further processing of training examples 10a, the evaluation 16a is improved by the discriminator cost function 16. The training of the preprocessing unit 2 on the one hand and the training of the discriminator 4 on the other hand then work against each other, analogous to a GAN.

Der fertig trainierte Zustand der Diskriminator-Parameter 4a ist mit dem Bezugszeichen 4a* bezeichnet. In der letztendlich trainierten Vorrichtung 1* kommen jedoch der Diskriminator 4, und somit auch die fertig trainierten Diskriminator-Parameter 4a*, nicht mehr vor.The fully trained state of the discriminator parameters 4a is designated by the reference number 4a*. However, the discriminator 4, and thus also the fully trained discriminator parameters 4a*, no longer appear in the ultimately trained device 1*.

In Schritt 190 werden der trainierten Vorrichtung 1* Messdaten 10 zugeführt. Aus der von der Vorrichtung 1* gelieferten Ausgabe 12 in Bezug auf die vorgegebene Aufgabe wird ein Ansteuersignal 200a ermittelt. In Schritt 210 wird ein Fahrzeug 50, ein Fahrassistenzsystem 60, ein System 70 zur Qualitätskontrolle, ein System 80 zur Überwachung von Bereichen, und/oder ein System 90 zur medizinischen Bildgebung, mit dem Ansteuersignal 200a angesteuert.In step 190, measurement data 10 is supplied to the trained device 1*. A control signal 200a is determined from the output 12 provided by the device 1* in relation to the specified task. In step 210, a vehicle 50, a driving assistance system 60, a system 70 for quality control, a system 80 for monitoring areas, and/or a system 90 for medical imaging, is controlled with the control signal 200a.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102017211331 A1 [0003]

Claims

Device (1) for processing measurement data (10) with regard to a given task, comprising • a trainable or trained pre-processing unit (2), whose behavior is characterized by pre-processing parameters (2a) and which is designed to process input measurement data (10) into an intermediate product (11) which is at least compared to the input measurement data (10). is partially increased in resolution; and • a trainable or trained task head (3), whose behavior is characterized by task head parameters (3a) and which is designed to determine an output (12) from the intermediate product (11) in relation to the specified task .

Device (1) according to Claim 1 , wherein the preprocessing unit (2) and/or the task head (3) each comprise and/or are a neural network and/or a part of a neural network.

Device (1) according to one of the Claims 1 until 2 , wherein the preprocessing unit (2) comprises and/or is a transformer network which is designed to convert the measurement data (10) into a point cloud as an intermediate product (11), the points of this point cloud having coordinates on at least one temporal and/or assign at least one measured value to one or more measured variables on a spatial scale.

Device (1) according to Claim 3 , wherein the preprocessing unit (2) is designed to generate a point cloud with variable density of the points in the space spanned by the coordinates.

Device (1) according to one of the Claims 3 until 4 , wherein the pre-processing unit (2) is designed to • first generate the point cloud depending on the pre-processing parameters (2a) with at least partially increased resolution and • then apply at least one further processing operation to this point cloud, the behavior of which is also determined by pre-processing parameters (2a) is characterized.

Device (1) according to one of the Claims 1 until 5 , wherein the task head (3) is designed as a classifier and/or as an object detector.

Device (1) according to one of the Claims 1 until 6 , designed to process images and/or time series of measured values of at least one measured variable as measurement data (10).

Method (100) for training a device according to one of Claims 1 until 7 with the steps: • Training examples (10a) of measurement data (10) are provided (110), which are labeled with target outputs (12a) in relation to the specified task; • the training examples (10a) are fed (120) to the device (1), so that outputs (12) arise in relation to the specified task; • Deviations of these expenditures (12) from the respective target expenditures (12a) are evaluated (130) using a predetermined task cost function (13); • both the task head parameters (3a) and the pre-processing parameters (2a) are optimized (140) with the aim of the evaluation (13a) by the task Cost function (13) improved.

Procedure (100) according to Claim 8 , whereby the preprocessing unit (2) • in a first phase of training is only trained (141) to generate a point cloud with at least partially increased resolution compared to the training examples (10a), and • additionally in a second phase of training is trained to apply (142) at least one further processing operation to this point cloud.

Method (100) according to one of Claims 8 until 9 , whereby • the intermediate products (11) formed during the processing of the training examples (10a) together with further examples (10b) for measurement data that have received at least a partially increased resolution compared to the training examples (10a) in another way , are merged into a pool (P) (150); • Elements (14) are drawn from the pool (P) and fed to a discriminator (4) (160), so that this discriminator (4) classifies in binary terms whether the respective element (14) is one of the intermediate products (11) or one the further examples (10b) are for measurement data; • the correctness of the decisions (14a) made by the discriminator (4) is evaluated (170) using a discriminator cost function (16); and • the preprocessing parameters (2a) are optimized (180) to the goal that with further processing of training examples (10a) the evaluation (16a) by the discriminator cost function (16) deteriorates.

Procedure (100) according to Claim 10 , where • a trainable discriminator (4) is selected (161), whose behavior is characterized by discriminator parameters (4a), and • the discriminator parameters (4a) are optimized to the goal (181) that with further processing of training examples (10a) the evaluation (16a) through the discriminator cost function (16) improves.

Method (100) according to one of Claims 10 until 11 , whereby the further examples (10b) for measurement data • are obtained from measurement data (151) that were recorded with a higher resolution than the training examples (10a); and/or • be brought to the increased resolution (152) using a method other than that used in the pre-processing unit (2); and/or • generated synthetically in increased resolution (153).

Method (100) according to one of Claims 8 until 12 , whereby • measurement data (10) is supplied to the trained device (1*) (190); • a control signal (200a) is determined (200) from the output (12) provided by the device (1*) in relation to the specified task; and • a vehicle (50), a driving assistance system (60), a system (70) for quality control, a system (80) for monitoring areas, and / or a system (90) for medical imaging, with the control signal (200a) is controlled (210).

Computer program containing machine-readable instructions which, when executed on one or more computers and/or compute instances, connect the computer(s) or compute instances to the device (1) according to one of the Claims 1 until 7 upgrade, and/or cause the method (100) to be carried out according to one of the Claims 8 until 13 to carry out.

Machine-readable data carrier with the computer program Claim 14 .

One or more computers and/or compute instances with the computer program Claim 14 , and/or with the machine-readable data carrier Claim 15 .