DE102021206989A1

DE102021206989A1 - Computer-implemented method for processing a data set and method for computer-implemented image processing

Info

Publication number: DE102021206989A1
Application number: DE102021206989.4A
Authority: DE
Inventors: Andreas Albrecht; Jan Stellet; Arvind Kumar Shekar; Axel Wendt; Laureen Lake
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-07-02
Filing date: 2021-07-02
Publication date: 2023-01-05
Also published as: WO2023274942A1

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren (10) zur Verarbeitung eines Datensatzes (12) für einen Bildverarbeitungsalgorithmus (16) zur computerimplementierten Bildverarbeitung von durch Sensordaten (22) erhaltenen Bilddaten (18), wobei der Datensatz (12) mehrere Datensatzmitglieder (24) mit jeweiligen Bildmerkmale aufweisenden Bilddaten umfasst, wobei wenigstens ein erstes Datensatzmitglied (24.1) des Datensatzes (12) einer Neuartigkeitsbewertung unterzogen wird, bei der in Bezug auf die Bildmerkmale der Abweichungsgrad (84) des ersten Datensatzmitglieds (24.1) gegenüber Referenzdatensatzmitgliedern des Datensatzes (12) ermittelt wird und das erste Datensatzmitglied (24.1) dem Bildverarbeitungsalgorithmus (16) abhängig von dem Abweichungsgrad (84) als Eingabe übergeben wird. Weiterhin betrifft die Erfindung ein Verfahren (70) zur computerimplementierten Bildverarbeitung, ein Computerprogramm (80), eine Speichereinheit (76) und ein Bildverarbeitungssystem (74).

The invention relates to a computer-implemented method (10) for processing a data set (12) for an image processing algorithm (16) for computer-implemented image processing of image data (18) obtained from sensor data (22), the data set (12) having a plurality of data set members (24) with respective image data comprising image features, wherein at least a first data set member (24.1) of the data set (12) is subjected to a novelty assessment, in which the degree of deviation (84) of the first data set member (24.1) compared to reference data set members of the data set (12) is determined with regard to the image features and the first data set member (24.1) is passed as input to the image processing algorithm (16) dependent on the degree of deviation (84). The invention also relates to a method (70) for computer-implemented image processing, a computer program (80), a memory unit (76) and an image processing system (74).

Description

Die Erfindung betrifft ein computerimplementiertes Verfahren zur Verarbeitung eines Datensatzes nach dem Oberbegriff von Anspruch 1. Weiterhin betrifft die Erfindung ein Verfahren zur computerimplementierten Bildverarbeitung, ein Computerprogramm, eine Speichereinheit und ein Bildverarbeitungssystem.The invention relates to a computer-implemented method for processing a data record according to the preamble of claim 1. The invention also relates to a method for computer-implemented image processing, a computer program, a memory unit and an image processing system.

Stand der TechnikState of the art

In DE 10 2019 202 751 A1 ist ein Verfahren zur Objektdetektion beschrieben, mit dem Objekte in durch einen Sensor erfassten Bilddaten detektiert werden und bei dem zur Objektdetektion ein erstes neuronales Netz zur Erkennung von Geometrien in den Bilddaten und ein zweites neuronales Netz zur Erkennung von Objekten in den Bilddaten eingesetzt werden.In DE 10 2019 202 751 A1 describes a method for object detection, with which objects in image data captured by a sensor are detected and in which a first neural network for detecting geometries in the image data and a second neural network for detecting objects in the image data are used for object detection.

In „A. Vasilev, V. Golkov, M. Meissner, I. Lipp, E. Sgarlata, V. Tomassini, D. Jones, D. Cremers, q-Space Novelty Detection with Variational Autoencoders, 2018, arXiv: 1806.02997“ werden verschiedene Verfahren zur Neuartigkeitsbewertung von Bilddaten in einem Bilddatensatz durch Einsatz von variationalen Autoenkodern beschrieben.In "A Vasilev, V. Golkov, M. Meissner, I. Lipp, E. Sgarlata, V. Tomassini, D. Jones, D. Cremers, q-Space Novelty Detection with Variational Autoencoders, 2018, arXiv: 1806.02997” discusses different novelty assessment methods of image data in an image data set using variational autoencoders.

Offenbarung der ErfindungDisclosure of Invention

Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zur Verarbeitung eines Datensatzes mit allen Merkmalen von Anspruch 1. Dadurch kann der Datensatz zielgerichtet für den Bildverarbeitungsalgorithmus aufbereitet werden. Der Bildverarbeitungsalgorithmus kann leistungsfähiger aufgebaut werden.The present invention relates to a computer-implemented method for processing a data set with all the features of claim 1. As a result, the data set can be processed in a targeted manner for the image processing algorithm. The image processing algorithm can be built more efficiently.

Das Verfahren kann beispielsweise bei folgenden Vorgängen, bei denen die Neuartigkeitsbewertung insbesondere bei mehreren ersten Datensatzmitgliedern angewandt wird, zum Einsatz kommen:

a) Die ersten Datensatzmitglieder können einem Trainingsdatensatz zum Anlernen des Bildverarbeitungsalgorithmus angehören und der Trainingsdatensatz kann abhängig von dem jeweiligen Abweichungsgrad der ersten Datensatzmitglieder zum Anlernen des Bildverarbeitungsalgorithmus aufbereitet werden. Dabei können vorab festgelegte Anforderungen an den Trainingsdatensatz, beispielsweise der Anteil von einen vorgegebenen Abweichungsgrad aufweisenden Datensatzmitgliedern, gestellt werden.
b) Die ersten Datensatzmitglieder können einem Testdatensatz zur Evaluierung des Bildverarbeitungsalgorithmus angehören und der Abweichungsgrad der ersten Datensatzmitglieder dient als Maßstab der Neuartigkeit der Datensatzmitglieder des Testdatensatzes. Eine Evaluierung des Bildverarbeitungsalgorithmus, insbesondere in Bezug auf dessen Leitungskennwerte und/oder Verallgemeinerungsfähigkeit, kann auf die Neuartigkeit bezogen werden. Beispielsweise kann die Verallgemeinerungsfähigkeit des Bildverarbeitungsalgorithmus danach bemessen werden, wie groß und häufig die Neuartigkeit der Datensatzmitglieder in dem Testdatensatz ist.
c) Der Datensatz kann beschriftete Datensatzmitglieder aufweisen, die zumindest einer Kennzeichnungskategorie zugeordnet sind. Die Beschriftung der Referenzdatensatzmitglieder kann verifiziert sein und die Beschriftung der ersten Datensatzmitglieder kann noch unbestätigt sein und über die Erfassung des Abweichungsgrads überprüft werden. Damit kann eine Qualitätsprüfung der ersten Datensatzmitglieder durchgeführt werden.

The procedure can be used, for example, in the following processes in which the novelty assessment is used in particular for several first dataset members:

a) The first data set members can belong to a training data set for training the image processing algorithm and the training data set can be processed depending on the respective degree of deviation of the first data set members for training the image processing algorithm. In this case, previously defined requirements can be made of the training data set, for example the proportion of data set members having a predetermined degree of deviation.
b) The first data set members can belong to a test data set for evaluating the image processing algorithm and the degree of deviation of the first data set members serves as a measure of the novelty of the data set members of the test data set. An evaluation of the image processing algorithm, in particular with regard to its performance characteristics and/or generalizability, can be related to the novelty. For example, the generalization ability of the image processing algorithm can be measured by how large and frequent the novelty of the data set members in the test data set is.
c) The record may have labeled record members associated with at least one tagging category. The labeling of the reference data set members may be verified and the labeling of the first data set members may be unconfirmed and verified via detection of the degree of deviation. This allows a quality check of the first data record members to be carried out.

Als latenter Raum wird ein abstrakter mehrdimensionaler Raum mit Merkmalseigenschaften verstanden, die nicht unmittelbar interpretierbar sind und die als eine interne Darstellung von extern beobachteten Ereignissen, bevorzugt durch einen Enkoder, umgewandelt sind.Latent space is understood to be an abstract multidimensional space with feature properties that are not immediately interpretable and that are transformed as an internal representation of externally observed events, preferably by an encoder.

Die Bildmerkmale können die Bilddaten beschreibende Muster, beispielsweise geometrische Eigenschaften, insbesondere Linien oder geometrische Formen und/oder optische Eigenschaften, insbesondere Farbeigenschaften oder Intensitätseigenschaften, sein.The image features can be patterns describing the image data, for example geometric properties, in particular lines or geometric shapes and/or optical properties, in particular color properties or intensity properties.

Die eine Verkehrssituation darstellenden Bilddaten können Bildinformationen der Umgebung eines Fahrzeugs sein. Die Verkehrssituation kann ein zu einem Zeitpunkt vorliegender Umgebungszustand des Fahrzeugs sein.The image data representing a traffic situation can be image information about the surroundings of a vehicle. The traffic situation can be an environmental state of the vehicle that is present at a point in time.

Die Bildverarbeitung kann eine Objekterkennung und/oder Objektklassifizierung in den Bilddaten einschließen. Beispielsweise können mit der Bildverarbeitung Bildbereiche erkannt und ausgewählt werden. Die Objekterkennung und/oder Objektklassifizierung kann in den ausgewählten Bildbereichen erfolgen.The image processing can include object detection and/or object classification in the image data. For example, image areas can be recognized and selected with image processing. Object recognition and/or object classification can take place in the selected image areas.

Der Abweichungsgrad kann als ein Kennwert des ersten Datensatzmitglieds angesetzt werden. Der Abweichungsgrad kann auch anstelle an dem gesamten ersten Datensatzmitglied bei wenigstens einem ausgewählten Bildbereich des ersten Datensatzmitglieds berechnet werden. Die Auswahl des Bildbereichs kann über ein weiteres neuronales Netz, bevorzugt ein gefaltetes neuronales Netz, erfolgen.The degree of deviation can be taken as an index of the first dataset member. The degree of deviation can also be calculated on at least a selected image area of the first dataset member instead of on the entire first dataset member. The image area can be selected via a further neural network, preferably a folded neural network.

Der Datensatz kann in einen mehrere erste Datensatzmitglieder umfassenden Datensatz und einen die Referenzdatendatensatzmitglieder umfassenden Referenzdatensatz unterteilt sein.The data set can be divided into a data set comprising several first data set members and a reference data set comprising the reference data data set members.

Der Datensatz kann ein Trainingsdatensatz, ein Validierungsdatensatz oder ein Testdatensatz sein. Der Datensatz kann einen Trainingsdatensatz, einen Validierungsdatensatz und/oder einen Testdatensatz aufweisen. Der Trainingsdatensatz kann zum Anlernen des Bildverarbeitungsalgorithmus verwendet werden. Der Validierungsdatensatz kann bei einem Anlernen des Bildverarbeitungsalgorithmus zur Validierung des Anlernvorgangs verwendet werden. Der Testdatensatz kann zur Evaluierung des angelernten Bildverarbeitungsalgorithmus, insbesondere in Bezug auf dessen Leitungskennwerte und/oder Verallgemeinerungsfähigkeit, verwendet werden. Das erste Datensatzmitglied kann dem Testdatensatz und die Referenzdatensatzmitglieder können dem Trainingsdatensatz und/oder Validierungsdatensatz angehören.The dataset can be a training dataset, a validation dataset, or a test dataset. The dataset may include a training dataset, a validation dataset, and/or a test dataset. The training data set can be used to train the image processing algorithm. The validation data record can be used when training the image processing algorithm to validate the training process. The test data set can be used to evaluate the trained image processing algorithm, in particular with regard to its performance characteristics and/or generalization ability. The first data set member may be the test data set and the reference data set members may be the training data set and/or the validation data set.

Nach erfolgter Neuartigkeitsbewertung kann in dem die ersten Datensatzmitglieder umfassenden Datensatz der weiterhin zu verbleibende Anteil der ersten Datensatzmitglieder, deren mit der Neuartigkeitsbewertung festgestellter Abweichungsgrad eine vorgegebene Abweichung überschreitet zur weiteren Verarbeitung, beispielsweise zum Anlernen oder zur Evaluierung des Bildverarbeitungsalgorithmus, wählbar sein.After the novelty assessment has been carried out, the remaining portion of the first data set members whose degree of deviation determined with the novelty assessment exceeds a predetermined deviation can be selected in the data set comprising the first data set members for further processing, for example for training or for evaluating the image processing algorithm.

Abhängig von der Neuartigkeitsbewertung kann eine Aufspaltung des Datensatzes in den Trainingsdatensatz, gegebenenfalls auch in den Validierungsdatensatz, und den Testdatensatz erfolgen. Beispielsweise können mehrere erste Datensatzmitglieder, bei denen der Abweichungsgrad eine vorgegebene Abweichung überschreitet, dem Testdatensatz zugeordnet werden, insbesondere um über den Testdatensatz die Leistungsfähigkeit des Bildverarbeitungsalgorithmus bezüglich einer Verallgemeinerungsfähigkeit bewerten zu können. Abhängig von dem durch das zuvor angegebene Verfahren ermittelten Abweichungsgrad kann eine Selektion oder Ausgrenzung von einzelnen ersten Datensatzmitgliedern oder einzelnen Bereichen der ersten Datensatzmitglieder erfolgen und dadurch ein Datensatz zur weiteren Verwendung gezielt aufbereitet werden und die Qualität des Datensatzes erhöht werden.Depending on the novelty assessment, the data set can be split into the training data set, possibly also the validation data set, and the test data set. For example, several first data set members, for which the degree of deviation exceeds a predetermined deviation, can be assigned to the test data set, in particular to be able to use the test data set to evaluate the performance of the image processing algorithm with regard to generalization ability. Depending on the degree of discrepancy determined by the method specified above, a selection or exclusion of individual first dataset members or individual areas of the first dataset members can take place and a dataset can thereby be specifically prepared for further use and the quality of the dataset can be increased.

Für ein Anlernen und/oder für eine Evaluierung des Bildverarbeitungsalgorithmus mit dem Datensatz kann die Zusammensetzung des Datensatzes durch das zuvor angegebene Verfahren vorab ermittelt und/oder nachträglich beeinflusst werden. Beispielsweise können einzelne Datensatzmitglieder dem Datensatz entnommen werden oder in dem Datensatz verbleiben, um ein anschließendes Anlernen und/oder eine anschließende Evaluierung des Bildverarbeitungsalgorithmus durchzuführen.For a training and/or for an evaluation of the image processing algorithm with the data set, the composition of the data set can be determined in advance and/or influenced later by the method specified above. For example, individual data set members can be taken from the data set or remain in the data set in order to carry out subsequent training and/or subsequent evaluation of the image processing algorithm.

Als Neuartigkeit kann ein Unterschied in wenigstens einem der Bildmerkmale verstanden werden, der das erste Datensatzmitglied von den Referenzdatensatzmitgliedern in Bezug auf wenigstens dieses eine Bildmerkmal abgrenzt. Die Neuartigkeit kann sich dabei zusätzlich auf wenigstens eine Kennzeichnungskategorie beziehen, mit der der Datensatz beschriftet ist. Die Neuartigkeit kann sich auf die Zuordnung zu einer Kennzeichnungskategorie des Datensatzmitglieds, die diesem beispielsweise durch eine Beschriftung des Datensatzmitglieds als Bestandteil eines beschrifteten Datensatzes zugewiesen ist, beziehen.A difference in at least one of the image features can be understood as novelty, which distinguishes the first data set member from the reference data set members with regard to at least this one image feature. The novelty can also relate to at least one identification category with which the data record is labeled. The novelty may relate to the record member's association with a labeling category assigned to it by, for example, a label of the record member as part of a labeled record.

Als Referenzdatensatzmitglieder können zufällig ausgewählte Datensatzmitglieder eines Referenzdatensatzes des Datensatzes ausgewählt werden. Damit kann der Anteil an neuartigen Datensatzmitgliedern eines zu überprüfenden Testdatensatzes, der Datensatzmitglieder als erste Datensatzmitglieder aufweist, berechnet werden. Es kann darüber ein Kennwert über die Neuartigkeit der Datensatzmitglieder des Testdatensatzes berechnet und mit Kennwerten anderer über das Verfahren verarbeiteter Testdatensätze verglichen werden.Randomly selected data record members of a reference data record of the data record can be selected as reference data record members. The proportion of novel dataset members of a test dataset to be checked that has dataset members as the first dataset members can thus be calculated. A characteristic value can be calculated about the novelty of the data set members of the test data set and compared with characteristic values of other test data sets processed via the method.

In einer speziellen Ausführung der Erfindung ist vorgesehen, dass die Bildmerkmale mehrere Merkmalsdimensionen aufweisen und der Abweichungsgrad des ersten Datensatzmitglieds ermittelt wird, indem über eine mit den Referenzdatensatzmitgliedern angelernte Reduktionseinheit die Merkmalsdimensionen des ersten Datensatzmitglieds in einem latenten Raum verringert werden und anschließend über eine Ausreißererkennungseinheit der Abweichungsgrad des ersten Datensatzmitglieds in Bezug auf die Referenzdatensatzmitglieder berechnet wird. Dadurch kann die Genauigkeit der Neuartigkeitsbewertung erhöht werden. Die Reduktionseinheit und/oder die Ausreißererkennungseinheit können mit den Referenzdatensatzmitgliedern angelernt werden. Das erste Datensatzmitglied kann in der angelernten Reduktionseinheit und/oder in der angelernten Ausreißererkennungseinheit zur Berechnung des Abweichungsgrads in der Neuartigkeitsbewertung verarbeitet werden.In a special embodiment of the invention, it is provided that the image features have several feature dimensions and the degree of deviation of the first data set member is determined by reducing the feature dimensions of the first data set member in a latent space using a reduction unit trained with the reference data set members and then using an outlier detection unit to reduce the degree of deviation of the first record member is calculated in relation to the reference record members. This can increase the accuracy of the novelty assessment. The reduction unit and/or the outlier detection unit can be trained with the reference data record members. The first data set member can be processed in the trained reduction unit and/or in the trained outlier detection unit to calculate the degree of deviation in the novelty assessment.

Bei einer bevorzugten Ausführung der Erfindung ist es vorteilhaft, wenn die Reduktionseinheit die Merkmalsdimensionen in dem latenten Raum auf eine erste Anzahl an Merkmalsdimensionen, beispielsweise auf zwei Merkmalsdimensionen, verringert. Die dimensionsverringerten Bilddaten des ersten Datensatzmitglieds können der Ausreißererkennungseinheit übergeben werden.In a preferred embodiment of the invention, it is advantageous if the reduction unit reduces the feature dimensions in the latent space to a first number of feature dimensions, for example to two feature dimensions. The reduced dimension image data of the first data set member can be passed to the outlier detection unit.

In einer speziellen Ausführung der Erfindung ist vorgesehen, dass die Ausreißererkennungseinheit den Abweichungsgrad des ersten Datensatzmitglieds mit in dem latenten Raum auf die Referenzdatensatzmitglieder zur Referenzbildung und auf das erste Datensatzmitglied zur Abfrage angewandter LOF-Funktion (Lokale Ausreißer Faktor Funktion) und/oder angewandtem Einklassen-SVM (Support Vector Machine) berechnet.In a specific embodiment of the invention, it is provided that the outlier detection unit determines the degree of deviation of the first data set member with an LOF function (local outlier factor function) and/or an applied single-class function applied in the latent space to the reference data set members for reference formation and to the first data set member for querying. SVM (Support Vector Machine) calculated.

Bei einer speziellen Ausgestaltung der Erfindung ist es vorteilhaft, wenn die Reduktionseinheit einen variationalen Autoenkoder und/oder eine UMAP-Funktion (uniform manifold approximation and projection Funktion) anwendet. Die Merkmalsdimensionen können zunächst durch den variationalen Autoenkoder, insbesondere auf eine erste Anzahl an Merkmalsdimensionen, bevorzugt größer als zwei Merkmalsdimensionen, und anschließend durch die UMAP-Funktion auf eine kleinere zweite Anzahl an Merkmalsdimensionen, beispielsweise auf zwei Merkmalsdimensionen, verringert werden. Auch kann abhängig von der Anzahl an Merkmalsdimensionen nach Anwendung des variationalen Autoenkoders, beispielsweise bei einer ersten Anzahl an Merkmalsdimensionen kleiner gleich 40, bevorzugt zwischen 30 und 40, ausschließlich der variationale Autoenkoder angewendet werden. Eine nachfolgende UMAP-Funktion kann entbehrlich sein.In a specific embodiment of the invention, it is advantageous if the reduction unit uses a variational autoencoder and/or a UMAP function (uniform manifold approximation and projection function). The feature dimensions can first be reduced by the variational autoencoder, in particular to a first number of feature dimensions, preferably greater than two feature dimensions, and then by the UMAP function to a smaller second number of feature dimensions, for example two feature dimensions. Depending on the number of feature dimensions after using the variational autoencoder, for example with a first number of feature dimensions less than or equal to 40, preferably between 30 and 40, only the variational autoencoder can be used. A subsequent UMAP function may not be necessary.

Bei einer bevorzugten Ausführung der Erfindung ist es vorteilhaft, wenn der Datensatz einen Testdatensatz und einen Trainingsdatensatz umfasst und das erste Datensatzmitglied dem Testdatensatz zur Evaluierung des angelernten Bildverarbeitungsalgorithmus und die Referenzdatensatzmitglieder dem Trainingsdatensatz zum Anlernen des Bildverarbeitungsalgorithmus zugeordnet sind. Dadurch kann der Bildverarbeitungsalgorithmus mit dem ersten Datensatzmitglied abhängig von dem festgestellten Abweichungsgrad evaluiert werden.In a preferred embodiment of the invention, it is advantageous if the data set includes a test data set and a training data set and the first data set member is assigned to the test data set for evaluating the trained image processing algorithm and the reference data set members are assigned to the training data set for training the image processing algorithm. As a result, the image processing algorithm can be evaluated with the first data set member depending on the degree of deviation found.

Bei einer speziellen Ausführung der Erfindung ist es von Vorteil, wenn das erste Datensatzmitglied und die Referenzdatensatzmitglieder zur Zuordnung zu wenigstens einer Kennzeichnungskategorie beschriftet sind, die Richtigkeit der Beschriftung bei den Referenzdatensatzmitgliedern feststeht und die Richtigkeit der Beschriftung wenigstens des ersten Datensatzmitglieds mit der Neuartigkeitsbewertung abhängig von dem Abweichungsgrad festgestellt wird. Dadurch kann eine Prüfung auf die Richtigkeit der Beschriftung des ersten Datensatzmitglieds erfolgen und damit die Qualität des Datensatzes erhöht werden.In a specific embodiment of the invention, it is advantageous if the first data set member and the reference data set members are labeled for assignment to at least one identification category, the correctness of the labeling of the reference data set members is certain and the correctness of the labeling of at least the first data set member with the novelty rating depends on the Degree of deviation is determined. As a result, the correctness of the labeling of the first data record member can be checked and the quality of the data record can thus be increased.

In einer speziellen Ausführung der Erfindung ist die Neuartigkeitsbewertung einem Datenfilter zugeordnet, der das erste Datensatzmitglied über den Abweichungsgrad kennzeichnet und insbesondere davon abhängig ausgibt. Für ein Anlernen und/oder für eine Evaluierung des Bildverarbeitungsalgorithmus mit dem Datensatz kann dadurch die Zusammensetzung des Datensatzes vorab ermittelt und/oder nachträglich beeinflusst werden. Der Datenfilter kann abhängig von dem Abweichungsgrad eine Zuordnung des ersten Datensatzmitglieds zu dem Datensatz vornehmen. Beispielsweise kann durch den Datenfilter das erste Datensatzmitglied dem Datensatz entnommen werden oder in dem Datensatz verbleiben, insbesondere um ein anschließendes Anlernen und/oder eine anschließende Evaluierung des Bildverarbeitungsalgorithmus durchzuführen.In a special embodiment of the invention, the novelty assessment is assigned to a data filter that identifies the first data set member via the degree of deviation and, in particular, outputs it as a function of this. The composition of the data set can thus be determined in advance and/or subsequently influenced for training and/or for an evaluation of the image processing algorithm with the data set. Depending on the degree of deviation, the data filter can assign the first data record member to the data record. For example, the data filter can be used to remove the first data set member from the data set or to remain in the data set, in particular in order to carry out subsequent training and/or subsequent evaluation of the image processing algorithm.

Weiterhin betrifft die Erfindung ein Verfahren zur computerimplementierten Bildverarbeitung von durch Sensordaten eines Sensors eines Fahrzeugs erhaltenen Bilddaten, bevorzugt zur Bewertung einer Verkehrssituation des Fahrzeugs, mit einem Bildverarbeitungsalgorithmus, der auf einem durch ein zuvor beschriebenes Verfahren bearbeiteten Datensatz aufbaut und der eine Bildauswertung der Bilddaten zur Steuerung einer Funktion des Fahrzeugs ausgibt. Dadurch kann die Bildverarbeitung neuartige Bilddaten schneller und zuverlässiger erkennen. Der Bildverarbeitungsalgorithmus kann eine größere Verallgemeinerungsfähigkeit aufweisen.Furthermore, the invention relates to a method for computer-implemented image processing of image data obtained through sensor data from a sensor of a vehicle, preferably for evaluating a traffic situation of the vehicle, with an image processing algorithm which is based on a data set processed by a method described above and which carries out an image evaluation of the image data for control a function of the vehicle. This enables image processing to recognize new types of image data more quickly and reliably. The image processing algorithm may have greater generalization capability.

Das Verfahren kann bei einem Fahrzeug angewendet werden. Das Fahrzeug kann ein Kraftfahrzeug sein. Das Fahrzeug kann einen autonomen oder teilautonomen Fahrzustand, bei der das zuvor beschriebene Verfahren ausgeführt wird, einnehmen. Die Funktion des Fahrzeugs kann ein Fahrzeugantrieb, eine Anzeige, eine Bremse und/oder eine Lenkung sein. Die Funktion des Fahrzeugs kann eine Wahrnehmungsfunktion, eine Verhaltensplanungs-, eine Lenkungs- oder eine Steuerungsfunktion sein.The method can be applied to a vehicle. The vehicle can be an automobile. The vehicle can assume an autonomous or semi-autonomous driving state, in which the method described above is carried out. The function of the vehicle may be vehicle propulsion, display, braking and/or steering. The function of the vehicle can be a perception function, a behavior planning function, a steering function, or a control function.

Das Verfahren einschließlich des Datenfilters kann, insbesondere auch, während eines Betriebs des Fahrzeugs durchgeführt werden.The method including the data filter can, in particular, also be carried out during operation of the vehicle.

Die Bilddaten können Sensordaten, bevorzugt eines Bildsensors, insbesondere einer Kamera, sein. Die Kamera kann an dem Fahrzeug angebracht sein. Die Bilddaten können Bildinformationen der Umgebung des Fahrzeugs sein. Bevorzugt umfassen die Bilddaten zumindest Bildinformationen von einem Verkehrsschild, einem Verkehrszeichen, einem Objekt, einer Person und/oder einer Ampel als einer das Verkehrsverhalten von Verkehrsteilnehmern beeinflussenden Lichtsignaleinrichtung.The image data can be sensor data, preferably from an image sensor, in particular from a camera. The camera can be mounted on the vehicle. The image data can be image information of the surroundings of the vehicle. The image data preferably include at least image information from a traffic sign, a traffic sign, an object, a person and/or a traffic light as a light signal device influencing the traffic behavior of road users.

Das Verfahren zur computerimplementierten Bildverarbeitung kann bei einer Ampeldetektion eingesetzt sein. Bei der Ampeldetektion kann über die Bilddaten eine Erkennung einer Ampel und/oder eine Erfassung des Ampelzustands, insbesondere grün, gelb, rot oder aus, erfolgen.The method for computer-implemented image processing can be used for traffic light detection. In traffic light detection, the image data can be used to detect a traffic light and/or a Detection of the traffic light status, in particular green, yellow, red or off, take place.

Der Bildverarbeitungsalgorithmus kann auf einem faltenden neuronalen Netz, auch als CNN (convolutional neural network) bezeichnet, aufbauen. Der Bildverarbeitungsalgorithmus kann nach einem Anlernen mit spezifischen Bilddaten (beispielsweise Fahrszenen mit Ampelereignissen) feinabgestimmt sein.The image processing algorithm can be based on a convolutional neural network, also known as a CNN (convolutional neural network). After training, the image processing algorithm can be fine-tuned with specific image data (for example driving scenes with traffic light events).

Ein Zweiphasen-Detektor, insbesondere aufbauend auf einem R-CNN, ermöglicht eine vorgeschaltete Bereichserfassung von relevanten Bildbereichen und eine anschließende Zuordnung (Klassifizierung) des jeweiligen Bildbereichs.A two-phase detector, based in particular on an R-CNN, enables an upstream area detection of relevant image areas and a subsequent assignment (classification) of the respective image area.

Bei einem Einphasen-Detektor ist die Bereichserfassung und Bereichszuordnung des Bildbereichs vereinheitlicht.In a single-phase detector, the area detection and area allocation of the image area is unified.

Bei einer speziellen Ausführung der Erfindung ist es von Vorteil, wenn der Bildverarbeitungsalgorithmus in Bezug auf die Bildverarbeitung wenigstens einen Leistungskennwert oder eine Kombination aus wenigstens zwei Leistungskennwerten aufweist, die dessen Verarbeitungsleistung der Bilddaten kennzeichnen und die abhängig von den Datensatzmitgliedern sind, wobei der Leistungskennwert oder wenigstens ein Leistungskennwert aus der Kombination aus wenigstens zwei Leistungskennwerten abhängig von dem Abweichungsgrad festgestellt werden. Dadurch kann die Verarbeitungsleistung in Bezug auf neuartige Bilddaten festgestellt werden. Die Verallgemeinerungsfähigkeit des Bildverarbeitungsalgorithmus kann geprüft werden. Dadurch kann die Praxistauglichkeit und Zuverlässigkeit der mit dem Bildverarbeitungsalgorithmus durchgeführten Bildverarbeitung erhöht werden.In a specific embodiment of the invention, it is advantageous if the image processing algorithm has at least one performance indicator or a combination of at least two performance indicators in relation to image processing, which characterize its processing performance of the image data and which are dependent on the data set members, the performance indicator or at least a performance indicator from the combination of at least two performance indicators can be determined as a function of the degree of deviation. This allows the processing performance to be determined with respect to novel image data. The generalization ability of the image processing algorithm can be checked. As a result, the practicality and reliability of the image processing carried out using the image processing algorithm can be increased.

Über die Neuartigkeitsbewertung kann für den Datensatz ein Kennwert eingeführt werden, der den Neuartigkeitsgrad und/oder den Anteil der als neuartig erfassten Datensatzmitglieder ausmacht. Der Bildverarbeitungsalgorithmus kann damit auf seine Leistungsfähigkeit, bevorzugt auf seine Verallgemeinerungsfähigkeit, abhängig von dem Kennwert des Datensatzes evaluiert werden.A characteristic value can be introduced for the dataset via the novelty assessment, which constitutes the degree of novelty and/or the proportion of dataset members recorded as novel. The image processing algorithm can thus be evaluated for its performance, preferably for its ability to generalize, depending on the characteristic value of the data set.

Weiterhin betrifft die Erfindung ein Computerprogramm, das maschinenlesbare und auf wenigstens einem Computer ausführbare Anweisungen aufweist, bei deren Ausführung das zuvor beschriebene Verfahren abläuft.Furthermore, the invention relates to a computer program that has machine-readable instructions that can be executed on at least one computer and that execute the method described above.

Weiterhin betrifft die Erfindung eine Speichereinheit, die maschinenlesbar und durch wenigstens einen Computer zugreifbar ausgeführt ist und auf der das zuvor beschriebene Computerprogramm gespeichert ist. Die Speichereinheit kann ein Datenspeicher, insbesondere ein Datenträger, oder ein Teilbereich eines Datenspeichers sein. Die Speichereinheit kann wenigstens einem Speicherbereich auf einem Datenträger entsprechen. Der Datenträger kann portabel oder fest eingebaut sein.Furthermore, the invention relates to a memory unit which is machine-readable and accessible by at least one computer and on which the computer program described above is stored. The memory unit can be a data memory, in particular a data carrier, or a part of a data memory. The storage unit can correspond to at least one storage area on a data carrier. The data carrier can be portable or permanently installed.

Weiterhin betrifft die Erfindung ein Bildverarbeitungssystem, aufweisend eine Speichereinheit eine derartige Speichereinheit und eine Verarbeitungseinheit, die mit der Speichereinheit verbunden ist und eingerichtet ist, das zuvor beschriebene Verfahren zur computerimplementierten Bildverarbeitung auszuführen. Das Bildverarbeitungssystem kann eine Bilderkennung, Bilderfassung, Objekterfassung, Objekterkennung und/oder Objektzustandserkennung und/oder Objektlokalisierung umsetzen. Die Verarbeitungseinheit, beispielsweise ein Prozessor, kann einem Computer zugeordnet sein.Furthermore, the invention relates to an image processing system having a memory unit, such a memory unit and a processing unit which is connected to the memory unit and is set up to execute the method for computer-implemented image processing described above. The image processing system can implement image recognition, image acquisition, object acquisition, object recognition and/or object status recognition and/or object localization. The processing unit, for example a processor, can be associated with a computer.

Weitere Vorteile und vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus der Figurenbeschreibung und den Abbildungen.Further advantages and advantageous configurations of the invention result from the description of the figures and the illustrations.

Figurenlistecharacter list

Die Erfindung wird im Folgenden unter Bezugnahme auf die Abbildungen ausführlich beschrieben. Es zeigen im Einzelnen:

1: Ein Verfahren zur Verarbeitung eines Datensatzes in einer speziellen Ausführungsform der Erfindung.
2: Eine zweidimensionale Darstellung des Abweichungsgrads von Datensatzmitgliedern des Datensatzes.
3: Ein Verfahren zur Verarbeitung eines Datensatzes in einer weiteren speziellen Ausführungsform der Erfindung.
4: Ein Diagramm der Leistungsfähigkeit des Verfahrens aus 3 hinsichtlich einer grüne Ampeln kennzeichnenden Kennzeichnungskategorie.
5: Ein Diagramm der Leistungsfähigkeit des Verfahrens aus 3 hinsichtlich einer rote Ampeln kennzeichnenden Kennzeichnungskategorie.
6: Ein Diagramm der Leistungsfähigkeit des Verfahrens aus 3 hinsichtlich einer gelbe Ampeln kennzeichnenden Kennzeichnungskategorie.
7: Ein Verfahren zur computerimplementierten Bildverarbeitung in einer speziellen Ausführungsform der Erfindung.
8: Ein Bildverarbeitungssystem in einer speziellen Ausführungsform der Erfindung.
9: Ein Verfahren zur Leistungsbewertung eines Bildverarbeitungsalgorithmus in einer speziellen Ausführungsform der Erfindung.

The invention is described in detail below with reference to the figures. They show in detail:

1 : A method for processing a data set in a specific embodiment of the invention.
2 : A two-dimensional representation of the degree of divergence of dataset members of the dataset.
3 : A method for processing a data record in a further special embodiment of the invention.
4 : A chart of the performance of the method 3 with regard to a marking category that indicates green traffic lights.
5 : A chart of the performance of the method 3 with regard to a red traffic light labeling category.
6 : A chart of the performance of the method 3 with regard to a marking category that indicates yellow traffic lights.
7 : A method for computer-implemented image processing in a specific embodiment of the invention.
8th : An image processing system in a specific embodiment of the invention.
9 : A method for evaluating the performance of an image processing algorithm in a specific embodiment of the invention.

1 zeigt ein Verfahren 10 zur Verarbeitung eines Datensatzes 12 in einer speziellen Ausführungsform der Erfindung. Das Verfahren 10 zur Verarbeitung eines Datensatzes 12 kann der Aufbereitung eines Datensatzes 12 dienen. Der Datensatz 12 kann wiederum zum Aufbau oder zur Evaluierung eines neuronalen Netzes 14 verwendet werden. Das neuronale Netz 14, das bevorzugt als gefaltetes neuronales Netz 14 ausgeführt ist, kann in einem Bildverarbeitungsalgorithmus 16 zur computerimplementierten Bildverarbeitung von durch Sensordaten 22 erhaltenen Bilddaten 18, bevorzugt zur Bewertung einer Verkehrssituation, eingerichtet sein. 1 shows a method 10 for processing a data record 12 in a specific embodiment of the invention. The method 10 for processing a data record 12 can serve to prepare a data record 12 . The data record 12 can in turn be used to set up or to evaluate a neural network 14 . The neural network 14, which is preferably designed as a folded neural network 14, can be set up in an image processing algorithm 16 for computer-implemented image processing of image data 18 obtained from sensor data 22, preferably for evaluating a traffic situation.

Der Bildverarbeitungsalgorithmus 16 ist bevorzugt zur Ampeldetektion 20 bei einem Fahrzeug eingesetzt. Die Bilddaten 18 können, bevorzugt aufbereitete, Sensordaten 22, bevorzugt eines Bildsensors, insbesondere einer Kamera, sein. Die Kamera kann an dem Fahrzeug angebracht sein. Die Bilddaten 18 können Bildinformationen über die Verkehrssituation in der Umgebung des Fahrzeugs sein. Bevorzugt umfassen die Bilddaten 18 zumindest Bildinformationen von wenigstens einem Verkehrsschild, einem Verkehrszeichen, einem Objekt, einer Person und/oder einer Ampel. Bei der Ampeldetektion 20 kann über die Bilddaten 18 eine Erkennung einer Ampel und/oder eine Erfassung des Ampelzustands, insbesondere grün, gelb, rot oder aus, erfolgen.The image processing algorithm 16 is preferably used for traffic light detection 20 in a vehicle. The image data 18 can be, preferably prepared, sensor data 22, preferably from an image sensor, in particular a camera. The camera can be mounted on the vehicle. The image data 18 can be image information about the traffic situation in the vicinity of the vehicle. Image data 18 preferably includes at least image information from at least one traffic sign, one traffic sign, one object, one person and/or one traffic light. In the traffic light detection 20 , a traffic light can be detected and/or the traffic light state, in particular green, yellow, red or off, can be detected via the image data 18 .

Der Datensatz 12 umfasst mehrere Datensatzmitglieder 24, von denen jedes Bilddaten 18 mit mehrdimensionalen Bildmerkmalen aufweist. Dabei ist der Datensatz 12 in einen Trainingsdatensatz 26 und einen Testdatensatz 28 aufgeteilt. Der Trainingsdatensatz 26 kann zum Anlernen des Bildverarbeitungsalgorithmus 16 und der Testdatensatz 28 zur Evaluierung des Bildverarbeitungsalgorithmus 16 verwendet werden.The data set 12 comprises a plurality of data set members 24, each of which has image data 18 with multi-dimensional image features. The data set 12 is divided into a training data set 26 and a test data set 28 . The training data record 26 can be used to train the image processing algorithm 16 and the test data record 28 to evaluate the image processing algorithm 16 .

Bei dem Verfahren 10 wird eine Neuartigkeitsbewertung der Datensatzmitglieder 24 in dem Testdatensatz 28 durchgeführt, indem beispielsweise zur Evaluierung des Bildverarbeitungsalgorithmus 16 die Datensatzmitglieder 24 des Testdatensatzes 28 als erste Datensatzmitglieder 24.1 auf eine Neuartigkeit in Bezug auf die Bildmerkmale im Vergleich zu Referenzdatensatzmitglieder 24.2, hier von Datensatzmitgliedern des Trainingsdatensatzes 26 geprüft werden.In the method 10, a novelty assessment of the data set members 24 in the test data set 28 is carried out, for example by evaluating the image processing algorithm 16, the data set members 24 of the test data set 28 as the first data set members 24.1 for a novelty with regard to the image features compared to reference data set members 24.2, here by data set members of the training data set 26 are checked.

Bei der Neuartigkeitsbewertung werden die Datensatzmitglieder 24 des Trainingsdatensatzes 26, die insbesondere auch bei dem Anlernen des Bildverarbeitungsalgorithmus 16 verwendet wurden, als Referenzdatensatzmitglieder 24.2 einer Reduktionseinheit 30 übergeben, die zunächst einen variationalen Autoenkoder 32 anwendet, der aus einem Enkoder 34 und einem anschließenden Dekoder 36 aufgebaut ist. Der Enkoder 34 überführt die Bilddaten 18 in einen latenten Raum 38 und verringert dabei die Merkmalsdimensionen der Bilddaten 18 der Referenzdatensatzmitglieder 24.2 auf eine Anzahl N, beispielsweise N = 100 in dem latenten Raum 38.In the novelty assessment, the data set members 24 of the training data set 26, which were also used in particular when training the image processing algorithm 16, are transferred as reference data set members 24.2 to a reduction unit 30, which first uses a variational autoencoder 32, which consists of an encoder 34 and a subsequent decoder 36 is. The encoder 34 transfers the image data 18 into a latent space 38 and in doing so reduces the feature dimensions of the image data 18 of the reference data set members 24.2 to a number N, for example N=100 in the latent space 38.

Der variationale Autoenkoder 32 wird mit dem Trainingsdatensatz 26 zur Verringerung der Merkmalsdimensionen angelernt. Die ausgegebenen enkodierten Bilddaten 40 werden einer der Reduktionseinheit 30 zusätzlich zugehörigen nachgeschalteten UMAP-Funktion 42, auch als uniform manifold and projection Funktion bezeichnet, übergeben, die die erste Anzahl an Merkmalsdimensionen auf eine zweite Anzahl an Merkmalsdimensionen, insbesondere auf zwei oder mehr als zwei Merkmalsdimensionen, verringert. Die UMAP-Funktion 42 wird mit den enkodierten Bilddaten 40 des Trainingsdatensatzes 26 mit einem Anlernvorgang 44 angelernt und die auf die erste Anzahl an Merkmalsdimensionen verringerten enkodierten Bilddaten werden als eine gegenüber der ersten Anzahl an Merkmalsdimensionen verringerte zweite Anzahl an Merkmalsdimensionen, bevorzugt zwei Merkmalsdimensionen, aufweisende Ausgabedaten 46 ausgegeben.The variational autoencoder 32 is trained with the training data set 26 to reduce the feature dimensions. The output encoded image data 40 is transferred to a downstream UMAP function 42, also referred to as a uniform manifold and projection function, which is also associated with the reduction unit 30 and which converts the first number of feature dimensions to a second number of feature dimensions, in particular to two or more than two feature dimensions , decreased. The UMAP function 42 is trained with the encoded image data 40 of the training data set 26 with a training process 44 and the encoded image data reduced to the first number of feature dimensions are used as a second number of feature dimensions, preferably two feature dimensions, which is reduced compared to the first number of feature dimensions Output data 46 output.

Die, beispielsweise zweidimensionalen, Ausgabedaten 46 werden einer nachfolgenden Ausreißererkennungseinheit 48 übergeben, die eine LOF-Funktion 50, auch bekannt als Lokale Ausreißer Faktor Funktion, anwendet. Die LOF-Funktion 50 ermittelt über eine Referenzbildung 52 die Dichte jedes einzelnen Referenzdatensatzmitglieds 24.2 unter Berücksichtigung der nächstliegenden Referenzdatensatzmitglieder 24.2 in dem dimensionsverringerten, beispielsweise zweidimensionalen, Raum.The output data 46, for example two-dimensional, is transferred to a subsequent outlier detection unit 48, which uses an LOF function 50, also known as a local outlier factor function. The LOF function 50 uses reference formation 52 to determine the density of each individual reference data set member 24.2, taking into account the closest reference data set members 24.2 in the reduced-dimensional, for example two-dimensional, space.

Nachfolgend soll an einem Beispiel eines ersten Datensatzmitglieds 24.1 des Testdatensatzes 28 die Neuartigkeitsbewertung des ersten Datensatzmitglieds 24.1 beschrieben werden. Dieses kann jedoch für weitere erste Datensatzmitglieder 24.1 des Testdatensatzes 28, bevorzugt alle Datensatzmitglieder 24 aus dem Testdatensatz 28, als erste Datensatzmitglieder 24.1 erfolgen.The novelty assessment of the first data set member 24.1 is to be described below using an example of a first data set member 24.1 of the test data set 28 . However, this can be done for other first data set members 24.1 of the test data set 28, preferably all data set members 24 from the test data set 28, as first data set members 24.1.

Das erstes Datensatzmitglied 24.1 aus dem Testdatensatz 28 wird der angelernten Reduktionseinheit 30 übergeben, die zunächst den Enkoder 34 des angelernten variationalen Autoenkoders 32 anwendet, der die Merkmalsdimensionen der Bilddaten des ersten Datensatzmitglieds 24.1 auf die Anzahl N verringert. Anschließend werden die ausgegebenen enkodierten Bilddaten 40 in wenigstens einem Testablauf 54 auf einen dimensionsverringerten, beispielsweise zweidimensionalen, latenten Raum mit der angelernten UMAP-Funktion 42 abgebildet, die die Ausgabedaten 46 an die Ausreißererkennungseinheit 48 ausgibt.The first dataset member 24.1 from the test dataset 28 is passed to the trained reduction unit 30, which first uses the encoder 34 of the trained variational autoencoder 32, which reduces the feature dimensions of the image data of the first dataset member 24.1 to the number N. Subsequently, the output encoded image data 40 in at least one test run 54 to a dimensionally reduced, at for example, two-dimensional, latent space is mapped with the trained UMAP function 42, which outputs the output data 46 to the outlier detection unit 48.

Die Ausreißererkennungseinheit 48 wendet die LOF-Funktion 50 an, die einen Abweichungsgrad des ersten Datensatzmitglieds 24.1 anhand dessen Abstand zu den durch die Referenzdatensatzmitglieder gebildeten nächsten Nachbarn jeweils in dem zweidimensionalen Raum in einer Abfrage 56 ermittelt. Anschließend wird der Abweichungsgrad des ersten Datensatzmitglieds 24.1 an eine Klassifizierungseinheit 58 übergeben, die den Abweichungsgrad einer Abweichungskategorie 60 zugeordnet, insbesondere ob die Neuartigkeit hoch, mittel, gering oder undefiniert ist.The outlier detection unit 48 applies the LOF function 50, which determines a degree of deviation of the first data set member 24.1 based on its distance to the nearest neighbors formed by the reference data set members in the two-dimensional space in a query 56. The degree of deviation of the first data record member 24.1 is then transferred to a classification unit 58, which assigns the degree of deviation to a deviation category 60, in particular whether the novelty is high, medium, low or undefined.

2 zeigt eine zweidimensionale Darstellung des Abweichungsgrads von Datensatzmitgliedern des Datensatzes. Diese Zuordnung des Abweichungsgrads der Datensatzmitglieder in dem dimensionsverringerten, beispielsweise zweidimensionalen, latenten Raum 38 kann nach Anwendung der LOF-Funktion des Verfahrens aus 1 entstehen. Der Abweichungsgrad des beispielhaften ersten Datensatzmitglieds 24.1 ist dabei als Größe des das erste Datensatzmitglied 24.1 umgebenden Kreises veranschaulicht. Je größer der Kreis, umso größer ist der Abweichungsgrad des einzelnen ersten Datensatzmitglieds. 2 shows a two-dimensional representation of the degree of deviation of dataset members of the dataset. This assignment of the degree of deviation of the data set members in the dimension-reduced, for example two-dimensional, latent space 38 can be carried out after application of the LOF function of the method 1 develop. The degree of deviation of the exemplary first data set member 24.1 is illustrated as the size of the circle surrounding the first data set member 24.1. The larger the circle, the greater the degree of deviation of the single first dataset member.

3 zeigt ein Verfahren zur Verarbeitung eines Datensatzes in einer weiteren speziellen Ausführungsform der Erfindung. Das Verfahren 10 wird bei der Erstellung eines Datensatzes für den Bildverarbeitungsalgorithmus angewendet. Dabei ist das erste Datensatzmitglied 24.1 einem Testdatensatz 28 und die Referenzdatensatzmitglieder 24.2 einem Referenzdatensatz 62 zugeordnet. 3 shows a method for processing a data set in a further specific embodiment of the invention. The method 10 is applied when creating a data set for the image processing algorithm. The first data set member 24.1 is assigned to a test data set 28 and the reference data set members 24.2 are assigned to a reference data set 62.

Die Datensatzmitglieder 24 beider Datensätze können durch menschliche Bewertung beschriftet sein. Über die Beschriftung erfolgt eine Zuordnung der Datensatzmitglieder 24 zu wenigstens einer Kennzeichnungskategorie 64, beispielsweise bei einem zur Ampeldetektion aufbereiteten Datensatz, in die Kennzeichnungskategorien keine Ampel oder Ampel und/oder rote Ampel, grüne Ampel, gelbe Ampel oder ausgeschaltete Ampel. Der Referenzdatensatz 62 kann dem Trainingsdatensatz zum Anlernen des Bildverarbeitungsalgorithmus oder einem Teil davon entsprechen oder von dem Trainingsdatensatz 26 losgelöst sein.The data set members 24 of both data sets can be labeled by human evaluation. The labeling is used to assign the data record members 24 to at least one identification category 64, for example in the case of a data record prepared for traffic light detection, in the identification categories no traffic light or traffic light and/or red traffic light, green traffic light, yellow traffic light or traffic light switched off. The reference data set 62 can correspond to the training data set for training the image processing algorithm or a part thereof or can be detached from the training data set 26 .

Die Referenzdatensatzmitglieder 24.2 als auch die ersten Datensatzmitglieder 24.1 des Testdatensatzes 28 sind in Bezug auf vorab festgelegte Kennzeichnungskategorien 64 beschriftet. Bevorzugt steht die Richtigkeit der Beschriftung bei den Referenzdatensatzmitgliedern 24.2 fest, diese sind also verifiziert richtig beschriftet, während die Richtigkeit der Beschriftung der ersten Datensatzmitglieder 24.1 abhängig von dem Abweichungsgrad festgestellt wird. Bei den ersten Datensatzmitgliedern 24.1 ist die Richtigkeit der Beschriftung somit noch unerwiesen und wird wie nachfolgend beschrieben überprüft. Diese Überprüfung entspricht dabei einer Neuartigkeitsprüfung des jeweiligen ersten Datensatzmitglieds 24.1, hier in Bezug auf die Bildmerkmale und wie nachfolgend erklärt auch auf die Kennzeichnungskategorie 64.The reference data set members 24.2 as well as the first data set members 24.1 of the test data set 28 are labeled in relation to previously defined identification categories 64. The correctness of the labeling of the reference data set members 24.2 is preferably established, so these are verified as correctly labeled, while the correctness of the labeling of the first data set members 24.1 is determined depending on the degree of deviation. In the case of the first data set members 24.1, the correctness of the labeling has therefore not yet been proven and is checked as described below. This check corresponds to a novelty check of the respective first data set member 24.1, here in relation to the image features and, as explained below, also to the identification category 64.

Die Referenzdatensatzmitglieder 24.2 werden einer Reduktionseinheit 30 übergeben, die damit den variationalen Autoenkoder 32, der aus einem Dekoder 36 und einem vorgeschalteten Enkoder 34 zur Umsetzung in den latenten Raum 38 aufgebaut ist und die nachfolgende UMAP-Funktion 42 anlernt. Die von der UMAP-Funktion 42 ausgegebenen, beispielsweise zweidimensionalen, Ausgabedaten 46 werden in der anschließenden Ausreißererkennungseinheit 48 nach vorab festgelegten Kennzeichnungskategorien 64 geordnet. Hier sind beispielsweise m Kennzeichnungskategorien 64 vorhanden, in die die, beispielsweise zweidimensional, enkodierten Ausgabedaten 46 kategoriebezogen eingeordnet werden. Dabei kommt in der Ausreißererkennungseinheit 48 ein kategoriespezifischer Algorithmus zur Erkennung von Ausreißern zum Einsatz, beispielsweise ein Einklassen-SVM 66, auch als one-class support vector machine bezeichnet. Der Einklassen-SVM 66 lernt für jede Kennzeichnungskategorie 64 die Abgrenzung in dem dimensionsverringerten, beispielsweise zweidimensionalen Raum, die einen Ausreißer kennzeichnet, über die Referenzdatensatzmitglieder 24.2. Anstelle eines Einklassen-SVM kann beispielsweise auch eine LOF-Methode (Local Outlier Factor Methode) angewendet werden.The reference data record members 24.2 are transferred to a reduction unit 30, which thus teaches the variational autoencoder 32, which is composed of a decoder 36 and an upstream encoder 34 for conversion into the latent space 38, and the subsequent UMAP function 42. The two-dimensional output data 46 output by the UMAP function 42 are sorted in the subsequent outlier detection unit 48 according to previously defined identification categories 64 . Here, for example, m identification categories 64 are present, into which the, for example, two-dimensional, encoded output data 46 are classified by category. A category-specific algorithm for detecting outliers is used in the outlier detection unit 48, for example a one-class SVM 66, also referred to as a one-class support vector machine. The one-class SVM 66 learns for each labeling category 64 the delimitation in the dimension-reduced, for example two-dimensional space, which identifies an outlier, via the reference data set members 24.2. Instead of a single-class SVM, an LOF method (Local Outlier Factor method) can also be used, for example.

Die Überprüfung der Richtigkeit der Beschriftung des ersten Datensatzmitglieds 24.1 wird wie nachfolgend beschrieben durchgeführt. Das beschriftete erste Datensatzmitglied 24.1 des Testdatensatzes 28 wird zunächst der Reduktionseinheit 30 mit dem Enkoder 34 des angelernten variationalen Autoenkoders 32 und der nachfolgenden angelernten UMAP-Funktion 42 übergeben. In der anschließenden Ausreißererkennungseinheit 48 wird in Bezug auf die dem ersten Datensatzmitglied 24.1, möglicherweise fehlerhaft, zugeordnete Kennzeichnungskategorie mit Hilfe des angelernten Einklassen-SVM 66 oder einer LOF-Methode in einer Abweichungsabfrage 68 der Abweichungsgrad des ersten Datensatzmitglieds 24.1 festgestellt. Abhängig von dem Abweichungsgrad erfolgt anschließend die Eingruppierung dahingehend, ob die Beschriftung richtig oder falsch ist.The verification of the correctness of the labeling of the first data set member 24.1 is carried out as described below. The labeled first data set member 24.1 of the test data set 28 is first transferred to the reduction unit 30 with the encoder 34 of the learned variational autoencoder 32 and the subsequent learned UMAP function 42. In the subsequent outlier detection unit 48, the degree of deviation of the first data record member 24.1 is determined in relation to the possibly incorrectly assigned identification category with the aid of the trained single-class SVM 66 or an LOF method in a deviation query 68. Depending on the degree of deviation, the classification is then made as to whether the labeling is correct or incorrect.

Das Verfahren 10 kann auf seine Leistungsfähigkeit überprüft werden, indem beispielsweise dem Testdatensatz 28 für jede Kennzeichnungskategorie 64 bewusst eigentlich einer anderen Kennzeichnungskategorie zugeordnete Datensatzmitglieder 24 beigefügt werden. Bei zumindest einem Durchlauf kann dann der tatsächliche Anteil dieser absichtlich falsch zugeordneten Datensatzmitglieder 24 im Verhältnis zu der Anzahl an den gesamten Datensatzmitgliedern 24 des Testdatensatzes 28 und das ausgegebene Verhältnis aus durch das Verfahren 10 als Ausreißer, entsprechend einer Abweichung von der Kennzeichnungskategorie 64 erkannten Datensatzmitgliedern 24 zu der Gesamtanzahl an Datensatzmitgliedern des Testdatensatzes 28 gegeneinander verglichen und abhängig von dem Übereinstimmungsgrad die Leistungsfähigkeit bewertet werden.The method 10 can be checked for its efficiency by, for example, deliberately adding to the test data set 28 for each identification category 64 data set members 24 that are actually assigned to another identification category. In at least one run, the actual proportion of these intentionally incorrectly assigned data set members 24 in relation to the number of all data set members 24 of the test data set 28 and the output ratio of data set members 24 recognized as outliers by the method 10, corresponding to a deviation from the identification category 64, can then be determined compared to the total number of data set members of the test data set 28 and the performance evaluated depending on the degree of agreement.

4 zeigt ein Diagramm der Leistungsfähigkeit des Verfahrens aus 3 hinsichtlich einer grüne Ampeln kennzeichnenden Kennzeichnungskategorie. Bei diesem und auch bei den Diagrammen in 5 und 6 ist die Leistungsfähigkeit des Verfahrens gegenüber einem Anteilsfaktor aus der Anzahl der absichtlich falsch zugeordneten und den gesamten Datensatzmitgliedern jeweils eines Testdatensatzes aufgetragen. Die Leistungsfähigkeit ist speziell als Leistungskennwert, entsprechend einem Anteil der durch das Verfahren festgestellten falsch zugeordneten Datensatzmitgliedern zu den tatsächlich in dem Testdatensatz vorhandenen falsch zugeordneten Datensatzmitgliedern angegeben. Entspricht dieser Leistungskennwert 1, dann werden alle tatsächlich falsch zugeordneten Datensatzmitglieder von dem Verfahren als solche erkannt. Die angegebenen Leistungskennwerte sind Mittelwerte aus fünf Durchläufen. Die Balken geben die Standardabweichung des jeweiligen Datenpunkts in dem Diagramm wieder. 4 shows a diagram of the performance of the method 3 with regard to a marking category that indicates green traffic lights. With this and also with the diagrams in 5 and 6 the performance of the method is plotted against a proportional factor from the number of intentionally incorrectly assigned and the total data set members of a test data set. The performance is specified specifically as a performance measure corresponding to a proportion of mismatched dataset members identified by the method to the mismatched dataset members actually present in the test dataset. If this performance index corresponds to 1, then all data set members that are actually assigned incorrectly are recognized as such by the method. The specified performance characteristics are average values from five runs. The bars represent the standard deviation of each data point in the chart.

In Bezug auf 4 sind die auf eine Kennzeichnungskategorie, hier entsprechend einer grünen Ampel, bezogenen Datensatzmitglieder absichtlich mit bekanntermaßen einer anderen Kennzeichnungskategorie, hier gelbe Ampel oder rote Ampel, zugeordneten Datensatzmitgliedern gegenüber dem Anteilsfaktor angegeben. Der Durchschnittswert des Leistungskennwerts bei dem mit roten Ampeln vermischten Testdatensatz Dr liegt bei 0,984, entsprechend einer Erkennungsrate von 98,4% und bei dem mit gelben Ampeln vermischten Testdatensatz Dy bei 0,985, entsprechend einer Erkennungsrate von 98,5%.In relation to 4 the data set members related to an identification category, here corresponding to a green traffic light, are intentionally indicated with data set members known to be assigned to another identification category, here yellow traffic light or red traffic light, compared to the proportional factor. The average value of the performance index for the test data set Dr mixed with red lights is 0.984, corresponding to a recognition rate of 98.4% and for the test data set Dy mixed with yellow lights it is 0.985, corresponding to a recognition rate of 98.5%.

5 zeigt ein Diagramm der Leistungsfähigkeit des Verfahrens aus 3 hinsichtlich einer rote Ampeln kennzeichnenden Kennzeichnungskategorie. Dabei sind die auf eine rote Ampeln kennzeichnende Kennzeichnungskategorie bezogenen Datensatzmitglieder absichtlich mit bekanntermaßen einer anderen Kennzeichnungskategorie, hier grüne Ampel und gelbe Ampel, zugeordneten Datensatzmitgliedern gegenüber dem Anteilsfaktor angegeben. Der Durchschnittswert des Leistungskennwerts bei dem mit grünen Ampeln vermischten Testdatensatz Dg liegt bei 0,969, entsprechend einer Erkennungsrate von 96,9% und bei dem mit gelben Ampeln vermischten Testdatensatz Dy bei 0,883, entsprechend einer Erkennungsrate von 88,3%. 5 shows a diagram of the performance of the method 3 with regard to a red traffic light labeling category. In this case, the data set members related to an identification category that characterizes red traffic lights are intentionally specified with data set members that are known to be assigned to another identification category, here green traffic light and yellow traffic light, compared to the proportional factor. The average value of the performance index for the test data set Dg mixed with green traffic lights is 0.969, corresponding to a recognition rate of 96.9% and for the test data set Dy mixed with yellow traffic lights is 0.883, corresponding to a recognition rate of 88.3%.

6 zeigt ein Diagramm der Leistungsfähigkeit des Verfahrens aus 3 hinsichtlich einer gelbe Ampeln kennzeichnenden Kennzeichnungskategorie. Dabei sind die auf eine gelbe Ampeln kennzeichnende Kennzeichnungskategorie bezogenen Datensatzmitglieder absichtlich mit bekanntermaßen einer anderen Kennzeichnungskategorie, hier grüne Ampel und rote Ampel, zugeordneten Datensatzmitgliedern gegenüber dem Anteilsfaktor angegeben. Der Durchschnittswert des Leistungskennwerts bei dem mit grünen Ampeln vermischten Testdatensatz Dg liegt bei 0,988, entsprechend einer Erkennungsrate von 98,8% und bei dem mit roten Ampeln vermischten Testdatensatz Dr bei 0,853, entsprechend einer Erkennungsrate von 85,3%. 6 shows a diagram of the performance of the method 3 with regard to a marking category that indicates yellow traffic lights. In this case, the data set members related to an identification category that characterizes yellow traffic lights are intentionally specified with data set members that are known to be assigned to another identification category, here green traffic light and red traffic light, compared to the proportional factor. The average value of the performance index for the test data set Dg mixed with green traffic lights is 0.988, corresponding to a recognition rate of 98.8% and for the test data set Dr mixed with red traffic lights is 0.853, corresponding to a recognition rate of 85.3%.

7 zeigt ein Verfahren zur computerimplementierten Bildverarbeitung in einer speziellen Ausführungsform der Erfindung. Dem Verfahren 70 zur computerimplementierten Bildverarbeitung ist ein Bildverarbeitungsalgorithmus 16 zugeordnet, der Bilddaten 18 verarbeitet und als Bildauswertung 72 zur Steuerung einer Funktion eines Fahrzeugs ausgibt. Der Bildverarbeitungsalgorithmus 16 ist auf einem Datensatz 12 aufbauend, beispielsweise einem Trainingsdatensatz, mit dem der Bildverarbeitungsalgorithmus 16 angelernt oder einem Testdatensatz, mit dem der Bildverarbeitungsalgorithmus 16 evaluiert wurde. 7 Figure 12 shows a method for computer-implemented image processing in a specific embodiment of the invention. The method 70 for computer-implemented image processing is associated with an image processing algorithm 16 that processes image data 18 and outputs it as an image evaluation 72 for controlling a function of a vehicle. The image processing algorithm 16 is based on a data set 12, for example a training data set with which the image processing algorithm 16 was trained or a test data set with which the image processing algorithm 16 was evaluated.

8 zeigt ein Bildverarbeitungssystem in einer speziellen Ausführungsform der Erfindung. Das Bildverarbeitungssystem 74 umfasst eine Speichereinheit 76 und eine Verarbeitungseinheit 78, die mit der Speichereinheit 76 verbunden ist. Die Speichereinheit 76 ist maschinenlesbar und durch wenigstens einen Computer zugreifbar ausgeführt. Auf der Speichereinheit 76 ist ein Computerprogramm 80 gespeichert. Das Computerprogramm 80 weist maschinenlesbare und über die Verarbeitungseinheit 78, die dem Computer zugeordnet sein kann, ausführbare Anweisungen auf, bei deren Ausführung über die Verarbeitungseinheit 78 das Verfahren zur computerimplementierten Bildverarbeitung abläuft. 8th Figure 12 shows an image processing system in a specific embodiment of the invention. The image processing system 74 includes a storage unit 76 and a processing unit 78 connected to the storage unit 76 . The storage unit 76 is machine-readable and accessible by at least one computer. A computer program 80 is stored on the memory unit 76 . The computer program 80 has machine-readable instructions that can be executed via the processing unit 78, which can be assigned to the computer, and when these are executed via the processing unit 78, the method for computer-implemented image processing runs.

9 zeigt ein Verfahren zur Leistungsbewertung eines Bildverarbeitungsalgorithmus. Der Bildverarbeitungsalgorithmus 16 weist in Bezug auf die Bildverarbeitung wenigstens einen Leistungskennwert 82 oder eine Kombination aus wenigstens zwei Leistungskennwerten 82 auf, die dessen Verarbeitungsleistung der Bilddaten kennzeichnen und die abhängig von den Datensatzmitgliedern sind, wobei der Leistungskennwert 82 oder eine Kombination aus wenigstens zwei Leistungskennwerten 82 abhängig von dem Abweichungsgrad 84 festgestellt werden, indem das erste Datensatzmitglied 24.1 dem Bildverarbeitungsalgorithmus 16 zur Evaluierung eingegeben wird und in Kenntnis des beispielsweise mit dem Verfahren aus 1 ermittelten Abweichungsgrad 84 die Verarbeitungsleistung des Bildverarbeitungsalgorithmus 16 in Bezug auf die Bildverarbeitung, bevorzugt die Verallgemeinerungsfähigkeit des Bildverarbeitungsalgorithmus 16, festgestellt und der abhängig von dem Abweichungsgrad 84 vorliegende Leistungskennwert 82 oder eine Kombination aus Leistungskennwerten 82 ausgegeben wird. 9 shows a method for evaluating the performance of an image processing algorithm. Image processing algorithm 16 has at least one capability related to image processing characteristic value 82 or a combination of at least two performance characteristic values 82, which characterize its processing power of the image data and which are dependent on the data set members, wherein the performance characteristic value 82 or a combination of at least two performance characteristic values 82 are determined depending on the degree of deviation 84 by the first data set member 24.1 is entered into the image processing algorithm 16 for evaluation and in the knowledge of the example with the method 1 determined degree of deviation 84, the processing performance of the image processing algorithm 16 in relation to the image processing, preferably the generalization ability of the image processing algorithm 16, is determined and the dependent on the degree of deviation 84 existing performance index 82 or a combination of performance indexes 82 is output.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

DE 102019202751 A1 [0002]

Claims

Computer-implemented method (10) for processing a data set (12) for an image processing algorithm (16) for computer-implemented image processing of image data (18) obtained from sensor data (22), the data set (12) comprising a plurality of data set members (24) with image data having respective image features , characterized in that at least a first data set member (24.1) of the data set (12) is subjected to a novelty assessment, in which the degree of deviation (84) of the first data set member (24.1) compared to reference data set members of the data set (12) is determined with regard to the image features and the first data set member (24.1) is passed as input to the image processing algorithm (16) depending on the degree of deviation (84).

Computer-implemented method (10) according to claim 1 , characterized in that the image features have several feature dimensions and the degree of deviation (84) of the first data record member (24.1) is determined by using a reduction unit (30) trained with the reference data record members (24.2) to compare the feature dimensions of the first data record member (24.1) in a latent Space (38) are reduced and then the degree of deviation (84) of the first data set member (24.1) in relation to the reference data set members (24.2) is calculated via an outlier detection unit (48).

Computer-implemented method (10) according to claim 2 , characterized in that the reduction unit (30) reduces the feature dimensions in the latent space (38) to a first number of feature dimensions and the outlier detection unit (48) the degree of deviation of the first data set member (24.1) with in the latent space (38) to the Reference data set members (24.2) for reference formation (52) and LOF function (50) (Local Outlier Factor Function) and/or single class SVM (66) (Support Vector Machine) applied to the first data set member (24.1) for query (56) calculated.

Computer-implemented method (10) according to claim 2 or 3 , characterized in that the reduction unit (30) uses a variational autoencoder (32) and/or a UMAP function (42) (uniform manifold approximation and projection function).

Computer-implemented method (10) according to one of the preceding claims, characterized in that the data set (12) comprises a test data set (28) and a training data set (26) and the first data set member (24.1) uses the test data set (28) to evaluate the trained image processing algorithm ( 16) and the reference data set members (24.2) are assigned to the training data set (26) for training the image processing algorithm (16).

Computer-implemented method (10) according to one of the preceding claims, characterized in that the first data set member (24.1) and the reference data set members (24.2) are labeled for assignment to at least one identification category (64), the correctness of the labeling in the reference data set members (24.2) being established and the correctness of the labeling of at least the first data set member (24.1) with the novelty rating is determined depending on the degree of deviation (84).

Computer-implemented method (10) according to one of the preceding claims, characterized in that the novelty assessment is assigned to a data filter which characterizes the first data set member via the degree of deviation and in particular outputs it as a function of this.

Method (70) for computer-implemented image processing of image data (18) obtained through sensor data (22) of a sensor of a vehicle with an image processing algorithm (16) which is based on a data set (12) processed by a method (10) according to one of the preceding claims and which outputs an image evaluation (72) of the image data (18) for controlling a function of the vehicle.

Computer program (80) which has machine-readable instructions which can be executed on at least one computer and which, when executed, run the method (10, 70) according to one of the preceding claims.

Storage unit (76) which is machine-readable and accessible by at least one computer and on which the computer program (80) is based claim 8 is saved.

Image processing system (74) having a memory unit (76). claim 9 and a processing unit (78) connected to the memory unit (76) and configured according to the method (70). claim 6 or 7 to execute.