DE102020205541A1

DE102020205541A1 - Vorrichtung und Verfahren für Bildverarbeitung

Info

Publication number: DE102020205541A1
Application number: DE102020205541.6A
Authority: DE
Inventors: Kaspar Sakmann
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-06-28
Filing date: 2020-04-30
Publication date: 2020-12-31

Abstract

Vorrichtung und Verfahren für Bildverarbeitung, dadurch gekennzeichnet, dass erste Trainingsdaten aus einem Datensatz bereitgestellt werden (204), die digitale Bilder umfassen, wobei ein generatives Modell, insbesondere ein Generative Adversarial Network, ein Variational Autoencoder oder ein Flow Model, abhängig von den ersten Trainingsdaten trainiert wird (206), wobei erste Testdaten aus dem Datensatz bereitgestellt werden (208), die digitale Bilder umfassen, wobei durch das abhängig von den ersten Trainingsdaten trainierte generative Modell zweite Testdaten bereitgestellt werden (210), die digitale Bilder umfassen, wobei eine Eigenschaft der ersten Testdaten bestimmt wird (212), wobei eine Eigenschaft der zweiten Testdaten bestimmt wird (214), wobei ein Kriterium für ein Maß einer Leistungsfähigkeit des generativen Modells abhängig von einem Vergleich der Eigenschaft der ersten Testdaten mit der Eigenschaft der zweiten Testdaten bestimmt wird (216)

Description

Stand der Technik
Die Erfindung geht aus von einem Verfahren und einer Vorrichtung für Bildverarbeitung. Generative Modelle, wie beispielsweise Generative Adversarial Networks, Variational Autoencoder oder Flow Models, werden zur Augmentierung von digitalen Bildern verwendet, mit denen künstliche neuronale Netzwerke für Bildverarbeitung trainiert werden. Wünschenswert ist es, eine derartige Bildverarbeitung insbesondere für den Einsatz in sicherheitsrelevanten Systemen weiter zu verbessern.
Offenbarung der Erfindung
Dies wird durch den Gegenstand der unabhängigen Ansprüche erreicht.
Ein Verfahren für Bildverarbeitung sieht vor, dass erste Trainingsdaten aus einem Datensatz bereitgestellt werden, die digitale Bilder umfassen, wobei ein generatives Modell, insbesondere ein Generative Adversarial Network, ein Variational Autoencoder oder ein Flow Model, abhängig von den ersten Trainingsdaten trainiert wird, wobei erste Testdaten aus dem Datensatz bereitgestellt werden, die digitale Bilder umfassen, wobei durch das abhängig von den ersten Trainingsdaten trainierte generative Modell zweite Testdaten bereitgestellt werden, die digitale Bilder umfassen, wobei eine Eigenschaft der ersten Testdaten bestimmt wird, wobei eine Eigenschaft der zweiten Testdaten bestimmt wird, wobei ein Kriterium für ein Maß einer Leistungsfähigkeit des generativen Modells abhängig von einem Vergleich der Eigenschaft der ersten Testdaten mit der Eigenschaft der zweiten Testdaten bestimmt wird. Das Training und die Beurteilung der Leistungsfähigkeit von generativen Modellen ist beispielsweise bei Generative Adversarial Networks aufgrund fehlender likelihood Kriterien schwierig. Selbst falls die likelihood bestimmt werden kann, wie z.B. bei Variational Autoencoders oder Flow Models, sagt diese nur wenig über die Qualität des generierten Bildes aus. Ein generatives Modell muss für die Bildverarbeitung in sicherheitsrelevanten Funktionen zuverlässig arbeiten. Die Berücksichtigung der Leistungsfähigkeit des generativen Modells ermöglicht es, das Ergebnis der Bildverarbeitung hinsichtlich der Zuverlässigkeit zu beeinflussen oder eine Information über die Zuverlässigkeit des Ergebnisses in folgenden Bildverarbeitungsschritten einzusetzen. Das generative Modell wird mit digitalen Bildern aus den Trainingsdaten trainiert. Als Eigenschaft der Testdaten kann eine Größe verwendet werden, die eine charakteristische geometrische Form definiert, wie beispielsweise einen Radius eines Kreises, eine Seitenlänge eines Quadrates oder die Seitenlängen eines Vielecks. Es können auch Winkelangaben beispielsweise von Dreiecken, Rauten, Kreisringsegmenten oder Kreissegmenten verwendet werden. Es kann auch eine andere Größe verwendet werden, die eine Verteilung der geometrischen Formen in Raum und/oder Farbraum definiert. Für die Trainingsdaten kann eine dieser Eigenschaften vorgegeben sein. Es können auch mehrere dieser Eigenschaften vorgegeben sein. In der zweiten Phase wird eine Lernfähigkeit eins generativen Modells hinsichtlich der Fähigkeit geometrische Formen zu erzeugen durch den Vergleich der Verteilungen bewertet. Ein besonders gutes Generative Adversarial Network erzeugt nach einem Training mit den Trainingsdaten digitale Bilder in den Testdaten mit einer Verteilung, die der Verteilung des Datensatzes nahekommt. Dieses Testproblem ist abhängig von einer vollständig bekannten Verteilung der Daten aus dem Datensatz definiert.
In einem Aspekt werden dritten Trainingsdaten aus dem Datensatz bereitgestellt, die digitale Bilder umfassen, wobei ein künstliches neuronales Netzwerk in einer ersten Trainingsphase abhängig von den dritten Trainingsdaten trainiert wird, wobei vierte Trainingsdaten durch das generative Modell bereitgestellt werden, wobei das künstliche neuronale Netzwerk abhängig von den vierten Trainingsdaten trainiert wird. Für sicherheitsrelevante Funktionen werden zusätzlich zu den erfassten digitalen Bildern auch augmentierte digitale Bilder zum Training verwendet.
In einem Aspekt werden dritte Testdaten durch das generative Modell bereitgestellt, wobei das künstliche neuronale Netzwerk abhängig von den dritten Testdaten geprüft wird. Diese erhöht die Sicherheit eines derart trainierten künstlichen neuronalen Netzwerks.
In einem Aspekt wird abhängig von einem digitalen Bild an einem Eingang des künstlichen neuronalen Netzwerks wenigstens eine Ausgangsgröße zur Beeinflussung eines Verhaltens eines Fahrzeugs, einer mobilen oder stationären Maschine oder eines Aktuators bestimmt. Damit ist das Verfahren zur Beeinflussung des Verhaltens basierend auf der Bildverarbeitung des erfassten digitalen Bildes einsetzbar.
Vorzugsweise ist die Eigenschaft der ersten Testdaten durch eine Verteilung von Werten wenigstens einer charakteristischen Größe der digitalen Bilder des Datensatzes definiert ist, wobei die Eigenschaft der zweiten Testdaten durch eine Verteilung von Werten der wenigstens einen charakteristischen Größe der digitalen Bilder der zweiten Testdaten definiert ist. Beispielsweise wird eine Verteilung eines Umfangs einer geometrischen Form, einer Seitenlänge eines Vielecks, eines Radius eines Kreises oder einer Ellipse, einer Diagonalen eines Parallelogramms oder ein Flächeninhalt dieser geometrischen Formen verwendet.
Mit anderen Worten kann vorgesehen sein, dass die digitalen Bilder des Datensatzes so einfach sind, dass sie durch die genannten Eigenschaften vollständig definiert sind. Z.B. können die digitalen Bilder durch einfache geometrische Formen gegeben sein, insbesondere den Kreis, die Ellips, das Parallelogramm oder das Vieleck.
Vorzugsweise ist die wenigstens eine charakteristische Größe in einem Aspekt durch eine geometrische Form insbesondere einen Radius eines Kreises, eine Lage eines Mittelpunkts eines Kreises, eine Länge einer Seite eines Vielecks, einen Winkel in einem Vieleck definiert. Beispielsweise wird eine Verteilung der Mittelpunkte der Kreise in den digitalen Bildern bezüglich der linken unteren Ecke des digitalen Bildes, in dem der jeweilige Kreist dargestellt ist, verwendet.
Vorzugsweise ist die wenigstens eine charakteristische Größe in einem Aspekt durch eine Farbe für wenigstens einen Teil der geometrischen Form oder deren Hintergrund definiert. Beispielsweise wird eine Verteilung der Farben der geometrischen Formen in den digitalen Bildern oder der Hintergründe der digitalen Bilder, in denen diese dargestellt sind verwendet.
Vorzugsweise ist die wenigstens eine charakteristische Größe in einem Aspekt durch eine Orientierung der geometrischen Form im digitalen Bild oder eine Art der geometrischen Form definiert. Beispielsweise wird eine Verteilung der Orientierung der geometrischen Formen in den digitalen Bildern bezüglich der linken unteren Ecke des digitalen Bildes, in dem die jeweilige geometrische Form dargestellt ist verwendet.
Eine Vorrichtung umfasst eine Recheneinrichtung, die ausgebildet ist, das Verfahren auszuführen.
Vorzugsweise umfasst die Vorrichtung einen Sensor, insbesondere eine Kamera, einen LiDAR, Radar oder Ultraschallsensor umfasst, der ausgebildet ist digitale Bilder zu erfassen, wobei die Vorrichtung eine Ausgabeeinrichtung umfasst, die ausgebildet ist, abhängig von wenigstens einer Ausgangsgröße der Recheneinrichtung ein Verhalten eines Fahrzeugs, einer stationären oder mobilen Maschine oder eines Aktuators zu beeinflussen, und wobei die Recheneinrichtung ein künstliches neuronales Netz umfasst, das ausgebildet ist, die wenigstens eine Ausgangsgröße abhängig von einem vom Sensor erfassten digitalen Bild zu bestimmen.
Weitere vorteilhafte Ausführungen ergeben sich aus der folgenden Beschreibung und der Zeichnung. In der Zeichnung zeigt

1 eine schematische Darstellung einer Vorrichtung zur Bildverarbeitung,
2 Schritte in einem Verfahren zur Bildverarbeitung,
3 Aspekte digitaler Bilder für die Bildverarbeitung,
4 erste Aspekte einer Auswertung der Bildverarbeitung,
5a - c zweite Aspekte der Auswertung der Bildverarbeitung.

Die in 1 schematisch dargestellte Vorrichtung 100 umfasst eine Recheneinrichtung 102, einen Sensor 104 und eine Ausgabeeinrichtung 106.
Der Sensor 104 ist ausgebildet digitale Bilder zu erfassen. Der Sensor 104 ist beispielsweise eine Kamera, eine LiDAR, ein Radar oder ein Ultraschallsensor.
Die Ausgabeeinrichtung 106 ist ausgebildet ein Verhalten eines Fahrzeugs 108, einer stationären oder mobilen Maschine oder eines Aktuators zu beeinflussen.
Im Beispiel der 1 ist ein Fahrzeug 108 mit einem Steuergerät 110 dargestellt, welches ausgebildet ist, ein Verhalten des Fahrzeugs 108 zu beeinflussen. Beispielsweise ist der Sensor 104 ausgebildet ein digitales Bild einer Umgebung des Fahrzeugs 108 zu erfassen und an das Steuergerät 110 zu übergeben. Das Steuergerät 110 ist in diesem Fall ausgebildet das digitale Bild zur Bestimmung wenigstens einer Ausgangsgröße zu verarbeiten und die wenigstens eine Ausgangsgröße an die Ausgabeeinrichtung 106 zu übertragen. Die Ausgabeeinrichtung 106 ist in diesem Beispiel dazu ausgebildet, das Verhalten des Fahrzeugs 108 abhängig von der wenigstens einen Ausgangsgröße zu beeinflussen. Das Steuergerät 110 ist dazu beispielsweise über eine Kommunikationsleitung 112 mit dem Sensor 104 und der Ausgabeeinrichtung 106 zur Kommunikation verbunden. Beispielsweise wird damit eine autonome Fahrfunktion umgesetzt, durch die das Fahrzeug 108 abhängig vom digitalen Bild gelenkt, bei konstanter Geschwindigkeit bewegt, beschleunigt oder verzögert wird.
Das Steuergerät 110 umfasst ein künstliches neuronales Netzwerk für eine Bildverarbeitung. Das künstliche neuronale Netzwerk ist ausgebildet, die wenigstens eine Ausgangsgröße abhängig von einem vom Sensor 104 erfassten digitalen Bild zu bestimmen. Das künstliche neuronale Netzwerk ist beispielsweise auf einem Mikrocontroller im Steuergerät 110 angeordnet, auf dessen internen permanenten Speicher ein Computerprogramm gespeichert ist, das das künstliche neuronale Netzwerk und Instruktionen für die Verarbeitung digitaler Bilder vom Sensor 104 für die Beeinflussung des Fahrzeugs 108 umfasst.
Die Recheneinrichtung 102 ist im Beispiel außerhalb des Fahrzeugs 108 angeordnet. Die Recheneinrichtung 102 umfasst ein generatives Modell. Das generative Modell ist beispielsweise ein Generative Adversarial Network, ein Variational Autoencoder oder ein Flow Model. Die Recheneinrichtung 102 umfasst im Beispiel ein zu trainierendes künstliches neuronales Netzwerk, das nach dem Training als das künstliche neuronale Netzwerk in dem Steuergerät 110 einsetzbar ist. Sofern eine Rechenleistung im Fahrzeug 108 dies erlaubt, kann vorgesehen sein, die Recheneinrichtung 102 im Fahrzeug vorzusehen. Die Recheneinrichtung 102 und das Steuergerät 110 sind über eine Schnittstelle 112 zumindest zeitweise zur Kommunikation verbindbar. Zum Training und zur Bildverarbeitung wird das generative Modell und das künstliche neuronale Netzwerk gemäß des im Folgenden anhand der 2 beschriebenen Verfahren eingesetzt. Das künstliche neuronale Netzwerk wird für die Bildverarbeitung trainiert. In den im Folgenden beschriebenen Trainingsphase werden die digitalen Bilder in der Bildverarbeitung verarbeitet. Ein Ergebnis der Bildverarbeitung ist im Beispiel eine Ereignisklasse. Diese kann nach dem übertragen das trainierte künstliche neuronale Netzwerk in das Steuergerät 110 des Fahrzeugs 108 als Ausgangsgröße dazu verwendet werden, das Verhalten des Fahrzeugs 108 zu beeinflussen.
In einem Schritt 202 wird ein Datensatz bereitgestellt. Im Beispiel werden digitale Bilder für den Datensatz erfasst. Beispielsweise werden digitale Bilder aus einer Umgebung des Fahrzeugs 108 erfasst und im Datensatz bereitgestellt.
Anschließend werden in einem Schritt 204 erste Trainingsdaten aus dem Datensatz bereitgestellt. Die ersten Trainingsdaten umfassen digitale Bilder.
Anschließend wird in einem Schritt 206 das generative Modell, insbesondere das Generative Adversarial Network, der Variational Autoencoder oder das Flow Model, abhängig von den ersten Trainingsdaten trainiert.
Anschließend werden in einem Schritt 208 erste Testdaten aus dem Datensatz bereitgestellt. Die ersten Testdaten umfassen digitale Bilder.
Anschließend werden in einem Schritt 210 durch das abhängig von den ersten Trainingsdaten trainierte generative Modell zweite Testdaten bereitgestellt. Die zweiten Testdaten umfassen die digitalen Bilder.
Anschließend wird in einem Schritt 212 eine Eigenschaft der ersten Testdaten bestimmt.
Anschließend wird in einem Schritt 214 eine Eigenschaft der zweiten Testdaten bestimmt.
Anschließend wird in einem Schritt 216 ein Kriterium für ein Maß einer Leistungsfähigkeit des generativen Modells abhängig von einem Vergleich der Eigenschaft der ersten Testdaten mit der Eigenschaft der zweiten Testdaten bestimmt.
Es kann vorgesehen sein, das Kriterium als Maß für die Leistungsfähigkeit des generativen Modells auszugeben. Es kann vorgesehen sein abhängig vom Kriterium zu prüfen, ob das generative Modell für das Training des künstlichen neuronalen Netzwerks geeignet ist oder nicht. Beispielsweise wird durch den Vergleich der Eigenschaft der ersten Testdaten mit der Eigenschaft der zweiten Testdaten eine Abweichung der Eigenschaften bestimmt. Falls die Abweichung einen Schwellwert überschreitet oder außerhalb eines definierten Bereichs für die Abweichung liegt, ist das generative Modell ungeeignet. Falls das generative Modell ungeeignet ist, wird das Verfahren im Beispiel beendet. Anderenfalls wird ein Schritt 218 ausgeführt. Anderenfalls wird das Verfahren beendet.
Die Schritte 204 bis 216 sind nach der Bereitstellung des Datensatzes Netzwerks autark ausführbar. Das Verfahren kann insbesondere auch nach der Bereitstellung des generativen Modells enden. Das generative Modell kann in diesem Fall in einem Trainingsverfahren für ein künstliches neuronales Netzwerk eingesetzt werden, das unabhängig von dem anhand der Schritte 204 bis 216 beschriebenen Verfahren ausgeführt wird.
Im Schritt 218 dritten Trainingsdaten aus dem Datensatz bereitgestellt. Die dritten Trainingsdaten umfassen digitale Bilder.
Anschließend wird in einem Schritt 220 ein künstliches neuronales Netzwerk in einer ersten Trainingsphase abhängig von den dritten Trainingsdaten trainiert.
Anschließend werden in einem Schritt 222 vierte Trainingsdaten durch das generative Modell bereitgestellt.
Anschließend wird in einem Schritt 224 das künstliche neuronale Netzwerk abhängig von den vierten Trainingsdaten trainiert.
Anschließend werden in einem Schritt 226 dritte Testdaten durch das generative Modell bereitgestellt.
Anschließend wird in einem Schritt 228 das künstliche neuronale Netzwerk abhängig von den dritten Testdaten geprüft. Beispielsweise sind für die dritten Testdaten die Ereignisklassen vorgebeben. In diesem Beispiel wird geprüft, ob das künstliche neuronale Netzwerk die Testdaten in die vorgegebene Ereignisklasse klassifiziert. Falls dies der Fall ist, wird ein Schritt 230 ausgeführt. Anderenfalls wird das Verfahren beendet.
Die Schritte 218 bis 228 können für ein anderes generatives Modell unabhängig von den Schritten 204 bis 216 und unabhängig von den im Folgenden beschriebenen Schritten ausgeführt werden.
Im Schritt 230 wird das künstliche neuronale Netzwerk bereitgestellt. Im Beispiel wird das künstliche neuronale Netzwerk oder seine Parameter in das Steuergerät 110 übertragen.
Anschließend wird in einem Schritt 232 ein digitales Bild erfasst. Im Beispiel wird das digitale Bild vom Sensor 104 erfasst.
Anschließend wird in einem Schritt 234 abhängig vom digitalen Bild an einem Eingang des künstlichen neuronalen Netzwerks wenigstens eine Ausgangsgröße zur Beeinflussung eines Verhaltens des Fahrzeugs 108, einer mobilen oder stationären Maschine oder eines Aktuators bestimmt.
Anschließend wird in einem Schritt 236 die Ausgangsgröße zur Beeinflussung des Verhaltens ausgegeben.
Anschließend wird in einem Schritt 238 überprüft, ob die Bilderkennung fortgesetzt werden soll, der nicht. Beispielsweise wird geprüft, ob das Fahrzeug 108 in Betrieb ist. Wenn das Fahrzeug 108 in Betrieb ist, wird der Schritt 232 ausgeführt. Anderenfalls endet das Verfahren.
Die Schritte 232 bis 238 sind nach der Bereitstellung des künstlichen neuronalen Netzwerks autark ausführbar.
Die Eigenschaft der ersten Testdaten ist in einem Aspekt durch eine Verteilung von Werten wenigstens einer charakteristischen Größe der digitalen Bilder des Datensatzes definiert. Die Eigenschaft der vom generativen Modell bereitgestellten zweiten Testdaten ist in diesem Aspekt durch eine Verteilung von Werten der wenigstens einen charakteristischen Größe der digitalen Bilder der zweiten Testdaten definiert.
Die wenigstens eine charakteristische Größe kann eine geometrische Form insbesondere einen Radius eines Kreises, eine Lage eines Mittelpunkts eines Kreises, eine Länge einer Seite eines Vielecks, einen Winkel in einem Vieleck definieren. Beispielsweise wird eine Verteilung der Mittelpunkte der Kreise in den digitalen Bildern bezüglich der linken unteren Ecke des digitalen Bildes, in dem der jeweilige Kreist dargestellt ist, verwendet.
Die wenigstens eine charakteristische Größe kann eine Farbe für wenigstens einen Teil der geometrischen Form oder deren Hintergrund definieren. Beispielsweise wird eine Verteilung der Farben der geometrischen Formen in den digitalen Bildern oder der Hintergründe der digitalen Bilder, in denen diese dargestellt sind verwendet.
Die wenigstens eine charakteristische Größe kann eine Orientierung der geometrischen Form im digitalen Bild oder eine Art der geometrischen Form definieren. Beispielsweise wird eine Verteilung der Orientierung der geometrischen Formen in den digitalen Bildern bezüglich der linken unteren Ecke des digitalen Bildes, in dem die jeweilige geometrische Form dargestellt ist verwendet.
Es kann auch eine Verteilung eines Umfangs einer geometrischen Form, einer Seitenlänge eines Vielecks, eines Radius eines Kreises oder einer Ellipse, einer Diagonalen eines Parallelogramms oder ein Flächeninhalt dieser geometrischen Formen verwendet werden.
Eine beispielhafte Vorgehensweise wird im Folgenden für einen Datensatz beschrieben, der ausschließlich aus digitalen Bildern von einfarbigen Kreisen vor einem weißen Hintergrund besteht. Der Hintergrund kann auch schwarz sein. Die einfarbigen Kreise können eine beliebige Farbe aufweisen, die beispielsweise durch die Zusammensetzung der Anteile roter, grüner und blauer Farbe in einem RGB Farbraum definiert ist. Die Anteile werden im Folgenden durch einen numerischen Wert zwischen einem minimalen Wert c_min und einem maximalen Wert c_max angegeben. Ein numerischer Wert r für den Anteil roter Farbe ist im Bereich c_min < r < c_max vorgegeben. Ein numerischer Wert g für den Anteil grüner Farbe ist im Bereich c_min < g < c_max vorgegeben. Ein numerischer Wert b für den Anteil blauer Farbe ist im Bereich c_min < b < c_max vorgegeben. Für die Kreise ist ein numerischer Wert R für den jeweiligen Radius in einem vorgegebenen Bereich R_min und R_max vorgegeben. Jedes digitale Bild enthält im Beispiel genau einen Kreis, dessen Mittelpunkt mit einer x-Koordinate und einer y-Koordinate in einem kartesischen Koordinatensystem mit Ursprung in einer linken unteren Ecke des digitalen Bildes angegeben ist. Die Bilder haben im Beispiel 1024x1024 Pixel. Die numerischen Werte für die Farben der Kreise sind in diesem Beispiel mit 50 < r, g, b < 200 vorgegeben. Die Radien R der Kreise sind in einem Bereich von 50 < R < 200 vorgegeben.
Die Kreise des Datensatzes werden im Beispiel mit gleichverteilten Radien, Farben und Positionen der Mittelpunkte erzeugt.
Aus dem Datensatz werden im Beispiel 50000 digitale Bilder als erste Trainingsdaten bereitgestellt. Aus dem Datensatz werden im Beispiel 10000 digitale Bilder als erste Testdaten bereitgestellt.
Als zu untersuchendes generatives Modell wird in diesem Beispiel ein Generative Adversarial Model bereitgestellt.
Das zu untersuchende Generative Adversarial Model wird mit den 50000 digitalen Bildern trainiert. Anschließend werden in diesem Beispiel vom zu untersuchenden Generativen Adversarial Model 10000 digitale Bilder als zweite Testdaten bereitgestellt.
Dann werden die Eigenschaften der ersten Testdaten und der zweiten Testdaten bestimmt und der Vergleich der Eigenschaften durchgeführt.
In 3 sind im oberen Bild fünf beispielhafte Kreise dargestellt, die als digitale Bilder aus dem Datensatz bereitgestellt werden. In 3 sind im unteren Bild fünf beispielhafte Kreise dargestellt, die durch das zu untersuchendes Generative Adversarial Model bereitgestellt werden.
Um die bereitgestellten digitalen Bilder zu verarbeiten, wird beispielsweise mit einer Schwellwertfunktion gemäß dem Algorithmus von Otsu aus der OpenCV Implementierung eine binäre schwarz-weiß Darstellung der digitalen Bilder erzeugt.
Aus der binären schwarz-weißen Darstellung wird beispielsweise mit der findContours Funktion gemäß dem Algorithmus von Suzuki aus der OpenCV Implementierung eine Kontur extrahiert.
Vorzugweise werden alle digitalen Bilder aussortiert, die mehr als eine Kontur aufweisen. Diese können separat analysiert werden.
Für die nicht aussortierten Bilder wird wenigstens einer der folgenden Schritte ausgeführt:

Ein b-spline wird an die Kontur aus dem digitalen Bild angepasst. Vom b-spline wird eine Krümmung der Kontur als charakteristische Größe bestimmt.

Ein Farbhistogramm des digitalen Bildes wird bestimmt. Mit einer Argmax Funktion über die Pixel des digitalen Bildes, die innerhalb der Kontur liegen, wird eine dominante Farbe als charakteristische Größe bestimmt. Es kann auch eine Varianz des Farbhistogramms als charakteristische Größe bestimmt werden.
An die Kontur werden Hough-Kreise angepasst. Der Hough-Kreis mit der größten Überschneidung mit dem Einheitskreis wird als der am besten passende Kreis bestimmt. Der Radius R und die x-Koordinate sowie die y-Koordinate für den Mittelpunkt dieses Kreises werden in diesem Beispiel als charakteristische Größen bestimmt.
Für die digitalen Bilder wird eine Verteilung der charakteristischen Größe über die digitalen Bilder bestimmt.
Die Verteilungen derselben charakteristischen Größe von digitalen Bildern aus dem Datensatz und von digitalen Bildern, die von dem Generative Adversarial Network erzeugt wurden, werden in diesem Beispiel zur Bestimmung des Maßes für die Leistungsfähigkeit des Generative Adversarial Network herangezogen.
In 4 ist im oberen Bild von links nach rechts eine Verteilung der Mittelwerte, Minimumwerte, der maximalen Krümmungen und der Standardabweichungen der Krümmung für die in 3 im oberen Bild dargestellten fünf beispielhaften Kreise dargestellt.
In 4 ist im unteren Bild von links nach rechts eine Verteilung der Mittelwerte, Minimumwerte, der maximalen Krümmungen und der Standardabweichungen der Krümmung für die in 3 im unteren Bild dargestellten fünf beispielhaften Kreise dargestellt. Die Verteilungen unterscheiden sich in diesem Beispiel wenig. Gemessen an diesem Maß ist die Leistungsfähigkeit des Generative Adversarial Model als geeignet zu betrachten.
In 5a ist im oberen Bild von links nach rechts eine Verteilung der Farbwerte rot, r, grün, g, blau, b, für die in 3 im oberen Bild dargestellten fünf beispielhaften Kreise dargestellt.
In 5a ist im unteren Bild von links nach rechts eine Verteilung der Farbwerte rot, r, grün, g, blau, b, für die in 3 im unteren Bild dargestellten fünf beispielhaften Kreise dargestellt.
Die Verteilungen unterscheiden sich in diesem Beispiel deutlich. Gemessen an diesem Maß ist die Leistungsfähigkeit des Generative Adversarial Model als ungeeignet zu betrachten.
In 5b ist im oberen Bild eine Verteilung der Radien für die in 3 im oberen Bild dargestellten fünf beispielhaften Kreise dargestellt.
In 5b ist im unteren Bild eine Verteilung der Radien für die in 3 im unteren Bild dargestellten fünf beispielhaften Kreise dargestellt.
Die Verteilungen unterscheiden sich in diesem Beispiel wenig. Gemessen an diesem Maß ist die Leistungsfähigkeit des Generative Adversarial Model als geeignet zu betrachten.
In 5c ist im oberen Bild eine Verteilung der Mittelpunkte für die in 3 im oberen Bild dargestellten fünf beispielhaften Kreise dargestellt.
In 5c ist im unteren Bild eine Verteilung der Mittelpunkte für die in 3 im unteren Bild dargestellten fünf beispielhaften Kreise dargestellt.
Die Mittelpunktlage wird in den beiden Bildern als Position auf der x-Achse, x, und der y-Achse, y, eines kartesischen Koordinatensystems ausgewertet, dessen Ursprung im linken unteren Eck des Bildes liegt.
Die Verteilungen unterscheiden sich in diesem Beispiel wenig. Gemessen an diesem Maß ist die Leistungsfähigkeit des Generative Adversarial Model als geeignet zu betrachten.

Claims

Verfahren für Bildverarbeitung, dadurch gekennzeichnet, dass erste Trainingsdaten aus einem Datensatz bereitgestellt werden (204), die digitale Bilder umfassen, wobei ein generatives Modell, insbesondere ein Generative Adversarial Network, ein Variational Autoencoder oder ein Flow Model, abhängig von den ersten Trainingsdaten trainiert wird (206), wobei erste Testdaten aus dem Datensatz bereitgestellt werden (208), die digitale Bilder umfassen, wobei durch das abhängig von den ersten Trainingsdaten trainierte generative Modell zweite Testdaten bereitgestellt werden (210), die digitale Bilder umfassen, wobei eine Eigenschaft der ersten Testdaten bestimmt wird (212), wobei eine Eigenschaft der zweiten Testdaten bestimmt wird (214), wobei ein Kriterium für ein Maß einer Leistungsfähigkeit des generativen Modells abhängig von einem Vergleich der Eigenschaft der ersten Testdaten mit der Eigenschaft der zweiten Testdaten bestimmt wird (216).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass dritten Trainingsdaten aus dem Datensatz bereitgestellt werden (218), die digitale Bilder umfassen, wobei ein künstliches neuronales Netzwerk in einer ersten Trainingsphase abhängig von den dritten Trainingsdaten trainiert wird (220), wobei vierte Trainingsdaten durch das generative Modell bereitgestellt werden (222), wobei das künstliche neuronale Netzwerk abhängig von den vierten Trainingsdaten trainiert wird (224).
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass dritte Testdaten durch das generative Modell bereitgestellt werden (226), wobei das künstliche neuronale Netzwerk abhängig von den dritten Testdaten geprüft wird (228).
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass abhängig von einem digitalen Bild an einem Eingang des künstlichen neuronalen Netzwerks wenigstens eine Ausgangsgröße zur Beeinflussung eines Verhaltens eines Fahrzeugs, einer mobilen oder stationären Maschine oder eines Aktuators bestimmt wird (234).
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Eigenschaft der ersten Testdaten durch eine Verteilung von Werten wenigstens einer charakteristischen Größe der digitalen Bilder des Datensatzes definiert ist, wobei die Eigenschaft der zweiten Testdaten durch eine Verteilung von Werten der wenigstens einen charakteristischen Größe der digitalen Bilder der zweiten Testdaten definiert ist.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die wenigstens eine charakteristische Größe eine geometrische Form insbesondere einen Radius eines Kreises, eine Lage eines Mittelpunkts eines Kreises, eine Länge einer Seite eines Vielecks, einen Winkel in einem Vieleck definiert.
Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die wenigstens eine charakteristische Größe eine Farbe für wenigstens einen Teil der geometrischen Form oder deren Hintergrund definiert.
Verfahren nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass die wenigstens eine charakteristische Größe eine Orientierung der geometrischen Form im digitalen Bild oder eine Art der geometrischen Form definiert.
Vorrichtung (100) dadurch gekennzeichnet, dass die Vorrichtung (100) eine Recheneinrichtung (102) umfasst, die ausgebildet ist, das Verfahren nach einem der Ansprüche 1 bis 8 auszuführen.
Vorrichtung (100) nach Anspruch 9, dadurch gekennzeichnet, dass die Vorrichtung (100) einen Sensor (104), insbesondere eine Kamera, einen LiDAR, Radar oder Ultraschallsensor umfasst, der ausgebildet ist digitale Bilder zu erfassen, wobei die Vorrichtung (100) eine Ausgabeeinrichtung (106) umfasst, die ausgebildet ist, abhängig von wenigstens einer Ausgangsgröße der Recheneinrichtung (102) ein Verhalten eines Fahrzeugs (108), einer stationären oder mobilen Maschine oder eines Aktuators zu beeinflussen, und wobei die Recheneinrichtung (102) ein künstliches neuronales Netz umfasst, das ausgebildet ist, die wenigstens eine Ausgangsgröße abhängig von einem vom Sensor (104) erfassten digitalen Bild zu bestimmen.
Computerprogramm, dadurch gekennzeichnet, dass das Computerprogramm computerlesbare Instruktionen umfasst, bei deren Ausführung durch einen Computer, das Verfahren nach einem der Ansprüche 1 bis 10 ausgeführt wird.
Computerprogrammprodukt, dadurch gekennzeichnet, dass das Computerprogrammprodukt ein computerlesbares Speichermedium umfasst, auf dem das Computerprogramm nach Anspruch 11 abgespeichert ist.