DE102019209565A1 - Verfahren und Vorrichtung zum Überprüfen der Robustheit eines künstlichen neuronalen Netzes - Google Patents

Abstract

Computerimplementiertes neuronales Netzwerksystem, umfassend ein erstes maschinelles Lernsystem, insbesondere ein erstes neuronales Netzwerk, (GEN), ein zweites maschinelles Lernsystem, insbesondere ein zweites neuronales Netzwerk (ENC) und ein drittes maschinelles Lernsystem, insbesondere ein drittes neuronales Netzwerk (DIS), wobei das erste maschinelle Lernsystem (GEN) ausgebildet ist, aus einem vorgebbaren niederdimensionalen latenten Variable (z) ein höherdimensionales konstruiertes Bild (x̃) zu ermitteln, wobei das zweite maschinelle Lernsystem (ENC) ausgebildet ist, aus dem höherdimensionalen konstruierten Bild (x̃) wieder die latente Variable (z) zu ermitteln, und wobei das dritte maschinelle Lernsystem (DIS) ausgebildet ist, zu unterscheiden, ob ein ihm zugeführtes Bild ein reales Bild (x) ist, oder nicht.

Description

• Die Erfindung betrifft einen Verfahren zum Überprüfen der Robustheit eines künstlichen neuronalen Netzes, ein Verfahren zum Trainieren des künstlichen neuronalen Netzes, ein Verfahren zum Betreiben dieses künstlichen neuronalen Netzes, eine Trainingsvorrichtung, ein Computerprogramm und ein maschinenlesbares Speichermedium.
• Stand der Technik
• „CVAE-GAN: Fine-Grained Image Generation through Asymmetrie Training“, arXiv preprint arXiv: 1703.10155, 2017, Jianmin Bao, Dong Chen, Fang Wen, Houqiang Li, und Gang Hua bietet einen Überblick über bekannte generative Verfahren wie Variational Autoencoder und Generative Adversarial Networks.
• Vorteile der Erfindung
• Die Erfindung mit den Merkmalen des unabhängigen Anspruch 1 hat demgegenüber den Vorteil, dass ein neuartiges generatives Modell zur Verfügung gestellt wird, dass sich in gleichermaßen vorteilhafter Weise zum augmentieren von Bilddaten wie auch zur Anomaliedetektion eignet.
• Weitere Aspekte der Erfindung sind Gegenstand der nebengeordneten Ansprüche. Vorteilhafte Weiterbildungen sind Gegenstand der abhängigen Ansprüche.
• Offenbarung der Erfindung
• In einem ersten Aspekt betrifft die Erfindung ein computerimplementiertes neuronales Netzwerksystem, umfassend ein auch als Generator bezeichnetes erstes maschinelles Lernsystem, insbesondere ein erstes neuronales Netzwerk, ein auch als Kodierer bezeichnetes zweites maschinelles Lernsystem, insbesondere ein zweites neuronales Netzwerk und ein auch als Diskriminator bezeichnetes drittes maschinelles Lernsystem, insbesondere ein drittes neuronales Netzwerk, wobei das erste maschinelle Lernsystem ausgebildet ist, aus einem vorgebbaren niederdimensionalen latenten Variable ein höherdimensionales konstruiertes Bild zu ermitteln, wobei das zweite maschinelle Lernsystem ausgebildet ist, aus dem höherdimensionalen konstruierten Bild wieder die latente Variable zu ermitteln, und wobei das dritte maschinelle Lernsystem ausgebildet ist, zu unterscheiden, ob ein ihm zugeführtes Bild ein reales, d.h. mit einem Sensor aufgenommenes, Bild ist, oder nicht. Dieser umgekehrte Autoencoder dieses Netzwerksystem den Vorteil, dass die Abhängigkeit latenter Merkmale (wie z.B. der Haarfarbe detektierter Fußgänger) besonders einfach extrahierbar ist, sodass Augmentierungen von Trainingsdatensätzen besonders einfach sind. Gleichzeitig ist eine Anomaliedetektion besonders robust durchführbar, da das System adverseriell trainierbar ist.
• In einem nebengeordneten Aspekt betrifft die Erfindung ein Verfahren zum Trainieren des neuronalen Netzwerksystems, wobei das erste maschinelle Lernsystem, und insbesondere nur das erste maschinelle Lernsystem, dahingehend trainiert wird, dass eine Aktivierung in einer vorgebbaren Merkmalskarte der Merkmalskarten des dritten maschinellen Lernsystems möglichst den gleichen Wert annimmt, wenn ihm ein reales Bild bzw. ein von einer Hintereinanderschaltung aus zweitem maschinellem Lernsystem und erstem maschinellem Lernsystem rekonstruiertes Bild des realen Bildes zugeführt wird. Es hat sich gezeigt, dass das Training hierdurch besonders gut konvergiert.
• In einer Weiterbildung dieses Aspekts kann vorgesehen sein, dass das erste maschinelle Lernsystem auch dahingehend trainiert wird, dass das dritte maschinelle Lernsystem möglichst nicht erkennt, dass ein ihm zugeführtes vom ersten maschinellen Lernsystem generiertes Bild kein reales Bild ist. Dies sorgt für besonders robuste Anomaliedetektion.
• Alternativ oder zusätzlich kann vorgesehen sein, dass das zweite maschinelle Lernsystem, und insbesondere nur das zweite maschinelle Lernsystem, dahingehend trainiert wird, dass eine von einer Hintereinanderschaltung aus erstem maschinellem Lernsystem und zweitem maschinellen Lernsystem ermittelte Rekonstruktion der latenten Variable möglichst der latenten Variable gleicht. Es wurde erkannt, dass die Konvergenz des Verfahrens erheblich verbessert ist, wenn diese Rekonstruktion so gewählt wird, dass nur die Parameter des zweiten maschinellen Lernsystems trainiert werden, da ansonsten die Kostenfunktion des Kodierers und des Generators schwer miteinander in Einklang zu bringen sind.
• Um eine möglichst gute Verbesserung des Trainingsergebnisses zu erreichen, kann in einer Weiterbildung vorgesehen sein, dass wobei das dritte maschinelle Lernsystem dahingehend trainiert wird, dass es möglichst erkennt, dass ein ihm zugeführtes vom ersten maschinellen Lernsystem generiertes Bild kein reales Bild ist und/oder dass das dritte maschinelle Lernsystem auch dahingehend trainiert wird, dass es möglichst erkennt, dass ein ihm zugeführtes reales Bild ein reales Bild ist.
• In einem weiteren nebengeordnete Aspekt betrifft die Erfindung ein Verfahren zum Überwachen der korrekten Funktionsweise eines maschinellen Lernsystems, insbesondere eines vierten neuronalen Netzes, zur Klassifikation und/oder semantischen Segmentierung eines ihm zugeführten Eingangsbilds (x), beispielsweise zur Erkennung von Fußgängern und/oder anderen Verkehrsteilnehmern und/oder Straßenschildern, wobei einer Überwachungseinheit, welche das mit einem der obigen Verfahren nach einem der Ansprüche trainierte erste maschinelle Lernsystem und zweite maschinelle Lernsystem des neuronalen Netzwerkssystems umfasst, wobei das Eingangsbild dem zweiten maschinellen Lernsystem zugeführt wird, das hieraus eine niederdimensionale latente Variable ermittelt, aus der das erste maschinelle Lernsystem eine Rekonstruktion des Eingangsbilds ermittelt, wobei abhängig von Eingangsbild und rekonstruiertem Eingangsbild entschieden wird, ob das maschinelle Lernsystem robust ist, oder nicht.
• Werden das maschinelle Lernsystem und das neuronale Netzwerksystem mit Datensätzen, die die gleichen Eingangsbilder umfassen, trainiert, so ist die Überwachung besonders zuverlässig, da besonders einfach sichergestellt ist, dass die statistischen Verteilungen der Trainingsdatensätze vergleichbar (nämlich: identisch) sind.
• In einem noch weiteren nebengeordneten Aspekt betrifft die Erfindung ein Verfahren zum Erzeugen eines augmentierten Trainingsdatensatzes umfassend Eingangsbilder zum Trainieren eines maschinellen Lernsystem, welches eingerichtet ist zur Klassifikation und/oder semantischen Segmentierung von Eingangsbildern, wobei mittels des zweiten maschinellen Lernsystems des neuronalen Netzwerksystems, das insbesondere mit einem der obigen Verfahren wurde jeweils latente Variablen aus den Eingangsbildern ermittelt werden, wobei die Eingangsbilder abhängig von ermittelten Merkmalsausprägungen ihrer Bilddaten klassifiziert werden, und wobei ein augmentiertes Eingangsbild des augmentierten Trainingsdatensatzes aus wenigstens einem der Eingangsbilder abhängig von durchschnittlichen Werten der ermittelten latenten Variablen in wenigstens zwei der Klassen ermittelt wird.
• Mit diesem Verfahren ist es mögliche, Merkmale der Bilder im Raum der latenten Variablen (englisch: „latent space“) zu analysieren und entflochtene Merkmale zu extrahieren, sodass in der beschriebenen Vorgehensweise ein besonderes gezieltes Variieren der Merkmale der Bilder möglich ist.
• Besonders sauber ist das entflechten der Merkmale, wenn die Bildklassen derart gewählt werden, dass die darin einklassifizierten Eingangsbilder (x⁽ⁱ⁾) bezüglich ihrer Ausprägungen in einer vorgebbaren Menge anderer Merkmale übereinstimmen.
• Hierbei kann dann vorteilhafterweise vorgesehen sein, dass das augmentierte Eingangsbild mittels des ersten maschinellen Lernsystems des neuronalen Netzwerksystems, das insbesondere mit einem vorgenannten Trainingsverfahren trainiert wurde, abhängig von einer ermittelten augmentierten latenten Variable ermittelt wird. Hiermit kann man effizient ein modifiziertes Bild erzeugen.
• Um ganz gezielt ein vorgebbares Merkmal eines bestehenden Bildes zu modifizieren, kann vorgesehen sein, dass die augmentierte latente Variable aus einer vorgebbaren der ermittelten latenten Variablen und einer Differenz der durchschnittlichen Werte ermittelt wird. Damit wird das Merkmal des Bildes, das zur vorgebbaren der ermittelten latenten Variablen korrespondiert, variiert.
• Um eine möglichst große Vielzahl an neuen Merkmalsausprägungen zu erhalten, kann vorgesehen sein, dass die Differenz mit einem vorgebbaren Gewichtsfaktor α gewichtet wird. Insbesondere ist es so möglich, eine Vielzahl an Trainingsbildern zu generieren, deren Merkmale unterschiedlich stark variiert sind.
• Beispielsweise ist es möglich, für Straßenszenen die visuellen Attribute von Fußgängern in einer Vielzahl von Ausprägungen zu variieren, und somit einen besonders großen Trainings- oder Testdatensatz zur Verfügung zu stellen, der hinsichtlich dieses Merkmals eine sehr hohe Abdeckung gewährleistet.
• Es kann insbesondere vorgesehen sein, dass das maschinelle Lernsystem dann mit dem erzeugten augmentierten Trainingsdatensatz trainiert wird, wenn die Überwachung mit einem der vorgenannten Überwachungsverfahren ergeben hat, dass das maschinelle Lernsystem nicht robust ist.
• In weiteren Aspekten betrifft die Erfindung ein Computerprogramm, das eingerichtet, die obigen Verfahren auszuführen und ein maschinenlesbares Speichermedium, auf dem dieses Computerprogramm gespeichert ist.
• Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert. In den Zeichnungen zeigen:
• 1 schematisch einen Aufbau einer Ausführungsform der Erfindung;
• 2 schematisch ein Ausführungsbeispiel zur Steuerung eines wenigstens teilautonomen Roboters;
• 3 schematisch ein Ausführungsbeispiel zur Steuerung eines Fertigungssystems;
• 4 schematisch ein Ausführungsbeispiel zur Steuerung eines Zugangssystems;
• 5 schematisch ein Ausführungsbeispiel zur Steuerung eines Überwachungssystems;
• 6 schematisch ein Ausführungsbeispiel zur Steuerung eines persönlichen Assistenten;
• 7 schematisch ein Ausführungsbeispiel zur Steuerung eines medizinisch bildgebenden Systems;
• 8 einen möglichen Aufbau der Überwachungseinheit;
• 9 einen möglichen Aufbau einer ersten Trainingsvorrichtung 141;
• 10 das neuronale Netzwerksystem;
• 11 einen möglichen Aufbau einer zweiten Trainingsvorrichtung 140.
• Beschreibung der Ausführungsbeispiele
• 1 zeigt einen Aktor 10 in seiner Umgebung 20 in Interaktion mit einem Steuerungssystem 40. In vorzugsweise regelmäßigen zeitlichen Abständen wird die Umgebung 20 in einem Sensor 30, insbesondere einem bildgebenden Sensor wie einem Videosensor, erfasst, der auch durch eine Mehrzahl von Sensoren gegeben sein kann, beispielsweise eine Stereokamera. Auch andere bildgebende Sensoren sind denkbar, wie beispielsweise Radar, Ultraschall oder Lidar. Auch eine Wärmebildkamera ist denkbar. Das Sensorsignal S - bzw. im Fall mehrerer Sensoren je ein Sensorsignal S - des Sensors 30 wird an das Steuerungssystem 40 übermittelt. Das Steuerungssystem 40 empfängt somit eine Folge von Sensorsignalen S. Das Steuerungssystem 40 ermittelt hieraus Ansteuersignale A, welche an den Aktor 10 übertragen werden.
• Das Steuerungssystem 40 empfängt die Folge von Sensorsignalen S des Sensors 30 in einer optionalen Empfangseinheit 50, die die Folge von Sensorsignalen S in eine Folge von Eingangsbildern x umwandelt (alternativ kann auch unmittelbar je das Sensorsignal S als Eingangsbild x übernommen werden). Das Eingangsbild x kann beispielsweise ein Ausschnitt oder eine Weiterverarbeitung des Sensorsignals S sein. Das Eingangsbild x umfasst einzelne Frames einer Videoaufzeichnung. Mit anderen Worten wird Eingangsbild x abhängig von Sensorsignal S ermittelt. Die Folge von Eingangsbildern x wird einem maschinellen Lernsystem, im Ausführungsbeispiel einem künstlichen neuronalen Netz 60, zugeführt.
• Das künstliche neuronale Netz 60 wird vorzugsweise parametriert durch Parameter ϕ, die in einem Parameterspeicher P hinterlegt sind und von diesem bereitgestellt werden.
• Das künstliche neuronale Netz 60 ermittelt aus den Eingangsbildern x Ausgangsgrößen y. Diese Ausgangsgrößen y können insbesondere eine Klassifikation und/oder semantische Segmentierung der Eingangsbilder x umfassen. Ausgangsgrößen y werden einer optionalen Umformeinheit 80 zugeführt, die hieraus Ansteuersignale A ermittelt, welche dem Aktor 10 zugeführt werden, um den Aktor 10 entsprechend anzusteuern. Ausgangsgröße y umfasst Informationen über Objekte, die der Sensor 30 erfasst hat.
• Das Steuerungssystem 40 umfasst ferner eine Überwachungseinheit 61 zum Überwachen der Funktionsweise des künstlichen neuronalen Netzes 60. Der Überwachungseinheit 61 wird ebenfalls das Eingangsbild x zugeführt. Sie ermittelt abhängig hiervon ein Überwachungssignal d, das ebenfalls der Umformeinheit 80 zugeführt wird. Das Ansteuersignal A wird auch abhängig vom Überwachungssignal d ermittelt.
• Das Überwachungssignal d charakterisiert, ob das neuronale Netz 60 die Ausgangsgrößen y zuverlässig ermittelt, oder nicht. Wenn das Überwachungssignal d eine Unzuverlässigkeit charakterisiert, kann beispielsweise vorgesehen sein, dass das Ansteuersignal A entsprechend eines abgesicherten Betriebsmodus ermittelt wird (während es andernfalls in einem normalen Betriebsmodus ermittelt wird). Der abgesicherte Betriebsmodus kann beispielsweise beinhalten, dass eine Dynamik des Aktors 10 reduziert wird, oder dass Funktionalitäten zur Ansteuerung des Aktors 10 ausgeschaltet.
• Der Aktor 10 empfängt die Ansteuersignale A, wird entsprechend angesteuert und führt eine entsprechende Aktion aus. Der Aktor 10 kann hierbei eine (nicht notwendigerweise baulich integrierte) Ansteuerlogik umfassen, welches aus dem Ansteuersignal A ein zweites Ansteuersignal ermittelt, mit dem dann der Aktor 10 angesteuert wird.
• In weiteren Ausführungsformen umfasst das Steuerungssystem 40 den Sensor 30. In noch weiteren Ausführungsformen umfasst das Steuerungssystem 40 alternativ oder zusätzlich auch den Aktor 10.
• In weiteren bevorzugten Ausführungsformen umfasst das Steuerungssystem 40 eine Ein- oder Mehrzahl von Prozessoren 45 und wenigstens ein maschinenlesbares Speichermedium 46, auf dem Anweisungen gespeichert sind, die dann, wenn sie auf den Prozessoren 45 ausgeführt werden, das Steuerungssystem 40 veranlassen, das erfindungsgemäße Verfahren auszuführen.
• In alternativen Ausführungsformen ist alternativ oder zusätzlich zum Aktor 10 eine Anzeigeeinheit 10a vorgesehen.
• 2 zeigt, wie das Steuerungssystem 40 zur Steuerung eines wenigstens teilautonomen Roboters, hier eines wenigstens teilautonomen Kraftfahrzeugs 100, eingesetzt werden kann.
• Bei dem Sensor 30 kann es sich beispielsweise um einen vorzugsweise im Kraftfahrzeug 100 angeordneten Videosensor handeln.
• Das künstliche neuronale Netz 60 ist eingerichtet, aus den Eingangsbildern x Objekte sicher zu identifizieren.
• Bei dem vorzugsweise im Kraftfahrzeug 100 angeordneten Aktor 10 kann es sich beispielsweise um eine Bremse, einen Antrieb oder eine Lenkung des Kraftfahrzeugs 100 handeln. Das Ansteuersignal A kann dann derart ermittelt werden, dass der Aktor oder die Aktoren 10 derart angesteuert wird, dass das Kraftfahrzeug 100 beispielsweise eine Kollision mit den vom künstlichen neuronalen Netz 60 sicher identifizierten Objekte verhindert, insbesondere, wenn es sich um Objekte bestimmter Klassen, z.B. um Fußgänger, handelt.
• Alternativ kann es sich bei dem wenigstens teilautonomen Roboter auch um einen anderen mobilen Roboter (nicht abgebildet) handeln, beispielsweise um einen solchen, der sich durch Fliegen, Schwimmen, Tauchen oder Schreiten fortbewegt. Bei dem mobilen Roboter kann es sich beispielsweise auch um einen wenigstens teilautonomen Rasenmäher oder einen wenigstens teilautonomen Putzroboter handeln. Auch in diesen Fällen kann das Ansteuersignal A derart ermittelt werden, dass Antrieb und/oder Lenkung des mobilen Roboters derart angesteuert werden, dass der wenigstens teilautonome Roboter beispielsweise eine Kollision mit vom künstlichen neuronalen Netz 60 identifizierten Objekten verhindert.
• Alternativ oder zusätzlich kann mit dem Ansteuersignal A die Anzeigeeinheit 10a angesteuert werden, und beispielsweise die ermittelten sicheren Bereiche dargestellt werden. Auch ist es beispielsweise beim einem Kraftfahrzeug 100 mit nicht automatisierter Lenkung möglich, dass die Anzeigeeinheit 10a mit dem Ansteuersignal A derart angesteuert wird, dass sie ein optisches oder akustisches Warnsignal ausgibt, wenn ermittelt wird, dass das Kraftfahrzeug 100 droht, mit einem der sicher identifizierten Objekte zu kollidieren.
• 3 zeigt ein Ausführungsbeispiel, in dem das Steuerungssystem 40 zur Ansteuerung einer Fertigungsmaschine 11 eines Fertigungssystems 200 verwendet wird, indem ein diese Fertigungsmaschine 11 steuernder Aktor 10 angesteuert wird. Bei der Fertigungsmaschine 11 kann es sich beispielsweise um eine Maschine zum Stanzen, Sägen, Bohren und/oder Schneiden handeln.
• Bei dem Sensor 30 kann es sich dann beispielsweise um einen optischen Sensor handeln, der z.B. Eigenschaften von Fertigungserzeugnissen 12a, 12b erfasst. Es ist möglich, dass diese Fertigungserzeugnisse 12a, 12b beweglich sind. Es ist möglich, dass der die Fertigungsmaschine 11 steuernde Aktor 10 abhängig von einer Zuordnung der erfassten Fertigungserzeugnisse 12a, 12b angesteuert wird, damit die Fertigungsmaschine 11 entsprechend einen nachfolgenden Bearbeitungsschritt des richtigen der Fertigungserzeugnisses 12a, 12b ausführt. Es ist auch möglich, dass durch Identifikation der richtigen Eigenschaften desselben der Fertigungserzeugnisse 12a, 12b (d.h. ohne eine Fehlzuordnung) die Fertigungsmaschine 11 entsprechend den gleichen Fertigungsschritt für eine Bearbeitung eines nachfolgenden Fertigungserzeugnisses anpasst.
• 4 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines Zugangssystems 300 eingesetzt wird. Das Zugangssystem 300 kann eine physische Zugangskontrolle, beispielsweise eine Tür 401 umfassen. Videosensor 30 ist eingerichtet ist, eine Person zu erfassen. Mittels des Objektidentifikationssystem 60 kann dieses erfasste Bild interpretiert werden. Sind mehrere Personen gleichzeitig erfasst, kann durch eine Zuordnung der Personen (also der Objekte) zueinander beispielweise die Identität der Personen besonders zuverlässig ermittelt werden, beispielsweise durch eine Analyse ihrer Bewegungen. Der Aktor 10 kann ein Schloss sein, dass abhängig vom Ansteuersignal A die Zugangskontrolle freigibt, oder nicht, beispielsweise die Tür 401 öffnet, oder nicht. Hierzu kann das Ansteuersignal A abhängig von der der Interpretation des Objektidentifikationssystem 60 gewählt werden, beispielsweise abhängig von der ermittelten Identität der Person. An Stelle der physischen Zugangskontrolle kann auch eine logische Zugangskontrolle vorgesehen sein.
• 5 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines Überwachungssystems 400 verwendet wird. Von dem in 5 dargestellten Ausführungsbeispiel unterscheidet sich dieses Ausführungsbeispiel dadurch, dass an Stelle des Aktors 10 die Anzeigeeinheit 10a vorgesehen ist, die vom Steuerungssystem 40 angesteuert wird. Beispielsweise kann vom künstlichen neuronalen Netz 60 zuverlässig eine Identität der vom Videosensor 30 aufgenommenen Gegenstände ermittelt werden, um abhängig davon z.B. darauf zu schließen, welche verdächtig werden, und das Ansteuersignal A dann derart gewählt werden, dass dieser Gegenstand von der Anzeigeeinheit 10a farblich hervorgehoben dargestellt wird.
• 6 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines persönlichen Assistenten 250 eingesetzt wird. Der Sensor 30 ist bevorzugt ein optischer Sensor, der Bilder einer Geste eines Nutzers 249 empfängt.
• Abhängig von den Signalen des Sensors 30 ermittelt das Steuerungssystem 40 ein Ansteuersignal A des persönlichen Assistenten 250, beispielsweise, indem das neuronale Netz eine Gestenerkennung durchführt. Dem persönlichen Assistenten 250 wird dann dieses ermittelte Ansteuersignal A übermittelt und er somit entsprechend angesteuert. Dieses ermittelte Ansteuersignal A ist kann insbesondere derart gewählt werden, dass es einer vermuteten gewünschten Ansteuerung durch den Nutzer 249 entspricht. Diese vermutete gewünschte Ansteuerung kann abhängig von der vom künstlichen neuronalen Netz 60 erkannten Geste ermittelt werden. Das Steuerungssystem 40 kann dann abhängig von der vermuteten gewünschten Ansteuerung das Ansteuersignal A zur Übermittlung an den persönlichen Assistenten 250 wählen und/oder das Ansteuersignal A zur Übermittlung an den persönlichen Assistenten entsprechend der vermuteten gewünschten Ansteuerung 250 wählen.
• Diese entsprechende Ansteuerung kann beispielsweise beinhalten, dass der persönliche Assistent 250 Informationen aus einer Datenbank abruft und sie für den Nutzer 249 rezipierbar wiedergibt.
• Anstelle des persönlichen Assistenten 250 kann auch ein Haushaltsgerät (nicht abgebildet), insbesondere eine Waschmaschine, ein Herd, ein Backofen, eine Mikrowelle oder eine Spülmaschine vorgesehen sein, um entsprechend angesteuert zu werden.
• 7 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines medizinischen bildgebenden System 500, beispielsweise eines MRT-, Röntgen- oder Ultraschallgeräts, verwendet wird. Der Sensor 30 kann beispielsweise durch einen bildgebenden Sensor gegeben sein, durch das Steuerungssystem 40 wird die Anzeigeeinheit 10a angesteuert. Beispielsweise kann vom neuronalen Netz 60 ermittelt werden, ob ein vom bildgebenden Sensor aufgenommener Bereich auffällig ist, und das Ansteuersignal A dann derart gewählt werden, dass dieser Bereich von der Anzeigeeinheit 10a farblich hervorgehoben dargestellt wird.
• 8 zeigt einen möglichen Aufbau der Überwachungseinheit 61. Das Eingangsbild x wird einem Kodierer (englisch: „Encoder“) ENC zugeführt, der hieraus eine sogenannte latente Variable z ermittelt. Die latente Variable z hat eine geringere Dimensionalität als das Eingangsbild x. Diese latente Variable z wird einem Generator GEN zugeführt, der hieraus ein rekonstruiertes Bild x̂ erzeugt. Kodierer ENC und Generator GEN sind im Ausführungsbeispiel jeweils durch ein faltendes neuronales Netz (englisch: „convolutional neural network“) gegeben. Eingangsbild x und rekonstruiertes Bild x̂ werden einem Diskriminator DIS zugeführt. Der Diskriminator DIS wurde trainiert, möglichst gut eine Größe zu erzeugen, die charakterisiert, ob ein dem Diskriminator DIS zugeführtes Bild ein reales Bild ist, oder ob es vom Generator GEN erzeugt wurde. Dies ist unten im Zusammenhang mit 10 näher erläutert. Generator GEN ist ebenfalls ein faltendes neuronales Netz.
• Merkmalskarten (englisch: „feature maps“) einer Z-ten Schicht (wobei l eine vorgebbare Zahl ist), die sich ergeben, wenn dem Generator GEN das Eingangsbild x bzw. das rekonstruierte Bild x̂ zugeführt werden, werden mit DlS_l(x) bzw. DIS_l(x) bezeichnet. Diese werden einem Bewerter BE zugeführt, in dem beispielsweise ein Rekonstruktionsfehler E_x = ||DIS_l(x̂) - DIS_l(x)||₂. In einer (nicht dargestellten) alternativen Ausführungsform ist es auch möglich, den Rekonstruktionsfehler unter Umgehung des Diskriminators DIS als E_x = ||x - x̂||₂ zu wählen.
• Anschließend kann ein Anomalitätswert A(x) als der Anteil derjenigen Eingangsbilder eines Referenzdatensatzes (beispielsweise eines Trainingsdatensatzes, mit dem der Diskriminator DIS und/oder der Generator GEN und/oder der Kodierer ENC trainiert wurde) ermittelt werden, deren Rekonstruktionsfehler kleiner ist als der ermittelte Rekonstruktionsfehler E_x. Ist der Anomlitätswert A(x) größer als ein vorgebbarer Schwellwert, wird das Überwachungssignal d auf den Wert d = 1 gesetzt, was signalisiert, dass die Ausgangsgrößen y potenziell unzuverlässig ermittelt werden. Andernfalls wird das Überwachungssignal d auf den Wert d = 0 gesetzt, was signalisiert, dass die Ermittlung der Ausgangsgrößen y als zuverlässig eingestuft wird.
• 9 zeigt einen möglichen Aufbau einer ersten Trainingsvorrichtung 141 zum Trainieren der Überwachungseinheit 51. Diese wird mit Parametern θ parametriert, die von Parameterspeicher P bereitgestellt werden. Parameter θ umfassen Generatorparameter θ_GEN, die den Generator GEN parametrieren, Kodiererparameter θ_ENC, die den Kodierer ENC parametrieren und Diskriminatorparameter θ_DIS, die den Diskriminator DIS parametrieren.
• Trainingsvorrichtung 141 umfasst einen Bereitsteller 71, der aus einem Trainingsdatensatz Eingangsbilder e bereitstellt. Eingangsbilder e werden der zu trainierenden Überwachungseinheit 61 zugeführt, die hieraus Ausgangsgrößen a ermittelt. Ausgangsgrößen a und Eingangsbilder e werden einem Beurteiler 74 zugeführt, der hieraus wie im Zusammenhang mit 10 beschrieben neue Parameter θ' ermittelt, die dem Parameterspeicher P übermittelt werden und dort Parameter θ ersetzen.
• Die vom Trainingsvorrichtung 141 ausgeführten Verfahren können als Computerprogramm implementiert auf einem maschinenlesbaren Speichermedium 146 hinterlegt sein und von einem Prozessor 145 ausgeführt werden.
• 10 illustriert das Zusammenspiel von Generator GEN, Kodierer ENC und Diskriminator DIS beim Training. Die hier dargestellte Anordnung von Generator GEN, Kodierer ENC und Diskriminator DIS wird in dieser Schrift auch als neuronales Netzwerksystem bezeichnet.
• Zunächst wird der Diskriminator DIS trainiert. Die nachfolgenden Schritte zum Training des Diskriminators DIS können beispielsweise n_DIS-fach wiederholt werden, wobei n_DIS eine vorgebbare ganze Zahl ist.
• Zunächst wird ein Stapel (englisch: „batch“) realer Eingangsbilder x zur Verfügung gestellt. Diese werden als ${\left\{x^{\left(i\right)}\right\}}_{i=1}^m\sim p_x\left(x\right)$

  

  mit einer (i.a. unbekannten) Wahrscheinlichkeitsverteilung p_x bezeichnet. Diese Eingangsbilder x⁽ⁱ⁾ sind reale Bilder, die beispielsweise aus einer Datenbank zur Verfügung gestellt werden. Die Gesamtheit dieser Eingangsbilder wird auch als Trainingsdatensatz bezeichnet.
• Ferner wird ein Stapel latenter Variablen z als ${\left\{z^{\left(i\right)}\right\}}_{i=1}^m\sim p_z\left(z\right),$

  

  die zufällig aus einer Wahrscheinlichkeitsverteilung p_z gezogen wurden, bereitgestellt. Die Wahrscheinlichkeitsverteilung p_z ist hierbei beispielsweise eine (mehrdimensionale) Standard-Normalverteilung.
• Ferner wird ein Stapel Zufallsvariablen als ${\left\{{\epsilon }^{\left(i\right)}\right\}}_{i=1}^m\sim p_{\epsilon }\left(z\right),$

  

  die zufällig aus einer Wahrscheinlichkeitsverteilung p_ε gezogen wurden, bereitgestellt. Die Wahrscheinlichkeitsverteilung p_ε ist hierbei beispielsweise eine Gleichverteilung über dem Intervall [0; 1].
• Die latenten Variablen z werden dem Generator GEN zugeführt und geben ein konstruiertes Eingangsbild x̃, also $${\tilde{x}}^{\left(i\right)}\leftarrow GEN\left(z^{\left(i\right)}\right).$$

  
• Zwischen Eingangsbild x und konstruiertem Eingangsbild x̃ wird mit der Zufallsvariablen ε interpoliert, also $${\tilde{x}}^{\left(i\right)}\leftarrow \epsilon x^{\left(i\right)}+\left(1-\epsilon \right){\tilde{x}}^{\left(i\right)}.$$

  
• Mit einem vorgebbaren Gradientenkoeffizienten λ, der z.B. als λ = 10 gewählt sein kann, wird dann eine Diskriminator-Kostenfunktion $$L_{DIS}^{\left(i\right)}\leftarrow DIS\left({\tilde{x}}^{\left(i\right)}\right)-DIS\left(x^{\left(i\right)}\right)+\lambda {\left({\left|{\nabla }_{x_{int}}DIS\left(x_{int}^{\left(i\right)}\right)\right|}_2-1\right)}^2$$

  

  ermittelt. Neue Diskriminatorparameter ${\theta }_{DIS}^{\text{'}}$

  

  können hieraus als $${\theta }_{DIS}^{\text{'}}=Adam\left({\nabla }_{{\theta }_{DIS}}\frac{1}{M}{\displaystyle {\sum }_{i=1}^m{L}_{DIS}{}^{\left(i\right)}}\right)$$

  
• Ermittelt werden, wobei „Adam“ für ein Gradientenabstiegsverfahren steht. Damit endet dieses Training des Diskriminators DIS.
• Anschließend werden Generator GEN und Kodierer ENC trainiert. Auch hier werden als reale Eingangsbilder ${\left\{x^{\left(i\right)}\right\}}_{i=1}^m\sim p_x\left(x\right)$

  

  und zufällig gewählte latente Variablen ${\left\{z^{\left(i\right)}\right\}}_{i=1}^m\sim p_z\left(z\right)$

  

  zur Verfügung gestellt. Erneut wird $${\tilde{x}}^{\left(i\right)\leftarrow GEN\left(z^{\left(i\right)}\right)}$$

  

  ermittelt. Hieraus wird eine rekonstruierte latente Variable ẑ ermittelt, indem das konstruierte Bild x̃ dem Kodierer ENC zugeführt wird, also $${\widehat{z}}^{\left(i\right)}\leftarrow ENC\left({\tilde{x}}^{\left(i\right)}\right).$$

  
• Ebenso wird wie in 8 illustriert das Eingangsbild x mittels Kodierer ENC und Generator GEN versucht, zu rekonstruieren, also $${\widehat{x}}^{\left(i\right)}\leftarrow GEN\left(ENC\left(x^{\left(i\right)}\right)\right)$$

  
• Nun werden eine Generator-Kostenfunktion $L_{GEN}^{\left(i\right)},$

  

  eine Rekonstruktions-Kostenfunktion $L_{reco{n}_x}^{\left(i\right)}$

  

  des Eingangsbildes x und eine Rekonstruktions-Kostenfunktion $L_{reco{n}_z}^{\left(i\right)}$

  

  der latenten Variable z ermittelt als $$\begin{array}{c}{L}_{GEN}^{\left(i\right)}\leftarrow DIS\left({\tilde{x}}^{\left(i\right)}\right)\\ L_{reco{n}_x}^{\left(i\right)}\leftarrow {\Vert DI{S}_l\left(x^{\left(i\right)}\right)-DI{S}_l\left({\widehat{x}}^{\left(i\right)}\right)\Vert }_2^2\\ L_{reco{n}_z}^{\left(i\right)}\leftarrow {\Vert z^{\left(i\right)}-{\widehat{z}}^{\left(i\right)}\Vert }_2^2.\end{array}$$

  
• Neue Generatorparameter ${\theta }_{GEN}^{\text{'}}$

  

  und neue Kodiererparameter ${\theta }_{ENC}^{\text{'}}$

  

  werden dann ermittelt als $$\begin{array}{l}{\theta }_{GEN}^{\text{'}}=Adam\left({\nabla }_{{\theta }_{GEN}}\frac{1}{m}{\displaystyle {\sum }_{i=1}^m\left(L_{GEN}{}^{\left(i\right)}-L_{reco{n}_x}^{\left(i\right)}\right)}\right)\hfill \\ {\theta }_{ENC}^{\text{'}}=Adam\left({\nabla }_{{\theta }_{ENC}}\frac{1}{m}{\displaystyle {\sum }_{i=1}^m{L}_{reco{n}_Z}{}^{\left(i\right)}}\right).\hfill \end{array}$$

  
• Neue Generatorparameter ${\theta }_{GEN}^{\text{'}}$

  

  , neue Kodiererparameter ${\theta }_{ENC}^{\text{'}}$

  

  und neue Diskriminatorparameter ${\theta }_{DIS}^{\text{'}}$

  

  erstetzen dann die Generatorparameter θ_GEN, Kodiererparameter θ_ENC und Diskriminatorparameter θ_DIS.
• An dieser Stelle kann eine Konvergenz der Parameter θ überprüft werden und ggf. das Trining des Diskriminators DIS und/oder von Generator GEN und Kodierer ENC wiederholt werden, bis Konvergenz vorliegt. Damit endet das Verfahren.
• 11 zeigt eine beispielhafte zweite Trainingsvorrichtung 140 zum Trainieren des neuronalen Netzes 60. Trainingsvorrichtung 140 umfasst einen Bereitsteller 72, der Eingangsbilder x und Soll-Ausgangsgrößen ys, beispielsweise Soll-Klassifikationen, bereitstellt. Eingangsbild x wird dem zu trainierenden künstlichen neuronalen Netz 60 zugeführt, das hieraus Ausgangsgrößen y ermittelt. Ausgangsgrößen y und Soll-Ausgangsgrößen ys werden einem Vergleicher 75 zugeführt, der hieraus abhängig von einer Übereinstimmung den jeweiligen Ausgangsgrößen y und Soll-Ausgangsgrößen ys neue Parameter ϕ' ermittelt, die dem Parameterspeicher P übermittelt werden und dort Parameter ϕ ersetzen.
• Die vom Trainingssystem 140 ausgeführten Verfahren können als Computerprogramm implementiert auf einem maschinenlesbaren Speichermedium 148 hinterlegt sein und von einem Prozessor 147 ausgeführt werden.
• Ein Datensatz umfassend Eingangsbilder x und zugehörige Soll-Ausgangsgrößen ys kann (z.B. von Bereitsteller 72) wie folgt augmentiert oder erzeugt werden. Zunächst wird ein Datensatz umfassend Eingangsbilder x⁽ⁱ⁾ bereitgestellt. Diese sind nach vorgebbaren Ausprägungen (beispielhaft „A“ und „B“ genannt) eines Merkmals klassifiziert, beispielsweise können Fahrzeuge nach dem Merkmal „Scheinwerfer eingeschaltet“ bzw. „Scheinwerfer ausgeschaltet“ klassifiziert sein, oder identifizierte Autos nach dem Typ „Limousine“ oder „Kombi“. Auch sind beispielsweise unterschiedliche Ausprägungen des Merkmals „Haarfarbe“ bei erkannten Fußgängern möglich. Je nachdem, welche Ausprägung dieses Merkmal hat, werden die Eingangsbilder x⁽ⁱ⁾ in zwei Mengen unterteilt, also I_A = {i|x⁽ⁱ⁾ hat die Ausprägung „A“} und I_B = {i|x⁽ⁱ⁾ hat die Ausprägung „B“}. Vorteilhafterweise werden diese Mengen noch dahingehend homogenisiert, dass für eine vorgebbare Menge anderer Merkmale, vorzugsweise aller anderen Merkmale, die Eingangsbilder x⁽ⁱ⁾ die gleiche Ausprägung X haben, also $$I_A\leftarrow I_A\cap \left\{i|x^{\left(i\right)}hatdieAuspr\ddot{a}gungX\right\}$$

  

  $$I_B\leftarrow I_B\cap \left\{i|x^{\left(i\right)}hatdieAuspr\ddot{a}gungX\right\}$$

  
• Mittels des Kodierers ENC werden für jedes der Eingangsbilder x⁽ⁱ⁾ die zugehörigen latenten Variablen z⁽ⁱ⁾ = ENC(x⁽ⁱ⁾) ermittelt.
• Dann werden Mittelwerte der latenten Variablen über den Mengen ermittelt, also $${\overline{z}}_A=\frac{1}{I_A}{\displaystyle {\sum }_{i\in I_A}{Z}^i,}{\overline{z}}_B=\frac{1}{I_B}{\displaystyle {\sum }_{i\in I_B}{Z}^i.}$$

  
• Anschließend werden die Differenzen der Mittelwerte gebildet, also $$v_{A-B}={\overline{z}}_B-{\overline{z}}_A.$$

  
• Nun werden zu Bildern aus der Menge I_A neue latente Variablen mit einem vorgebbaren Skalenfaktor α gebildet, der beispielsweise Werte zwischen 0 und 1 annehmen kann, also $$z_{neu}^{\left(i\right)}=z^{\left(i\right)}+\alpha \ast v_{A-B},i\in I_A$$

  
• Entsprechend können zu Bildern aus der Menge I_B neue latente Variablen gebildet werden als $$z_{neu}^{\left(i\right)}=z^{\left(i\right)}+\alpha \ast v_{A-B},i\in I_B.$$

  
• Hieraus können neue Bilder $\left(x_{neu}^{\left(i\right)}\right)$

  

  erzeugt werden mittels $$x_{neu}^{\left(i\right)}=ENC\left(z_{neu}^{\left(i\right)}\right).$$

  
• Selbstverständlich müssen nicht ganze Bilder klassifiziert werden. Es ist möglich, dass mit einem Detektionsalgorithmus z.B. Bildausschnitte als Objekte klassifiziert werden, dass diese Bildausschnitte dann ausgeschnitten werden, ggf. ein neuer Bildausschnitt (entsprechend dem neuen Bild $x_{neu}^{\left(i\right)})$

  

  erzeugt wird und an Stelle des ausgeschnittenen Bildausschnitts in das zugehörige Bild eingesetzt wird. Auf diese Weise ist es beispielsweise möglich, in einem Bild mit einem detektierten Fußgänger selektiv die Haarfarbe dieses Fußgängers anzupassen.
  Mit Ausnahme der Klassifikation des so zwischen Ausprägung „A“ und „B“ variierten Merkmals kann die zugehörige Soll-Ausgangsgröße ys unverändert übernommen werden. So kann der augmentierte Datensatz erzeugt und damit das neuronale Netz 60 trainiert werden. Damit endet das Verfahren.
• Der Begriff „Computer“ umfasst beliebige Geräte zur Abarbeitung vorgebbarer Rechenvorschriften. Diese Rechenvorschriften können in Form von Software vorliegen, oder in Form von Hardware, oder auch in einer Mischform aus Software und Hardware.

Claims (21)

1. Computerimplementiertes neuronales Netzwerksystem, umfassend ein erstes maschinelles Lernsystem, insbesondere ein erstes neuronales Netzwerk, (GEN), ein zweites maschinelles Lernsystem, insbesondere ein zweites neuronales Netzwerk (ENC) und ein drittes maschinelles Lernsystem, insbesondere ein drittes neuronales Netzwerk (DIS), wobei das erste maschinelle Lernsystem (GEN) ausgebildet ist, aus einem vorgebbaren niederdimensionalen latenten Variable (z) ein höherdimensionales konstruiertes Bild (x̃) zu ermitteln, wobei das zweite maschinelle Lernsystem (ENC) ausgebildet ist, aus dem höherdimensionalen konstruierten Bild (x̃) wieder die latente Variable (z) zu ermitteln, und wobei das dritte maschinelle Lernsystem (DIS) ausgebildet ist, zu unterscheiden, ob ein ihm zugeführtes Bild ein reales Bild (x) ist, oder nicht.
2. Verfahren zum Trainieren des neuronalen Netzwerksystems (61) nach Anspruch 1, wobei das erste maschinelle Lernsystem (GEN) dahingehend trainiert wird, dass eine Aktivierung (DIS_l) in einer vorgebbaren Merkmalskarte der Merkmalskarten des dritten maschinellen Lernsystems (DIS) möglichst den gleichen Wert annimmt, wenn ihm ein reales Bild (x) bzw. ein von einer Hintereinanderschaltung aus zweitem maschinellem Lernsystem (ENC) und erstem maschinellem Lernsystem (GEN) rekonstruiertes Bild (x̂) des realen Bildes (x) zugeführt wird.
3. Verfahren nach Anspruch 2, wobei das erste maschinelle Lernsystem (GEN) auch dahingehend trainiert wird, dass das dritte maschinelle Lernsystem (DIS) möglichst nicht erkennt, dass ein ihm zugeführtes vom ersten maschinellen Lernsystem (GEN) generiertes Bild (x̃) kein reales Bild ist.
4. Verfahren nach Anspruch 2 oder 3, wobei das zweite maschinelle Lernsystem (ENC) dahingehend trainiert wird, dass eine von einer Hintereinanderschaltung aus erstem maschinellem Lernsystem (GEN) und zweitem maschinellen Lernsystem (ENC) ermittelte Rekonstruktion (ẑ) der latenten Variable (z) möglichst der latenten Variable (z) gleicht.
5. Verfahren nach einem der Ansprüche 2 bis 4, wobei das dritte maschinelle Lernsystem (DIS) dahingehend trainiert wird, dass es möglichst erkennt, dass ein ihm zugeführtes vom ersten maschinellen Lernsystem (GEN) generiertes Bild (x̃) kein reales Bild ist.
6. Verfahren nach Anspruch 5, wobei das dritte maschinelle Lernsystem (DIS) auch dahingehend trainiert wird, dass es möglichst erkennt, dass ein ihm zugeführtes reales Bild (x) ein reales Bild ist.
7. Trainingsvorrichtung (141), die eingerichtet ist, das Verfahren nach einem der Ansprüche 2 bis 6 auszuführen.
8. Verfahren zum Überwachen der korrekten Funktionsweise eines maschinellen Lernsystems (60), insbesondere eines vierten neuronalen Netzes, zur Klassifikation und/oder semantischen Segmentierung eines ihm zugeführten Eingangsbilds (x), wobei einer Überwachungseinheit (61), welche das mit dem Verfahren nach einem der Ansprüche 2 bis 6 trainierte erste maschinelle Lernsystem (GEN) und zweite maschinelle Lernsystem (ENC) des neuronalen Netzwerkssystems nach Anspruch 1 umfasst, wobei das Eingangsbild (x) dem zweiten maschinellen Lernsystem (ENC) zugeführt wird, das hieraus eine niederdimensionale latente Variable (z) ermittelt, aus der das erste maschinelle Lernsystem (GEN) eine Rekonstruktion des Eingangsbilds (x̃) ermittelt, wobei abhängig von Eingangsbild (x) und rekonstruiertem Eingangsbild (x̂) entschieden wird, ob das maschinelle Lernsystem (60) robust ist, oder nicht.
9. Verfahren nach Anspruch 8, wobei die Überwachungseinheit (61) auch das dritte maschinelle Lernsystem (DIS) des neuronalen Netzwerksystems nach Anspruch 1 umfasst, wobei abhängig davon entschieden wird, ob das maschinelle Lernsystem (60) robbst ist, oder nicht, welchen Wert (DIS_l(x)) die die Aktivierung (DIS_l) in der vorgebbaren Merkmalskarte des dritten maschinellen Lernsystems (DIS) annimmt, wenn ihm das Eingangsbild (x) zugeführt wird und welchen Wert (DIS_l(x̂)) die die Aktivierung (DIS_l) in der vorgebbaren Merkmalskarte des dritten maschinellen Lernsystems (DIS) annimmt, wenn ihm das rekonstruierte Eingangsbild (x̂) zugeführt wird.
10. Verfahren nach Anspruch 8 oder 9, wobei das maschinelle Lernsystem (60) und das neuronale Netzwerksystem mit Datensätzen, die die gleichen Eingangsbilder (x) umfassen, trainiert wurden.
11. Verfahren nach einem der Ansprüche 8 bis 10, wobei ein Ansteuersignal (A) zur Ansteuerung eines Aktors (10), welches abhängig von einem Ausgangssignal (y) des maschinellen Lernsystems (60) bereitgestellt wird, abhängig davon gewählt wird, ob entschieden wurde, dass das maschinelle Lernsystem (60) robust ist, oder nicht.
12. Überwachungseinheit (61), die eingerichtet ist, das Verfahren nach einem der Ansprüche 8 bis 11 auszuführen.
13. Verfahren zum Erzeugen eines augmentierten Trainingsdatensatzes umfassend Eingangsbilder (x⁽ⁱ⁾) zum Trainieren eines maschinellen Lernsystem (60), welches eingerichtet ist zur Klassifikation und/oder semantischen Segmentierung von Eingangsbildern (x), wobei mittels des zweiten maschinellen Lernsystems (ENC) des neuronalen Netzwerksystems nach Anspruch 1, das insbesondere mit dem Verfahren nach einem der Ansprüche 2 bis 6 trainiert wurde, jeweils latente Variablen (z⁽ⁱ⁾) aus den Eingangsbildern (x⁽ⁱ⁾) ermittelt werden, wobei die Eingangsbilder (x⁽ⁱ⁾) abhängig von ermittelten Merkmalsausprägungen ihrer Bilddaten klassifiziert werden, und wobei ein augmentiertes Eingangsbild $\left(x_{neu}^{\left(i\right)}\right)$

    

    des augmentierten Trainingsdatensatzes aus wenigstens einem der Eingangsbilder (x⁽ⁱ⁾) abhängig von durchschnittlichen Werten (Z̅_A, Z̅_B) der ermittelten latenten Variablen (z⁽ⁱ⁾) in wenigstens zwei der Klassen ermittelt wird.
14. Verfahren nach Anspruch 13, wobei die Bildklassen derart gewählt werden, dass die darin einklassifizierten Eingangsbilder (x⁽ⁱ⁾) bezüglich ihrer Ausprägungen in einer vorgebbaren Menge anderer Merkmale übereinstimmen.
15. Verfahren nach einem der Ansprüche 13 bis 14, wobei das augmentierte Eingangsbild $\left(x_{neu}^{\left(i\right)}\right)$

    

    mittels des ersten maschinellen Lernsystems (GEN) des neuronalen Netzwerksystems nach Anspruch 1, das insbesondere mit dem Verfahren nach einem der Ansprüche 2 bis 6 trainiert wurde, abhängig von einer ermittelten augmentierten latenten Variable $\left(z_{neu}^{\left(i\right)}\right)$

    

    ermittelt wird.
16. Verfahren nach Anspruch 15, wobei die augmentierte latente Variable $\left(z_{neu}^{\left(i\right)}\right)$

    

    aus einer vorgebbaren der ermittelten latenten Variablen (z⁽ⁱ⁾) und einer Differenz (v_A-B) der durchschnittlichen Werte (Z̅̅_A, Z̅_B) ermittelt wird.
17. Verfahren nach Anspruch 16, wobei die Differenz (v_A-B) mit einem vorgebbaren Gewichtsfaktor (α) gewichtet wird.
18. Verfahren nach einem der Ansprüche 13 bis 17, wobei das maschinelle Lernsystem (60) dann mit dem erzeugten augmentierten Trainingsdatensatz trainiert wird, wenn die Überwachung mit dem Verfahren nach einem der Ansprüche 8 bis 10 ergeben hat, dass das maschinelle Lernsystem (60) nicht robust ist.
19. Trainingsvorrichtung (140), welche eingerichtet ist, das Verfahren nach einem der Ansprüche 13 bis 18 auszuführen.
20. Computerprogramm, welches eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 6 oder 8 bis 11 oder 13 bis 18 auszuführen.
21. Maschinenlesbares Speichermedium (46, 146, 148), auf dem das Computerprogramm nach Anspruch 20 gespeichert ist.

Images