DE112022002622T5

DE112022002622T5 - Abschwächen gegnerischer angriffe zur gleichzeitigen vorhersage und optimierung von modellen

Info

Publication number: DE112022002622T5
Application number: DE112022002622.7T
Authority: DE
Inventors: Yuya Jeremy Ong; Nathalie Baracaldo Angel; Aly Megahed; Ebube Chuba; Yi Zhou
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2021-06-25
Filing date: 2022-06-21
Publication date: 2024-03-14
Also published as: CN117425902A; GB2623224A; GB202319682D0; US20220414531A1; WO2022268058A1

Abstract

Es wird ein Ansatz zum Bereitstellen von Vorhersage und Optimierung eines kontradiktorischen Maschinenlernmodells offenbart. Der Ansatz kann aus einem Trainingsverfahren für einen Verteidiger bestehen, der das optimale Maß von kontradiktorischem Training ermittelt, das verhindern würde, dass das Modell zur Aufgabenoptimierung falsche Entscheidungen trifft, die durch einen gegnerischen Angriff infolge der Eingabe in das Modell im Rahmen der gleichzeitigen Vorhersage und Optimierung verursacht werden. Im Wesentlichen würde der Ansatz ein robustes Modell über kontradiktorisches Training trainieren. Auf der Grundlage des robusten Trainingsmodells kann der Benutzer potenzielle Bedrohungen (durch kontradiktorisches Rauschen in dem auf Aufgaben beruhenden Optimierungsmodell) auf der Grundlage der bestimmten Eingaben aus der Vorhersage des maschinellen Lernens abschwächen, die durch eine Eingabe erzeugt wurde.

Description

HINTERGRUND
Die vorliegende Erfindung betrifft allgemein maschinelles Lernen und insbesondere ein Nutzen von kontradiktorischem Training (adversarial training) zur Aufgabenoptimierung.
Viele Maschinenlernmodelle sind heutzutage als Teil einer Schlüsselkomponente für die Entscheidungsfindung in den Kontext eines größeren Systems integriert. Bei vielen Anwendungen gibt es einige unsichere Parameter, die über ein Maschinenlernmodell (ML-Modell) vorhergesagt werden müssen. Diese Vorhersagen werden anschließend in ein Aufgabenoptimierungsmodell eingespeist, das die optimalen Aktionen empfiehlt, die ergriffen werden müssen, um einen gewissen Nutzen zu maximieren/Aufwand zu minimieren. Konkret wird das Ergebnis eines Modells als Eingaben in einen Optimierungsprozess verwendet, um auch eine definierte Aufwandsfunktion zu minimieren.
In letzter Zeit ist eine Zunahme bei Cyberangriffen festzustellen, bei denen eine Art derartiger Angriffe darin besteht, dass ein Gegner ein ML-Modell umgeht, indem er das Musterbeispiel modifiziert, auf das das ML angewendet werden soll. Zum Beispiel kann ein Bildklassifizierer ein Bild falsch klassifizieren, wenn es aufgrund von gegnerischen Angriffen auf die Eingabedaten oder das Modell Störungen unterliegt.
KURZDARSTELLUNG
Aspekte der vorliegenden Erfindung offenbaren ein mittels Computer realisiertes Verfahren, ein Computersystem und ein Computerprogrammprodukt zum Bereitstellen von Vorhersagen und Optimierungen eines kontradiktorischen Maschinenlernmodells. Das mittels Computer realisierte Verfahren kann durch einen oder mehrere Computerprozessoren realisiert werden und kann ein Empfangen eines Satzes von Eingabedaten, die mit einem Trainingsmodell in Zusammenhang stehen, wobei die Eingabedaten einen Trainingsdatensatz, einen Testdatensatz, eine aufgabendefinierten Aufwandsfunktion, mögliche Aktionsbereiche, Gewichtungen historischer Datensätze und von Vortrainingsmodellen aufweisen; ein Ermitteln eines optimalen Testaktionswerts aus dem Testdatensatz auf der Grundlage einer Bedrohungsannahme und der möglichen Aktionsbereiche; ein Ermitteln eines optimalen Trainingsaktionswerts aus dem Trainingsdatensatz auf der Grundlage von Ausgabemerkmalen des Trainingsdatensatzes und der möglichen Aktionsbereiche; ein Berechnen einer ersten Distanz zwischen dem optimalen Testaktionswert und dem optimalen Trainingsaktionswert; ein Berechnen einer Vorhersageverlustfunktion auf der Grundlage des historischen Datensatzes; ein Berechnen einer zweiten Distanz zwischen den möglichen Aktionsbereichen und dem optimalen Trainingsaktionswert; ein Berechnen der aufgabendefinierten Aufwandsfunktion auf der Grundlage der möglichen Aktionsbereiche und der Ausgabevorhersage aus dem Testdatensatz; ein Berechnen eines Gesamtverlusts auf der Grundlage der ersten Distanz, der Vorhersageverlustfunktion, der zweiten Distanz und der aufgabendefinierten Aufwandsfunktion; ein Berechnen eines Gradienten der Gesamtverlustfunktion; ein Durchführen einer Rückausbreitung an einem oder mehreren Parametern, die in Zusammenhang mit dem Trainingsmodell stehen; ein Ermitteln, ob Konvergenz eingetreten ist; und als Reaktion darauf, dass Konvergenz eingetreten ist, ein Ausgeben der optimalen Aktionen, des optimalen gelernten Modellparameters und der optimalen aufgabendefinierten Zielsetzungsfunktion umfassen.
Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung wird ein Computersystem bereitgestellt. Das Computersystem weist eine Verarbeitungseinheit; und einen mit der Verarbeitungseinheit verbundenen Speicher und ein Speichern von Anweisungen darin auf. Die Anweisungen führen, wenn sie durch die Verarbeitungseinheit ausgeführt werden, Aktionen des Verfahrens gemäß der Ausführungsform der vorliegenden Erfindung durch.
Gemäß einer noch weiteren Ausführungsform der vorliegenden Erfindung wird ein Computerprogrammprodukt bereitgestellt, das auf einem nichtflüchtigen durch eine Maschine lesbaren Medium gespeichert ist und durch eine Maschine ausführbare Anweisungen aufweist. Die Anweisungen bewirken, wenn sie auf einer Einheit ausgeführt werden, dass die Einheit Vorgänge des Verfahrens gemäß der Ausführungsform der vorliegenden Erfindung durchführt.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Im Folgenden werden lediglich beispielhaft bevorzugte Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die folgenden Zeichnungen beschrieben, in denen:

1 ein Funktionsblockschema ist, das eine mit 100 bezeichnete kontradiktorische Trainingsumgebung gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht;
2A, 2B, 2C und 2D eine mit 200 bezeichnete Flussdiagrammdarstellung aufweisen, die zusätzliche Komponenten zu der bestehenden aktuellen Technologie beim maschinellen Lernen, insbesondere Optimierungs- und Vorhersagemodelle, die in Zusammenhang mit dem Abschwächen gegnerischer Angriffe stehen, gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht;
3 ein Übersichtsflussdiagramm ist, das die Funktionsweise einer mit 300 bezeichneten kontradiktorischen Komponente 111 gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht; und
4 ein mit 400 bezeichnetes Blockschema von Komponenten eines Server-Computers bildlich darstellt, der in der Lage ist, die kontradiktorische Komponente 111 innerhalb der kontradiktorischen Trainingsumgebung von 1 gemäß einer Ausführungsform der vorliegenden Erfindung auszuführen.

AUSFÜHRLICHE BESCHREIBUNG
Bei kontradiktorischem maschinellen Lernen handelt es sich um eine Technik des maschinellen Lernens, die versucht, Lernmodelle zu täuschen, indem sie ihnen „trügerische“ (z.B. getarnte usw.) Eingaben zuführt. Der häufigste Grund besteht darin, eine Fehlfunktion in einem Maschinenlernmodell (ML-Modell) zu bewirken. Ein Beispiel, das einen Cyberangriff (unter Nutzung von kontradiktorischem maschinellen Lernen) veranschaulicht, besteht aus einer Sicherheitsanwendung für Flughäfen, bei der das System vorhersagt, welches Gepäck mit höherer Wahrscheinlichkeit durch ein ML-Modell einer weiteren Untersuchung unterzogen werden muss, und dann die eingeschränkten Untersuchungsressourcen entsprechend dieser Vorhersage über ein Optimierungsmodell zuordnet. Ein Gegner könnte ein gegnerisches Etikett auf einige der Gepäckstücke drucken, um das ML-Modell zu veranlassen, diese Gepäckstücke falsch zu klassifizieren, und dann das Optimierungsmodell dazu bringen, falsche Entscheidungen darüber zu treffen, welche Gepäckstücke eingehender untersucht werden sollen (z.B. Untersuchung oder überhaupt keine Untersuchung, einige untersuchen usw.), und wie viele Ressourcen für die Untersuchung zugeordnet werden sollen (z.B. wie viele Mitarbeiter oder Polizeihunde abgestellt werden sollen usw.).
Ausführungsformen der vorliegenden Erfindung erkennen die Mängel nach dem aktuellen Stand der Technik und stellen einen Ansatz zum Beheben dieser Mängel bereit. Ein Ansatz kann aus einem Trainingsverfahren für einen Verteidiger bestehen, der das optimale Maß von kontradiktorischem Training ermittelt, das verhindern würde, dass das Modell zur Aufgabenoptimierung falsche Entscheidungen trifft, die durch einen gegnerischen Angriff infolge der Eingabe in das Modell im Rahmen der gleichzeitigen Vorhersage und Optimierung verursacht werden. Im Wesentlichen würde der Ansatz ein robustes Modell über kontradiktorisches Training trainieren. Auf der Grundlage des robusten Trainingsmodells kann der Benutzer potenzielle Bedrohungen (durch kontradiktorisches Rauschen in dem auf Aufgaben beruhenden Optimierungsmodell) auf der Grundlage der bestimmten Eingaben aus der Vorhersage des maschinellen Lernens abschwächen, die durch eine Eingabe erzeugt wurde.
Der Ansatz kann durch die folgenden allgemeinen Schritte zusammengefasst werden: (i) Vortrainieren eines Maschinenlernmodells durch die Datenverarbeitungseinheit unter Verwendung eines Trainingsdatensatzes; (ii) Auffinden eines oder mehrerer kontradiktorischer Trainingsbeispiele durch die Datenverarbeitungseinheit zum kontradiktorischen Trainieren des Maschinenlernmodells, das möglicherweise vergiftet ist; (iii) Auffinden eines oder mehrerer vergifteter Trainingsbeispiele für das Maschinenlernmodell durch die Datenverarbeitungseinheit; iv) Berechnen eines Differenzvektors zwischen dem aufgefundenen einen oder mehreren kontradiktorischen Trainingsbeispiele und dem aufgefundenen einen oder mehreren vergifteten Trainingsbeispielen durch die Datenverarbeitungseinheit; und (b) Bereitstellen weiterer Trainingsdaten innerhalb des Differenzvektors durch die Datenverarbeitungseinheit zum weiteren Trainieren des Maschinenlernmodells.
Viele Maschinenlernmodelle sind als Teil einer Schlüsselkomponente für die Entscheidungsfindung in den Kontext eines größeren Systems integriert. Das Ergebnis eines Modells wird als Eingaben in einen Optimierungsprozess verwendet, um auch eine definierte Aufwandsfunktion zu minimieren. Herkömmlicherweise werden derartige Aufgaben unabhängig voneinander durchgeführt, wobei Benutzer zuerst Vorhersagemodelle erstellen und dann die Ausgabe der Modelle verwenden, um separat Entscheidungswerte auf der Grundlage der Vorhersage zu erzeugen. Die Ausführungsform betrachtet im Gegensatz zu zwei unabhängigen Komponenten die gemeinsame Optimierung des Vorhersagemodells und der Optimierungsfunktion in einem durchgängigen Prozess.
Eine Problemstellung wird beschrieben, da sie den aktuellen Stand der Technik betrifft. Problemstellung: Betrachtet wird ein Maschinenlernmodell mit der folgenden Schreibweise: F(X) = P_R(Y|X; θ) = Y. Dieses Maschinenlernmodell wird in einem größeren Aufgabenoptimierungsprozess für eine bestimmte definierte Aktion verwendet. Dieser Prozess trifft Entscheidungen Z, wobei die unternommene Aktion auf der Grundlage der Vorhersage Ŷ des Maschinenlernmodells beruht, und verursacht ferner einen durch G(Y, Z) definierten Aufwand.
Die Frage lautet: „Wie kann das geeignete Modell (d.h. Vorhersage) erlernt werden, sodass der Prozess eine Entscheidung treffen kann, die den geringsten Aufwand verursacht (d.h. Optimierung)?“ Formal kann dies definiert werden als: $Z * (X; θ) = \underset{z}{argmin} E_{y ~ Pr (Y | X)} [G (Y, Z)] .$
Herkömmlicherweise liegt der Hauptfokus auf den Vorhersagen allein, und es besteht die Hoffnung, dass die Vorhersagen gut genug sind, sodass die Optimierung die optimale Aufgabenaktion identifizieren kann (d.h., dies würde voraussetzen, dass genaue Vorhersagen zu den optimalen Aufgabenoptimierungsaktionen führen würden). Mit anderen Worten, ein Benutzer löst die beiden Probleme, Vorhersage und Optimierung, getrennt und nacheinander. Im Rahmen der gleichzeitigen Vorhersage und Optimierung kann jedoch eine Ausführungsform der vorliegenden Erfindung diese beiden Optimierungen gemeinsam durchführen.
Ein weiteres Beispiel, das gegnerische Angriffe veranschaulicht, betrifft eine Optimierung der Bilderkennung durch Satelliten. Betrachtet wird ein Szenario, in dem ein Satellit zur Überwachung und zur Reaktion auf potenzielle Bedrohungen eingesetzt wird. Aufgrund des großen Umfangs der vorliegenden Aufgabe werden oft Maschinenlernmodelle verwendet, die klassifizieren, was er vor Ort gesehen hat. Zusätzlich zu diesem Klassifikator wird eine Optimierung durchgeführt, um Kräfte einzusetzen und auf potenzielle Bedrohungen zu reagieren. Ein Gegner kann ein gegnerisches Etikett auf dem Dach einer Einrichtung, eines Fahrzeugs oder an einem Objekt anbringen, um eine Erkennung aus den Satellitenbildern zu vermeiden, was zu unerwünschten Folgen für den Verteidiger führt, der sich der Bedrohung nicht bewusst wäre.
Bei noch einem weiteren Beispiel betrifft das Veranschaulichen eines gegnerischen Angriffs ein Prognostizieren eines Bedarfs und eine Optimierung im Logistikbereich der Lieferkette. Bei der Lieferkettenoptimierung für den Transport von Lagerbeständen und die Lagerung kritischer Produkte (z.B. Waffen, Flugzeugteile, medizinische Geräte) erstellt der Benutzer Prognosemodelle, um den Bedarf eines bestimmten kritischen Produkts vorherzusagen, und die Aufgabenoptimierung optimiert die verschiedenen logistischen Optimierungsentscheidungen, z.B., welche Teile transportiert werden sollen, optimale Mengen jedes zu transportierenden Produkts und welches der Kaufpreis für einige dieser Produkte ist. Hierbei kann ein Gegner den logistischen Betrieb des Lieferkettenbetriebs stören, indem er die Produktnachfrage falsch prognostiziert, sodass die am wenigsten optimalen Entscheidungen getroffen werden würden. Ein Gegner kann die Datenströme abfangen und fehlerhaftes Rauschen in die Datenströme einschleusen, die das Vorhersagemodell zur Erstellung von Prognosen verwenden kann, was zu falschen Prognosen und somit zu suboptimalen Entscheidungen führt. Die Folge derartiger suboptimaler oder falscher Entscheidungen kann zu Verlusten in Milliardenhöhe für Unternehmen führen und andere wichtige Industriezweige betreffen, die auf dieses kritische Produkt angewiesen sind.
Andere Ausführungsformen der vorliegenden Erfindung können einen oder mehrere der folgenden Tatsachen, potenziellen Probleme, potenziellen Szenarien und/oder potenziellen Verbesserungsbereiche in Bezug auf den aktuellen Stand der Technik erkennen: i) Einführen eines Verfahrens zum gemeinsamen Trainieren eines robusten Modells durch kontradiktorisches Trainieren für gleichzeitige Vorhersage- und Optimierungsmodelle; und (ii) Bereitstellen eines Plans darüber, wie potenzielle Bedrohungen, die durch kontradiktorisches Rauschen in einem auf Aufgaben beruhenden Optimierungsmodell hervorgerufen werden, in Anbetracht bestimmter Eingaben aus einer Maschinenlernvorhersage abgeschwächt werden, die durch eine Eingabe erzeugt wurde, die möglicherweise durch einen Gegner gestört wurde.
Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „Ausführungsform“, „eine beispielhafte Ausführungsform“ usw. weisen darauf hin, dass die beschriebene Ausführungsform ein bestimmtes Merkmal, eine bestimmte Struktur oder Eigenschaft umfassen kann, aber nicht jede Ausführungsform zwangsläufig das betreffende Merkmal, die betreffende Struktur oder Eigenschaft umfasst. Darüber hinaus verweisen derartige Wortgruppen nicht zwangsläufig auf dieselbe Ausführungsform. Wenn ein bestimmtes Merkmal, eine bestimmte Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben wird, wird ferner unterstellt, dass Fachleuten bekannt ist, dass sich dies auf dieses Merkmal, diese Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen unabhängig davon auswirkt, ob diese ausdrücklich beschrieben sind.
Es sollte sich verstehen, dass die Figuren lediglich schematisch und nicht maßstabsgerecht sind. Es sollte sich außerdem verstehen, dass in der gesamten Beschreibung und in den Zeichnungen dieselben Bezugsnummern verwendet werden, um dasselbe oder ähnliche Teile zu kennzeichnen.
1 ist ein Funktionsblockschema, das eine mit 100 bezeichnete kontradiktorische Trainingsumgebung gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht. 1 stellt lediglich eine Veranschaulichung einer Realisierungsform bereit und umfasst keinerlei stillschweigende Einschränkungen in Bezug auf die Umgebungen, in denen unterschiedliche Ausführungsformen realisiert werden können. Viele Abänderungen an der bildlich dargestellten Umgebung können durch Fachleute vorgenommen werden, ohne dass dies eine Abweichung von dem Schutzumfang der Erfindung darstellen würde, der durch die Ansprüche dargelegt ist.
Die kontradiktorische Trainingsumgebung 100 umfasst ein Produktnetzwerk 101, eine Client-Datenverarbeitungsvorrichtung 102, ein Zielobjekt 104 und einen Server 110.
Bei dem Netzwerk 101 kann es sich zum Beispiel um ein Telekommunikationsnetz, ein lokales Netzwerk (local area network, LAN), ein Weitverkehrsnetzwerk (wide area network, WAN) wie z.B. das Internet oder um eine Kombination aus den dreien handeln, und es kann kabelgebundene, kabellose und/oder lichtwellenleitergebundene Verbindungen umfassen. Das Netzwerk 101 kann ein oder mehrere kabelgebundene und/oder kabellose Netzwerke umfassen, die zum Empfangen und Senden von Daten-, Sprach- und/oder Videosignalen, unter anderem von Multimediasignalen, die Sprach-, Daten- und/oder Videoinformationen, in der Lage sind. Allgemein kann es sich bei dem Netzwerk 101 um eine beliebige Kombination aus Verbindungen und Protokollen handeln, die Datenübertragungen zwischen dem Server 110 und anderen Datenverarbeitungseinheiten (nicht gezeigt) innerhalb der kontradiktorischen Trainingsumgebung 100 unterstützen. Es wird darauf hingewiesen, dass andere Datenverarbeitungseinheiten beliebige elektromechanische Einheiten umfassen können, ohne auf diese beschränkt zu sein, die in der Lage sind, eine Reihe von Datenverarbeitungsanweisungen auszuführen.
Bei den Client-Datenverarbeitungseinheiten 102 handelt es sich um Datenverarbeitungseinheiten, bei denen es sich um einen Server für maschinelles Lernen handeln kann oder die einem Server für maschinelles Lernen eine GUI (graphical user interface, grafische Benutzeroberfläche) bereitstellen, d.h., die Befehle/Anweisungen von Benutzern entgegennimmt).
Bei dem Server 110 und den Client-Datenverarbeitungseinheiten 102 kann es sich um eine eigenständige Datenverarbeitungseinheit, einen Verwaltungsserver, einen Webserver, eine mobile Datenverarbeitungseinheit oder eine beliebige elektronische Einheit oder ein beliebiges elektronisches Datenverarbeitungssystem handeln, die in der Lage sind, Daten zu empfangen, zu senden und zu verarbeiten. Bei anderen Ausführungsformen können der Server 110 und die Client-Datenverarbeitungseinheiten 102 für ein Server-Datenverarbeitungssystem stehen, das mehrere Computer als Server-System wie z.B. in einer Cloud-Computing-Umgebung nutzt. Bei einer weiteren Ausführungsform kann es sich bei dem Server 110 und den Client-Datenverarbeitungseinheiten 102 um einen Laptop-Computer, einen Tablet-Computer, einen Netbook-Computer, einen Personal Computer (PC), einen Desktop-Computer, einen Personal Digital Assistant (PDA), ein Smartphone oder eine beliebige programmierbare elektronische Einheit handeln, die in der Lage ist, Daten mit anderen Datenverarbeitungseinheiten (nicht gezeigt) innerhalb der kontradiktorischen Trainingsumgebung 100 über ein Netzwerk 101 auszutauschen. Bei einer weiteren Ausführungsform stehen der Server 110 und die Client-Datenverarbeitungseinheiten 102 für ein Datenverarbeitungssystem, das geclusterte (zu Gruppen zusammengefasste) Computer und Komponenten (z.B. Datenbankserver-Computer, Anwendungsserver-Computer usw.) nutzt, die als ein einziger Pool von nahtlosen Ressourcen fungieren, wenn auf diese innerhalb der kontradiktorischen Trainingsumgebung 100 zugegriffen wird.
Eine Ausführungsform der vorliegenden Erfindung kann sich auf dem Server 110 oder auf Client-Datenverarbeitungseinheiten 102 befinden. Der Server 110 umfasst eine kontradiktorische Komponente 111 und eine Datenbank 116.
Die kontradiktorische Komponente 111 stellt die Fähigkeit des bereitstellen eines Trainingsverfahrens für einen Verteidiger bereit, der das optimale Maß von kontradiktorischem Training ermittelt, das verhindern würde, dass das Modell zur Aufgabenoptimierung falsche Entscheidungen trifft (d.h., die durch einen gegnerischen Angriff infolge der Eingabe in das Modell im Rahmen der gleichzeitigen Vorhersage und Optimierung verursacht werden). Die kontradiktorische Komponente 111 enthält Teilkomponenten: eine Eingabe- und Ausgabekomponente 121, eine Annahmekomponente 122, eine Bedrohungsmodellkomponente 123 und eine Analysekomponente 124.
Bei der Datenbank 116 handelt es sich um eine Datenablage für Daten, die durch die kontradiktorische Komponente 111 verwendet werden. Die Datenbank 116 kann mit einer beliebigen Art von Speichereinheit realisiert sein, die in der Lage ist, Daten- und Konfigurationsdateien zu speichern, auf die der Server 110 zugreifen und die der Server nutzen kann, wie z.B. ein Datenbankserver, ein Festplattenlaufwerk oder ein USB-Stick. Die Datenbank 116 verwendet eine oder mehrere der in der Technik bekannten Techniken, um eine Mehrzahl von Informationen zu speichern. Bei der bildlich dargestellten Ausführungsform befindet sich die Datenbank 116 auf dem Server 110. Bei einer weiteren Ausführungsform kann sich die Datenbank 116 an anderer Stelle innerhalb der kontradiktorischen Trainingsumgebung 100 befinden, vorausgesetzt, die kontradiktorische Komponente 111 hat Zugriff auf die Datenbank 116. Die Datenbank 116 kann Informationen speichern, die in Zusammenhang mit Konvergenz/Beendigungskriterien, Bedrohungsmodellannahmen (für einen Verteidiger und/oder einen Gegner), einem Trainingsdatensatz, einem Testdatensatz, einer aufgabendefinierten Aufwandsfunktion, Aktionsbereichen, einer optimalen Aktion, einer optimalen aufgabendefinierten Zielsetzungsfunktion, einem optimalen erlernten Modellparameter, Variablen, die in Zusammenhang mit Maschinenlernmodellen stehen, vortrainierten Modellen und Modellvorhersagen stehen, ohne auf diese beschränkt zu sein.
Wie hierin im Folgenden ferner beschrieben wird, stellt die Eingabe- und Ausgabekomponente 121 der vorliegenden Erfindung die Fähigkeit bereit, Eingaben (Daten) und Ausgaben (Daten) zu verwalten, die mit dem Trainieren eines Modells in Zusammenhang stehen, da es die Vorhersage- und Aufgabenoptimierung betrifft.
Eingaben können eingehende Daten betreffen. Datenbezogene Eingaben (aus einem Trainingssatz) können als Trainingsdatensatz bezeichnet werden. Der Trainingsdatensatz hat die folgende Formel D_train = {(x₁, y₁, z₁), ..., (x_n,y_n,z_n)}, wobei X = Eingabemerkmale, Y = Ausgabemerkmale, Z = Aktionswerte und n = Gesamtzahl der Musterbeispiele in dem Trainingsdatensatz sind. Andere Bezeichnungsweisen, die mathematischen Funktionen und/oder einen Datensatz betreffen, sind im Folgenden aufgeführt: Testdatensatz: D_test = {x₁,..., x_m}; Aufgabendefinierte Aufwandsfunktion = g(z, y); und
mögliche Aktionsbereiche = Z̃. Es wird darauf hingewiesen, dass aufgabendefinierte Aufwandsfunktionen nicht dauerhaft festgelegt sind und vom Ziel des Benutzers abhängen.
Daten, die Ausgaben betreffen, sind im Folgenden aufgeführt: optimale Aktion = Z*; optimale aufgabendefinierte Zielsetzungsfunktion = g*(Z*, Y); und optimaler gelernter Modellparameter = θ*.
Wie hierin im Folgenden ferner beschrieben wird, stellt die Annahmekomponente 122 der vorliegenden Erfindung die Fähigkeit bereit, (eine) Zielsetzungsannahme(n) und (eine) Zielsetzungsfunktion(en) zu verwalten. Zielsetzungsannahmen können als Annahmen zum Optimieren einer Zielsetzungsfunktion definiert werden. In Bezug auf das Maschinenlernmodell werden die folgenden Annahmen getroffen: (i) das Maschinenlernmodell y~Pr(y|x, z; θ) ist differenzierbar, (ii) die gemeinsame gewichtete Aufwandsfunktion ist in Bezug auf die Eingaben differenzierbar, (iii) angenommen wird, dass die Aufgabenoptimierungsfunktion eine lineare Funktion in Bezug auf die Eingabe x und den Aktionswert z ist. Solange x und z kontinuierlich sind, ist die Funktion differenzierbar, und (iv) die Einschränkungen für die Aufgabenoptimierung sind ebenfalls in Bezug auf x und z linear. Unter Berücksichtigung des Vorstehenden kann ein Benutzer stochastische Gradientenabstieg oder eine andere mathematische Operation verwenden, um eine Zielsetzungsfunktion zu optimieren.
Bei einer Zielsetzungsfunktion handelt es sich um die Funktion, die der Benutzer im Zusammenhang mit dem Optimieren von Aufgaben und dem Vorhersagen von Verlusten minimieren oder maximieren möchte. Zum Beispiel kann der Benutzer bei einer Eingabe X_test, die durch einen Gegner unter Verwendung von Rauschen δ_A gestört werden kann oder nicht, eine Vorhersage aus dem Maschinenlernmodell erzeugen, um ŷ_test zu erzeugen, was zum Finden der optimalen Aktion z* verwendet wird, die die aufgabenbeschränkte Zielsetzungs-Aufwandsfunktion g(z, y) minimiert. Durch Minimieren oder Maximieren einer Funktion kann ein Benutzer eine beliebige vorhandene mathematische Operation nutzen. In diesem Beispiel wird „argmin“ verwendet, um die vorstehend genannte Zielsetzungsfunktion in Bezug auf eine bestimmte Aktion z zu minimieren: argmin $\underset{z}{argmin} E_{y ~ Pr (y | x + δ_{A}, z; θ)} [g (z, y)] .$
Um ein Modell zu trainieren, bei dem sowohl die Vorhersageverlustfunktion des maschinellen Lernens als auch die aufgabenbeschränkte Optimierungsfunktion gemeinsam berücksichtigt werden, kann der Benutzer die folgende gemeinsame gewichtete Aufwandsfunktion an sich definieren: $\begin{matrix} F (y_{t r a i n}, {\hat{y}}_{t r a i n}, y_{t e s t}, \tilde{z}, z_{t r a i n}^{*}, z_{t e s t}^{*}) \\ = l (y_{j_{t r a i n}} {\hat{y}}_{j_{t r a i n}}) \cdot ω (\tilde{z}, z_{t r a i n}^{*}, α) + g ({\tilde{z}}_{k}, y_{j_{t e s t}}) \cdot γ (z_{t e s t}^{*}, z_{t r a i n}^{*}, β) \end{matrix}$
wobei l(y_jtrain, ŷ_jtrain) die Vorhersageverlustfunktion ist, $ω (\tilde{z}, z_{t r a i n}^{*}, α)$
die Gewichtung für die Vorhersageverlustfunktion ist und $γ (z_{t e s t}^{*}, z_{t r a i n}^{*}, β)$
die Gewichtungsfunktion ist, die für die aufgabendefinierte Aufwandsfunktion definiert ist, $ω (\tilde{z}, z_{t r a i n}^{*}, α)$
eine ansteigende Funktion in Bezug auf die Distanz zwischen z̃ und $z_{t r a i n}^{*}$
und $γ (z_{t e s t}^{*}, z_{t r a i n}^{*}, β)$
eine absteigende Funktion in Bezug auf die Distanz zwischen $z_{t e s t}^{*}$
und $z_{t r a i n}^{*}$
ist. Der Benutzer kann dann die vorstehend genannte Aufwandsfunktion als Zielsetzung verwenden, um sowohl über die Vorhersageverlustfunktion als auch die aufgabenbeschränkte Verlustfunktion zu optimieren (d.h. durch kontradiktorisches Rauschen hervorgerufene Bedrohungen in einem auf Aufgaben beruhenden Optimierungsmodell abzuschwächen).
Wie hierin im Folgenden ferner beschrieben wird, stellt die Bedrohungsmodellkomponente 123 der vorliegenden Erfindung die Fähigkeit bereit, Bedrohungsmodellannahmen und Zielsetzungen zu verwalten. Bedrohungsmodellannahmen und -zielsetzungen können mit (i) einem Gegner und (ii) einem Verteidiger in Zusammenhang stehen.
In einer Gegner-Situation kann der Benutzer ein gezieltes Angriffsszenario in Betracht ziehen, bei dem der Gegner eine bestimmte Aktion aufgrund einer bestimmten Eingabe auslösen möchte. Die Zielsetzung des Gegners ist definiert als: min max $min_{δ_{A}} max_{z_{A}} E_{x, y ~ D} [F (x + δ_{A}, y, z_{A}) - F (x, y, z^{*})],$
wobei z_A die gezielte Aktion ist und $z_{A} \neq z^{*} .$
Das Ziel des Gegners besteht darin, die Differenz der gewichteten Aufwandsfunktion zu maximieren, die auf der Grundlage der gezielten gegnerischen Eingaben und der wahren Werte berechnet wird, und dabei so wenig wie möglich störendes Rauschen zu verwenden. Der Trainingsdatensatz ist sauber und wird zu keinem Zeitpunkt geändert. Der Gegner hat White Box-Zugriff (d.h. volle Kenntnis) über Folgendes: (i) Modellparameter (θ), (ii) Aufgabenoptimierungsfunktion [g(z, y)], (iii) gemeinsame gewichtete Aufwandsfunktion und (iv) Trainingsdatensatz. Der Gegner kann jedoch nur X_test durch Stören der Eingabe durch δ_A (d.h. gegnerisches Rauschen) ändern.
In einer Verteidiger-Situation kann der Benutzer ein gezieltes Verteidigungsszenario in Betracht ziehen, bei dem der Verteidiger in Bezug auf eine bestimmte gegnerische Eingabe filtert. Zum Beispiel ist die Zielsetzung des Verteidigers definiert als: $z^{*} (x, z; θ) = \underset{z}{argmin} E_{y ~ Pr (y | x + δ_{D}, z; θ)} [F (x, y, z)]$
Das Ziel des Verteidigers besteht darin, ein robustes Modell wie z.B. die gewichtete Aufwandsfunktion in Bezug auf das Finden des besten Aktionswerts zu trainieren und gleichzeitig mögliche gegnerische Angriffe aus dem Störungsrauschen abzuschwächen, das während der Schlussfolgerungszeit eingeschleust wurde. Der Benutzer kann hierbei und auch in dem Wissen, dass y dem Benutzer eine Zuordnung zu der optimalen Aktion z* bereitstellt, annehmen, dass y nicht von z abhängig ist. Mit anderen Worten, eine Kenntnis des Ergebnisses des Vorhersagenetzmodells stellt dem Benutzer die optimale Aktion bereit.
Wenn der Verteidiger Musterbeispiele aus der wahren Verteilung der Daten abfragt, kennt der Benutzer die wahre Bezeichnung der Vorhersage y, die der Benutzer verwenden kann, um die optimale Aktion für diese Eingabe in die aufgabenbeschränkte Aufwandsfunktion zu finden.
Der Benutzer kann sich alle möglichen Bezeichnungswerte ansehen, die nicht zu z* führen würden. Der Benutzer maximiert den möglichen Verlust auf der Grundlage der Bezeichnungen. Mit z* kann der Benutzer δ_D finden und das Modell neu trainieren, um das neue Theta (θ) zu finden, und den Prozess mit einer neuen eingehenden Eingabe wiederholen.
Wie hierin im Folgenden ferner beschrieben wird, stellt die Analysekomponente 124 der vorliegenden Erfindung die Fähigkeit zum Ermitteln/Analysieren/Berechnen des Folgenden bereit, (a) Verlustfunktionen, (b) Abstände zwischen Datensätzen, (c) aufgabendefinierte Aufwands, (d) Gesamtverlust, (e) Gradienten, (f) Rückausbreitung und (g) Wiederholen bis zur Konvergenz, ohne auf diese beschränkt zu sein.
Zu anderen Funktionalitäten der Analysekomponente 124 können gehören (i) Ermitteln des optimalen z*_test, (ii) Ermitteln des optimalen z*_train unter Verwendung von y_train, (iii) Berechnen der Distanz zwischen Ausgaben aus dem Schritt (i) und dem Schritt (ii), (iv) Ermitteln der möglichen Aktionsbereiche, (v) Berechnen des Vorhersageverlusts in Bezug auf historische Daten, (vi) Berechnen der Distanz zwischen z̃ und $z_{t r a i n}^{*},$
(vii) Berechnen der aufgabendefinierten Aufwandsfunktion g(z̃_k,y_test), (viii) Durchführen einer Vorwärtsschlussfolgerung für jeden der unterschiedlichen Aktionsbereiche, (ix) Auflösen in Bezug auf den optimalen Satz von Aktionen $z_{t e s t}^{*},$
(x) Berechnen der Differenz zwischen der Ausgabe für Skalarwerte für $| z_{t e s t}^{*} - z_{t r a i n}^{*} |$
and/or $| \tilde{z} - z_{t r a i n}^{*} |,$
(xi) Berechnen der Wasserstein-Distanz zwischen $z_{t e s t}^{*} and z_{t r a i n}^{*}$
und/oder z̃ und $z_{t r a i n}^{*}$
(für auf Verteilungen beruhende Werte), (xii) Nutzen von Gewichtungen, die der Vorhersage entsprechen, und (xiii) Nutzen von Gewichtungen, die dem Aufgabenoptimierungsaufwand entsprechen, ohne auf diese beschränkt zu sein.
Hinsichtlich der (unter Bezugnahme auf die vorherige Liste anderer Funktionen für die Analysekomponente 124) können die Punkte (i) und (ii), „Ermitteln des besten...“, ferner als Minimieren oder Maximieren einer Funktion definiert werden. Zum Beispiel kann ein „argmin“ oder „argmax“ genutzt werden. Die optimale Aktion (angegeben durch z*) wird definiert, indem der z-Wert ermittelt wird, der die Aufgabenaufwandsfunktion g(z, y) in Bezug auf y minimiert, was durch Pr(y | x + δ_A) (d.h., das Maschinenlernmodell des Benutzers nimmt die Eingabe aus dem kontradiktorischen Modell) und einen ausgewählten Aktionswert z (auf der Grundlage eines Bereichs von Aktionen, die Benutzer in dem Modell versuchen) definiert ist.
Hinsichtlich der (unter Bezugnahme auf die vorherige Liste anderer Funktionen für die Analysekomponente 124) können die Punkte (iii), (x) und (xi), „Berechnen der Distanz...“, ferner als Ausnutzen einer beliebigen bekannten Distanzberechnung wie z.B. Verwenden einer einfachen Differenz, einer Wasserstein-Maßzahl, einer euklidischen Distanz und einer Cosinus-Ähnlichkeit definiert werden. Ein weiteres Berechnungsverfahren, wenn es für auf Skalaren beruhende Werte verwendet wird, besteht darin, die Differenz zwischen der Ausgabe zu berechnen, die definiert ist als: $| z_{t e s t}^{*} - z_{t r a i n}^{*} | .$
Andernfalls, wenn auf Verteilungen beruhende Werte berechnet werden, wird die Wasserstein-Distanz für Berechnungen zwischen $z_{t e s t}^{*} und z_{t r a i n}^{*}$
verwendet.
Hinsichtlich der (unter Bezugnahme auf die vorherige Liste anderer Funktionen für die Analysekomponente 124) kann der Punkt (v), „Berechnen des Vorhersageverlusts...“, ferner als Verwenden eines beliebigen bekannten Verfahrens zum Berechnen einer einfachen Differenz zwischen mathematischen Elementen wie z.B. Verwenden eines mittleren quadratischen Fehlers und einer mittleren quadratischen Abweichung definiert werden. Es ist wichtig zu beachten, dass der Verlust je nach der durchgeführten Maschinenlernaufgabe variieren kann. Zum Beispiel kann es sich bei der zugehörigen Klassifizierung um einen Kreuzentropieverlust handeln, oder bei einer Regression kann es sich um die zuvor definierten Verlustfunktionen (d.h. l(y_jtrain, ŷ_jtrain) handeln.
Ein weiteres Berechnungsverfahren, wenn es für auf Skalaren beruhende Werte verwendet wird, besteht darin, die Differenz zwischen der Ausgabe zu berechnen, die definiert ist als: $| z_{t e s t}^{*} - z_{t r a i n}^{*} | .$
Andernfalls, wenn auf Verteilungen beruhende Werte berechnet werden, wird die Wasserstein-Distanz für Berechnungen zwischen $z_{t e s t}^{*} und z_{t r a i n}^{*}$
verwendet.
Hinsichtlich der (unter Bezugnahme auf die vorherige Liste anderer Funktionen für die Analysekomponente 124) kann der Punkt (vii), „Berechnen der aufgabendefinierten Aufwandsfunktion...“, ferner als Berechnen einer bestimmten Aufgabenfunktion (d.h. g(z, y)) mit einer bekannten Berechnungsmethodik definiert werden. Bei der Aufgabenfunktion g(z, y) handelt es sich um eine benutzerdefinierte Funktion, die eigentlich Teil der Eingabe ist, die der Benutzer diesem Algorithmus bereitstellen muss. Die Aufgabenfunktion misst, was der Benutzer optimieren möchte, auf der Grundlage der Eingaben der bereitgestellten Aktion z und der Eingabebeobachtung y, die aus der Ausgabe des Maschinenlernmodells stammt.
Hinsichtlich der (unter Bezugnahme auf die vorherige Liste anderer Funktionen für die Analysekomponente 124) kann „Berechnen des Gesamtverlusts...“ ferner als Verwenden eines beliebigen bekannten Verfahrens zum Ableiten einer beliebigen Verlustfunktion in dem Maschinenlernmodell definiert werden. Zum Beispiel handelt es sich bei der Verlustfunktion um die gewichtete gemeinsame Funktion $\begin{array}{l} F (y_{t r a i n}, {\hat{y}}_{t r a i n}, y_{t e s t}, \tilde{z}, z_{t r a i n}^{*}, z_{t e s t}^{*}) = l (y_{t r a i n}, {\hat{y}}_{j_{t r a i n}}) \cdot ω (\tilde{z}, z_{t r a i n}^{*}, α) + g ({\tilde{z}}_{k}, y_{j_{t e s t}}) \cdot \\ γ (z_{t e s t}^{*}, z_{t r a i n}^{*}, β) . \end{array}$
Das Modell verwendet dies, um das vorstehende Modell zu optimieren, um den besten Theta θ (d.h. den Parameter des Modells) zu finden.
Hinsichtlich der (unter Bezugnahme auf die vorherige Liste anderer Funktionen für die Analysekomponente 124) kann „Berechnen eines Gradienten...“ ferner als Durchführen einer mathematischen Differenzierungsoperation definiert werden, die Teil von Gradientenabstieg-Optimierungsalgorithmen sein kann. Die Prozedur nutzt die Verwendung einer automatischen Differenzierungsfunktion, die es dem Benutzer ermöglicht, den Gradienten einer beliebigen Funktion zu nähern, ohne eine Funktion mit geschlossener Form zu haben. Ein weiteres Verfahren zum Berechnen des Gradienten kann eine stochastische Optimierungsmethodik, einen iterativen Optimierungsalgorithmus erster Ordnung (Gradientenabstieg) oder einen Gradientenanstieg nutzen.
Hinsichtlich der (unter Bezugnahme auf die vorherige Liste anderer Funktionen für die Analysekomponente 124) kann „Wiederholen bis zur Konvergenz...“ ferner als wiederholen (d.h. eine Schleife) aller Schritte definiert werden, bis ein Beendigungskriterium erfüllt ist, das es ermöglicht, den Prozess zu beenden. Zu den Konvergenz-/Beendigungskriterien können gehören, ohne auf diese beschränkt zu sein, (i) ein Prozess, bei dem sich die Differenz zwischen der vorherigen interessierenden Maßzahl und der gleichen interessierenden Maßzahl in der aktuellen Iteration nicht um einen durch den Benutzer definierten Schwellenwert geändert hat (oder dies in anderen Fällen über ein Wertefenster auswerten kann), (ii) die Anzahl der Epochen (Iterationen) wurde erreicht (d.h. der Schwellenwert für die Epoche kann durch den Benutzer definiert und angepasst werden) und (iii) der Konvergenzwert erreicht einen benutzerdefinierten Wert.
2A, 2B, 2C und 2D weisen eine Flussdiagrammdarstellung auf, die zusätzliche Komponenten zu der bestehenden aktuellen Technologie beim maschinellen Lernen, insbesondere Optimierungs- und Vorhersagemodelle, die in Zusammenhang mit dem Abschwächen gegnerischer Angriffe stehen, gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht.
Die bildlich dargestellt Ausführungsform enthält drei zusätzliche Prozesse/Blöcke: 201, 202, 203, 204, 205, 206, 207, 208, 209, 210, 211 und 212.
Block 201 ist der Prozess zum Abrufen von Datensätzen, die Vortrainingsmodelle für optimale Aktionswahrscheinlichkeiten (Z_train), Merkmaleingaben (X_train) und Merkmalausgaben (Y_train) betreffen.
Block 202 ist der Prozess zum Initialisieren des Aktionswerts (z). Block 203 ist der Prozess, der mit der Schlussfolgerung auf das Vorhersagemodell unter Verwendung deiner Testverteilung in Zusammenhang steht. Block 204 ist der Prozess, der mit dem Schätzen optimaler Aktionswahrscheinlichkeiten (Z*test) in Zusammenhang steht. Block 205 ist der Prozess, der mit der Schlussfolgerung auf das Vorhersagemodell unter Verwendung der Trainingsverteilung in Zusammenhang steht. Block 206 ist der Prozess, der mit dem Schätzen optimaler Aktionswahrscheinlichkeiten (Z*train) in Zusammenhang steht. Block 207 ist der Prozess, der mit dem Berechnen von aufgabenbeschränkten Funktionsgewichtungen $(γ (z_{t e s t}^{*}, z_{t r a i n}^{*}, β))$
in Zusammenhang steht. Block 208 ist der Prozess, der mit dem Berechnen der Vorhersageverlustfunktion (l(y_jtrain, ŷ_jtrain)) in Zusammenhang steht. Block 209 ist der Prozess, der mit dem Berechnen der Vorhersagemodellgewichtungen $(ω (\tilde{z}, z_{t r a i n}^{*}, α))$
in Zusammenhang steht. Block 210 ist der Prozess, der mit dem Berechnen der aufgabendefinierten beschränkten Aufwandsfunktion (g(z, y)) in Zusammenhang steht. Block 211 ist der Prozess, der mit dem Berechnen des gewichteten Modellvorhersageverlusts auf der Grundlage der Aufgabenoptimierung in Zusammenhang steht. Block 212 ist der Prozess, der mit dem Aktualisieren von Vorhersagemodellparametern (über SGD) in Zusammenhang steht.
Schritte bzw. ein Prozess auf einer höheren Ebene bei einer Ausführungsform der vorliegenden Erfindung (System zum Abschwächen gegnerischer Angriffe zum gleichzeitigen Optimieren und Vorhersagen von Modellen) umfassen die folgenden Schritte: (i) Vortrainieren des Modells an dem Trainingsdatensatz, (ii) Ermitteln des besten z*test in Bezug auf den Testsatz (x + δ_A) unter der Annahme, dass die Eingabe möglicherweise vergiftet ist, und der möglichen Aktionsbereiche, (iii) Ermitteln des besten z*train unter Verwendung von y_train und der möglichen Aktionsbereiche, (iv) Berechnen der Distanz zwischen den Ausgaben des Schritts (ii) und des Schritts (iii) - einer Distanz zum Messen des Vergleichs zwischen sauberen und gegnerischen Aktionen, (v) Berechnen des Vorhersageverlusts in Bezug auf die historischen Daten durch Vergleichen des Verlusts zwischen y_train und ŷ_trαin = Pr(_y|x + δ_D, z; θ) - der Vorhersageverlustfunktion, die trainiert wird, um die Robustheit des Modells über Rauschen sicherzustellen, das durch δ_D hinzugefügt wird, (vi) Berechnen der Distanz zwischen z̃ und $z_{train}^{*}$
- der Distanz zum Berücksichtigen der historischen Trainingsmusterbeispiele in Bezug auf den Aufgabenoptimierungsaufwand, (vii) Berechnen der aufgabendefinierten Aufwandsfunktion g(z̃_k, y_test) - die zum Minimieren der aufgabendefinierten Aufwandsfunktion verwendet wird, (viii) Ableiten des Gesamtverlusts aus Werten, die durch die Schritte (iv) bis (vii) berechnet wurden, (ix) Berechnen des Gradienten und Durchführen einer Rückausbreitung, um Modellparameter zu aktualisieren, und (x) Wiederholen der Schritte (ii) bis (ix) bis zur Konvergenz des Modells oder bis zu bestimmten Beendigungskriterien.
Beendigungs-/Konvergenzkriterien wurden zuvor definiert und werden wie folgt wiederholt. Konvergenz kann als Prozess definiert werden, bei dem sich die Differenz zwischen der vorherigen interessierenden Maßzahl und dergleichen interessierenden Maßzahl in der aktuellen Iteration nicht um einen durch den Benutzer definierten Schwellenwert geändert hat (oder in anderen Fällen über ein Wertefenster ausgewertet werden kann). Zu den Konvergenzkriterien können gehören (i) die Anzahl der Epochen (d.h. Iterationen) wurde erreicht (d.h., der Schwellenwert für die Epoche kann durch den Benutzer definiert werden), (iii) der Konvergenzwert erreicht einen benutzerdefinierten Schwellenwert, ohne auf diese beschränkt zu sein.
Hinsichtlich Schritt (ii) kann das Folgende als zusätzliche und/oder alternative Schritte verwendet werden: (a) Durchführen einer Vorwärtsschlussfolgerung für jeden der unterschiedlichen Aktionsbereiche in Anbetracht des Eingabetestsatzes, um eine Sammlung von Vorhersagen ŷ_train abzuleiten, und/oder (b) Auflösen des optimalen Satzes von Aktionen $z_{t e s t}^{*},$
sobald die aufgabendefinierte Optimierungsfunktion g(z, y) gegeben ist, der möglichen Aktionsbereiche und der aus (a) abgeleiteten Ausgabevorhersagen.
Hinsichtlich Schritt (iii) kann das Folgende als zusätzlicher Schritt verwendet werden: (a) in Anbetracht der aufgabendefinierten Optimierungsfunktion g(z, y), der verschiedenen historischen Aktionen und z_train der historischen Eingabewerte y_train kann für die optimalen Aktionen $z_{t r a i n}^{*}$
eine Lösung gefunden werden.
Hinsichtlich Schritt (iv), des Abstands, den Benutzer durch Vergleichen zwischen sauberen und gegnerischen Aktionen messen möchten, kann das Folgende als zusätzlicher Schritt verwendet werden: (a) eine Ausführungsform davon besteht im Berechnen der Differenz zwischen der Ausgabe, die definiert ist als: $| z_{t e s t}^{*} - z_{t r a i n}^{*} |$
(d.h. bei auf Skalaren beruhenden Werten) und (b) eine weitere Ausführungsform davon besteht im Berechnen der Wasserstein-Distanz zwischen $z_{t e s t}^{*} und z_{t r a i n}^{*}$
(d.h. bei auf Verteilungen beruhenden Werten).
Hinsichtlich Schritt (vi), der Distanz, um die betreffenden historischen Trainingsmusterbeispiele in Bezug auf den Aufgabenoptimierungsaufwand zu berücksichtigen, kann das Folgende als zusätzlicher und/oder alternativer Schritt verwendet werden: (a) eine Ausführungsform besteht darin, das Berechnen der Differenz zwischen der Ausgabe auszunutzen, die definiert ist als: $| \tilde{z} - z_{t r a i n}^{*} |$
(d.h. bei auf Skalaren beruhenden Werten) und/oder (b) eine weitere Ausführungsform davon besteht darin, das Berechnen der Wasserstein-Distanz zwischen z̃ und $z_{t r a i n}^{*}$
(d.h. bei auf Verteilung beruhenden Werten) auszunutzen.
Hinsichtlich Schritt (vii) können die folgenden Einzelheiten als alternative(r) Schritt(e) verwendet werden: (a) das Ableiten des Gesamtverlusts kann als gewichtete Summe von Schritt (v) und Schritt (vii) definiert werden, deren Gewichtungen von Schritt (iv) und Schritt (vi) abhängen, (b) eine Ausführungsform davon besteht darin, Gewichtungen, die dem Vorhersageverlust entsprechen, der durch $1 / {| \tilde{z} - z_{t r a i n}^{*} |}^{α}$
definiert ist, oder eine beliebige Funktion zu nutzen, die mit dem Abstand von z̃ und $z_{t r a i n}^{*}$
ansteigt, (c) eine weitere Ausführungsform davon besteht darin, Gewichtungen, die dem Aufgabenoptimierungsaufwand entsprechen, der durch $1 / {| z_{t e s t}^{*} - z_{t r a i n}^{*} |}^{β}$
definiert ist, oder eine beliebige Funktion zu nutzen, die mit dem Abstand von $z_{t e s t}^{*} und z_{t r a i n}^{*}$
ansteigt.
3 ist ein Übersichtsflussdiagramm, das die Funktionsweise einer mit 300 bezeichneten kontradiktorischen Komponente 111 gemäß einer weiteren Ausführungsform der vorliegenden Erfindung veranschaulicht.
Die kontradiktorische Komponente 111 empfängt ein Teil-Musterbeispiel (Schritt 302). Bei einer Ausführungsform empfängt die kontradiktorische Komponente 111 über die Eingabe- und Ausgabekomponente 121 einen Teil-Musterbeispieldatensatz aus dem Trainingssatz und/oder dem Testdatensatz. Eine kontradiktorische Komponente 111 beginnt, Modellgewichtungen vorzutrainieren. Es wird darauf hingewiesen, dass die Annahmekomponente 122 und die Bedrohungsmodellkomponente 123 verwendet werden, um Daten, die Eingabe- und Ausgabeannahmen und Annahmen des Bedrohungsmodells (z.B. Gegner und Verteidiger usw.) betreffen, zusammen mit dem Test- und Trainingsdatensatz abzurufen.
Die kontradiktorische Komponente 111 ermittelt den optimalen Testaktionswert (Schritt 304). Bei einer Ausführungsform ermittelt die kontradiktorische Komponente 111 über die Analysekomponente 124 den besten (d.h. optimalen) z*_test in Bezug auf den Testsatz (x + δ_A) unter der Annahme (d.h. Annahmen des Bedrohungsmodells), dass die Eingabe möglicherweise vergiftet wurde, und die möglichen Aktionsbereiche (d.h. Z). Es wird daran erinnert, dass der Trainingsdatensatz als D_train = {(x₁, y₁, z₁), ..., (x_n, y_n, z_n)} definiert ist, wobei x die Eingabemerkmale darstellt. y die Ausgabemerkmale darstellt und z die Aktionswerte darstellt. Es wird darauf hingewiesen, dass „optimal“ und „optimal“ benutzerdefiniert sind und je nach Benutzer und/oder Zielsetzung des Lernmodells variieren können.
Bei einer alternativen Ausführungsform kann „ermittelt die besten z*_test“ aus den folgenden Schritten bestehen: (a) Durchführen einer Vorwärtsschlussfolgerung für jeden der unterschiedlichen Aktionsbereiche in Anbetracht des Eingabetestsatzes, um eine Sammlung von Vorhersagen ŷ_train abzuleiten, und/oder (b) Benutzer können angesichts der aufgabendefinierten Optimierungsfunktion g(z, y), der möglichen Aktionsbereiche und der aus (a) abgeleiteten Ausgabevorhersagen nach dem optimalen Satz von Aktionen $z_{t e s t}^{*}$
auflösen.
Die kontradiktorische Komponente 111 ermittelt den optimalen Trainingsaktionswert (Schritt 306). Bei einer Ausführungsform ermittelt die kontradiktorische Komponente 111 über die Analysekomponente 124 die besten z*_train unter Verwendung der historischen ŷ_train und der möglichen Aktionsbereiche.
Bei einer alternativen Ausführungsform kann „ermittelt die besten z*_train“ aus dem Auflösen nach den optimalen Aktionen $z_{t r a i n}^{*}$
in Anbetracht der aufgabendefinierten Optimierungsfunktion g(z, y), der verschiedenen historischen Aktionen z_train und der historischen Eingabewerte y_train bestehen.
Die kontradiktorische Komponente 111 berechnet eine erste Distanz (Schritt 308). Bei einer Ausführungsform berechnet die kontradiktorische Komponente 111 über die Analysekomponente 124 die Distanz (d.h. erste Distanz) zwischen z*test und z*train (d.h. die Distanz, die der Besitzer durch Vergleichen zwischen sauberen und gegnerischen Aktionen messen möchte).
Bei einer alternativen Ausführungsform kann bei „berechnet eine erste Distanz“ (d.h. die Distanz, die der Besitzer durch Vergleichen zwischen sauberen und gegnerischen Aktionen messen möchte), das Folgende als zusätzlicher Schritt verwendet werden, indem die Differenz zwischen der Ausgabe, berechnet wird, die definiert ist als: $| z_{t e s t}^{*} - z_{t r a i n}^{*} |$
(d.h. bei auf Skalaren beruhenden Werten). Eine weitere Ausführungsform besteht darin, die Berechnung einer Wasserstein-Distanz zwischen $z_{t e s t}^{*} und z_{t r a i n}^{*}$
(d.h. bei auf Verteilungen beruhenden Werten) zu verwenden.
Die kontradiktorische Komponente 111 ermittelt die Vorhersageverlustfunktion (Schritt 310). Bei einer Ausführungsform berechnet die kontradiktorische Komponente 111 über die Analysekomponente 124 den Vorhersageverlust in Bezug auf die historischen Daten, indem der Verlust zwischen y_train und ŷ_train = Pr (y|x + δ_D, z; θ) berechnet wird (d.h. die Vorhersageverlustfunktion, die trainiert wird, um die Robustheit des Modells über Rauschen sicherzustellen, das durch δ_D hinzugefügt wird).
Die kontradiktorische Komponente 111 berechnet eine zweite Distanz (Schritt 312). Bei einer Ausführungsform berechnet die kontradiktorische Komponente 111 über die Analysekomponente 124 eine Distanz (d.h. zweite Distanz) zwischen z̃ und z_train (d.h. die Distanz, die die relevanten historischen Trainingsmusterbeispiele in Bezug auf den Aufgabenoptimierungsaufwand berücksichtigt).
Bei einer alternativen Ausführungsform kann bei „berechnet eine zweite Distanz“ (d.h. die Distanz, die die relevanten historischen Trainingsmusterbeispiele in Bezug auf den Aufgabenoptimierungsaufwand berücksichtigt) das Folgende als zusätzlicher und/oder alternativer Schritt verwendet werden: (a) Berechnen einer Differenz zwischen der Ausgabe, die definiert ist als: $| \tilde{z} - z_{t r a i n}^{*} |$
(d.h. bei auf Skalaren beruhenden Werten); oder (b) Berechnen der Wasserstein-Differenz zwischen z̃ und z_train (d.h. bei auf Verteilung beruhenden Werten).
Die kontradiktorische Komponente 111 berechnet die aufgabendefinierte Aufwandsfunktion (Schritt 314). Bei einer Ausführungsform berechnet die kontradiktorische Komponente 111 über die Analysekomponente 124 die aufgabendefinierte Aufwandsfunktion g(z̃_k,y_test) (d.h., um die aufgabendefinierte Aufwandsfunktion zu minimieren).
Die kontradiktorische Komponente 111 berechnet die Verlustfunktion (Schritt 316). Bei einer Ausführungsform berechnet die kontradiktorische Komponente 111 über die Analysekomponente 124 den Gesamtverlust aus den Werten, die in den Schritten 308, 310, 312 und 314 berechnet wurden.
Bei einer alternativen Ausführungsform kann das Berechnen der Verlustfunktion bestehen aus (a) Ableiten/Berechnen des Gesamtverlusts, das als gewichtete Summe von Schritt (310) und Schritt (314) definiert sein kann, deren Gewichtungen von Schritt (308) und Schritt (312) abhängen, (b) Nutzen von Gewichtungen, die dem durch ${1 / | \tilde{z} - z_{t r a i n}^{*} |}^{α}$
definierten Vorhersageverlust entsprechen, oder einer beliebigen Funktion, die mit der Distanz von z̃ und $z_{t r a i n}^{*}$
ansteigt, oder (c) einer weiteren Ausführungsform, die darin besteht, Gewichtungen zu nutzen, die dem durch ${1 / | z_{t e s t}^{*} - z_{t r a i n}^{*} |}^{β}$
definierten Aufgabenoptimierungsaufwand entsprechen, oder einer beliebigen Funktion, die mit der Distanz von $z_{t e s t}^{*} und z_{t r a i n}^{*}$
abnimmt.
Die kontradiktorische Komponente 111 berechnet den Gradienten (Schritt 318). Bei einer Ausführungsform berechnet die kontradiktorische Komponente 111 über die Analysekomponente 124 den Gradienten der Verlustfunktion (in Schritt 316 berechnet).
Die kontradiktorische Komponente 111 führt die Rückausbreitung durch (Schritt 320). Bei einer Ausführungsform führt die kontradiktorische Komponente 111 die Rückausbreitung über die Analysekomponente 124 durch. Die Rückausbreitung kann als Aktualisieren von Vorhersagemodellparametern und/oder anderen Werten definiert werden, die die aufgabendefinierte Aufwandsfunktion betreffen.
Die kontradiktorische Komponente 111 ermittelt, ob Konvergenz eingetreten ist (Entscheidungsblock 322). Es soll daran erinnert werden, dass Konvergenz zuvor definiert wurde als (i) ein Prozess, bei dem sich die Differenz zwischen der vorherigen interessierenden Maßzahl und der gleichen interessierenden Maßzahl in der aktuellen Iteration nicht um einen durch den Benutzer definierten Schwellenwert geändert hat (oder dies in anderen Fällen über ein Wertefenster auswerten kann), (ii) die Anzahl der Epochen (Iterationen) wurde erreicht (d.h. der Schwellenwert für die Epoche kann durch den Benutzer definiert und angepasst werden) oder (iii) der Konvergenzwert erreicht einen benutzerdefinierten Wert. Der Zähler ist ein Verfahren eines Wegs zum Erzielen von Konvergenz zu erreichen (oder zum Erfüllen von Beendigungskriterien). Wenn der Benutzer zum Beispiel die Berechnung nach 10 Iterationen verlassen möchte, betragen die Beendigungskriterien für Iterationen 10. Bei einer Ausführungsform ermittelt die kontradiktorische Komponente 111, ob Konvergenz eingetreten ist, indem ein Wert in einem Zähler mit einem Beendigungsschwellenwert verglichen wird. Zum Beispiel fügt die kontradiktorische Komponente 111 einen Zählwert von eins zu einem zuvor in einem Zähler gespeicherten Wert hinzu (wobei der durch den Benutzer festgelegte Beendigungsschwellenwert 10 beträgt). Wenn die kontradiktorische Komponente 111 über die Analysekomponente 124 feststellt, dass der Wert des Zählers 11 lautet, kann sie mit dem nächsten Schritt (d.h. Schritt 324) fortfahren. Wenn die kontradiktorische Komponente 111 jedoch feststellt, dass der Wert des Zählers kleiner als der Schwellenwert von 10 ist, kehrt die kontradiktorische Komponente 111 zu Schritt 304 zurück und wiederholt den Prozess erneut, bis ein Austrittskriterium (d.h. der Beendigungsschwellenwert) erreicht ist.
Bei einer alternativen Ausführungsform nutzt die kontradiktorische Komponente 111 eine weitere Art von Beendigungskriterien auf der Grundlage anderer benutzerdefinierter Parameter wie z.B. Epoche.
Die kontradiktorische Komponente 111 gibt Werte aus (Schritt 324). Bei einer Ausführungsform gibt die kontradiktorische Komponente 111 die berechneten Werte aus. Zu den Werten gehören (i) optimaler gelernter Modellparameter und (ii) optimale aufgabendefinierte Zielsetzungsfunktion (z.B. Z*, g* und θ*). Auf der Grundlage der Ausgabewerte kann ein Benutzer (als Verteidiger) eine Entscheidung darüber treffen, ob das trainierte Modell robust genug ist, um gegnerischen Angriffen standzuhalten (siehe „Verteidiger“ im Abschnitt über die Bedrohungsmodellkomponente 123).
4 stellt ein mit 400 bezeichnetes Blockschema von Komponenten der Anwendung der kontradiktorischen Komponente 111 gemäß einer veranschaulichenden Ausführungsform der vorliegenden Erfindung bildlich dar. Es sollte klar sein, dass 4 lediglich zur Veranschaulichung einer Realisierungsform dient und nicht als Einschränkung in Bezug auf die Umgebungen gedacht ist, in denen unterschiedliche Ausführungsformen realisiert werden können. An der bildlich dargestellten Umgebung können viele Abänderungen vorgenommen werden.
4 umfasst (einen) Prozessor/Prozessoren 401, einen Cache 403, einen Hauptspeicher 402, einen Permanentspeicher 405, eine Datenübertragungseinheit 407, Eingabe/Ausgabe-Schnittstellen (E/A-Schnittstellen) 406 und eine Datenübertragungsstruktur 404. Die Datenübertragungsstruktur 404 stellt Datenübertragung zwischen dem Cache 403, dem Hauptspeicher 402, dem Permanentspeicher 405, der Datenübertragungseinheit 407 und der/den Eingabe/Ausgabe-Schnittstelle(n) (E/A-Schnittstelle(n)) 406 bereit. Die Datenübertragungsstruktur 404 kann mit einer beliebigen Architektur realisiert sein, die auf das Weiterleiten von Daten und/oder Steuerinformationen zwischen Prozessoren (beispielsweise Mikroprozessoren, Datenübertragungs- und Netzwerkprozessoren usw.) und einem Systemhauptspeicher, Peripherieeinheiten und beliebigen anderen Hardwarekomponenten innerhalb eines Systems ausgelegt ist. Zum Beispiel kann die Datenübertragungsstruktur 404 mit einem oder mehreren Bussen oder mit einem Kreuzschienenschalter realisiert sein.
Bei dem Hauptspeicher 402 und dem Permanentspeicher 405 handelt es sich um durch einen Computer lesbare Speichermedien. Bei diesem Beispiel umfasst der Hauptspeicher 402 Direktzugriffsspeicher (random access memory, RAM). Im Allgemeinen kann der Hauptspeicher 402 beliebige geeignete flüchtige oder nichtflüchtige, durch einen Computer lesbare Speichermedien umfassen. Bei dem Cache 403 handelt es sich um einen schnellen Speicher, der das Leistungsvermögen des Prozessors/der Prozessoren 401 verbessert, indem darin Daten gehalten werden, auf die aus dem Hauptspeicher 402 zugegriffen wurde, sowie Daten in der Nähe von Daten, auf die zugegriffen wurde.
Programmanweisungen und Daten (z.B. Software und Daten x10), die zum Umsetzen von Ausführungsformen der vorliegenden Erfindung in die Praxis verwendet werden, können im Permanentspeicher 405 und im Hauptspeicher 402 gespeichert sein, um durch einen oder mehrere der jeweiligen Prozessoren (en) 401 über den Cache 403 ausgeführt zu werden. Bei einer Ausführungsform umfasst der Permanentspeicher 405 ein magnetisches Festplattenlaufwerk. Alternativ oder zusätzlich zu einem magnetischen Festplattenlaufwerk kann der Permanentspeicher 405 einen Halbleiterdatenträger (solid state hard drive), eine Halbleiterspeichereinheit, einen Nur-Lese-Speicher (read-only memory, ROM), einen löschbaren programmierbaren Nur-Lese-Speicher (erasable programmable read-only memory, EPROM), einen Flash-Speicher oder beliebige andere durch einen Computer lesbare Speichermedien enthalten, die in der Lage sind, Programmanweisungen oder digitale Informationen zu speichern.
Die durch den Permanentspeicher 405 verwendeten Medien können außerdem wechselbar sein. Zum Beispiel kann als Permanentspeicher 405 ein wechselbares Festplattenlaufwerk verwendet werden. Zu anderen Beispielen gehören optische und magnetische Platten, USB-Sticks und Smart-Cards, die in ein Laufwerk zur Übertragung auf ein weiteres, durch einen Computer lesbares Speichermedium eingeführt werden, das ebenfalls Bestandteil des Permanentspeichers 405 ist. Die kontradiktorische Komponente 111 kann im Permanentspeicher 405 zum Zugriff und/oder zur Ausführung durch einen oder mehrere der jeweiligen Prozessoren 401 über den Cache 403 gespeichert sein.
Die Datenübertragungseinheit 407 stellt bei diesem Beispiel Datenübertragung mit anderen Datenverarbeitungssystemen oder-einheiten bereit. Bei diesen Beispielen umfasst die Datenübertragungseinheit 407 eine oder mehrere Netzwerkschnittstellenkarten. Die Datenübertragungseinheit 407 kann Datenübertragung über die Verwendung von entweder physischen Datenübertragungsverbindungen oder kabellosen Datenübertragungsverbindungen oder beidem bereitstellen. Programmanweisungen und Daten (z.B. die kontradiktorische Komponente 111), die zum Umsetzen von Ausführungsformen der vorliegenden Erfindung in die Praxis verwendet werden, können über die Datenübertragungseinheit 407 auf den Permanentspeicher 405 heruntergeladen werden.
Die E/A-Schnittstelle(n) 406 ermöglicht (ermöglichen) die Eingabe und Ausgabe von Daten mit anderen Einheiten, die mit jedem Computersystem verbunden sein können. Zum Beispiel kann/können die E/A-Schnittstelle(en) 406 eine Verbindung zu externen Einheiten(en) 408 wie z.B. zu einer Tastatur, einem Tastenfeld, einem Touchscreen und/oder zu einer anderen geeigneten Eingabeeinheit bereitstellen. Zu der/den externen Einheit(en) 408 können außerdem transportable, durch einen Computer lesbare Speichermedien wie z.B. USB-Sticks, transportable optische oder magnetische Platten und Speicherkarten gehören. Programmanweisungen und Daten (z.B. die kontradiktorische Komponente 111), die zum Umsetzen von Ausführungsformen der vorliegenden Erfindung in die Praxis verwendet werden, können auf derartigen transportablen durch einen Computer lesbaren Speichermedien gespeichert sein und über die E/A-Schnittstelle(n) 406 in den Permanentspeicher 405 geladen werden. Die E/A-Schnittstelle(n) 406 stellt/stellen außerdem eine Verbindung zu der Anzeige 409 her.
Die Anzeige 409 stellt einen Mechanismus bereit, um einem Benutzer Daten anzuzeigen, und es kann sich dabei zum Beispiel um einen Computermonitor handeln.
Die hierin beschriebenen Programme sind auf der Grundlage der Anwendung bezeichnet, für die sie bei einer bestimmten Ausführungsform der Erfindung realisiert sind. Es sollte jedoch klar sein, dass hierin eine bestimmte Programmbenennungsweise lediglich der Vereinfachung dient und die Erfindung daher nicht auf die Verwendung ausschließlich in einer bestimmten Anwendung begrenzt sein soll, die durch eine derartige Benennung bezeichnet oder stillschweigend darin eingeschlossen ist.
Bei der vorliegenden Erfindung kann es sich um ein System, ein Verfahren und/oder ein Computerprogrammprodukt in einem beliebigen möglichen Integrationsgrad technischer Einzelheiten handeln. Das Computerprogrammprodukt kann (ein) durch einen Computer lesbare(s) Speichermedium (oder -medien) enthalten, auf dem/denen durch einen Computer lesbare Programmanweisungen gespeichert ist/sind, um einen Prozessor zu veranlassen, Aspekte der vorliegenden Erfindung auszuführen.
Bei dem durch einen Computer lesbaren Speichermedium kann es sich um eine physische Einheit handeln, auf der Anweisungen zur Verwendung durch eine Einheit zur Ausführung von Anweisungen aufbewahrt und gespeichert sein können. Bei dem durch einen Computer lesbaren Speichermedium kann es sich zum Beispiel, ohne auf diese beschränkt zu sein, um eine elektronische Speichereinheit, eine magnetische Speichereinheit, eine optische Speichereinheit, eine elektromagnetische Speichereinheit, eine Halbleiterspeichereinheit oder eine beliebige geeignete Kombination des Vorstehenden handeln. Eine nicht erschöpfende Liste genauerer Beispiele des durch einen Computer lesbaren Speichermediums umfasst Folgendes: eine transportable Computerdiskette, eine Festplatte, einen Direktzugriffsspeicher (RAM), einen Nur-Lese-Speicher (ROM), einen löschbaren programmierbaren Nur-Lese-Speicher (EPROM oder Flash-Speicher), einen statischen Direktzugriffsspeicher (SRAM), einen transportablen Nur-Lese-Speicher in Form einer Compact Disc (CD-ROM), eine Digital Versatile Disc (DVD), einen Speicherstick, eine Diskette, eine mechanisch codierte Einheit wie z.B. Lochkarten oder erhöhte Strukturen in einer Rille mit darauf aufgezeichneten Anweisungen oder beliebige geeignete Kombinationen des Vorstehenden. Ein durch einen Computer lesbares Speichermedium im hierin verwendeten Sinne ist nicht so auszulegen, dass es sich dabei um flüchtige Signale an sich handelt, beispielsweise um Funkwellen oder sich frei ausbreitende elektromagnetische Wellen, um elektromagnetische Wellen, die sich durch einen Hohlleiter oder andere Übertragungsmedien ausbreiten (z.B. ein Lichtwellenleiterkabel durchlaufende Lichtimpulse) oder um elektrische Signale, die über ein Kabel übertragen werden.
Hierin beschriebene durch einen Computer lesbare Programmanweisungen können über ein Netzwerk, zum Beispiel das Internet, ein lokales Netzwerk ein Weitverkehrsnetzwerk und/oder ein kabelloses Netzwerk von einem durch einen Computer lesbaren Speichermedium auf betreffende Datenverarbeitungs-/Verarbeitungseinheiten oder auf einen externen Computer oder eine externe Speichereinheit heruntergeladen werden. Das Netzwerk kann Kupferübertragungskabel, Lichtwellenübertragungsleiter, kabellose Übertragung, Router, Firewalls, Switches, Gateway-Computer und/oder Edge-Server aufweisen. Eine Netzwerkadapterkarte oder eine Netzwerkschnittstelle in der Datenverarbeitungs-/Verarbeitungseinheit empfängt durch einen Computer lesbare Programmanweisungen aus dem Netzwerk und leitet die durch einen Computer lesbaren Programmanweisungen zur Speicherung in einem durch einen Computer lesbaren Speichermedium innerhalb der jeweiligen Datenverarbeitungs-/Verarbeitungseinheit weiter.
Bei durch einen Computer lesbaren Programmanweisungen zum Ausführen von Operationen der vorliegenden Erfindung kann es sich um Assembler-Anweisungen, ISA-Anweisungen (ISA = Instruction-Set-Architecture), Maschinenanweisungen, maschinenabhängige Anweisungen, Mikrocode, Firmware-Anweisungen, zustandssetzende Daten oder entweder Quellcode oder Objektcode handeln, die in einer beliebigen Kombination aus einer oder mehreren Programmiersprachen geschrieben sind, unter anderem objektorientierte Programmiersprachen wie z.B. Smalltalk, C++ oder dergleichen sowie prozedurale Programmiersprachen wie z.B. die Programmiersprache „C“ oder ähnliche Programmiersprachen. Die durch einen Computer lesbaren Programmanweisungen können vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Softwarepaket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernt angeordneten Computer oder vollständig auf dem entfernt angeordneten Computer oder Server ausgeführt werden. Bei dem letztgenannten Szenario kann der entfernt angeordnete Computer mit dem Computer des Benutzers über eine beliebige Art von Netzwerk verbunden sein, unter anderem über ein lokales Netzwerk (Local Area Network, LAN) oder über ein Weitverkehrsnetzwerk (Wide Area Network, WAN), oder die Verbindung kann zu einem externen Computer hergestellt werden (beispielsweise über das Internet unter Nutzung eines Internetdienstanbieters (Internet Service Provider)). Bei einigen Ausführungsformen können elektronische Schaltungen, zu denen beispielsweise programmierbare Logikschaltungen, vor Ort programmierbare Gatteranordnungen (Field-Programmable Gate Arrays, FPGA) oder programmierbare Logik-Arrays (PLA) gehören, die durch einen Computer lesbaren Programmanweisungen ausführen, indem Zustandsinformationen der durch einen Computer lesbaren Programmanweisungen genutzt werden, um die elektronische Schaltung zu personalisieren, sodass Aspekte der vorliegenden Erfindung durchgeführt werden.
Aspekte der vorliegenden Erfindung sind hierin unter Bezugnahme auf Flussdiagrammdarstellungen und/oder Blockschemata von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Erfindung beschrieben. Es wird klar sein, dass jeder Block der Flussdiagramme und/oder der Blockschemata und Kombinationen von Blöcken in den Flussdiagrammen und/oder Blockschemata mit Hilfe von durch einen Computer lesbaren Programmanweisungen realisiert werden kann bzw. können.
Diese durch einen Computer lesbaren Programmanweisungen können einem Prozessor eines Universalcomputers, eines Spezialcomputers oder anderer programmierbaren Datenverarbeitungsvorrichtungen bereitgestellt werden, um eine Maschine zu erzeugen, sodass die Anweisungen, die über den Prozessor des Computers oder anderer programmierbarer Datenverarbeitungsvorrichtungen ausgeführt werden, Mittel schaffen, um die in einem Block bzw. in den Blöcken des Flussdiagramms bzw. der Flussdiagramme und/oder des Blockschemas bzw. der Blockschemata angegebenen Funktionen/Aktionen zu realisieren. Diese durch einen Computer lesbaren Programmanweisungen können ebenfalls in einem durch einen Computer lesbaren Medium gespeichert sein, das einen Computer, andere programmierbare Datenverarbeitungsvorrichtungen oder andere Einheiten anweisen kann, in einer bestimmten Weise zu funktionieren, sodass das durch einen Computer lesbare Medium mit darauf gespeicherten Anweisungen ein Erzeugnis aufweist, das Anweisungen enthält, die die in einem Block bzw. in den Blöcken der Flussdiagramme und/oder der Blockschemata angegebene Funktion/Aktion realisieren.
Die durch einen Computer lesbaren Programmanweisungen können auch in einen Computer, in andere programmierbare Datenverarbeitungsvorrichtungen oder in andere Einheiten geladen werden, um zu bewirken, dass auf dem Computer, auf anderen programmierbaren Vorrichtungen oder anderen Einheiten eine Reihe von Operationen ausgeführt wird, um einen mittels Computer realisierten Prozess zu schaffen, sodass die Anweisungen, die auf dem Computer, auf anderen programmierbaren Vorrichtungen oder Einheiten ausgeführt werden, die in einem Block bzw. in den Blöcken der Flussdiagramme und/oder der Blockschemata angegebenen Funktionen/Aktionen realisieren.
Die Flussdiagramme und Blockschemata in den Figuren veranschaulichen die Architektur, Funktionalität und Wirkungsweise möglicher Realisierungsformen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung. In diesem Zusammenhang kann jeder Block in den Flussdiagrammen bzw. in den Blockschemata ein Modul, ein Segment oder einen Abschnitt von Anweisungen darstellen, das bzw. der eine oder mehrere ausführbare Anweisungen zum Realisieren der angegebenen Logikfunktion bzw. Logikfunktionen aufweist. Bei einigen alternativen Realisierungsformen können die in dem Block angegebenen Funktionen in einer anderen als in der Reihenfolge ausgeführt werden, die in den Figuren angegeben ist. Zum Beispiel können zwei hintereinander aufgeführte Blöcke tatsächlich im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können je nach der mit den Blöcken verbundenen Funktionalität manchmal in umgekehrter Reihenfolge ausgeführt werden. Darüber hinaus ist anzumerken, dass jeder Block der Blockschemata und/oder Flussdiagrammdarstellungen sowie Kombinationen von Blöcken in den Blockschemata und/oder Flussdiagrammdarstellungen mit Hilfe zweckgebundener hardwaregestützter Systeme zum Ausführen der angegebenen Funktionen bzw. Aktionen oder mit Hilfe von Kombinationen aus zweckgebundener Hardware und zweckgebundenen Computeranweisungen realisiert werden kann bzw. können.
Die Beschreibungen der verschiedenen Ausführungsformen der vorliegenden Erfindung sollen der Veranschaulichung dienen, sind jedoch nicht als erschöpfend oder auf die offenbarten Ausführungsformen beschränkt gedacht. Für Fachleute sind viele Modifikationen und Variationen denkbar, ohne dass diese eine Abweichung vom Schutzumfang der Erfindung darstellen würden. Die hierin verwendete Terminologie wurde gewählt, um die Grundgedanken der Ausführungsform, die praktische Anwendung bzw. die technische Verbesserung gegenüber den auf dem Markt vorgefundenen Technologien auf bestmögliche Weise zu erläutern bzw. anderen mit entsprechenden Fachkenntnissen das Verständnis der hierin offenbarten Ausführungsformen zu ermöglichen.

Claims

Mittels Computer realisiertes Verfahren zum Bereitstellen von Vorhersage und Optimierung eines kontradiktorischen Maschinenlernmodells, wobei das Computerverfahren umfasst: Empfangen eines Satzes von Eingabedaten, die mit einem Trainingsmodell in Zusammenhang stehen, wobei die Eingabedaten einen Trainingsdatensatz, einen Testdatensatz, eine aufgabendefinierten Aufwandsfunktion, mögliche Aktionsbereiche, Gewichtungen historischer Datensätze und von Vortrainingsmodellen aufweisen; Ermitteln eines optimalen Testaktionswerts aus dem Testdatensatz auf der Grundlage einer Bedrohungsannahme und der möglichen Aktionsbereiche; Ermitteln eines optimalen Trainingsaktionswerts aus dem Trainingsdatensatz auf der Grundlage von Ausgabemerkmalen des Trainingsdatensatzes und der möglichen Aktionsbereiche; Berechnen einer ersten Distanz zwischen dem optimalen Testaktionswert und dem optimalen Trainingsaktionswert; Berechnen einer Vorhersageverlustfunktion auf der Grundlage des historischen Datensatzes; Berechnen einer zweiten Distanz zwischen den möglichen Aktionsbereichen und dem optimalen Trainingsaktionswert; Berechnen der aufgabendefinierten Aufwandsfunktion auf der Grundlage der möglichen Aktionsbereiche und der Ausgabevorhersage aus dem Testdatensatz; Berechnen eines Gesamtverlusts auf der Grundlage der ersten Distanz, der Vorhersageverlustfunktion, der zweiten Distanz und der aufgabendefinierten Aufwandsfunktion; Berechnen eines Gradienten der Gesamtverlustfunktion; ein Durchführen einer Rückausbreitung an einem oder mehreren Parametern, die in Zusammenhang mit dem Trainingsmodell stehen; Ermitteln, ob Konvergenz eingetreten ist; und als Reaktion darauf, dass Konvergenz eingetreten ist, Ausgeben der optimalen Aktionen, des optimalen gelernten Modellparameters und der optimalen aufgabendefinierten Zielsetzungsfunktion.
Mittels Computer realisiertes Verfahren nach Anspruch 1, wobei: der Trainingsdatensatz ein oder mehrere Eingabemerkmale, ein oder mehrere Ausgabemerkmale und einen oder mehrere Aktionswerte aufweist.
Mittels Computer realisiertes Verfahren nach Anspruch 1, wobei das Ermitteln eines optimalen Testaktionswerts ferner umfasst: Durchführen einer Vorwärtsschlussfolgerung für jeden der Aktionsbereiche in Anbetracht des Eingabetestsatzes, um eine Sammlung von Vorhersagen abzuleiten.
Mittels Computer realisiertes Verfahren nach Anspruch 1, wobei das Ermitteln eines optimalen Testaktionswerts ferner umfasst: Auflösen nach den optimalen Aktionen auf der Grundlage der aufgabendefinierten Optimierungsfunktion, der verschiedenen historischen Aktionen und der historischen Eingabewerte.
Mittels Computer realisiertes Verfahren nach Anspruch 1, wobei das Berechnen der ersten Distanz unter Verwendung einer Differenz zwischen dem optimalen Testaktionswert und dem optimalen Trainingsaktionswert erfolgt.
Mittels Computer realisiertes Verfahren nach Anspruch 1, wobei das Berechnen der ersten Distanz auf einer Wasserstein-Distanz zwischen dem optimalen Testaktionswert und dem optimalen Trainingsaktionswert beruht.
Mittels Computer realisiertes Verfahren nach Anspruch 1, wobei das Berechnen der zweiten Distanz unter Verwendung eines Absolutwerts der Differenz zwischen dem optimalen Testaktionswert und dem optimalen Trainingsaktionswert erfolgt.
Mittels Computer realisiertes Verfahren nach Anspruch 1, wobei das Berechnen der zweiten Distanz auf einer Wasserstein-Distanz zwischen dem optimalen Testaktionswert und dem optimalen Trainingsaktionswert beruht.
Mittels Computer realisiertes Verfahren nach Anspruch 1, wobei das Berechnen des Gesamtverlusts unter Nutzung von Gewichtungen erfolgt, die der durch ${1 / | \tilde{z} - z_{t r a i n}^{*} |}^{α}$
definierten Vorhersageverlustfunktion entsprechen.
Mittels Computer realisiertes Verfahren nach Anspruch 1, wobei das Berechnen des Gesamtverlusts unter Nutzung von Gewichtungen erfolgt, die der aufgabendefinierten Aufwandsfunktion entsprechen, die durch ${1 / | z_{t e s t}^{*} - z_{t r a i n}^{*} |}^{β}$
definiert ist.
Mittels Computer realisiertes Verfahren nach Anspruch 1, wobei das Ermitteln, ob Konvergenz eingetreten ist, ferner aus der Verwendung des Inkrementierens eines Zählers, um eine Anzahl von Iterationen zu zählen, und dem Vergleichen eines Werts aus dem Inkrementieren des Zählers mit einem Beendigungsschwellenwert besteht.
Computerprogrammprodukt zum Bereitstellen von Vorhersage und Optimierung eines kontradiktorischen Maschinenlernmodells, wobei das Computerprogrammprodukt aufweist: ein oder mehrere durch einen Computer lesbare Speichermedien und auf dem einen oder den mehreren durch einen Computer lesbaren Speichermedien gespeicherte Programmanweisungen, wobei die Programmanweisungen aufweisen: Programmanweisungen zum Empfangen eines Satzes von Eingabedaten, die mit einem Trainingsmodell in Zusammenhang stehen, wobei die Eingabedaten einen Trainingsdatensatz, einen Testdatensatz, eine aufgabendefinierte Aufwandsfunktion, mögliche Aktionsbereiche, Gewichtungen historischer Datensätze und von Vortrainingsmodellen aufweisen; Programmanweisungen zum Ermitteln eines optimalen Testaktionswerts aus dem Testdatensatz auf der Grundlage einer Bedrohungsannahme und der möglichen Aktionsbereiche; Programmanweisungen zum Ermitteln eines optimalen Trainingsaktionswerts aus dem Trainingsdatensatz auf der Grundlage von Ausgabemerkmalen des Trainingsdatensatzes und der möglichen Aktionsbereiche; Programmanweisungen zum Berechnen einer ersten Distanz zwischen dem optimalen Testaktionswert und dem optimalen Trainingsaktionswert; Programmanweisungen zum Berechnen einer Vorhersageverlustfunktion auf der Grundlage des historischen Datensatzes; Programmanweisungen zum Berechnen einer zweiten Distanz zwischen den möglichen Aktionsbereichen und dem optimalen Trainingsaktionswert; Programmanweisungen zum Berechnen der aufgabendefinierten Aufwandsfunktion auf der Grundlage der möglichen Aktionsbereiche und der Ausgabevorhersage aus dem Testdatensatz; Programmanweisungen zum Berechnen eines Gesamtverlusts auf der Grundlage der ersten Distanz, der Vorhersageverlustfunktion, der zweiten Distanz und der aufgabendefinierten Aufwandsfunktion; Programmanweisungen zum Berechnen eines Gradienten der Gesamtverlustfunktion; Programmanweisungen zum Durchführen einer Rückausbreitung an einem oder mehreren Parametern, die in Zusammenhang mit dem Trainingsmodell stehen; Programmanweisungen, um zu ermitteln, ob Konvergenz eingetreten ist; und als Reaktion darauf, dass Konvergenz eingetreten ist, Programmanweisungen zum Ausgeben der optimalen Aktionen, des optimalen gelernten Modellparameters und der optimalen aufgabendefinierten Zielsetzungsfunktion.
Computerprogrammprodukt nach Anspruch 12, wobei: der Trainingsdatensatz ein oder mehrere Eingabemerkmale, ein oder mehrere Ausgabemerkmale und einen oder mehrere Aktionswerte aufweist.
Computerprogrammprodukt nach Anspruch 12, wobei Programmanweisungen zum Ermitteln eines optimalen Testaktionswerts ferner aufweisen: Programmanweisungen zum Durchführen einer Vorwärtsschlussfolgerung für jeden der Aktionsbereiche in Anbetracht des Eingabetestsatzes, um eine Sammlung von Vorhersagen abzuleiten.
Computerprogrammprodukt nach Anspruch 12, wobei die Programmanweisungen zum Berechnen der ersten Distanz auf einer Wasserstein-Distanz zwischen dem optimalen Testaktionswert und dem optimalen Trainingsaktionswert beruhen.
Computerprogrammprodukt nach Anspruch 12, wobei die Programmanweisungen zum Berechnen der zweiten Distanz auf einer Wasserstein-Distanz zwischen dem optimalen Testaktionswert und dem optimalen Trainingsaktionswert beruhen.
Computerprogrammsystem zum Bereitstellen von Vorhersage und Optimierung eines kontradiktorischen Maschinenlernmodells, wobei das Computersystem aufweist: einen oder mehrere Computerprozessoren; ein oder mehrere durch einen Computer lesbare Speichermedien; und Programmanweisungen, die auf dem einen oder den mehreren durch einen Computer lesbaren Speichermedien zur Ausführung durch mindestens einen des einen oder der mehreren Computerprozessoren gespeichert sind, wobei die Programmanweisungen aufweisen: Programmanweisungen zum Empfangen eines Satzes von Eingabedaten, die mit einem Trainingsmodell in Zusammenhang stehen, wobei die Eingabedaten einen Trainingsdatensatz, einen Testdatensatz, eine aufgabendefinierte Aufwandsfunktion, mögliche Aktionsbereiche, Gewichtungen historischer Datensätze und von Vortrainingsmodellen aufweisen; Programmanweisungen zum Ermitteln eines optimalen Testaktionswerts aus dem Testdatensatz auf der Grundlage einer Bedrohungsannahme und der möglichen Aktionsbereiche; Programmanweisungen zum Ermitteln eines optimalen Trainingsaktionswerts aus dem Trainingsdatensatz auf der Grundlage von Ausgabemerkmalen des Trainingsdatensatzes und der möglichen Aktionsbereiche; Programmanweisungen zum Berechnen einer ersten Distanz zwischen dem optimalen Testaktionswert und dem optimalen Trainingsaktionswert; Programmanweisungen zum Berechnen einer Vorhersageverlustfunktion auf der Grundlage des historischen Datensatzes; Programmanweisungen zum Berechnen einer zweiten Distanz zwischen den möglichen Aktionsbereichen und dem optimalen Trainingsaktionswert; Programmanweisungen zum Berechnen der aufgabendefinierten Aufwandsfunktion auf der Grundlage der möglichen Aktionsbereiche und der Ausgabevorhersage aus dem Testdatensatz; Programmanweisungen zum Berechnen eines Gesamtverlusts auf der Grundlage der ersten Distanz, der Vorhersageverlustfunktion, der zweiten Distanz und der aufgabendefinierten Aufwandsfunktion; Programmanweisungen zum Berechnen eines Gradienten der Gesamtverlustfunktion; Programmanweisungen zum Durchführen einer Rückausbreitung an einem oder mehreren Parametern, die in Zusammenhang mit dem Trainingsmodell stehen; Programmanweisungen, um zu ermitteln, ob Konvergenz eingetreten ist; und als Reaktion darauf, dass Konvergenz eingetreten ist, Programmanweisungen zum Ausgeben der optimalen Aktionen, des optimalen gelernten Modellparameters und der optimalen aufgabendefinierten Zielsetzungsfunktion.
Computersystem nach Anspruch 17, wobei Programmanweisungen zum Ermitteln eines optimalen Testaktionswerts ferner aufweisen: Programmanweisungen zum Durchführen einer Vorwärtsschlussfolgerung für jeden der Aktionsbereiche in Anbetracht des Eingabetestsatzes, um eine Sammlung von Vorhersagen abzuleiten.
Computersystem nach Anspruch 17, wobei die Programmanweisungen zum Berechnen der ersten Distanz auf einer Wasserstein-Distanz zwischen dem optimalen Testaktionswert und dem optimalen Trainingsaktionswert beruhen.
Computersystem nach Anspruch 17, wobei die Programmanweisungen zum Berechnen der zweiten Distanz auf einer Wasserstein-Distanz zwischen dem optimalen Testaktionswert und dem optimalen Trainingsaktionswert beruhen.