DE102020214860A1

DE102020214860A1 - System und verfahren zum erkennen eines böswilligen angriffs

Info

Publication number: DE102020214860A1
Application number: DE102020214860.0A
Authority: DE
Inventors: Filipe Cabrita Condessa
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-12-16
Filing date: 2020-11-26
Publication date: 2021-06-17
Also published as: CN112989328A; JP2021096854A; US11657153B2; US20210182394A1

Abstract

Ein computerimplementiertes Verfahren betrifft das Trainieren eines Maschinenlernsystems zum Erkennen eines böswilligen Angriffs. Das Verfahren beinhaltet das Klassifizieren einer ersten Sequenz als zu einer ersten Klasse gehörend, die indikativ für eine nominale Sequenz ist, basierend auf einer ersten Vorhersage, dass die erste Sequenz eine ungestörte Version von Sensordaten enthält. Das Verfahren beinhaltet außerdem das Klassifizieren einer zweiten Sequenz als zu einer zweiten Klasse gehörend, die indikativ für eine böswillige Sequenz ist, basierend auf einer zweiten Vorhersage, dass die zweite Sequenz eine gestörte Version der Sensordaten enthält. Kombinierte Verlustdaten werden für eine Sammlung von Sequenzen erzeugt und basieren auf einem ersten durchschnittlichen Verlust in Bezug auf falsche Klassifizierungen der ersten Klasse und einem zweiten durchschnittlichen Verlust in Bezug auf falsche Klassifizierungen der zweiten Klasse. Parameter des Maschinenlernsystems werden basierend auf den kombinierten Verlustdaten aktualisiert. Einmal trainiert, ist das Maschinenlernsystem in der Lage, eine erste Kennzeichnung zu erzeugen, um anzuzeigen, dass eine Eingangssequenz als zur ersten Klasse gehörend klassifiziert ist, und eine zweite Kennzeichnung zu erzeugen, um anzuzeigen, dass die Eingangssequenz als zur zweiten Klasse gehörend klassifiziert ist, wodurch ein Steuersystem in die Lage versetzt wird, in einer nominalen Weise basierend auf der ersten Klasse und in einer defensiven Weise basierend auf der zweiten Klasse zu arbeiten.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft allgemein Maschinenlernsysteme und insbesondere die Erkennung einer Sequenz von böswilligen Daten.
HINTERGRUND
Im Allgemeinen sind Maschinenlernsysteme, insbesondere tiefe neuronale Netze, anfällig für böswillige Angriffe. Diese bösartigen Angriffe können Black-Box-Angriffe, die sich auf Angriffe beziehen, die auf der Kenntnis des erwarteten Ausgangs des Maschinenlernsystems basieren, und/oder White-Box-Angriffe, die sich auf Angriffe beziehen, die auf der Kenntnis der internen Funktionsweise des Maschinenlernsystems basieren, beinhalten. Als Beispiel kann ein Maschinenlemsystem über seinen Eingang angegriffen werden. Solche böswilligen Angriffe finden Störungen an den Eingängen, die Änderungen an den Ausgangsdaten des Maschinenlernsystems verursachen. Diese böswilligen Angriffe werden typischerweise durchgeführt, indem die Störungen an den Eingangsdaten basierend auf Rückkopplungen aktualisiert werden, bis das Maschinenlemsystem Bestimmungen vornimmt, die durch diese Störungen verfälscht sind, so dass falsche Ausgangsdaten (z.B. Fehlklassifizierungen von Eingangsdaten) erzeugt werden, was zu negativen Konsequenzen und Auswirkungen führt.
KURZFASSUNG
Es folgt eine Zusammenfassung bestimmter Ausführungsformen, die im Folgenden ausführlich beschrieben werden. Die beschriebenen Aspekte werden lediglich dargestellt, um dem Leser eine kurze Zusammenfassung dieser bestimmten Ausführungsformen zu liefern, und die Beschreibung dieser Aspekte soll den Schutzumfang der vorliegenden Offenbarung nicht einschränken. Tatsächlich kann die vorliegende Offenbarung mehrere Aspekte umfassen, die im Folgenden nicht explizit aufgeführt werden.
Gemäß wenigstens einem Aspekt bezieht sich ein computerimplementiertes Verfahren auf das Trainieren eines Maschinenlernsystems zum Erkennen eines böswilligen Angriffs. Das Verfahren beinhaltet, eine Sammlung von Sequenzen zu erhalten. Die Sammlung von Sequenzen enthält wenigstens eine erste und eine zweite Sequenz. Das Verfahren beinhaltet das Klassifizieren der ersten Sequenz als zu einer ersten Klasse gehörend, die indikativ für eine nominale Sequenz ist, basierend auf einer ersten Vorhersage, dass die erste Sequenz eine ungestörte Version von Sensordaten enthält. Das Verfahren beinhaltet das Klassifizieren der zweiten Sequenz als zu einer zweiten Klasse gehörend, die indikativ für eine böswillige Sequenz ist, basierend auf einer zweiten Vorhersage, dass die zweite Sequenz eine gestörte Version der Sensordaten enthält. Das Verfahren beinhaltet das Erzeugen kombinierter Verlustdaten basierend auf (i) einem ersten durchschnittlichen Verlust, der falsche Klassifizierungen der ersten Klasse in Bezug auf einen ersten Satz von Sequenzen aus der Sammlung von Sequenzen beinhaltet, wobei jede Sequenz innerhalb des ersten Satzes von Sequenzen die nominale Sequenz ist, und (ii) einem zweiten durchschnittlichen Verlust, der falsche Klassifizierungen der zweiten Klasse in Bezug auf einen zweiten Satz von Sequenzen aus der Sammlung von Sequenzen beinhaltet, wobei jede Sequenz innerhalb des zweiten Satzes von Sequenzen die böswillige Sequenz ist. Das Verfahren beinhaltet das Aktualisieren von Parametern des Maschinenlernsystems basierend auf den kombinierten Verlustdaten.
Gemäß wenigstens einem Aspekt umfasst ein nichttransitorisches, computerlesbares Medium computerlesbare Daten, die, wenn sie von einem Prozessor ausgeführt werden, den Prozessor veranlassen, ein Verfahren auszuführen. Das Verfahren beinhaltet, eine Sammlung von Sequenzen zu erhalten. Die Sammlung von Sequenzen umfasst wenigstens eine erste und eine zweite Sequenz. Das Verfahren beinhaltet das Klassifizieren der ersten Sequenz als zu einer ersten Klasse gehörend, die indikativ für eine nominale Sequenz ist, basierend auf einer ersten Vorhersage, dass die erste Sequenz eine ungestörte Version von Sensordaten enthält. Das Verfahren beinhaltet das Klassifizieren der zweiten Sequenz als zu einer zweiten Klasse gehörend, die indikativ für eine böswillige Sequenz ist, basierend auf einer zweiten Vorhersage, dass die zweite Sequenz eine gestörte Version der Sensordaten enthält. Das Verfahren beinhaltet das Erzeugen kombinierter Verlustdaten basierend auf (i) einem ersten durchschnittlichen Verlust, der falsche Klassifizierungen der ersten Klasse in Bezug auf einen ersten Satz von Sequenzen aus der Sammlung von Sequenzen beinhaltet, wobei jede Sequenz innerhalb des ersten Satzes von Sequenzen die nominale Sequenz ist, und (ii) einem zweiten durchschnittlichen Verlust, der falsche Klassifizierungen der zweiten Klasse in Bezug auf einen zweiten Satz von Sequenzen aus der Sammlung von Sequenzen beinhaltet, wobei jede Sequenz innerhalb des zweiten Satzes von Sequenzen die böswillige Sequenz ist. Das Verfahren beinhaltet das Aktualisieren von Parametern des Maschinenlernsystems basierend auf den kombinierten Verlustdaten.
Gemäß wenigstens einem Aspekt bezieht sich ein computerimplementiertes Verfahren auf die Verteidigung gegen einen böswilligen Angriff. Das Verfahren beinhaltet das Erhalten einer Sequenz von Eingängen in ein erstes Maschinenlemsystem. Das Verfahren beinhaltet das Erzeugen einer Böswilligkeitskennzeichnung, um die Sequenz von Eingängen als böswillig zu klassifizieren, basierend auf einer statistischen Bestimmung, dass die Sequenz von Eingängen eine gestörte Version von mehreren Rahmen von Sensordaten ist. Das Verfahren beinhaltet das Identifizieren einer Sequenz von Ausgangsdaten, die vom ersten Maschinenlernsystem basierend auf der Sequenz von Eingängen erzeugt wird. Das Verfahren beinhaltet das Herausfiltern der Sequenz von Ausgangsdaten basierend auf der Böswilligkeitskennzeichnung, um zu verhindern, dass ein Betätigersystem basierend auf der Sequenz von Ausgangsdaten gesteuert wird.
Diese und andere Merkmale, Aspekte und Vorteile der vorliegenden Erfindung werden in der folgenden ausführlichen Beschreibung in Übereinstimmung mit den beigefügten Zeichnungen erörtert, in denen gleiche Bezugszeichen ähnliche oder gleiche Teile in allen Zeichnungen kennzeichnen.
Figurenliste

1 ist eine Darstellung eines Beispiels eines Systems, das einen Detektor und ein Angriffsabwehrsystem gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung umfasst.
2 ist eine Darstellung eines Beispiels des Systems von 1 in Bezug auf die Technologie mobiler Maschinen gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung.
3A ist eine konzeptionelle Darstellung einiger Komponenten des Systems von 1 in Bezug auf einen Nominalmodus gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung.
3b ist eine konzeptionelle Darstellung einiger Komponenten des Systems von 1 in Bezug auf einen Verteidigungsmodus gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung.
4 ist eine Darstellung eines Beispiels eines Systems, das mit dem Trainieren eines Detektors verknüpft ist, gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung.
5 ist ein Ablaufdiagramm, das mit dem Trainieren eines Detektors verknüpft ist, gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung.
6A ist eine konzeptionelle Darstellung von Beispielen böswilliger Sequenzen, die basierend auf einer nominalen Sequenz erzeugt werden, gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung.
6B ist eine konzeptionelle Darstellung anderer Beispiele böswilliger Sequenzen, die basierend auf einer nominalen Sequenz erzeugt werden, gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung.
7 ist ein Ablaufdiagramm eines Beispiels eines Trainingsprozesses zum Erzeugen des Detektors gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung.

AUSFÜHRLICHE BESCHREIBUNG
Die hier beschriebenen Ausführungsformen, die beispielhaft gezeigt und beschrieben wurden, und viele ihrer Vorteile werden durch die vorstehende Beschreibung verständlich, und es wird deutlich, dass verschiedene Änderungen in der Form, Konstruktion und Anordnung der Komponenten vorgenommen werden können, ohne von dem offenbarten Erfindungsgegenstand abzuweichen oder ohne einen oder mehrere seiner Vorteile zu opfern. Tatsächlich sind die beschriebenen Formen dieser Ausführungsformen lediglich erklärender Natur. Diese Ausführungsformen sind potenziell offen für verschiedene Modifikationen und alternative Formen, und die folgenden Ansprüche sollen solche Änderungen umfassen und einschließen und sich nicht auf die besonderen offenbarten Formen beschränken, sondern vielmehr alle Modifikationen, Äquivalente und Alternativen abdecken, die dem Wesen und Schutzbereich dieser Offenbarung entsprechen.
1 ist eine Darstellung eines Systems 100, das ein Sensorsystem 110, ein Steuersystem 120 und ein Betätigersystem 130 aufweist. Das System 100 ist derart ausgelegt, dass das Steuersystem 120 das Betätigersystem 130 basierend auf Sensordaten vom Sensorsystem 110 steuert. Genauer weist das Sensorsystem 110 einen oder mehrere Sensoren und/oder entsprechende Vorrichtungen zum Erzeugen von Sensordaten auf. Beispielsweise weist das Sensorsystem 110 auf: einen Bildsensor, eine Kamera, einen Radarsensor, einen LIDAR-Sensor (Light Detection and Ranging, Lichtortung und -entfernungsmessung), einen Wärmesensor, einen Ultraschallsensor, einen Infrarotsensor, einen Bewegungssensor, einen satellitengestützten Navigationssensor (z.B. einen GPS -Sensor (Global Positioning System, Globales Positionserkennungssystem)), ein Mikrofon, einen beliebigen geeigneten Sensor oder eine beliebige Kombination davon. Nach dem Erhalten von Erkennungsinformationen zu seiner Umgebung ist das Sensorsystem 110 in der Lage, mit dem Steuerungssystem 120 über ein Ein-/Ausgabe (E/A) -System 140 und/oder andere Funktionsmodule 150, die Kommunikationstechnik aufweisen, zu kommunizieren.
Das Steuersystem 120 ist dafür ausgelegt, die Sensordaten direkt oder indirekt von einem oder mehreren Sensoren des Sensorsystems 110 zu erhalten. In diesem Zusammenhang können die Sensordaten Sensordaten von einem einzelnen Sensor oder Sensorzusammenfiihrungsdaten von mehreren Sensoren umfassen. Bei Empfang eines Eingangs, der wenigstens Sensordaten enthält, kann das Steuersystem 120 einen Software-Mechanismus, etwa ein Gleitfenster, implementieren, um wenigstens eine Sequenz aus einem Sensordatenstrom zu erhalten. Jede Sequenz kann eine beliebige Länge aufweisen und kann eine beliebige Anzahl von Elementen enthalten. In einem Beispiel enthält jede Sequenz Elemente, wobei jedes Element ein Rahmen ist, der wenigstens Sensordaten enthält. Das Steuersystem ist in der Lage, die Sensordaten über ein Verarbeitungssystem 160 zu verarbeiten. Hierzu weist das Verarbeitungssystem 160 wenigstens einen Prozessor auf. Beispielsweise weist das Verarbeitungssystem 160 auf: einen elektronischen Prozessor, eine Zentraleinheit (CPU, Central Processing Unit), eine Grafikverarbeitungseinheit (GPU, Graphics Processing Unit), einen Mikroprozessor, eine feldprogrammierbare Gatteranordnung (FPGA, Field-Programmable Gate Array), eine anwendungsspezifische integrierte Schaltung (ASIC, Application-Specific Integrated Circuit), Verarbeitungsschaltungen, beliebige geeignete Verarbeitungstechnologie oder eine beliebige Kombination davon. Nach Verarbeitung wenigstens dieser Sensordaten ist das Verarbeitungssystem 160 in der Lage, Ausgangsdaten basierend auf der Kommunikation mit dem Speichersystem 170 zu erzeugen. Darüber hinaus ist das Verarbeitungssystem 160 in der Lage, dem Betätigersystem 130 Steuerdaten basierend auf den Ausgangsdaten bereitzustellen.
Bei dem Speichersystem 170 handelt es sich um ein Computer- oder ein elektronisches Speichersystem, das dafür ausgelegt ist, verschiedene Daten zu speichern und den Zugriff darauf zu ermöglichen, um wenigstens die Operationen und Funktionen zu ermöglichen, die in der vorliegenden Patentschrift offenbart sind. Das Speichersystem 170 umfasst eine einzelne Vorrichtung oder mehrere Vorrichtungen. Das Speichersystem 170 beinhaltet elektrische, elektronische, magnetische, optische, halbleitende, elektromagnetische, beliebige geeignete Speichertechnologie oder eine beliebige Kombination davon. Zum Beispiel kann das Speichersystem 170 einen Direktzugriffsspeicher (RAM, Random Access Memory), einen Festwertspeicher (ROM, Read Only Memory), einen Flash-Speicher, ein Plattenlaufwerk, eine Speicherkarte, eine optische Speichervorrichtung, eine magnetische Speichervorrichtung, ein Speichermodul, eine beliebige geeignete Art von Speichervorrichtung oder eine beliebige Kombination davon beinhalten. In einer beispielhaften Ausführungsform ist das Speichersystem 170 in Bezug auf das Steuersystem 120 und/oder das Verarbeitungssystem 150 lokal, entfernt oder eine Kombination davon (beispielsweise teilweise lokal und teilweise entfernt). Beispielsweise ist das Speichersystem 170 dafür auslegbar, wenigstens ein Cloud-basiertes Speichersystem (z.B. ein Cloud-basiertes Datenbanksystem) aufzuweisen, das vom Verarbeitungssystem 160 und/oder anderen Komponenten des Steuersystems 120 entfernt ist.
Das Speichersystem 170 weist wenigstens einen Klassifikator 200 auf. Der Klassifikator 200 weist ein Maschinenlemsystem 200A auf. Das Maschinenlemsystem 200A weist wenigstens ein künstliches neuronales Netz (z.B. ein tiefes neuronales Netz) oder eine geeignete Technologie des maschinellen Lernens auf. Der Einfachheit halber wird dieses Maschinenlemsystem 200A in der vorliegenden Offenbarung gelegentlich als das „erste Maschinenlernsystem“ bezeichnet. In Reaktion auf einen Eingang ist das Verarbeitungssystem 160, über das Maschinenlemsystem 200A, in der Lage, Ausgangsdaten basierend auf dem Eingang zu erzeugen. Beispielsweise ist bei Empfang von wenigstens Sensordaten vom Sensorsystem 110 das Verarbeitungssystem 160 durch Anwendung des Maschinenlemsystems 200A in der Lage, eine Klasse für eine Entität der Sensordaten vorherzusagen und Klassendaten als Ausgangsdaten bereitzustellen. Als ein nicht einschränkendes Beispiel ist etwa das Verarbeitungssystem 160, über das Maschinenlemsystem 200A, dafür ausgelegt, eine „Fußgänger“-Klasse aus mehreren Klassen (z.B. Verkehrsschild, Ampel, Tier, Fahrzeug usw.) zuzuweisen, wenn bestimmt wird, dass eine erfasste Entität der Sensordaten höchstwahrscheinlich zur Fußgängerklasse gehört. Nach Erzeugen dieser Ausgangsdaten (z.B. Klassendaten, die einen Fußgänger anzeigen) über das Maschinenlemsystem 200A ist das Verarbeitungssystem 160 in der Lage, Steuerdaten für das Betätigersystem 130 zu erzeugen, basierend auf wenigstens diesen Ausgangsdaten (z.B. „Fußgänger“), so dass das Betätigersystem 130 derart gesteuert wird, dass es eine Aktion ausführt, die die Erkennungsinformationen des Sensorsystems 110 berücksichtigt.
Das Speichersystem 170 weist außerdem einen Detektor 210 auf. Der Detektor 210 ist vorteilhafterweise dafür ausgelegt, zwischen nominalen Sequenzen und böswilligen Sequenzen zu unterscheiden. Genauer weist der Detektor 210 wenigstens ein Maschinenlemsystem 210A auf. Der Einfachheit halber wird dieses Maschinenlemsystem 210A gelegentlich als „zweites Maschinenlernsystem“ bezeichnet, um es vom Maschinenlemsystem 200A zu unterscheiden, das als „erstes Maschinenlernsystem“ bezeichnet sein kann. Genauer weist der Detektor 210 wenigstens ein neuronales Netz und/oder eine tiefe neuronale Netzarchitektur, die auf zeitliche Sequenzen zugeschnitten ist, auf. Beispielsweise weist der Detektor 210 wenigstens auf: ein rekursives neuronales Netz (RNN), ein LSTM- (Long Short-Term Memory, langes Kurzzeitgedächtnis) -Netz, eine getastete rekursive Einheit (GRU, Gated Recursive Unit), andere geeignete Maschinenlerntechnologie oder eine beliebige Kombination davon.
Der Detektor 210 ist, über das Verarbeitungssystem 160, dafür ausgelegt, dieselben Eingänge zu erhalten, die vom Klassifikator 200 direkt empfangen und verarbeitet werden. Genauer erhält das Maschinenlemsystem 210A des Detektors 210, über das Verarbeitungssystem 160, eine Sequenz von Eingängen zur gleichen Zeit oder in einem ähnlichen Zeitrahmen wie das Maschinenlemsystem 200 des Klassifikators 200. Der Detektor 210 kann wenigstens teilweise in das Maschinenlemsystem 200A integriert und/oder wenigstens teilweise vom Maschinenlemsystem 200A getrennt sein. Bei Empfang einer Sequenz von Eingängen ist das Verarbeitungssystem 160, über den Detektor 210, dafür ausgelegt, eine Nominalkennzeichnung zu erzeugen, die indikativ für eine Erkennung einer „nominalen Sequenz“ ist, wenn statistisch bestimmt wird, dass die Sequenz von Eingängen eine Sequenz von nominalen Daten enthält, und eine Böswilligkeitskennzeichnung zu erzeugen, die indikativ für eine Erkennung einer „böswilligen Sequenz“ ist, wenn statistisch bestimmt wird, dass die Sequenz von Eingängen eine Sequenz von böswilligen Daten oder eine Sequenz von nicht-nominalen Daten enthält. Der Detektor 210 ist dafür ausgelegt, durch Auswerten von Sequenzen das Nichtvorhandensein oder Vorhandensein eines böswilligen Angriffs auf das Maschinenlemsystem 200A zu bestimmen, da böswillige Angriffe oft iterative Versuche zur Störung der Eingänge beinhalten, um einen Ausfall des Maschinenlernsystems 200A zu verursachen.
Das Speichersystem 170 weist auch ein Angriffsabwehrsystem 220 auf. Das Angriffsabwehrsystem 220 weist wenigstens Software-Technologie auf. Zusätzlich oder alternativ kann das Angriffsabwehrsystem 220 auch Hardware-Technologie aufweisen. Das Angriffsabwehrsystem 220 ist dafür ausgelegt, wenigstens teilweise vom Detektor 210 getrennt oder mit diesem integriert zu sein. Das Angriffsabwehrsystem 220 ist, über das Verarbeitungssystem 160, dafür ausgelegt, Ausgangsdaten vom Maschinenlemsystem 200A und entsprechende Klassifizierungsdaten vom Detektor 210 zu empfangen. Genauer erhält das Angriffsabwehrsystem 220 die Sequenz von Ausgangsdaten vom Maschinenlemsystem 200A, die basierend auf der gleichen Sequenz von Eingängen erzeugt werden, die die Klassifizierungsdaten klassifizieren. In dieser Hinsicht ist das Verarbeitungssystem 160 dafür ausgelegt, die Sequenz von Ausgangsdaten vom Maschinenlemsystem 200A, die den Klassifizierungsdaten für die Sequenz von Eingängen in das Maschinenlemsystem 200A entspricht, wenigstens über Zeitstempeldaten oder beliebige geeignete Korrelationsdaten zu identifizieren.
Das Angriffsabwehrsystem 220 ist, über das Verarbeitungssystem 160, vorteilhafterweise dafür ausgelegt sicherzustellen, dass wenigstens ein anderes System (z.B. Betätigersystem 130) davor geschützt ist, direkt oder indirekt eine Sequenz von Ausgangsdaten vom Maschinenlemsystem 200A zu empfangen, die basierend auf einer Sequenz von Eingängen erzeugt wurde, die vom Detektor 210 als böswillige Sequenz eingestuft wird. Genauer ist, nach Empfang einer Böswilligkeitskennzeichnung vom Detektor 210, das Angriffsabwehrsystem 220, über das Verarbeitungssystem 160, dafür ausgelegt, Verteidigungsmaßnahmen in Bezug auf die identifizierte Sequenz von Ausgangsdaten vom Maschinenlemsystem 200A, die der böswilligen Sequenz entspricht, zu ergreifen. Beispielsweise ist das Angriffsabwehrsystem 220 dafür ausgelegt, die Ausgangsdaten zu verzögern, die Ausgangsdaten durch vorgegebene Ausgangsdaten (z.B. Standard-Ausgangsdaten, einen Alarm usw.) zu ersetzen, die Ausgangsdaten zurückzuweisen, die Ausgangsdaten herauszufiltern, die Ausgangsdaten zu verwerfen und/oder eine beliebige geeignete Maßnahme zu ergreifen, die verhindert, dass das System 100 auf die Sequenz von Ausgangsdaten, die basierend auf der erkannten Sequenz von böswilligen Daten erzeugt wird, agiert. Dementsprechend ist das Angriffsabwehrsystem 220, wenn es mit dem Detektor 210 und dem Verarbeitungssystem 160 zusammenarbeitet, dafür ausgelegt sicherzustellen, dass das System 100 mit einem vorgegebenen Genauigkeitsgrad arbeitet, indem sichergestellt wird, dass das System 100 nur auf eine Sequenz von Ausgangsdaten hin agiert, die basierend auf einer Sequenz von Eingängen erzeugt wird, die als nominal eingeschätzt werden.
Weiterhin weist das System 100, wie in 1 dargestellt, weitere Komponenten auf, die zum Betrieb des Steuersystems 120 in Bezug auf das Sensorsystem 110 und das Betätigersystem 130 beitragen. Beispielsweise ist, wie in 1 dargestellt, das Speichersystem 170 auch dafür ausgelegt, andere relevante Daten 230 zu speichern, die sich auf den Betrieb des Systems 100 in Bezug auf eine oder mehrere Komponenten (z.B. das Sensorsystem 110, das Betätigersystem 130, das Maschinenlemsystem 200A, den Detektor 210 und das Angriffsabwehrsystem 220) beziehen. Außerdem weist das Steuersystem 120, wie in 1 dargestellt, das E/A-System 140 auf, das eine oder mehrere Schnittstellen für eine oder mehrere E/A-Vorrichtungen, die zum System 100 gehören, aufweist. Beispielsweise stellt das E/A-System 140 wenigstens eine Schnittstelle zum Sensorsystem 110 und wenigstens eine Schnittstelle zum Betätigersystem 130 bereit. Darüber hinaus ist das Steuersystem 120 dafür ausgelegt, weitere Funktionsmodule 150, wie etwa beliebige geeignete Hardware, Software oder eine beliebige Kombination davon, die das Funktionieren des Systems 100 unterstützen und/oder dazu beitragen, bereitzustellen. Beispielsweise beinhalten die anderen Funktionsmodule 150 ein Betriebssystem und eine Kommunikationstechnologie, die es den Komponenten des Systems 100 ermöglicht, wie hier beschrieben miteinander zu kommunizieren. Mit wenigstens der im Beispiel von 1 erörterten Konfiguration kann das System 100 in verschiedenen Technologien zur Anwendung kommen.
2 ist eine Darstellung eines Beispiels des Systems 100 in Bezug auf die Technologie mobiler Maschinen gemäß einer beispielhaften Ausführungsform. Genauer wird in 2 das System 100 von einem Fahrzeug 10 eingesetzt, wobei das Steuersystem 120 wenigstens ein Betätigersystem 130 des Fahrzeugs 10 gemäß Sensordaten des Sensorsystems 110 steuert. Außerdem weist in 2 das Steuersystem 120 ein Hinderniserkennungssystem auf. In diesem Beispiel ist das Steuersystem 120 dafür ausgelegt, eine Entität basierend auf den Sensordaten zu erkennen und Randdaten (z.B. Umriss, Kontur oder Rahmen) zu erzeugen, die der Erkennung der Entität in Bezug auf die Sensordaten entsprechen. Genauer ist, bei Empfang wenigstens der Sensordaten und/oder der Randdaten der anhand der Sensordaten erkannten Entität, das Verarbeitungssystem 160, über den Klassifikator 200 mit dessen Maschinenlernsystem 200A, dafür ausgelegt, eine Identität der Entität vorherzusagen und basierend auf dieser Vorhersage Ausgangsdaten bereitzustellen. Als nicht einschränkendes Beispiel, beispielsweise bei Empfang von Sensordaten und/oder Randdaten, die wenigstens eine anhand dieser Sensordaten erkannte Entität anzeigen, ist das Verarbeitungssystem 160, über das Maschinenlemsystem 200A, dafür ausgelegt, die erkannte Entität als zur Fußgängerklasse unter mehreren Klassen (z.B. Ampel, Verkehrsschild, Fahrzeug, Tier, Straßenstruktur usw.) von Hindernissen gehörend zu klassifizieren. Darüber hinaus ist das Verarbeitungssystem 160, über das Maschinenlemsystem 200A, dafür ausgelegt, Klassendaten zu erzeugen, um anzuzeigen, dass es sich bei der erkannten Entität um einen „Fußgänger“ handelt. Außerdem ist in diesem nicht einschränkenden Beispiel, beim Erzeugen dieser Klassendaten über den Klassifikator 200, das Steuersystem 120 dafür ausgelegt, Steuerdaten für das Betätigersystem 170 zu erzeugen, um wenigstens eine Funktionskomponente des Fahrzeugs 10 basierend auf den Klassendaten, die die erkannte Einheit identifizieren, welche in der Umgebung des Fahrzeugs 10 erfasst wird, zu betätigen. Beispielsweise kann das Betätigersystem 130 ein Lenksystem beinhalten, so dass das Steuersystem 120 Steuerdaten erzeugt, die sich auf eine Lenkaktion beziehen. Als weiteres Beispiel kann das Betätigersystem 130 ein Bremssystem beinhalten, so dass das Steuersystem 120 Steuerdaten erzeugt, die sich auf eine Bremsaktion beziehen. Das Betätigersystem 130 ist nicht auf ein Lenksystem und/oder ein Bremssystem beschränkt, sondern kann einen beliebigen auf das Fahrzeug 10 bezogenen Betätiger beinhalten.
Darüber hinaus ist das Steuersystem 120 dafür ausgelegt, über den Detektor 210, Klassifizierungsdaten für jede Sequenz von Eingängen in das Maschinenlernsystem 200A zu erzeugen. Die Klassifizierungsdaten klassifizieren die Sequenz von Eingängen als (i) eine nominale Sequenz, die nominale Elemente umfasst, oder (ii) eine böswillige Sequenz, die böswillige Elemente umfasst. In dieser Hinsicht ist der Detektor 210 insofern vorteilhaft, als er jede nominale Sequenz, die das Maschinenlernsystem 200A als Eingang empfängt, identifiziert und das System 100 in die Lage versetzt, basierend auf jeder entsprechenden Sequenz von Ausgangsdaten, die vom Maschinenlemsystem 200A erzeugt wird, mit einem Grad an Sicherheit zu arbeiten, dass ein böswilliger Angriff während des Erzeugens der entsprechenden Sequenz von Ausgangsdaten höchstwahrscheinlich nicht vorlag. Außerdem ist der Detektor 210 insofern vorteilhaft, als er jede böswillige Sequenz, die das Maschinenlemsystem 200A als Eingang empfängt, identifiziert und das System 100 in die Lage versetzt, Verteidigungsmaßnahmen in Bezug auf einen möglichen böswilligen Angriff zu ergreifen und die Verwendung der jeweils entsprechenden Sequenz von Ausgangsdaten, die vom Maschinenlemsystem 200A in diesem Zeitrahmen erzeugt wurde, zu vermeiden.
Das Steuersystem 120 ist auch dafür ausgelegt, diese Klassifizierungsdaten vom Detektor 210 zusammen mit den entsprechenden Ausgangsdaten vom Maschinenlemsystem 200A an das Angriffsabwehrsystem 220 bereitzustellen. In diesem Zusammenhang ist das Angriffsabwehrsystem 220 dafür ausgelegt, die vom Maschinenlemsystem 200A erhaltenen Ausgangsdaten gemäß den vom Detektor 210 erhaltenen Klassifizierungsdaten zu verarbeiten. Beispielsweise ist, bei Empfang einer Nominalkennzeichnung vom Detektor 210, das Angriffsabwehrsystem 220 dafür ausgelegt, Ausgangsdaten vom Maschinenlemsystem 200A, die basierend auf dieser Sequenz von Eingängen, die der Nominalkennzeichnung entspricht, erzeugt werden, zu identifizieren und einen Hinweis darauf zu liefern, dass das Steuersystem 120 die Ausgangsdaten in einem Nominalmodus verarbeiten soll. Im Nominalmodus ist das Steuersystem 120 in der Lage, Steuerdaten basierend auf den entsprechenden Ausgangsdaten des Maschinenlernsystems 200A zu erzeugen. Alternativ ist, bei Empfang einer Böswilligkeitskennzeichnung vom Detektor 210, das Angriffsabwehrsystem 220 dafür ausgelegt, Ausgangsdaten vom Maschinenlemsystem 200A, die basierend auf der gekennzeichneten Sequenz von Eingängen, die der Böswilligkeitskennzeichnung entspricht, erzeugt werden, zu identifizieren und einen Hinweis darauf zu liefern, dass das Steuersystem 120 die Ausgangsdaten in einem Verteidigungsmodus verarbeiten soll. Im Verteidigungsmodus ist das Angriffsabwehrsystem 220 dafür ausgelegt, die Ausgangsdaten zu verzögern, die Ausgangsdaten durch vorgegebene Ausgangsdaten (z.B. Standard-Ausgangsdaten) zu ersetzen, die Ausgangsdaten zurückzuweisen, die Ausgangsdaten herauszufiltern, die Ausgangsdaten zu verwerfen oder eine beliebige geeignete Maßnahme zu ergreifen, die verhindert, dass das System 100 auf die Ausgangsdaten, die basierend auf der erkannten Sequenz von böswilligen Daten erzeugt werden, agiert. Bei Empfang von Übertragungen vom Angriffsabwehrsystem 220, die selektiv nur Sequenzen von Ausgangsdaten vom Maschinenlemsystem 200A enthalten, welche nominalen Sequenzen entsprechen, ist das Steuersystem 120 dafür ausgelegt, Steuerdaten zu erzeugen, die auf diesen nominalen Sequenzen von Ausgangsdaten basieren. In Reaktion auf die Steuerdaten ist das Betätigersystem 130 dafür ausgelegt, die Betätigung des Fahrzeugs 10, die autonom, hochautonom, teilautonom, bedingt autonom oder fahrerunterstützt sein kann, zu steuern oder zu unterstützen.
Zusätzlich oder alternativ zum Beispiel von 2 ist das System 100 (und/oder das Steuersystem 120) auch in anderen Anwendungen betreibbar. Beispielsweise ist das System 100 und/oder das Steuerungssystem 120 in verschiedenen Bereichen einsetzbar, wie etwa computergesteuerte Maschinen, Roboter, Haushaltsgeräte, Elektrowerkzeuge, elektronische persönliche Assistenten, Gesundheits-/Medizintechnik, mobile Maschinen, Sicherheitstechnik usw. Das heißt, das System 100 und/oder das Steuersystem 120 ist nicht auf die oben genannten Anwendungen beschränkt, sondern kann für jede geeignete Anwendung zum Einsatz kommen, die von der Erkennung eines böswilligen Angriffs, bei dem iterative Techniken eingesetzt werden, die Störungen über eine Sequenz von Elementen beinhalten, profitiert.
3A und 3B zeigen konzeptionelle Darstellungen der Interaktionen einiger Komponenten des Systems 100, insbesondere des Maschinenlernsystems 200A, des Detektors 210 und des Angriffsabwehrsystems 220. Genauer wird in 3A das Steuersystem 120 im Nominalmodus betrieben, wenn der Detektor 210 bestimmt, dass eine Sequenz von Eingängen nominal ist und/oder das Angriffsabwehrsystem 220 das Nichtvorhandensein eines böswilligen Angriffs anzeigt. Im Gegensatz dazu wird in 3B das Steuersystem 120 im Böswilligkeitsmodus betrieben, wenn der Detektor 210 bestimmt, dass die Sequenz von Eingängen böswillig ist und/oder das Angriffsabwehrsystem 220 das Vorhandensein eines böswilligen Angriffs anzeigt. Darüber hinaus ist, auch wenn dies in 3A und 3B nicht dargestellt ist, das Verarbeitungssystem 150 sowohl im Nominalmodus als auch im Verteidigungsmodus aktiv mit diesen Komponenten verbunden.
3A veranschaulicht ein Beispiel eines Szenarios, in dem das Steuersystem 120 in einem Nominalmodus betrieben wird. Genauer stellt das Sensorsystem 110 einen Sensordatenstrom basierend auf seiner Umgebung bereit. Der Sensordatenstrom enthält eine Sequenz von Sensordaten, die als X={x₁, x₂,...x_t} dargestellt werden kann, wobei X die Sequenz darstellt und x₁ bis x_t die Elemente der Sequenz darstellen. Beispielsweise kann sich jedes Element der Sequenz X auf einen Rahmen mit Sensordaten beziehen. Auf den Erhalt der Sensordaten hin ist das Verarbeitungssystem 150, über das Maschinenlemsystem 200A, dafür ausgelegt, Klassendaten für die Sensordaten zu erzeugen. Die Klassendaten, die über das Maschinenlemsystem 200A für den Sensordatenstrom ausgegeben werden, können als Y={y₁, y₂,...y_t} dargestellt werden, wobei Y die Sequenz darstellt und y₁ bis yt die Elemente der Sequenz darstellen. Beispielsweise kann sich jedes Element der Sequenz Y auf Klassendaten beziehen, die vom Maschinenlemsystem 200A für jedes Element der Sequenz X erzeugt werden.
Der Detektor 210 ist dafür ausgelegt, denselben Eingang (z.B., X={x₁, x₂,...x_t}) zu empfangen wie das Maschinenlemsystem 200A. Bei Empfang der Sequenz von Sensordaten als Eingang ist der Detektor 210 dafür ausgelegt, eine Nominalkennzeichnung zu erzeugen, wenn vorhersagt wird, dass die Sequenz von Sensordaten eine nominale Sequenz ist, und eine Böswilligkeitskennzeichnung zu erzeugen, wenn vorhergesagt wird, dass die Sequenz von Sensordaten eine böswillige Sequenz ist. In diesem Fall bestimmt, wie in 3A gezeigt, der Detektor 210, dass die Sequenz von Sensordaten nominale Daten umfasst, und erzeugt eine Nominalkennzeichnung für den Eingang. Das Angriffsabwehrsystem 220 ist dafür ausgelegt, die Nominalkennzeichnung vom Detektor 210 und die entsprechenden Klassendaten (Y={y₁, y₂,...y_t}) vom Maschinenlemsystem 200A zu empfangen. In diesem Fall ist, da der Detektor 210 anzeigt, dass das Maschinenlemsystem 200A eine nominale Sequenz als Eingang empfangen hat, das Angriffsabwehrsystem 220 in der Lage anzuzeigen, dass das Steuersystem 120 dafür ausgelegt ist, in einem Nominalmodus betrieben zu werden, so dass Steuerdaten für das Betätigersystem 170 für das Betätigersystem wenigstens basierend auf den Klassendaten vom Maschinenlemsystem 200A erzeugt werden.
3B veranschaulicht ein Beispiel eines Szenarios, in dem das Steuersystem 120 in einem Verteidigungsmodus betrieben wird. Anders als 3A enthält 3B ein böswilliges System 20, das nicht Teil des Systems 100 ist und das böswillige Angriffe auf das System 100 erzeugt. Allgemein stört das böswillige System 20 iterativ die Sensordaten an das Maschinenlemsystem 200A, um zu bewirken, dass das Maschinenlemsystem 200A zusammenbricht und/oder ausfällt. In diesem Beispiel ist das böswillige System 20 in der Lage, die Sensordaten mit möglicherweise nicht wahrnehmbaren Stördaten so weit zu stören, dass das Maschinenlemsystem 200A für die gestörte Version der Sensordaten Klassendaten erzeugt, die sich von den Klassendaten unterscheiden, die das Maschinenlemsystem 200A für eine ungestörte Version derselben Sensordaten erzeugt hätte. Oftmals scheitert das böswillige System 20 bei seinem ersten Versuch, das Maschinenlemsystem 200A zum Ausfallen zu bringen, und unternimmt daher mehrere Versuche, die Eingänge in das Maschinenlernsystem 200A zu stören, während es die Ausgangsdaten (z.B. Klassendaten) des Maschinenlernsystems 200A als Rückmeldung verwendet, um die Stördaten am Eingang zu bestimmen, die bewirken werden, dass das Maschinenlernsystem 200A ausfällt. In dieser Hinsicht stützt sich das böswillige System 20 typischerweise auf iterative Techniken, um einen erfolgreichen böswilligen Angriff zu erreichen.
Wie in 3B gezeigt, erzeugt das Sensorsystem 110 einen Sensordatenstrom basierend auf seiner Umgebung. Der Sensordatenstrom enthält eine Sequenz von Sensordaten, die als X={x₁, x₂,...x_t} dargestellt werden kann, wobei X die nominale Sequenz darstellt und wobei x₁ bis x_t die Elemente der Sequenz darstellen. Beispielsweise kann sich jedes Element auf einen Rahmen mit Sensordaten beziehen. In diesem Szenario erzeugt das böswillige System 20 jedoch eine Sequenz von Stördaten und stört die Sensordaten derart, dass das Maschinenlernsystem 200A eine gestörte Version der Sensordaten empfängt. Beispielsweise kann die Sequenz von Stördaten durch δ={δ₁, δ₂,...δ_t} dargestellt werden, wobei δ die Sequenz von Stördaten darstellt und wobei δ₁ bis δ_t die verschiedenen Störelemente dieser Sequenz darstellen. Die gestörte Version der Sensordaten kann auch als X'={x'₁, x'₂,...x'_t} dargestellt werden, wobei jeweils X' die gestörte Version der Sequenz X darstellt und wobei x'₁ bis x'_t die gestörten Elemente der Sequenz darstellen, die durch die Sequenz von Stördaten δ={δ1, δ2,...δt} gestört wurden. Bei Empfang der gestörten Versionen der Sensordaten ist das Verarbeitungssystem 150, über das Maschinenlernsystem 200A, dafür ausgelegt, Klassendaten zu erzeugen, die diese gestörten Versionen der Sensordaten klassifizieren. Außerdem ist der Detektor 210 dafür ausgelegt, denselben Eingang (z.B. die gestörten Sensordaten X'={x'₁, x'₂,...x'_t}) zu empfangen wie das Maschinenlernsystem 200A. Bei Empfang der gestörten Version der Sequenz von Sensordaten als Eingang ist der Detektor 210 dafür ausgelegt, eine Nominalkennzeichnung zu erzeugen, wenn vorhersagt wird, dass die Sequenz von Sensordaten eine nominale Sequenz ist, und eine Böswilligkeitskennzeichnung zu erzeugen, wenn vorhergesagt wird, dass die Sequenz von Sensordaten eine böswillige Sequenz ist. In diesem Fall bestimmt, wie in 3B gezeigt, der Detektor 210, dass die Sequenz von Eingängen (z.B., X') in das Maschinenlemsystem 200A eine böswillige Sequenz ist, und erzeugt eine Böswilligkeitskennzeichnung für diese Sequenz von Eingängen (z.B., X'). Das Angriffsabwehrsystem 220 ist dafür ausgelegt, die Böswilligkeitskennzeichnung vom Detektor 210 und die entsprechende Sequenz, Y', von Klassendaten (Y'={y₁, y₂,...y_t}) vom Maschinenlemsystem 200A zu empfangen, basierend auf Zeitstempeldaten. In diesem Fall ist, da der Detektor 210 anzeigt, dass es sich bei der Sequenz von Eingängen in das Maschinenlemsystem 200A um eine böswillige Sequenz handelt, das Angriffsabwehrsystem 220 dafür ausgelegt, den Verteidigungsmodus zu aktivieren, so dass die entsprechende Sequenz von Klassendaten, die basierend auf den gekennzeichneten Eingängen erzeugt wird, herausgefiltert und daran gehindert wird, nachgeschaltete Systeme, wie etwa das Betätigersystem 170, zu beeinträchtigen. Beispielsweise erlaubt in 3B das Angriffsabwehrsystem 220 nicht, dass die entsprechenden Klassendaten von Y'={y₁, y₂,...y_t} als Ausgangsdaten verwendet werden.
4 ist eine Darstellung eines Systems 400, das mit dem Trainieren des Detektors 210 verknüpft ist, gemäß einer beispielhaften Ausführungsform. In diesem vereinfachten Beispiel weist das System 400 wenigstens ein Speichersystem 410 und ein Verarbeitungssystem 420 auf. In 4 ist das Speichersystem 410 ein Computer- oder ein elektronisches Speichersystem, das dafür ausgelegt ist, verschiedene Daten zu speichern und den Zugriff darauf zu ermöglichen, um wenigstens die Operationen und Funktionen zu ermöglichen, die in der vorliegenden Patentschrift offenbart sind. Das Speichersystem 410 umfasst eine einzelne Vorrichtung oder mehrere Vorrichtungen. Das Speichersystem 410 beinhaltet elektrische, elektronische, magnetische, optische, halbleitende, elektromagnetische, beliebige geeignete Speichertechnologie oder eine beliebige Kombination davon. Zum Beispiel kann das Speichersystem 410 RAM, ROM, Flash-Speicher, ein Plattenlaufwerk, eine Speicherkarte, eine optische Speichervorrichtung, eine magnetische Speichervorrichtung, ein Speichermodul, eine beliebige geeignete Art von Speichervorrichtung oder eine beliebige Kombination davon beinhalten. In einer beispielhaften Ausführungsform ist in Bezug auf das Verarbeitungssystem 420 das Speichersystem 410 lokal, entfernt oder eine Kombination davon (beispielsweise teilweise lokal und teilweise entfernt). Beispielsweise ist das Speichersystem 410 dafür ausgelegt, wenigstens ein Cloud-basiertes Speichersystem (z.B. ein Cloud-basiertes Datenbanksystem) aufzuweisen, das vom Verarbeitungssystem 420 entfernt ist.
In einer beispielhaften Ausführungsform, wie in 4 gezeigt, weist das Speichersystem 410 den Detektor 210 auf, der das Maschinenlemsystem 210A aufweist. Außerdem enthält, wie in 4 gezeigt, das Speichersystem 410 wenigstens Trainingsdaten 412 und Maschinenlerndaten 414, die verwendet werden, um den Detektor 210 zu erzeugen. Darüber hinaus ist das Speichersystem 410 dafür ausgelegt, andere relevante Daten zu enthalten, die sich auf das Trainieren und das Erzeugen des Detektors 210 beziehen, wie in der vorliegenden Patentschrift erörtert. Genauer enthalten die Trainingsdaten 412 wenigstens Sensordaten (und/oder Bilddaten basierend auf den Sensordaten). Die Maschinenlerndaten 414 enthalten Maschinenlernalgorithmen, die mit einem Verfahren 700 (7) für das Trainieren und das Erzeugen des Detektors 210 verknüpft sind. Der Detektor 210 weist das Maschinenlemsystem 210A sowie verschiedene Daten (z.B. verschiedene Schichten, Gewichtungen, Parameterdaten usw.) auf, die mit dem Trainieren und/oder dem Betrieb des zugehörigen Maschinenlernsystems 210A verknüpft sind. Ist der Detektor 210 einmal auf einen vorgegebenen Genauigkeitsgrad trainiert, kann er vom System 100 von 1 oder jedem anderen geeigneten Anwendungssystem eingesetzt und/oder verwendet werden.
Nach Empfang der Trainingsdaten 412 ist das Verarbeitungssystem 420 dafür ausgelegt, das Maschinenlemsystem 210A gemäß den Maschinenlerndaten 414 zu trainieren. In dieser Hinsicht weist das Verarbeitungssystem 420 wenigstens einen Prozessor auf. Beispielsweise weist das Verarbeitungssystem 420 auf: einen elektronischen Prozessor, eine CPU, eine GPU, einen Mikroprozessor, eine FPGA, eine ASIC, Verarbeitungsschaltungen, beliebige geeignete Verarbeitungstechnologie oder eine beliebige Kombination davon. In einer beispielhaften Ausführungsform kommuniziert das Verarbeitungssystem 420 mit dem Speichersystem 410, um den Detektor 210 basierend auf den Trainingsdaten 412 und den Maschinenlerndaten 414 zu erzeugen.
5 ist ein Ablaufdiagramm, das mit einem Trainingsprozess 500 zum Erzeugen des Detektors 210 verknüpft ist, gemäß einer beispielhaften Ausführungsform. Allgemeinen beinhaltet der Trainingsprozess 500 eine beträchtliche und ausreichende Menge an Trainingsdaten 412, um sicherzustellen, dass der Detektor 210 genau arbeitet. Beispielsweise beinhaltet die Sammlung von Trainingsdaten 412 wenigstens einen Satz von nominalen Sequenzen 412A und einen Satz von böswilligen Sequenzen 412B. Darüber hinaus können die Trainingsdaten 412 historische und/oder aktuelle Daten böswilliger Angriffe enthalten, die von realen böswilligen Angriffen auf verschiedene Maschinenlernsysteme erhoben werden.
Der Satz von nominalen Sequenzen 412A umfasst wenigstens Sensordaten, Sensorzusammenführungsdaten, Bilddaten basierend auf Sensordaten, Bilddaten basierend auf Sensorzusammenführungsdaten oder eine beliebige Kombination davon. Außerdem enthält in diesem Beispiel der Satz von böswilligen Sequenzen 412B wenigstens eine oder mehrere gestörte Versionen des Satzes von nominalen Sequenzen 412A. Allgemein kann der Satz von böswilligen Sequenzen 412B eine beliebige Sequenz enthalten, in der mehrere Elemente davon durch Störungen gestört sind, selbst wenn die Sequenz nicht erfolgreich damit ist, ein Maschinenlemsystem zum Ausfall zu bringen (z.B. die Sequenz falsch klassifizieren, so dass f(x') ≠ f(x), wobei f(x') Ausgangsdaten des Maschinenlernsystems darstellt, die auf der gestörten Version des Elements basieren, und f(x) Ausgangsdaten dieses Maschinenlernsystems darstellt, die auf einer ungestörten Version desselben Elements basieren). Nach Abschluss dieses Trainingsprozesses 500 mit wenigstens dieser Sammlung von Trainingsdaten 412 ist der Detektor 210, über wenigstens einen Prozessor, dafür ausgelegt, eine Nominalkennzeichnung zu erzeugen, wenn vorausgesagt wird, dass es sich bei einer Sequenz um eine nominale Sequenz (oder ungestörte Versionen von Sensordaten) handelt, und eine Böswilligkeitskennzeichnung zu erzeugen, wenn vorausgesagt wird, dass es sich bei der Sequenz um eine böswillige Sequenz (oder gestörte Versionen dieser Sensordaten) handelt.
6A und 6B stellen Beispiele der Trainingsdaten 412 dar. Beispielsweise stellt 6A eine nominale Sequenz 600 dar, die Elemente enthält, die durch x₁ bis x_t bezeichnet sind. In diesem Fall ist jedes Element ein Rahmen von Sensordaten. Beispielsweise kann jedes Element ein Bildrahmen sein, wie er aus einem Videodatenstrom entnommen wird. Außerdem ist, wie in 6A dargestellt, die nominale Sequenz 600 zeitlich sequentiell, d.h. in Pfeilrichtung fortschreitend. 6A stellt auch eine böswillige Sequenz 610 dar, die aus der nominalen Sequenz 600 erzeugt wird. Dazu ist beispielsweise, bei Empfang der nominalen Sequenz 600, das Verarbeitungssystem 420 dafür ausgelegt, die böswillige Sequenz 610 zu erzeugen, indem es ein Element (z.B. x_i) aus der nominalen Sequenz 600 auswählt und dieses Element iterativ stört, wodurch mehrere gestörte Versionen (z.B. x'_i, ₁ = x_i+δ₁, ..., x'_{i, p} = x_i+ δ_p) erzeugt werden, um die böswillige Sequenz 610 zu bilden. In 6A wird das ausgewählte Element, x_i, „p“ Mal gestört, wobei p die Iteration darstellt, mit der das ausgewählte Element das gestörte Element x'_i,p (d.h., x_i + δ_p) erzeugt, wodurch das Maschinenlemsystem 200A ausfällt, so dass f(x_i + δ_p) ≠ f(x_i). Darüber hinaus zeigt 6A auch, dass eine böswillige Sequenz 620, die die böswillige Sequenz 610 als Teilsequenz enthält, als Trainingsdaten 412 bereitgestellt werden kann.
6B stellt auch eine böswillige Sequenz 630 dar, die aus der nominalen Sequenz 600 erzeugt wird. Genauer ist das Verarbeitungssystem 420 dafür ausgelegt, die böswillige Sequenz 630 zu erzeugen, indem jedes Element der nominalen Sequenz gestört wird. In diesem Fall enthält die böswillige Sequenz 630 eine gestörte Version eines jeweiligen Elements der nominalen Sequenz 600, bis das Maschinenlernsystem 200A ausfällt. Beispielsweise enthält die böswillige Sequenz 630 eine gestörte Version des ersten Elements der nominalen Sequenz, eine gestörte Version des zweiten Elements der nominalen Sequenz und so weiter, bis das Maschinenlemsystem 200A ausfällt. Darüber hinaus zeigt 6B auch eine böswillige Sequenz 640, die die böswillige Sequenz 630 als Teilsequenz enthält. In diesem Fall ist das Verarbeitungssystem 420 dafür ausgelegt, wenigstens diese böswilligen Sequenzen 630 und 640 zu erzeugen, indem die Elemente der nominalen Sequenz 600 mit entsprechenden Elementen aus einer böswilligen Störungssignatur (z.B. δ₁, δ₂,..., δ_k) gestört werden.
Wie vorstehend erörtert, zeigen 6A und 6B einige Beispiele für Trainingsdaten 412, die während des Trainingsprozesses 500 verwendet werden können, um den Detektor 210 zu trainieren. 6A und 6B sind insofern von Vorteil, als dass das Verarbeitungssystem 420 in die Lage versetzt wird, diese böswilligen Sequenzen 610, 620, 630 und 640 zu erzeugen, wenn es wenigstens eine nominale Sequenz 600 erhält. Darüber hinaus ist das Verarbeitungssystem 420 auch dafür ausgelegt, weitere böswillige Sequenzen 610, 620, 630 und 640 aus der nominalen Sequenz 600 zu erzeugen, indem die nominale Sequenz 600 mit anderen böswilligen gegnerischen Signaturen, die andere Störungen beinhalten, angegriffen wird. Der Satz von böswilligen Sequenzen 412B ist jedoch nicht auf die oben genannten böswilligen Sequenzen 610, 620, 630 und 640 (und/oder böswillige Sequenzen, die zum Ausfall des Maschinenlernsystems 200A führen) beschränkt, sondern kann jede böswillige Sequenz beinhalten, die eine Sequenz von gestörten Elementen enthält. Allgemein profitiert der Detektor 210 davon, dass er mit möglichst vielen Trainingsdaten 412 in einem Maße trainiert wird, dass seine Fähigkeit zum Unterscheiden zwischen einer nominalen Sequenz und einer böswilligen Sequenz verbessert wird.
7 zeigt ein Ablaufdiagramm eines Beispiels des Trainingsprozesses 500 (5) zum Erzeugen des Detektors 210 gemäß einer beispielhaften Ausführungsform. Dieser Trainingsprozess 500 beinhaltet ein Verfahren 700 zum Trainieren wenigstens eines Maschinenlernsystems 210A des Detektors 210 für die Unterscheidung zwischen wenigstens einer Sequenz von nominalen Daten und wenigstens einer Sequenz von böswilligen Daten. Vorteilhafterweise stellt dieses Verfahren 700 Trainingsdaten 412 bereit, die sowohl einen Satz von nominalen Sequenzen 412A als auch einen Satz von böswilligen Sequenzen 412B enthalten, während gleichzeitig die Parameter des Maschinenlernsystems 210A des Detektors 210 basierend auf den Ergebnissen, die aus diesen Trainingsdaten 412 erhalten werden, optimiert werden. Dementsprechend wird bei Durchlaufen des Trainingsprozesses 500 mit diesem Verfahren 700 der Detektor 210 in die Lage versetzt, eine Sequenz zu identifizieren, vorherzusagen, ob die Sequenz nominal/böswillig ist oder nicht, und eine Kennzeichnung bereitzustellen, die seine Vorhersage anzeigt.
In Schritt 702 erhält das Verarbeitungssystem 420 über den Detektor 210 einen ersten Satz von Trainingsdaten. Beispielsweise enthält der erste Satz von Trainingsdaten eine ausreichende Menge von nominalen Daten, um den Detektor 210 derart zu trainieren, dass das Maschinenlemsystem 210A dafür ausgelegt wird, mit einem vorgegebenen Genauigkeitsgrad zu arbeiten. Genauer enthält der erste Satz von Trainingsdaten einen Satz von nominalen Sequenzen 412A, in dem jede Sequenz nominale Daten enthält, die nicht von Stördaten gestört sind. Wie vorstehend erörtert, enthalten beispielsweise die nominalen Sequenzen Sensordaten, Sensorzusammenführungsdaten, Bilddaten basierend auf Sensordaten, Bilddaten basierend auf Sensorzusammenführungsdaten oder eine beliebige Kombination davon. Nachdem ein Satz von nominalen Sequenzen 412A als Trainingsdaten 412 erhalten wurde, geht das Verfahren 700 weiter zu Schritt 706.
In Schritt 704 erhält das Verarbeitungssystem 420 über den Detektor 210 einen zweiten Satz von Trainingsdaten. Beispielsweise enthält der zweite Satz von Trainingsdaten eine ausreichende Menge von böswilligen Daten, um den Detektor 210 derart zu trainieren, dass das Maschinenlemsystem 210A dafür ausgelegt wird, mit einem vorgegebenen Genauigkeitsgrad zu arbeiten. Genauer enthält der zweite Satz von Trainingsdaten einen Satz von böswilligen Sequenzen 412A, in dem jede Sequenz nominale Daten enthält, die von Stördaten gestört sind. In dieser Hinsicht enthält beispielsweise jede böswillige Sequenz mehrere gestörte Sensordaten, gestörte Sensorzusammenführungsdaten, gestörte Bilddaten basierend auf Sensordaten, gestörte Bilddaten basierend auf Sensorzusammenführungsdaten oder eine beliebige Kombination davon. Allgemein entsprechen die böswilligen Sequenzen den nominalen Sequenzen, enthalten jedoch ferner Störungen der Elemente. Nachdem ein Satz von böswilligen Sequenzen 412A als Trainingsdaten 412 erhalten wurde, geht das Verfahren 700 weiter zu Schritt 708.
In Schritt 706 klassifiziert das Verarbeitungssystem 420, über den Detektor 210, jede Sequenz aus dem Satz von nominalen Sequenzen, der als erster Satz von Trainingsdaten bezeichnet werden kann. Das Verarbeitungssystem 420 ist, über den Detektor, in der Lage, eine Sequenz zu analysieren und dieser Sequenz eine der Klassen zuzuweisen. Beispielsweise ist das Verarbeitungssystem 420, über den Detektor 210, dafür ausgelegt, eine Sequenz aus dem Satz von nominalen Sequenzen auszuwerten und durch sein Maschinenlernmodell zu bestimmen, dass die Sequenz zur nominalen Klasse oder zur böswilligen Klasse gehört.
In Schritt 708 klassifiziert das Verarbeitungssystem 420, über den Detektor 210, jede Sequenz aus dem Satz von böswilligen Sequenzen, der als zweiter Satz von Trainingsdaten bezeichnet werden kann. Das Verarbeitungssystem 420 ist, über den Detektor, in der Lage, eine Sequenz zu analysieren und dieser Sequenz eine der Klassen zuzuweisen. Beispielsweise ist das Verarbeitungssystem 420, über den Detektor 210, dafür ausgelegt, eine Sequenz aus dem Satz von böswilligen Sequenzen auszuwerten und durch sein Maschinenlernmodell zu bestimmen, dass die Sequenz zur nominalen Klasse oder zur böswilligen Klasse gehört.
In Schritt 710 erzeugt das Verarbeitungssystem 420, über den Detektor 210, Klassifizierungsdaten basierend auf dem ersten Satz von Trainingsdaten. In diesem Fall enthält der erste Satz von Trainingsdaten den Satz von nominalen Sequenzen 412A. Der Detektor 210 ist in der Lage, eine Nominalkennzeichnung für einen Eingang zu erzeugen, wenn vorhergesagt wird, dass es sich bei dem Eingang um eine Sequenz von nominalen Daten (oder eine Sequenz von nicht-böswilligen Daten) handelt, und eine Böswilligkeitskennzeichnung für diesen Eingang zu erzeugen, wenn vorhergesagt wird, dass es sich bei dem Eingang um eine Sequenz von böswilligen Daten (oder eine Sequenz von nicht-nominalen Daten) handelt. Dabei kann z.B. die Nominalkennzeichnung durch ein Binärsymbol (z.B. Null) und die Böswilligkeitskennzeichnung durch ein anderes Binärsymbol (z.B. Eins) dargestellt werden oder umgekehrt. Da in diesem Fall jeder Eingang in den Detektor 210 eine nominale Sequenz aus dem ersten Satz von Trainingsdaten ist, wird das Verarbeitungssystem 420 in die Lage versetzt, die tatsächlichen Klassifizierungsdaten einer Nominalkennzeichnung für eine Sequenz des ersten Satzes mit den vorhergesagten Klassifizierungsdaten (z.B. Nominalkennzeichnung oder Böswilligkeitskennzeichnung) für diese Sequenz des ersten Satzes zu vergleichen.
In Schritt 712 erzeugt das Verarbeitungssystem 420, über den Detektor 210, Klassifizierungsdaten basierend auf dem zweiten Satz von Trainingsdaten. In diesem Fall enthält der zweite Satz von Trainingsdaten den Satz von böswilligen Sequenzen 412A. Wie vorstehend erwähnt, ist der Detektor 210 in der Lage, eine Nominalkennzeichnung für einen Eingang zu erzeugen, wenn vorhergesagt wird, dass es sich bei dem Eingang um eine Sequenz von nominalen Daten (oder eine Sequenz von nicht-böswilligen Daten) handelt, und eine Böswilligkeitskennzeichnung für diesen Eingang zu erzeugen, wenn vorhergesagt wird, dass es sich bei dem Eingang um eine Sequenz von böswilligen Daten (oder eine Sequenz von nicht-nominalen Daten) handelt. Dabei kann, im Einklang mit Schritt 710, die Nominalkennzeichnung durch ein Binärsymbol (z.B. Null) und die Böswilligkeitskennzeichnung durch ein anderes Binärsymbol (z.B. Eins) dargestellt werden. Da in diesem Fall jeder Eingang in den Detektor 210 eine böswillige Sequenz aus dem zweiten Satz von Trainingsdaten ist, wird das Verarbeitungssystem 420 in die Lage versetzt, die tatsächlichen Klassifizierungsdaten einer Böswilligkeitskennzeichnung für eine Sequenz des zweiten Satzes mit den vorhergesagten Klassifizierungsdaten (z.B. Nominalkennzeichnung oder Böswilligkeitskennzeichnung) für diese Sequenz des zweiten Satzes zu vergleichen.
In Schritt 714 erzeugt das Verarbeitungssystem 420 durchschnittliche Verlustdaten des Detektors 210, die sich auf eine Differenz zwischen den vorhergesagten Klassifizierungen und den tatsächlichen Klassifizierungen des ersten Satzes von Trainingsdaten beziehen. Genauer wertet das Verarbeitungssystem 420 falsche Klassifizierungsdaten bezogen auf korrekte Klassifizierungsdaten aus, die für den ersten Satz von Trainingsdaten (z.B. Satz von nominalen Sequenzen 412A) erzeugt werden. Genauer erzeugt der Detektor 210 in Bezug auf diesen ersten Satz von Trainingsdaten (i) korrekte Klassifizierungsdaten, wenn über das Maschinenlemsystem 210A eine Nominalkennzeichnung vorhergesagt wird, wenn eine dieser nominalen Sequenzen als Eingang empfangen wird, und (ii) falsche Klassifizierungsdaten, wenn über das Maschinenlemsystem 210A eine Böswilligkeitskennzeichnung vorhergesagt wird, wenn eine dieser nominalen Sequenzen als Eingang empfangen wird. Rein der Einfachheit halber können diese durchschnittlichen Verlustdaten als „erste durchschnittliche Verlustdaten“ bezeichnet werden.
In Schritt 716 erzeugt das Verarbeitungssystem 420 durchschnittliche Verlustdaten des Detektors 210, die sich auf eine Differenz zwischen den vorhergesagten Klassifizierungen und den tatsächlichen Klassifizierungen des zweiten Satzes von Trainingsdaten beziehen. Genauer wertet das Verarbeitungssystem 420 falsche Klassifizierungsdaten bezogen auf korrekte Klassifizierungsdaten aus, die für den zweiten Satz von Trainingsdaten (z.B. Satz von böswilligen Sequenzen 412B) erzeugt werden. Genauer erzeugt der Detektor 210 in Bezug auf diesen zweiten Satz von Trainingsdaten (i) korrekte Klassifizierungsdaten, wenn über das Maschinenlemsystem 210A eine Böswilligkeitskennzeichnung vorhergesagt wird, wenn eine dieser böswilligen Sequenzen als Eingang empfangen wird, und (ii) falsche Klassifizierungsdaten, wenn über das Maschinenlemsystem 210A eine Nominalkennzeichnung vorhergesagt wird, wenn eine der böswilligen Sequenzen als Eingang empfangen wird. Rein der Einfachheit halber können diese durchschnittlichen Verlustdaten als „zweite durchschnittliche Verlustdaten“ bezeichnet werden.
In Schritt 718 optimiert das Verarbeitungssystem 420 die Parameter eines Diskriminators des Detektors 210 basierend auf einer relativ gewichteten Funktion, die die ersten durchschnittlichen Verlustdaten und die zweiten durchschnittlichen Verlustdaten umfasst. Genauer optimiert beispielsweise das Verarbeitungssystem 420 die Parameter (z.B. θ), die mit einem Diskriminator (z.B. diskriminatives Modell oder Netz) des Maschinenlernsystems 210A verknüpft sind, der durch θ parametriert ist und der in der folgenden Gleichung durch d_θ dargestellt ist: $d_{θ} = a r g \underset{θ}{m i n} (\frac{\sum_{X \in X} L (d (X),0)}{| X |} + λ \frac{\sum_{X' \in X'} L (d (X'),1)}{| X' |})$
In dieser Gleichung bestimmt das Verarbeitungssystem 420 die Werte der Parameter (z.B. θ) des Diskriminators des Detektors 210, bei denen der kombinierte Verlust, $(\frac{\sum_{X \in X} L (d (X),0)}{| X |} + λ \frac{\sum_{X' \in X'} L (d (X'),1)}{| X' |}),$
über die Argmin-Funktion sein Minimum erreicht. In diesem Fall beinhaltet der kombinierte Verlust die ersten durchschnittlichen Verlustdaten $(\frac{\sum_{X \in X} L (d (X),0)}{| X |})$
und die zweiten durchschnittlichen Verlustdaten $(\frac{\sum_{X' \in X'} L (d (X'),1)}{| X' |}) .$
Außerdem ist in dieser Gleichung die Verlustfunktion durch L(y_p, y_c) dargestellt, was den Fehler zwischen Ausgangsdaten y_p und Ausgangsdaten y_c minimiert, wobei die Ausgangsdaten y_p für die vorhergesagten Klassifizierungsdaten (z.B. Nominal-/Böswilligkeitskennzeichnung) der Eingangssequenz stehen und wobei die Ausgangsdaten y_c für die tatsächlichen Klassifizierungsdaten (z.B. Nominal-/Böswilligkeitskennzeichnung) der Eingangssequenz stehen.
Wie aus Gleichung (1) hervorgeht, weist das Verarbeitungssystem 420, über den Detektor 210, wenigstens ein Maschinenlernmodell auf, das eine Binärsequenzklassifizierung durchführt, um in Bezug auf eine Sequenz von Eingangsdaten zu identifizieren, ob eine böswillige Signatur vorliegt oder nicht. Wenn z.B. der Einfachheit der Erklärung halber X^test als Testsequenz von Eingaben verwendet wird, ist der Detektor 210 dafür ausgelegt, der Testsequenz einen Binärwert (z.B. den Wert Null) als Nominalkennzeichnung zuzuweisen, wenn bestimmt wird, dass d(X^test) = 0 ist, basierend auf einer Vorhersage, dass die Testsequenz eine nominale Sequenz ist. Darüber hinaus ist der Detektor 210 dafür ausgelegt, den anderen Binärwert (z.B. den Wert Eins) der Testsequenz als Böswilligkeitskennzeichnung zuzuweisen, wenn bestimmt wird, dass d(X^test) = 1 ist, basierend auf einer Vorhersage, dass die Testsequenz eine böswillige Sequenz ist. Alternativ kann der Detektor 210 dafür ausgelegt sein, einen beliebigen Satz von Werten (z. B. Null und Eins) als Klassifizierungsdaten (z. B. Nominalkennzeichnung und Böswilligkeitskennzeichnung) zuzuweisen, vorausgesetzt, der Detektor 210 wird wie hier beschrieben betrieben.
In Gleichung (1) steht λ für einen Parameter, der eine relative Gewichtung zwischen dem ersten durchschnittlichen Verlust und dem zweiten durchschnittlichen Verlust bereitstellt. Der Parameter λ ermöglicht es dem Verarbeitungssystem 420, ein Gleichgewicht zwischen dem relativen Gewicht der Fehlklassifizierungen der nominalen Daten (z.B. nominale Sequenzen) und den Fehlklassifizierungen von böswilligen Daten (z.B. böswillige Sequenzen) gemäß der Anwendung einzustellen. In dieser Hinsicht stellt der Parameter λ einen Ausgleichsfaktor zwischen Erkennungen von nominalen Sequenzen (z.B. nominalen Sensordaten) und der Erkennung von böswilligen Sequenzen (und/oder böswilligen Angriffen) bereit.
In Schritt 720 stellt das Verarbeitungssystem 420 den Detektor 210 bereit, der nach Abschluss seines Trainings mit optimierten Parametern bereit für den Einsatz/die Verwendung ist. In dieser Hinsicht ist, nachdem die Parameter optimiert wurden und/oder der Detektor 210 mit den optimierten Parametern trainiert wurde, der Detektor 210 dafür ausgelegt, vom System 100 oder einem anderen geeigneten System eingesetzt/verwendet zu werden, nachdem festgestellt wurde, dass der Detektor 210 mit einem vorgegebenen Genauigkeitsgrad arbeitet. Außerdem ist der Detektor 210, nachdem er einmal trainiert ist, mit seinem Maschinenlemsystem 210A vorteilhafterweise, über wenigstens einen Prozessor, in der Lage, durch statistische Bestimmung und/oder probabilistische Mittel vorherzusagen, ob eine Sequenz eine Nominalkennzeichnung oder eine Böswilligkeitskennzeichnung rechtfertigt, und damit einen Hinweis auf das Nichtvorhandensein oder das Vorhandensein eines böswilligen Angriffs zu geben.
Weiterhin können an den oben genannten Ausführungsformen verschiedene Modifikationen vorgenommen werden, ohne vom Wesen und Schutzbereich dieser Ausführungsformen abzuweichen. Beispielsweise kann in 1 anstelle des Klassifikators 200 und des mit diesem verknüpften Maschinenlernsystems 200A das System 100 ein beliebiges Softwaremodul mit einem trainierten Maschinenlemsystem beinhalten, das für die beabsichtigte Anwendung geeignet ist. Das heißt, der Detektor 210 und das Angriffsabwehrsystem 220 sind dafür ausgelegt, die gleichen oder im Wesentlichen ähnliche Vorteile für jedes Maschinenlemsystem und/oder Softwaresystem bereitzustellen, das auf Sequenzen von Eingängen beruht, die anfällig für böswillige Angriffe sein können.
Darüber hinaus, als weiteres Beispiel, zusätzlich oder alternativ zu synthetischen Angriffstypen, kann der Satz von böswilligen Sequenzen 412B Daten realer böswilliger Angriffe enthalten, die aus tatsächlichen böswilligen Angriffen auf verschiedene Maschinenlernsysteme gewonnen werden. Als noch ein weiteres Beispiel für eine Modifikation ist der Satz von böswilligen Sequenzen 412B nicht auf die Beispiele von 6A und 6B beschränkt, sondern kann eine beliebige gestörte Version einer nominalen Sequenz enthalten, in der mehrere Störungen über mehrere Elemente (oder Rahmen) dieser Sequenz auftreten. Darüber hinaus ist, als weiteres Beispiel für eine Modifikation, der Prozess des Erzeugens von böswilligen Sequenzen mit dem Trainingsprozess 500 kombinierbar, so dass neue böswillige Sequenzen als Trainingssatz für jede Iteration des Trainings des Detektors 210 erzeugt werden können. Weiterhin kann der Trainingsprozess 500 in mehreren Iterationen und mehreren Stapeln durchgeführt werden. Außerdem können, als weiteres Beispiel für eine Modifikation, während des Trainingsprozesses 500 der Detektor 210 und das böswillige System 20 dafür ausgelegt sein, ein Nullsummenspiel zu erzeugen, wobei der Detektor 210 so betrieben werden kann, dass der kombinierte Verlust minimiert wird, während das böswillige System 20 in der Lage ist, den kombinierten Verlust zu maximieren (beispielsweise, indem eine Sequenz von böswilligen Daten unauffindbar gemacht wird), wodurch der Detektor 210 dafür trainiert wird, robuster werden, indem ein robusteres böswilliges System 20 angesprochen wird.
Wie hier beschrieben, weisen die Ausführungsformen eine Reihe von vorteilhaften Merkmalen und Nutzen auf. Beispielsweise sind die Ausführungsformen insofern vorteilhaft, als dass bestimmt werden kann, ob es sich bei einer Sequenz von Eingängen in das Maschinenlemsystem 200A um eine Sequenz von Abfragen handelt, die ein böswilliges Ziel in dem Sinne verfolgen, Modellbeschränkungen zu verstehen und/oder Störungen in den Eingangsdaten zu lernen, welche zum Ausfall des Maschinenlernsystems 200A führen. In dieser Hinsicht sind die Ausführungsformen insofern vorteilhaft, als dass sie das technische Problem lösen zu bestimmen, ob eine Sequenz, die in wenigstens ein Maschinenlemsystem 200A eingegeben wird, mit nominalen Daten (z.B. ein Sensorstrom von einem Sensor) oder böswilligen Daten (z.B. eine gestörte Version des Sensorstroms mit böswilligen Anfragen von einem böswilligen System 20) verknüpft ist, als Mittel zum Erkennen eines Nichtvorhandenseins/Vorhandenseins eines böswilligen Angriffs. Wird eine böswillige Sequenz erkannt, ist der Detektor 210 in der Lage, erkannte böswillige Elemente zu kennzeichnen, so dass das System 100 auf den böswilligen Angriff reagieren kann. Als ein Beispiel wird etwa das Angriffsabwehrsystem 220 aktiviert, um eine entsprechende Sequenz von Ausgangsdaten, die vom Maschinenlemsystem 200A basierend auf der böswilligen Sequenz erzeugt wird, herauszufiltern, so dass Effekte, die aus der böswilligen Sequenz resultieren, vermieden und/oder nicht von einem anderen System realisiert werden, das diese Ausgangsdaten sonst vom Maschinenlemsystem 200A erhalten würde. Das System 100 ist beispielsweise in der Lage zu verhindern, dass falsche Ausgangsdaten (z.B. falsche Klassendaten), die auf einer erkannten Sequenz von böswilligen Daten basieren, das Betätigersystem 170 beeinträchtigen, wodurch für das System 100 ein zusätzliches Maß an Sicherheit in Bezug auf böswillige Angriffe bereitgestellt wird.
Das bedeutet, die obige Beschreibung ist veranschaulichend und nicht einschränkend zu verstehen und wird im Zusammenhang mit einer bestimmten Anwendung und deren Anforderungen bereitgestellt. Für Fachleute auf diesem Gebiet ist aus der vorstehenden Beschreibung zu erkennen, dass die vorliegende Erfindung in vielfältigen Formen implementiert werden kann und dass die verschiedenen Ausführungsformen für sich allein oder in Kombination implementiert werden können. Daher können, während die Ausführungsformen der vorliegenden Erfindung in Verbindung mit bestimmten Beispielen derselben beschrieben wurden, die in der vorliegenden Patentschrift definierten allgemeinen Prinzipien auf andere Ausführungsformen und Anwendungen angewandt werden, ohne vom Wesen und Schutzbereich der beschriebenen Ausführungsformen abzuweichen, und der tatsächliche Schutzbereich der Ausführungsformen und/oder Verfahren der vorliegenden Erfindung ist nicht auf die gezeigten und beschriebenen Ausführungsformen beschränkt, da verschiedene Modifikationen für den Fachmann beim Studium der Zeichnungen, der Spezifikation und der folgenden Ansprüche offensichtlich werden. Beispielsweise können Komponenten und Funktionalität getrennt oder anders als bei den verschiedenen beschriebenen Ausführungsformen kombiniert und unter Verwendung andere Begrifflichkeiten beschrieben werden. Diese und andere Variationen, Modifikationen, Ergänzungen und Verbesserungen können in den Schutzbereich der vorliegenden Offenbarung fallen, wie in den nachfolgenden Ansprüchen definiert.

Claims

Computerimplementiertes Verfahren zum Trainieren eines Maschinenlernsystems zum Erkennen eines böswilligen Angriffs, wobei das Verfahren umfasst: Erhalten einer Sammlung von Sequenzen, wobei die Sammlung wenigstens eine erste Sequenz und eine zweite Sequenz enthält; Klassifizieren der ersten Sequenz als zu einer ersten Klasse gehörend, die indikativ für eine nominale Sequenz ist, basierend auf einer ersten Vorhersage, dass die erste Sequenz eine ungestörte Version von Sensordaten enthält; Klassifizieren der zweiten Sequenz als zu einer zweiten Klasse gehörend, die indikativ für eine böswillige Sequenz ist, basierend auf einer zweiten Vorhersage, dass die zweite Sequenz eine gestörte Version der Sensordaten enthält; Erzeugen kombinierter Verlustdaten basierend auf (i) einem ersten durchschnittlichen Verlust, der falsche Klassifizierungen der ersten Klasse in Bezug auf einen ersten Satz von Sequenzen aus der Sammlung von Sequenzen beinhaltet, wobei jede Sequenz innerhalb des ersten Satzes von Sequenzen die nominale Sequenz ist, und (ii) einem zweiten durchschnittlichen Verlust, der falsche Klassifizierungen der zweiten Klasse in Bezug auf einen zweiten Satz von Sequenzen aus der Sammlung von Sequenzen beinhaltet, wobei jede Sequenz innerhalb des zweiten Satzes von Sequenzen die böswillige Sequenz ist; und Aktualisieren von Parametern des Maschinenlernsystems basierend auf den kombinierten Verlustdaten.
Computerimplementiertes Verfahren nach Anspruch 1, wobei der Schritt des Aktualisierens von Parametern beinhaltet: Bestimmen der Parameter eines diskriminativen Modells des Maschinenlernsystems, die die kombinierten Verlustdaten einer gewichteten Funktion mit dem ersten Durchschnittsverlust und dem zweiten Durchschnittsverlust minimieren.
Computerimplementiertes Verfahren nach Anspruch 1, wobei das Maschinenlernsystem ein tiefes neuronales Netz mit einer Architektur, die zeitliche Sequenzen verarbeitet, umfasst.
Computerimplementiertes Verfahren nach Anspruch 1, wobei das Maschinenlernsystem ein rekursives neuronales Netz, ein langes Kurzzeitgedächtnis-Netz oder eine getastete rekursive Einheit beinhaltet.
Computerimplementiertes Verfahren nach Anspruch 1, wobei: die erste Sequenz derart erzeugt wird, dass ein anderes Maschinenlernsystem erste Klassendaten für die erste Sequenz erzeugt; die zweite Sequenz eine gestörte Version der ersten Sequenz ist, so dass das andere Maschinenlernsystem zweite Klassendaten für die zweite Sequenz erzeugt; und die ersten Klassendaten von den zweiten Klassendaten verschieden sind.
Computerimplementiertes Verfahren nach Anspruch 5, wobei: die erste Sequenz aus einem Sensordatenstrom extrahiert wird; die erste Sequenz mehrere Rahmen von Sensordaten enthält; und die zweite Sequenz eine Teilsequenz enthält, wobei die Teilsequenz iterative gestörte Versionen eines ausgewählten Rahmens der ersten Sequenz aufweist, wobei eine der gestörten Versionen des ausgewählten Rahmens das andere Maschinenlernsystem veranlasst, die zweiten Klassendaten für die zweite Sequenz zu erzeugen.
Computerimplementiertes Verfahren nach Anspruch 5, wobei: die erste Sequenz aus einem Sensordatenstrom extrahiert wird; die erste Sequenz mehrere Rahmen von Sensordaten enthält; und jeder Rahmen der zweiten Sequenz durch eine entsprechende Störung gestört ist, so dass die zweite Sequenz das andere Maschinenlernsystem veranlasst, die zweiten Klassendaten für die zweite Sequenz zu erzeugen.
Nicht-transitorisches, computerlesbares Medium, computerlesbare Daten umfassend, die, wenn sie von einem Prozessor ausgeführt werden, den Prozessor veranlassen, ein Verfahren durchzuführen, um ein Maschinenlernsystem zum Erkennen eines böswilligen Angriffs zu trainieren, wobei das Verfahren umfasst: Erhalten einer Sammlung von Sequenzen, wobei die Sammlung von Sequenzen wenigstens eine erste Sequenz und eine zweite Sequenz enthält; Klassifizieren der ersten Sequenz als zu einer ersten Klasse gehörend, die indikativ für eine nominale Sequenz ist, basierend auf einer ersten Vorhersage, dass die erste Sequenz eine ungestörte Version von Sensordaten enthält; Klassifizieren der zweiten Sequenz als zu einer zweiten Klasse gehörend, die indikativ für eine böswillige Sequenz ist, basierend auf einer zweiten Vorhersage, dass die zweite Sequenz eine gestörte Version der Sensordaten enthält; Erzeugen kombinierter Verlustdaten basierend auf (i) einem ersten durchschnittlichen Verlust, der falsche Klassifizierungen der ersten Klasse in Bezug auf einen ersten Satz von Sequenzen aus der Sammlung von Sequenzen beinhaltet, wobei jede Sequenz innerhalb des ersten Satzes von Sequenzen die nominale Sequenz ist, und (ii) einem zweiten durchschnittlichen Verlust, der falsche Klassifizierungen der zweiten Klasse in Bezug auf einen zweiten Satz von Sequenzen aus der Sammlung von Sequenzen beinhaltet, wobei jede Sequenz innerhalb des zweiten Satzes von Sequenzen die böswillige Sequenz ist; und Aktualisieren von Parametern des Maschinenlernsystems basierend auf den kombinierten Verlustdaten.
Nichttransitorisches, computerlesbares Medium nach Anspruch 8, wobei der Schritt des Aktualisierens von Parametern beinhaltet: Bestimmen der Parameter eines Diskriminatormodells des Maschinenlernsystems, die die kombinierten Verlustdaten einer gewichteten Funktion mit dem ersten Durchschnittsverlust und dem zweiten Durchschnittsverlust minimieren.
Nichttransitorisches, computerlesbares Medium nach Anspruch 8, wobei das Maschinenlernsystem ein tiefes neuronales Netz mit einer Architektur, die zeitliche Sequenzen verarbeitet, umfasst.
Nichttransitorisches, computerlesbares Medium nach Anspruch 8, wobei das Maschinenlernsystem ein rekursives neuronales Netz, ein langes Kurzzeitgedächtnis-Netz oder eine getastete rekursive Einheit beinhaltet.
Nichttransitorisches, computerlesbares Medium nach Anspruch 8, wobei: die erste Sequenz derart erzeugt wird, dass ein anderes Maschinenlernsystem erste Klassendaten für die erste Sequenz erzeugt; die zweite Sequenz eine gestörte Version der ersten Sequenz ist, so dass das andere Maschinenlernsystem zweite Klassendaten für die zweite Sequenz erzeugt; und die ersten Klassendaten von den zweiten Klassendaten verschieden sind.
Nichttransitorisches, computerlesbares Medium nach Anspruch 12, wobei: die erste Sequenz aus einem Sensordatenstrom extrahiert wird; die erste Sequenz mehrere Rahmen von Sensordaten enthält; und die zweite Sequenz eine Teilsequenz enthält, wobei die Teilsequenz iterative gestörte Versionen eines ausgewählten Rahmens der ersten Sequenz enthält, wobei eine der gestörten Versionen des ausgewählten Rahmens das andere Maschinenlernsystem veranlasst, die zweiten Daten für die zweite Sequenz zu erzeugen.
Nichttransitorisches, computerlesbares Medium nach Anspruch 12, wobei: die erste Sequenz aus einem Sensordatenstrom extrahiert wird; die erste Sequenz mehrere Rahmen von Sensordaten enthält; und jeder Rahmen der zweiten Sequenz durch eine entsprechende Störung gestört ist, so dass die zweite Sequenz das andere Maschinenlernsystem veranlasst, die zweiten Klassendaten für die zweite Sequenz zu erzeugen.
Computerimplementiertes Verfahren zur Verteidigung gegen einen böswilligen Angriff, wobei das computerimplementierte umfasst: Erhalten einer Sequenz von Eingängen in ein erstes Maschinenlernsystem; Erzeugen einer Böswilligkeitskennzeichnung, um die Sequenz von Eingängen zu klassifizieren, basierend auf einer Vorhersage, dass die Sequenz von Eingängen eine gestörte Version von mehreren Rahmen von Sensordaten ist; Identifizieren einer Sequenz von Ausgangsdaten, die vom ersten Maschinenlernsystem basierend auf der Sequenz von Eingängen erzeugt wird; und Herausfiltern der Sequenz von Ausgangsdaten vom ersten Maschinenlernsystem basierend auf der Böswilligkeitskennzeichnung, um zu verhindern, dass ein Betätigersystem durch Steuerdaten gesteuert wird, die auf der Sequenz von Ausgangsdaten basieren.
Computerimplementiertes Verfahren nach Anspruch 15, ferner umfassend: Erhalten einer weiteren Sequenz von Eingängen in das erste Maschinenlernsystem, wobei die weitere Sequenz von Eingängen mehrere weitere Rahmen von Sensordaten enthält; Erzeugen einer Nicht-Böswilligkeitskennzeichnung für die weitere Sequenz von Eingängen basierend auf einer weiteren Vorhersage, dass die weitere Sequenz von Eingängen nicht durch Stördaten gestört ist; Erhalten einer weiteren Sequenz von Ausgangsdaten, die vom ersten Maschinenlernsystem basierend auf einer anderen Sequenz von Eingängen erzeugt wird; und Steuern des Betätigersystem basierend auf der anderen Sequenz von Ausgangsdaten.
Computerimplementiertes Verfahren nach Anspruch 15, ferner umfassend: Verwenden eines Gleitfensters, um die Sequenz von Eingängen, die in das erste Maschinenlernsystem eingegeben werden, zu erhalten, wobei die mehreren Rahmen von Sensordaten iterative gestörte Versionen eines ausgewählten Rahmens von Sensordaten enthalten.
Computerimplementiertes Verfahren nach Anspruch 15, wobei der Schritt des Erzeugens der Böswilligkeitskennzeichnung von einem zweiten Maschinenlernsystem durchgeführt wird.
Computerimplementiertes Verfahren nach Anspruch 18, wobei: das zweite Maschinenlernsystem mit einem Satz von Sequenzen trainiert wird; der Satz von Sequenzen einen Satz von nominalen Sequenzen und einen Satz von böswilligen Sequenzen enthält; und der Satz von böswilligen Sequenzen gestörte Versionen des Satzes von nominalen Sequenzen enthält, so dass das erste Maschinenlernsystem andere Klassendaten basierend auf den böswilligen Sequenzen erzeugt, verglichen mit den Klassendaten basierend auf den nominalen Sequenzen.
Computerimplementiertes Verfahren nach Anspruch 18, wobei das zweite Maschinenlernsystem ein rekursives neuronales Netz, ein langes Kurzzeitgedächtnis-Netz oder eine getastete rekursive Einheit beinhaltet.