DE102020215942A1

DE102020215942A1 - System und verfahren für unüberwachte domänenanpassung mit mischungstraining

Info

Publication number: DE102020215942A1
Application number: DE102020215942.4A
Authority: DE
Inventors: Liu Ren; Huan Song; Lincan Zou; Shen YAN; Nanxiang LI
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-12-31
Filing date: 2020-12-15
Publication date: 2021-07-01
Also published as: US20210201159A1; US11537901B2; CN113128704A

Abstract

Ein System und ein Verfahren zur Domänenanpassung involvieren eine erste Domäne und eine zweite Domäne. Ein Maschinenlernsystem wird mit ersten Sensordaten und ersten Labeldaten der ersten Domäne trainiert. Es werden zweite Sensordaten einer zweiten Domäne erhalten. Es werden zweite Labeldaten über das Maschinenlernsystem basierend auf den zweiten Sensordaten generiert. Es werden Interdomänensensordaten durch Interpolieren der ersten Sensordaten der ersten Domäne mit Bezug auf die zweiten Sensordaten der zweiten Domäne generiert. Es werden Interdomänenlabeldaten durch Interpolieren erster Labeldaten der ersten Domäne mit Bezug auf zweite Labeldaten der zweiten Domäne generiert. Das Maschinenlernsystem ist so betreibbar, dass es Interdomänenausgabedaten als Reaktion auf die Interdomänensensordaten generiert. Es werden Interdomänenverlustdaten basierend auf den Interdomänenausgabedaten mit Bezug auf die Interdomänenlabeldaten generiert. Nach dem Optimieren von Endverlustdaten, die mindestens die Interdomänenverlustdaten enthalten, werden Parameter des Maschinenlernsystems aktualisiert. Das Maschinenlernsystem, das in der ersten Domäne betreibbar ist, ist angepasst, um nach einer Domänenanpassung aktuelle Labeldaten, die aktuelle Sensordaten der zweiten Domäne identifizieren, zu generieren.

Description

GEBIET DER TECHNIK
Diese Offenbarung betrifft allgemein Maschinenlernsysteme.
ALLGEMEINER STAND DER TECHNIK
Deep-Learning-Systeme sind typischerweise auf sehr viele Daten und umfassende, von Menschen vorgenommene Labelungen angewiesen. Beim Einsatz in Szenarien in der Praxis treten bei ihnen daher oft kritische Komplikationen auf, wenn Domänenwechsel erfolgen und die Labels in neuen Verteilungen nur in geringer Anzahl vorhanden oder nicht verfügbar sind. Diese Komplikationen betreffen die unüberwachte Domänenanpassung (UDA), die das Nutzen einer relevanten Quelldomäne mit sehr vielen Labels zum Erstellen einer prädiktiven Modellierung für eine unannotierte Zieldomäne involviert. Bei der Auseinandersetzung mit diesen Komplikationen wurde bei einigen Arbeiten auf den Ansatz des gegnerischen Lernens zum Lernen domäneninvarianter Merkmale abgestellt. Es ist jedoch festgestellt worden, dass diese Arbeiten unzureichend dafür sind, um eine gewünschte Zieldomänenperformanz zu erreichen. Darüber hinaus erfolgten weitere Arbeiten, aufgrund derer zusätzliche Trainingsbegrenzungen wie Clusterannahmen eingeführt wurden. Diese anderen Ansätze geben jedoch Begrenzungen für eine gewählte Domäne einzeln und unabhängig vor und gehen mit etlichen Performanznachteilen einher, da sie das wichtige Zusammenspiel der Quelldomäne und der Zieldomäne ignorieren.
KURZE DARSTELLUNG DER ERFINDUNG
Im Folgenden werden einige Ausführungsformen, die unten ausführlich beschrieben werden, kurz dargestellt. Die beschriebenen Aspekte werden lediglich angeführt, um dem Leser eine kurze Darstellung dieser Ausführungsformen an die Hand zu geben, und die Beschreibung dieser Aspekte soll den Schutzbereich dieser Offenbarung nicht begrenzen. Denn diese Offenbarung kann auch diverse, unten möglicherweise nicht ausdrücklich dargelegte Aspekte einschließen.
Gemäß mindestens einem Aspekt involviert ein computerimplementiertes Verfahren zur unüberwachten Domänenanpassung eine erste Domäne und eine zweite Domäne. Das Verfahren enthält das Erhalten eines Maschinenlernsystems, das mit ersten Sensordaten und ersten Labeldaten der ersten Domäne trainiert wird. Das Verfahren enthält das Erhalten zweiter Sensordaten der zweiten Domäne. Das Verfahren enthält das Generieren zweiter Labeldaten über das Maschinenlernsystem basierend auf den zweiten Sensordaten. Das Verfahren enthält das Generieren von Interdomänensensordaten durch Interpolieren erster Sensordaten der ersten Domäne mit Bezug auf zweite Sensordaten der zweiten Domäne. Das Verfahren enthält das Generieren von Interdomänenlabeldaten durch Interpolieren erster Labeldaten der ersten Domäne mit Bezug auf zweite Labeldaten der zweiten Domäne. Das Verfahren enthält das Generieren von Interdomänenausgabedaten über das Maschinenlernsystem basierend auf den Interdomänensensordaten und den Interdomänenlabeldaten. Das Verfahren enthält das Generieren von Interdomänenverlustdaten basierend auf den Interdomänenausgabedaten mit Bezug auf die Interdomänenlabeldaten. Das Verfahren enthält das Aktualisieren von Parametern des Maschinenlernsystems nach dem Optimieren von Endverlustdaten. Die Endverlustdaten enthalten die Interdomänenverlustdaten.
Gemäß mindestens einem Aspekt enthält ein System mindestens ein Speichersystem und ein Verarbeitungssystem. Das Speichersystem enthält mindestens ein nichtflüchtiges, computerlesbares Medium. Das Speichersystem enthält eine Domänenanpassungsanwendung und ein Maschinenlernsystem. Das Verarbeitungssystem ist betriebsfähig mit dem Speichersystem verbunden. Das Verarbeitungssystem enthält mindestens einen Prozessor, der konfiguriert ist, um die Domänenanpassungsanwendung auszuführen, um ein Verfahren, das das Generieren von Interdomänensensordaten durch Interpolieren erster Sensordaten der ersten Domäne mit Bezug auf zweite Sensordaten der zweiten Domäne enthält, zu implementieren. Das Verfahren enthält das Generieren von Interdomänenlabeldaten durch Interpolieren erster Labeldaten der ersten Domäne mit Bezug auf zweite Labeldaten der zweiten Domäne. Das Verfahren enthält das Generieren von Interdomänenausgabedaten über das Maschinenlernsystem basierend auf den Interdomänensensordaten und den Interdomänenlabeldaten. Das Verfahren enthält das Generieren von Interdomänenverlustdaten basierend auf den Interdomänenausgabedaten mit Bezug auf die Interdomänenlabeldaten. Das Verfahren enthält das Aktualisieren von Parametern des Maschinenlernsystems nach dem Minimieren von Endverlustdaten, die mindestens die Interdomänenverlustdaten enthalten. Das Verfahren enthält das Bereitstellen des Maschinenlernsystems für den Einsatz. Das Maschinenlernsystem ist angepasst, um aktuelle Labeldaten, die aktuelle Sensordaten der zweiten Domäne klassifizieren, zu generieren.
Gemäß mindestens einem Aspekt enthält ein nichtflüchtiges, computerlesbares Medium computerlesbare Daten einer Domänenanpassungsanwendung, die, wenn sie durch ein Verarbeitungssystem mit mindestens einem Prozessor ausgeführt wird, konfiguriert ist, um zu bewirken, dass das Verarbeitungssystem ein Verfahren, das das Generieren von Interdomänensensordaten durch Interpolieren erster Sensordaten der ersten Domäne mit Bezug auf zweite Sensordaten der zweiten Domäne enthält, implementiert. Das Verfahren enthält das Generieren von Interdomänenlabeldaten durch Interpolieren erster Labeldaten der ersten Domäne mit Bezug auf zweite Labeldaten der zweiten Domäne. Das Verfahren enthält das Generieren von Interdomänenausgabedaten über das Maschinenlernsystem basierend auf den Interdomänensensordaten und den Interdomänenlabeldaten. Das Verfahren enthält das Generieren von Interdomänenverlustdaten basierend auf den Interdomänenausgabedaten mit Bezug auf die Interdomänenlabeldaten. Das Verfahren enthält das Aktualisieren von Parametern des Maschinenlernsystems nach dem Minimieren von Endverlustdaten, die mindestens die Interdomänenverlustdaten enthalten. Das Verfahren enthält das Bereitstellen des Maschinenlernsystems für den Einsatz oder die Verwendung. Das Maschinenlernsystem ist angepasst, um aktuelle Labeldaten, die aktuelle Sensordaten der zweiten Domäne klassifizieren, zu generieren.
Diese und weitere Merkmale, Aspekte und Vorteile der vorliegenden Erfindung werden in der folgenden ausführlichen Beschreibung gemäß den beiliegenden Zeichnungen erörtert, wobei jeweils dieselben Bezugszeichen ähnliche oder dieselben Teile darstellen.
Figurenliste

1 ist ein Schema eines beispielhaften Systems zum Trainieren eines Maschinenlernsystems gemäß einem Ausführungsbeispiel dieser Offenbarung.
2 ist eine Prinzipskizze eines Frameworks für eine unüberwachte Domänenanpassung mit einem Mischungstraining gemäß einem Ausführungsbeispiel dieser Offenbarung.
3 ist ein Schema eines Verfahrens zur unüberwachten Domänenanpassung mit einem Mischungstraining gemäß einem Ausführungsbeispiel dieser Offenbarung.

AUSFÜHRLICHE BESCHREIBUNG
Die hierin beschriebenen Ausführungsformen, die beispielhaft gezeigt und beschrieben worden sind, und viele ihrer Vorteile gehen aus der obigen Beschreibung hervor, und es ist ersichtlich, dass verschiedene Änderungen an der Ausbildung, am Aufbau und an der Anordnung der Komponenten vorgenommen werden können, ohne vom offenbarten Gegenstand abzuweichen oder ohne dass dadurch einer oder mehrere ihrer Vorteile eingebüßt werden. Die beschriebenen Ausbildungen dieser Ausführungsformen dienen nämlich lediglich zur Erläuterung. Diese Ausführungsformen können unterschiedlich modifiziert werden und alternativ ausgebildet sein, und die folgenden Ansprüche sollen derartige Änderungen einschließen und enthalten und sind nicht auf die konkreten offenbarten Ausbildungen begrenzt, sondern sollen jegliche Modifikationen, Äquivalente und Alternativen, die mit dem Gedanken dieser Offenbarung vereinbar sind und in ihren Schutzbereich fallen, abdecken.
Im Allgemeinen erkennt diese Offenbarung, dass allein das Lernen domäneninvarianter Repräsentationen die Performanzlücke zwischen den zwei Domänen nicht schließen kann. Im Gegensatz zu anderen Ansätzen mit dem Ziel, die UDA-Aufgabe durch eine unabhängige Adressierung einer Domäne zu lösen, stellen die hierin offenbarten Ausführungsformen ein beide Domänen in die Ausgestaltung einer Begrenzung einbeziehendes Framework bereit. Dadurch, dass mindestens eine domänenübergreifende Begrenzung erzwungen wird, adressieren die hierin offenbarten Ausführungsformen direkt die Zieldomänenperformanz. In diesem Zusammenhang demonstrieren die Ausführungsformen durch die Linse eines einfachen und dennoch effektiven Mischungstrainings, dass eine Einführung domänenübergreifender Trainingsbegrenzungen die Modellanpassungsperformanz erheblich verbessern kann.
1 veranschaulicht ein beispielhaftes System 100 zum Bereitstellen einer unüberwachten Domänenanpassung gemäß einem Ausführungsbeispiel. Das System 100 enthält mindestens ein Verarbeitungssystem 110. Das Verarbeitungssystem 110 enthält mindestens einen elektronischen Prozessor, einen Hauptprozessor (CPU), einen Grafikprozessor (GPU), einen Mikroprozessor, ein Field-Programmable Gate Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC), beliebige geeignete Verarbeitungstechniken oder eine beliebige Anzahl und Kombination daraus. Das Verarbeitungssystem 110 ist so betreibbar, dass es die hierin beschriebene Funktionalität bereitstellt.
Das System 100 enthält mindestens ein Speichersystem 120, das betriebsfähig mit dem Verarbeitungssystem 110 verbunden ist. In einem Ausführungsbeispiel enthält das Speichersystem 120 mindestens ein nichtflüchtiges, computerlesbares Medium, das konfiguriert ist, um verschiedene Daten zu speichern und einen Zugriff auf diese verschiedenen Daten zu ermöglichen, damit mindestens das Verarbeitungssystem 110 die Operationen und die Funktionalität, die hierin offenbart werden, durchführen kann. In einem Ausführungsbeispiel umfasst das Speichersystem 120 nur ein Element oder eine Vielzahl von Elementen. Das Speichersystem 120 kann eine elektrische, elektronische, magnetische, optische, Halbleiter-, elektromagnetische oder beliebige andere geeignete, mit dem System 100 kompatible Speichertechnik enthalten. In einem Ausführungsbeispiel enthält das Speichersystem 120 beispielsweise einen Arbeitsspeicher (RAM), einen Festwertspeicher (ROM), einen Flashspeicher, ein Plattenlaufwerk, eine Speicherkarte, einen optischen Datenspeicher, einen magnetischen Datenspeicher, ein Speichermodul, ein Speicherelement von einem beliebigen geeigneten Typ oder eine beliebige Kombination daraus. Das Speichersystem 120 ist mit Bezug auf das Verarbeitungssystem 110 und/oder andere Komponenten des Systems 100 lokal, entfernt oder eine Kombination daraus (z. B. teilweise lokal und teilweise entfernt). Das Speichersystem 120 kann zum Beispiel mindestens ein cloudbasiertes Speichersystem (z. B. ein cloudbasiertes Datenbanksystem), das vom Verarbeitungssystem 110 und/oder von anderen Komponenten des Systems 100 entfernt ist, enthalten.
Das Speichersystem 120 enthält mindestens eine Domänenanpassungsanwendung 130, ein Maschinenlernsystem 140, Trainingsdaten 150 und weitere relevante Daten 160, die darin gespeichert sind. Die Domänenanpassungsanwendung 130 enthält computerlesbare Daten, die, wenn sie durch das Verarbeitungssystem 110 ausgeführt werden, konfiguriert sind, um das Maschinenlernsystem 140 effektiv für eine Anpassung von einer ersten Domäne an eine zweite Domäne zu trainieren. Die computerlesbaren Daten können Anweisungen, Code, Routinen, verschiedene zugehörige Daten, beliebige Softwaretechniken oder eine beliebige Anzahl und Kombination daraus enthalten. Eine beispielhafte Implementierung der Domänenanpassungsanwendung 114 wird mit Bezug auf das Framework 200 in 2 und das Verfahren 300 in 3 näher erörtert. Darüber hinaus enthält das Maschinenlernsystem 140 ein Convolutional Neural Network (CNN), ein Long Short-Term Memory (LSTM) Network, ein Recurrent Neural Network (RNN), ein beliebiges sonstiges geeignetes künstliches neuronales Netz oder eine beliebige Anzahl und Kombination daraus. Zudem enthalten die Trainingsdaten 150 eine ausreichende Menge von Sensordaten einer ersten Domäne, Labeldaten der ersten Domäne, Sensordaten einer zweiten Domäne, Labeldaten der zweiten Domäne, verschiedene Mischungsformulierungen (z. B. Interdomänensensordaten, Interdomänenlabeldaten, Intradomänensensordaten, Intradomänenlabeldaten oder Konsistenzregularisiererdaten), verschiedene Verlustdaten, verschiedene Gewichtsdaten und verschiedene Parameterdaten sowie eventuelle zugehörige Maschinenlerndaten, die ermöglichen, dass das System 100 das unüberwachte Domänenanpassungstraining, wie hierin beschrieben, bereitstellt. Indessen stellen die weiteren relevanten Daten 160 verschiedene Daten (z. B. Betriebssystem) bereit, die ermöglichen, dass das System 100 die hierin erörterten Funktionen bereitstellt.
In einem Ausführungsbeispiel ist das System 100 so konfiguriert, dass es mindestens ein Sensorsystem 170 enthält. Das Sensorsystem 170 enthält einen oder mehrere Sensoren. Das Sensorsystem 170 enthält zum Beispiel einen Bildsensor, eine Kamera, einen Radarsensor, einen LIDAR-Sensor (LIDAR = Light Detection and Ranging), einen thermischen Sensor, einen Ultraschallsensor, einen Infrarotsensor, einen Bewegungssensor, einen Audiosensor, eine Inertialmesseinheit (IMU), beliebige sonstige geeignete Sensoren oder eine beliebige Kombination daraus. Das Sensorsystem 110 ist so betreibbar, dass es mit einer oder mehreren anderen Komponenten (z. B. dem Verarbeitungssystem 110 und dem Speichersystem 120) des Systems 100 kommuniziert. Genauer ist das Verarbeitungssystem 110 zum Beispiel konfiguriert, um die Sensordaten direkt oder indirekt von einem oder mehreren Sensoren des Sensorsystems 170 zu erhalten. Das Verarbeitungssystem 110 ist konfiguriert, um nach dem Empfangen der Sensordaten diese Sensordaten in Verbindung mit der Domänenanpassungsanwendung 130 und dem Maschinenlernsystem 140 zu verarbeiten.
Das System 100 enthält darüber hinaus weitere Komponenten, die am Training des Maschinenlernsystems 140 beteiligt sind. Das Speichersystem 120 ist zum Beispiel, wie in 1 gezeigt, auch konfiguriert, um weitere relevante Daten 160, die den Betrieb des Systems 100 in Beziehung zu einer oder mehreren Komponenten (z. B. dem Sensorsystem 170, E/A-Geräten 180 und weiteren Funktionsmodulen 190) betreffen, zu speichern. Darüber hinaus ist das System 100 so konfiguriert, dass es ein oder mehrere zum System 100 gehörende E/A-Geräte 180 (z. B. ein Anzeigegerät, ein Tastaturgerät oder ein Lautsprechergerät) enthält. Zudem enthält das System 100 weitere Funktionsmodule 190 wie entsprechende Hardware, Software oder Kombinationen daraus, die die Tätigkeit des Systems 100 unterstützen oder an ihr beteiligt sind. Die weiteren Funktionsmodule 190 enthalten zum Beispiel eine Kommunikationstechnik, die ermöglicht, dass Komponenten des Systems 100 miteinander kommunizieren, wie hierin beschrieben. Das System 100 ist mit mindestens der im Beispiel von 1 erörterten Konfiguration so betreibbar, dass es das Maschinenlernsystem 140, das in einer ersten Domäne („Quelldomäne“) entwickelt wird, für die Anpassung an eine zweite Domäne („Zieldomäne“) trainiert.
2 veranschaulicht eine Prinzipskizze von Aspekten der Domänenanpassungsanwendung 130, des Maschinenlernsystems 140 (z. B. eines Klassifikationsmodells 220 und eines Diskriminators 250) und der Trainingsdaten 150. Genauer veranschaulicht 2 ein IIMT-Framework (IIMT = Inter- and Intra-domain Mixup Training) 200 zur unüberwachten Domänenanpassung gemäß einem Ausführungsbeispiel. In diesem Beispiel wird die gelabelte Quelldomäne als die Menge ${(x_{i}^{s}, y_{i}^{s})}_{i = 1}^{m_{s}} \sim S$
und die ungelabelte Zieldomäne als die Menge ${x_{i}^{t}}_{i = 1}^{m_{t}} \sim T$
bezeichnet. Zudem werden in diesem Beispiel One-Hot-Labels durch y_i bezeichnet. Darüber hinaus wird das gesamte Klassifikationsmodell 220 als h_θ mit einer Parametrisierung durch θ bezeichnet. Genauer ist das Klassifikationsmodell 220 in 2 eine Zusammensetzung aus einem Einbettungscodierer 230, der als f_θ bezeichnet wird, und einem Einbettungsklassifikator 240, der als g_θ: h = f · g bezeichnet wird. In einem Ausführungsbeispiel, wie in 2 gezeigt, wird der Codierer 230 von zwei Domänen (nämlich von der Quell- und der Zieldomäne) gemeinsam genutzt. Dieses IIMT-Framework 200 enthält zudem, wie in 2 gezeigt, eine Mischung 210, bei der es sich um eine Kernkomponente handelt und die domänenübergreifend (z. B. zwischen Domänen) sowie innerhalb jeder Domäne (z. B. innerhalb der Domäne für die Quelldomäne und innerhalb der Domäne für die Zieldomäne) vorgegeben wird. Das IIMT-Framework 200 enthält zudem einen Konsistenzregularisierer, damit sich eine Interdomänenmischung bei einer relativ großen Domänendiskrepanz besser umsetzen lässt. Zudem ist das IIMT-Framework 200 so konfiguriert, dass es ein Ende-zu-Ende-Training für seine Verlustdaten, etwa alle Mischungstrainingsverluste (z. B. L_s, L_q, L_t und L_z) und den gegnerischen Domänenverlust (z. B. L_d), bereitstellt.
3 veranschaulicht ein beispielhaftes Verfahren 300 zum Bereitstellen einer unüberwachten Domänenanpassung gemäß einem Ausführungsbeispiel. In diesem Fall wird das Verfahren 300 über das Domänenanwendungsprogramm 130 bei einer Ausführung durch das Verarbeitungssystem 110 durchgeführt. Das System 100 ist jedoch nicht darauf begrenzt, dass es nur dieses Verfahren 300 implementiert, sondern es kann auch andere Verfahren (z. B. andere Schritte oder Schritte in einer anderen Reihenfolge) implementieren, vorausgesetzt, die anderen Verfahren erfüllen ebenfalls die Funktionen und Zwecke des IIMT-Frameworks 200 aus 2. Zum Beispiel muss die Mischungsformulierung auf der Intradomänenebene für die Quelldomäne nicht unbedingt so wie angezeigt bei Schritt 306 erfolgen, sondern sie kann auch vor Schritt 304, zur selben Zeit wie Schritt 304 oder immer dann erfolgen, wenn die Sensordaten und die Labeldaten für die Quelldomäne für Mischungsoperationen verfügbar sind. Daneben können am Verfahren 300, das unten erörtert wird, noch weitere Modifikationen vorgenommen werden, ohne vom Gedanken und vom Schutzbereich des IIMT-Frameworks 200 abzuweichen.
Bei Schritt 302 erhält das Verarbeitungssystem 110 Trainingsdaten. Die Trainingsdaten enthalten in einem Ausführungsbeispiel annotierte Sensordaten einer Quelldomäne. In diesem Fall, wie in 2 gezeigt, repräsentieren die Labeldaten (y^s) wahre und/oder verifizierte Klassifikationen der Sensordaten (x^s) der Quelldomäne. Darüber hinaus erhält das Verarbeitungssystem 110, wie in 2 gezeigt, Sensordaten (x^t) einer Zieldomäne. In diesem Fall ist die Zieldomäne auf die Quelldomäne bezogen. Die Sensordaten der Zieldomäne können unannotiert oder überwiegend unannotiert sein.
Das Verarbeitungssystem 110 ist konfiguriert, um bei Schritt 304 Labeldaten für die Sensordaten der Zieldomäne zu generieren. Falls das Verarbeitungssystem zum Beispiel unannotierte Sensordaten der Zieldomäne erhält, ist das Verarbeitungssystem 110 konfiguriert, um abgeleitete Labels (q^t) als relativ schwache Überwachung für die Zieldomäne zu generieren und zu nutzen. Das Verarbeitungssystem 110 ist konfiguriert, um beim Generieren dieser abgeleiteten Labels (q^t) eine Datenaugmentation und eine Entropiereduktion in den Prozess der Generierung virtueller Labels (abgeleiteter Labels) zu integrieren. Genauer ist das Verarbeitungssystem 110 konfiguriert, um „K‟ aufgabenabhängige stochastische Augmentationen (z. B. eine zufällige Zuschneidung und Umdrehung für Bilder und eine zufällige Skalierung für eine Zeitreihe) an jeder Datenprobe durchzuführen, um transformierte Proben ${{\hat{x}}_{i, k}}_{k = 1}^{K}$
zu erhalten, wobei K einen Integer-Wert repräsentiert.
Das Verarbeitungssystem 110 ist konfiguriert, um danach die virtuellen Zieldomänenlabels, q_i, durch Durchführen der Berechnungen von Gleichung (1) und Gleichung (2) zu generieren. ${\bar{q}}_{i} = \frac{1}{K} \sum_{k = 1}^{K} h_{θ} ({\hat{x}}_{i, k})$
$q_{i} = \frac{q_{i}^{\frac{1}{T}}}{\sum_{c} q_{i, c}^{- \frac{1}{T}}}$
In der Gleichung oben bezeichnet T die Softmax-Temperatur, und c ist der Klassenindex. Das heißt, das Verarbeitungssystem 110 mittelt die Klassenvorhersagen (z. B. virtuelle Labels) über die K augmentierten Eingaben, sodass sie q _i darstellen, und führt danach ferner eine Verschärfung durch, um die virtuellen Labels q _i zu bilden. Wird ein kleinerer Wert verwendet, z. B. T < 1, führt dies zu schärferen vorhergesagten Verteilungen und trägt dazu bei, dass die bedingte Entropie reduziert wird, wenn q _i bei einem Training verwendet wird. Das Verarbeitungssystem 110 ist nun dazu in der Lage, diese virtuellen Labels (q^t) als Annotationen für die Sensordaten (x^t) der Zieldomäne zu verwenden.
Das Verarbeitungssystem 110 ist konfiguriert, um bei Schritt 306 Mischungsoperationen auf einer Intradomänenebene für die Quelldomäne, einer Interdomänenebene sowohl für die Quelldomäne als auch für die Zieldomäne und einer Intradomänenebene für die Zieldomäne durchzuführen. Diese Mischungsoperationen können in einer beliebigen geeigneten Reihenfolge, gleichzeitig oder durch eine Kombination daraus generiert werden. Das Verarbeitungssystem 110 ist konfiguriert, um Mischungsoperationen, wie unten erörtert, durchzuführen. Des Weiteren führt das Verarbeitungssystem 110, wie in 2 gezeigt, auch mindestens eine Mischungsoperation für den Konsistenzregularisierer durch, jedoch enthält diese Mischungsoperation codierte Repräsentationen vom Codierer 230 und wird mithin bei Schritt 310 erörtert. Mit der Aufnahme dieser Mischungsoperationen begünstigt das Verarbeitungssystem 110 ein lineares Verhalten des Maschinenlernsystems 140, da eine lineare Interpolation in den Rohdaten zu einer linearen Interpolation von Vorhersagen führt.
Intradomänenmischungsoperationen für die Quelldomäne
Für die Intradomänenmischung ist das Verarbeitungssystem 110 konfiguriert, um ein Paar Proben, z. B. $(x_{i}^{s}, y_{i}^{s}) und (x_{j}^{s}, y_{j}^{s})$
aus der Quelldomäne auszuwählen. Das Verarbeitungssystem 110 ist konfiguriert, um eine Mischung zum Erzwingen einer Linearitätskonsistenz innerhalb der Quelldomäne durch Generieren der folgenden Mischungsformulierungen basierend auf dem ausgewählten Paar Quellproben durchzuführen, wie durch die folgenden Gleichungen angegeben, wobei λ ∈ [0,1] gilt. $x_{i}^{s'} = λ' x_{i}^{s} + (1 - λ') x_{j}^{s}$
$y_{i}^{s'} = λ' y_{i}^{s} + (1 - λ') y_{j}^{s}$
Das Verarbeitungssystem 110 ist konfiguriert, um nach dem Durchführen dieser Mischung für die Quelldomäne die Mischungsformulierung (x^s', y^s') als Trainingsdaten für das Maschinenlernsystem 140 bereitzustellen. In diesem Fall repräsentiert x^s'' Zwischensensordaten der Quelldomäne, und y^s' repräsentiert Zwischenlabeldaten der Quelldomäne. In diesem Zusammenhang dient diese Intradomänenmischungsformulierung als Datenaugmentationsstrategie und ist zudem besonders nützlich für die UDA, um eine Vorhersageglattheit im Fall plötzlicher Vorhersageänderungen in der Nähe von Datenproben zu erzielen. Darüber hinaus gibt die Intradomänenmischung eine starke Linearität vor, um eine separate lokale Lipschitz-Stetigkeit für diese Quelldomäne zu erzwingen.
Das Verarbeitungssystem 110 ist konfiguriert, um nach dem Erhalten der interpolierten Ergebnisse (z. B. der Mischungsformulierungen) Labeldaten, die die interpolierten Ergebnisse (x^s', y^s') klassifizieren, über das Maschinenlernsystem 140 zu generieren. Da Proben derselben Domäne der ähnlichen Verteilung folgen, ist es nicht nötig, eine Linearität auf der Merkmalsebene anzuwenden. Das Verarbeitungssystem 110 verwendet daher diese Mischungsoperationen auf der Labelebene für die Quelldomäne und bestimmt die mit ihnen korrespondierenden Verlustdaten L_S über die folgende Gleichung. $L_{s} = \frac{1}{B} \sum_{i} H (y_{i}^{s'}, h_{θ} (x_{i}^{s'}))$
Interdomänenmischungsoperationen für die Quell- und die Zieldomäne
Für die Interdomänenmischung ist das Verarbeitungssystem 110 konfiguriert, um ein Paar Proben, z. B. $(x_{i}^{s}, x_{i}^{t})$
und $(y_{i}^{s}, q_{i}^{t})$
aus den mit ihnen korrespondierenden Batches auszuwählen. Das Verarbeitungssystem 110 ist konfiguriert, um eine Mischung zum Erzwingen der quell- und zieldomänenübergreifenden Linearitätskonsistenz durch Generieren der folgenden Mischungsformulierungen basierend auf dem ausgewählten Paar Quell- und Zielproben durchzuführen, wie durch die folgenden Gleichungen angegeben, wobei λ ∈ [0,1] gilt. $x_{i}^{s t} = λ' x_{i}^{s} + (1 - λ') x_{i}^{t}$
$q_{i}^{s t} = λ' y_{i}^{s} + (1 - λ') q_{i}^{t}$
Das Verarbeitungssystem 110 ist konfiguriert, um nach dem Durchführen dieser Mischung für beide Domänen die Mischungsformulierung (x^st, q^st) als Trainingsdaten für das Maschinenlernsystem 140 bereitzustellen. In diesem Fall repräsentiert x^st Interdomänensensordaten, die aus dem Durchführen einer Interpolation für beide Domänen resultieren, und q^st repräsentiert virtuelle Interdomänenlabeldaten, die aus dem Durchführen einer Interpolation für beide Domänen resultieren, wodurch dem wichtigen Zusammenspiel zwischen der Quell- und der Zieldomäne Rechnung getragen wird.
Das Interdomänenmischungstraining dient als Schlüsselkomponente im IIMT-Framework 200. Beim Training des Klassifikationsmodells 220 stellt die Interdomänenmischung interpolierte Labels zum Erzwingen eines linearen, domänenübergreifenden Vorhersageverhaltens des Klassifikators bereit. Im Vergleich zu einem Training nur mit Quellenlabels ergibt sich bei diesem Mischungstraining mit interpolierten Labels ein vereinfachender induktiver Bias, der die Verallgemeinerungsfähigkeit des Klassifikators 240 für die Zieldomäne direkt verbessern kann. Das Verarbeitungssystem 110 ist konfiguriert, um nach dem Generieren von Labeldaten, die die Interdomänenmischungsformulierungen, z. B. (x^st, q^st), über das Maschinenlernsystem 140 klassifizieren, Verlustdaten (L_q) über die folgende Gleichung zu generieren. $L_{q} = \frac{1}{B} \sum_{i} H (q_{i}^{s t}, h_{θ} (x_{i}^{s t}))$
In der Gleichung (8) bezeichnet B die Batchgröße, und H bezeichnet den Kreuzentropieverlust. Zudem wird in den Gleichungen (6) und (7) der Mischungsgewichtungsparameter basierend auf den folgenden Gleichungen ausgewählt. $λ \sim B e t a (α, α)$
$λ' \sim m a x (λ,1 - λ)$
In der Gleichung (9) bezieht sich Beta auf die Betaverteilung mit dem gemeinsamen Formparameter α. Wird für α ein näher bei 1 liegender Wert gewählt, ist die Wahrscheinlichkeit größer, dass ein mittlerer Wert von λ aus dem Bereich [0; 1] gewählt wird, was zu einem höheren Grad der Interpolation zwischen den zwei Domänen führt. Zudem liegt λ' aufgrund der Gleichung (10) immer über 0,5, um sicherzustellen, dass die Quelldomäne dominant ist. Ähnlich lässt sich die von der Zieldomäne dominierte Mischung durch das Austauschen von x^s und x^t in der Gleichung (6) generieren, wodurch (x^ts, q^ts) gebildet wird. Mit (x^ts, q^ts) ist das Verarbeitungssystem 110 konfiguriert, um den MSE-Verlust (MSE = Mean Square Error, mittlerer quadratischer Fehler) zu verwenden, da dieser toleranter gegenüber falschen virtuellen Labels in der Zieldomäne ist.
Intradomänenmischungsoperationen für die Zieldomäne
Für die Intradomänenmischung ist das Verarbeitungssystem 110 konfiguriert, um ein Paar Proben, z. B. $(x_{i}^{t}, q_{i}^{t})$
und $(x_{j}^{t}, q_{j}^{t})$
aus der Zieldomäne auszuwählen. Wie oben erwähnt, handelt es sich bei den Labels (z. B. $q_{i}^{t}$
und $q_{j}^{t}$
) mit Bezug auf die Zieldomäne um abgeleitete Labels, die durch das Maschinenlernsystem 140 basierend auf den Sensordaten der Zieldomäne generiert werden und mithin vorhergesagte Labels (also keine Grundwahrheit-Labels) sind. Das Verarbeitungssystem 110 ist konfiguriert, um eine Mischung zum Erzwingen einer Linearitätskonsistenz innerhalb der Zieldomäne durch Generieren der folgenden Mischungsformulierungen basierend auf dem ausgewählten Paar Zielproben durchzuführen, wie durch die folgenden Gleichungen angegeben, wobei λ ∈ [0,1] gilt. $x_{i}^{t'} = λ' x_{i}^{t} + (1 - λ') x_{j}^{t}$
$q_{i}^{t'} = λ' q_{i}^{t} + (1 - λ') q_{j}^{t}$
Das Verarbeitungssystem 110 ist konfiguriert, um nach dem Durchführen dieser Mischung für die Zieldomäne die Mischungsformulierung (x^t', y^t') als Trainingsdaten für das Maschinenlernsystem 140 bereitzustellen. In diesem Fall repräsentiert x^t' Zwischensensordaten der Zieldomäne, und y^t' repräsentiert virtuelle Zwischenlabeldaten der Zieldomäne. In diesem Zusammenhang dient diese Intradomänenmischungsformulierung als Datenaugmentationsstrategie und ist zudem besonders nützlich für die UDA, um eine Vorhersageglattheit im Fall plötzlicher Vorhersageänderungen in der Nähe von Datenproben zu erzielen. Darüber hinaus gibt die Intradomänenmischung eine starke Linearität vor, um eine separate lokale Lipschitz-Stetigkeit für diese Zieldomäne zu erzwingen.
Das Verarbeitungssystem 110 ist konfiguriert, um nach dem Erhalten der interpolierten Ergebnisse (z. B. der Mischungsformulierungen) Labeldaten, die die interpolierten Ergebnisse (x^t', y^t') klassifizieren, über das Maschinenlernsystem 140 zu generieren. Da Proben derselben Domäne der ähnlichen Verteilung folgen, ist es nicht nötig, eine Linearität auf der Merkmalsebene anzuwenden. Das Verarbeitungssystem 110 verwendet daher diese Mischungsoperationen auf der Labelebene für die Zieldomäne und bestimmt die mit ihnen korrespondierenden Verlustdaten L_t über die folgende Gleichung. $L_{t} = \frac{1}{B} {\sum_{i} ‖ q_{i}^{t'}, h_{θ} (x_{i}^{t'}) ‖}_{2}^{2}$
Das Verarbeitungssystem 110 ist konfiguriert, um bei Schritt 308 ein gegnerisches Standarddomänentraining zum Reduzieren der Domänendiskrepanz zu verwenden. In einem Ausführungsbeispiel beschränkt sich die Implementierung auf das DANN-Framework (DANN = Domain Adversarial Neural Network) zur Fokussierung auf die Evaluierung der Mischungslinearitätsbegrenzungen. Noch weitere Ausführungsformen können weitere und/oder noch komplexere Formulierungen als das DANN-Framework enthalten. Genauer werden der gemeinsame Einbettungscodierer 230 (z. B. ein Generator) und der Diskriminator 250, wie in 2 gezeigt, entsprechend dem gegnerischen Zweck so trainiert, dass der Codierer 230 lernt, domäneninvariante Merkmale zu generieren. In diesem Zusammenhang wird der Diskriminator 250 durch D: Z → (0,1) bezeichnet, wobei 0/1 das binäre Domänenlabel annotiert. Mit dem DANN bestimmt das Verarbeitungssystem 110 den gegnerischen Domänenverlust (L_d) über die folgende Gleichung: $L_{d} = \frac{1}{B} \sum_{i} l n D (h_{θ} (x_{i}^{s t}) + l n (1 - D (f_{θ} (x_{i}^{s t}))))$
Wie in 2 gezeigt und wie in der Gleichung (14) angegeben, führt das Verarbeitungssystem 110 das Diskriminatortraining basierend auf den codierten Repräsentationen der Mischungsformulierungen zwischen den Quell- und Zielproben und nicht direkt an den ursprünglichen Proben selbst durch.
Das Verarbeitungssystem 110 ist konfiguriert, um bei Schritt 310 einen Konsistenzregularisierer für die latenten Merkmale vorzugeben, damit sich das Interdomänenmischungstraining besser umsetzen lässt. Der Konsistenzregularisierer ist besonders bei einer relativ großen Domänendiskrepanz effektiv, denn die durch die Interdomänenmischung vorgegebene Linearitätsbegrenzung kann weniger effektiv sein. Namentlich wenn die heterogenen Roheingaben in der Gleichung (6) interpoliert werden, tritt möglicherweise eine Schwierigkeit dabei auf, wenn das Klassifikationsmodell 220 zum Erzeugen korrespondierender interpolierter Vorhersagen gezwungen wird. Gleichzeitig kann das gemeinsame Training mit dem gegnerischen Domänenverlust (Schritt 308) für eine Domänenkonfusion auf der Merkmalsebene diese Trainingsschwierigkeit noch verstärken. Das Verarbeitungssystem 110 gibt mithin den Konsistenzregularisierer vor, um diesen Komplikationen entgegenzuwirken. Genauer generiert das Verarbeitungssystem 110, wie in 2 gezeigt, Mischungsformulierungen für den Konsistenzregularisierer und trainiert dann das Maschinenlernsystem 140 basierend auf diesen Mischungsformulierungen, wie unten erörtert.
Für den Konsistenzregularisierer ist das Verarbeitungssystem 110 konfiguriert, um ein Paar Proben, z. B. $(x_{i}^{s}, z_{i}^{s})$
und $(x_{j}^{s}, z_{j}^{s}),$
aus den mit ihnen korrespondierenden Batches und aus korrespondierenden Ausgabedaten (z. B. codierten Repräsentationen) des Codierers 230 auszuwählen. Das Verarbeitungssystem 110 ist konfiguriert, um eine Mischung zum Erzwingen der Linearitätskonsistenz für die Interdomänenmischung durch Generieren der folgenden Mischungsformulierungen basierend auf dem ausgewählten Paar Proben durchzuführen, wie durch die folgenden Gleichungen angegeben, wobei λ ∈ [0,1] gilt. $x_{i}^{s t} = λ' x_{i}^{s} + (1 - λ') x_{i}^{t}$
$z_{i}^{s t} = λ' f_{θ} (x_{i}^{s}) + (1 - λ') f_{θ} (x_{i}^{t})$
Das Verarbeitungssystem 110 bezeichnet Z in der Gleichung (16) als den Einbettungsraum, der sich durch f und z ∈ Z beim Definieren des Regularisiererterms $z_{i}^{s t}$
ergibt. Die Gleichung (15) sieht genauso wie die Gleichung (6) aus, denn durch beide werden Interdomänensensordaten (x^st), also Sensordaten, die basierend auf Sensordaten aus der Quelldomäne und Sensordaten aus der Zieldomäne interpoliert werden, generiert. Das Verarbeitungssystem 110 ist konfiguriert, um in diesem Zusammenhang $x_{i}^{s t}$
aus der bei Schritt 306 durchgeführten Mischung zu verwenden. Das Verarbeitungssystem 110 ist konfiguriert, um nach dem Durchführen dieser Mischungen jede Mischungsformulierung $(x_{i}^{s t}, z_{i}^{s t})$
als Trainingsdaten für das Maschinenlernsystem 140 bereitzustellen.
Wie in 2 gezeigt, trainiert das Verarbeitungssystem 110 mindestens den Codierer 230 mit allen Mischungsformulierungen $(x_{i}^{s t}, z_{i}^{s t})$
und berechnet die Verlustfunktion basierend auf diesem Training. In diesem Beispiel generiert das Verarbeitungssystem 110 die Verlustdaten für den Konsistenzregularisierer, der in der folgenden Gleichung durch L_z repräsentiert wird. $L_{z} = \frac{1}{B} {\sum_{i} ‖ z_{i}^{s t}, f_{θ} (x_{i}^{t'}) ‖}_{2}^{2}$
Wie in der Gleichung (17) angegeben, rückt der Konsistenzregularisierer das gemischte Merkmal durch den MSE-Verlust zwischen den zwei Vektoren näher zum Merkmal der gemischten Eingabe hin. Dadurch gibt das Verarbeitungssystem 110 die Linearitätsbegrenzung vor, die auch auf der Merkmalsebene zu erzwingen ist. Die Wirksamkeit dieses Konsistenzregularisierers besteht darin, dass, wenn die Gleichung (17) erzwungen wird und die Trainingsdaten $(z_{i}^{s t}, f_{θ} (x_{i}^{t'}))$
durch den groben Klassifikator 240 geleitet werden, dies der Linearität bei der Modellvorhersage eher gerecht wird. Wenn das Verarbeitungssystem 110 die domänenübergreifende Linearitätsglattheit von Merkmalen vorgibt, kann diese Aktion des Weiteren den Domänenkonfusionsverlust unterstützen. Des Weiteren können ähnlich wie bei der Behandlung der Gleichung (6) $z_{i}^{s} und z_{i}^{t}$
in der Gleichung (16) ebenfalls ausgetauscht werden, um $z_{i}^{t s}$
als eine Modifikation zu bilden, sodass das Maschinenlernsystem 140 $(x_{i}^{t s}, z_{i}^{t s})$
als Trainingsdaten erhält.
Das Verarbeitungssystem 110 ist konfiguriert, um bei Schritt 312 Endverlustdaten zu bestimmen. Genauer ist das Verarbeitungssystem 110 konfiguriert, um basierend auf den oben erwähnten Komponenten Endverlustdaten, die durch (L) repräsentiert und durch die folgende Gleichung ausgedrückt werden, zu bestimmen. $L = w_{q} L_{q} + w_{d} L_{d} + w_{z} L_{z} + w_{s} L_{s} + w_{t} L_{t}$
Da L_t nur virtuelle Labels involviert, könnte sich die Unsicherheit in der Zieldomäne leicht auf L_t auswirken. Das Verarbeitungssystem 110 ist konfiguriert, um in diesem Zusammenhang ein lineares Scheduling für w_t beim Training, von 0 bis zu einem vordefinierten Höchstwert, festzusetzen. Bei ersten Experimenten hat sich dieser Algorithmus zum Bestimmen und/oder Optimieren der Endverlustdaten als robust gegenüber anderen Gewichtungsparametern erwiesen. Genauer ist das Verarbeitungssystem 110 gemäß diesem Algorithmus konfiguriert, um nur nach w_t zu suchen, während es alle anderen Gewichtungen einfach auf 1 festlegt.
Das Verarbeitungssystem 110 ist konfiguriert, um bei Schritt 314 die Endverlustdaten, wie bei Schritt 312 bestimmt, zu minimieren. Das Verarbeitungssystem 110 ist konfiguriert, um nach dem Minimieren der Endverlustdaten die Parameter des Maschinenlernsystems 140 zu aktualisieren. Das Verarbeitungssystem 110 ist konfiguriert, um nach dem Aktualisieren der Parameter und/oder einem Training mit den aktualisierten Parametern zu bestimmen, ob das Maschinenlernsystem 140 vorher bestimmte Mindestkriterien erfüllt, und das Maschinenlernsystem 140 für den Schritt 316 verfügbar zu machen, wenn das Maschinenlernsystem 140 die vorher bestimmten Mindestkriterien erfüllt.
Wenn das Maschinenlernsystem 140, das zuvor so trainiert worden ist, dass es in der ersten Domäne betreibbar ist, die vorher bestimmten Mindestkriterien erfüllt, wird es nun über das Framework 200 und das Verfahren 300 so angepasst, dass es auch in der zweiten Domäne betreibbar ist. Das Maschinenlernsystem 140 ist konfiguriert, um in diesem Zusammenhang Labeldaten, die Sensordaten der ersten Domäne klassifizieren, nachdem es diese Sensordaten als Eingabedaten empfangen hat, generiert und auch Labeldaten, die Sensordaten der zweiten Domäne klassifizieren, nachdem es diese Sensordaten als Eingabedaten empfangen hat, generiert. Das heißt, das IIMT-Framework 200 und/oder das Verfahren 300 sind effektiv dabei, wenn ein bestehendes Maschinenlernsystem 140, das mit sehr vielen annotierten Trainingsdaten einer ersten Domäne trainiert worden ist, so weiterentwickelt wird, dass es auf eine zweite Domäne erweitert und in ihr betrieben wird, selbst wenn Annotationen für Trainingsdaten der zweiten Domäne nur in geringer Anzahl vorhanden oder nicht verfügbar sind, wodurch eine robustere und kostengünstigere technische Lösung für die Behandlung von Domänenwechseln bereitgestellt wird.
Das Verarbeitungssystem 110 ist konfiguriert, um bei Schritt 316 dieses Maschinenlernsystem 140 für den Einsatz und/oder die Verwendung in einem beliebigen geeigneten Anwendungssystem bereitzustellen. Das trainierte Maschinenlernsystem 140 kann zum Beispiel durch das System 100 in 1 verwendet werden, das möglicherweise ferner ein Anwendungssystem enthält, das ferner die aktuellen Labeldaten, die gerade durch das trainierte Maschinenlernsystem 140 als Reaktion auf aktuelle Sensordaten generiert werden, nutzt oder anwendet. Alternativ ist das trainierte Maschinenlernsystem 140 in einem anderen System (nicht gezeigt) einsetzbar, das mindestens einige so ähnliche Komponenten (z. B. ein Sensorsystem oder ein Verarbeitungssystem) wie das System 100 nebst einem Anwendungssystem enthält, das die aktuellen Labeldaten, die gerade durch das trainierte Maschinenlernsystem 140 als Reaktion auf aktuelle Sensordaten generiert werden, anwendet.
Das Anwendungssystem kann eine Softwaretechnik, eine Hardwaretechnik oder eine beliebige Kombination daraus enthalten. In einem nicht ausschließlichen Beispiel betrifft das Anwendungssystem möglicherweise eine Gestenhandschuhtechnik, die Sensoren, die Sensordaten bereitstellen, um zu ermöglichen, dass das Maschinenlernsystem 140 die verschiedenen Gesten klassifiziert, enthält. In diesem Beispiel kann das Maschinenlernsystem 140 so trainiert werden, dass es die Gesten, wie von mindestens einem Menschen durchgeführt, klassifiziert, und ferner über das IIMT-Framework 200 und das Verfahren 300 angepasst werden, um dieselben Gesten zu klassifizieren, wenn diese jeweils etwas anders von mindestens einem anderen Menschen durchgeführt werden. In noch weiteren Beispielen betrifft das Anwendungssystem möglicherweise computergesteuerte Maschinen, Roboter, elektronische Heimgeräte, elektronische Werkzeuge, die Gesundheits-/Medizintechnik, die Technik des autonomen Fahrens oder eine Fahrerassistenztechnik, eine Sicherheitstechnik oder sonstige geeignete Techniken, die die Verwendung von Maschinenlernsystemen 140 enthalten.
Im Allgemeinen kann es sich für verschiedene Gebiete und Anwendungen als förderlich erweisen, wenn die Fähigkeit eines Maschinenlernsystems, das in einer ersten Domäne betreibbar ist, so erweitert wird, dass es auch in einer zweiten Domäne, die auf die erste Domäne bezogen ist, betreibbar ist. Wenn beispielsweise eine Änderung in einem Sensor zu einem anderen Sensor vom selben Typ erfolgt (z. B. Upgrade eines Bildsensors zu einem anderen Bildsensor für verbesserte Bilder), wobei es sich um ein nicht ausschließliches Beispiel handelt, kommt es basierend auf der Änderung der Sensoren möglicherweise zu Wechseln/Variationen in den Sensordaten, die in das Maschinenlernsystem 140 eingegeben werden. Die oben erwähnten Ausführungsformen wirken diesen Domänenwechseln/-variationen vorteilhaft entgegen und stellen sicher, dass das Maschinenlernsystem 140 in jeder der Domänen sowie in beiden Domänen präzise arbeitet.
Wie hierin erörtert, enthalten die Ausführungsformen etliche vorteilhafte Merkmale sowie Vorzüge. Zum Beispiel sind die Ausführungsformen vorteilhaft so konfiguriert, dass sie domänenübergreifende Trainingsbegrenzungen zur Domänenanpassung durch die Linse einer Mischungslinearität vorgeben. Zudem enthalten die Ausführungsformen, um eine eventuell sehr große Domänendiskrepanz anzugehen, einen Konsistenzregularisierer auf der Merkmalsebene, um die Interdomänenbegrenzung zu erleichtern. Des Weiteren realisiert das Verarbeitungssystem 110 über abgeleitete Labels (oder virtuelle Labels) der Zieldomäne ein domänenübergreifendes Mischungstraining. Daneben leitet das Klassifikationsmodell 220, wenn sowohl das Mischungstraining als auch das gegnerische Domänentraining ablaufen, virtuelle Labels mit einer höheren Genauigkeit ab. Diese Prozedur kann kritisch für eine direkte Verbesserung der Verallgemeinerung des Klassifikators 240 sein, wenn dieser auf die Zieldomäne angewendet wird.
Des Weiteren sind die Ausführungsformen vorteilhaft bei der Bereitstellung eines IIMT-Frameworks 200 für eine UDA mit allen Trainingsbegrenzungen, die gemäß den Mischungsformulierungen vereinheitlicht werden. Daneben schließen die Ausführungsformen mit dem IIMT-Framework 200 sowohl ein Inter- als auch ein Intradomänenmischungstraining ein und übertreffen mithin hinsichtlich der Performanz die Verfahren aus dem Stand der Technik in diversen Anwendungsbereichen (z. B. bei der Bildklassifikation oder der Erkennung von Handlungen von Menschen). In diesem Zusammenhang gehen die hierin offenbarten Ausführungsformen Probleme bezüglich Disparitäten zwischen den Domänen für die UDA-Aufgabe an. Zudem lassen sich die Ausführungsformen basierend auf der Gemeinsamkeit und der Beziehung zwischen der Interdomänenmischungslinearität und dem Domänendiskriminator modifizieren oder noch erweitern. Ferner lassen sich die hierin offenbarten Lehren auf Weiterentwicklungen allgemeiner Zeitreihenanalysen übertragen und anwenden.
Die obige Beschreibung ist also als beispielhaft und nicht als einschränkend anzusehen, und sie wird im Zusammenhang mit einer konkreten Anwendung und deren Voraussetzungen bereitgestellt. Der Fachmann kann jedoch der obigen Beschreibung entnehmen, dass die vorliegende Erfindung in vielfältigen Ausbildungen implementiert werden kann und dass die verschiedenen Ausführungsformen entweder einzeln oder in einer Kombination implementiert werden können. Die Ausführungsformen der vorliegenden Erfindung sind zwar in Verbindung mit konkreten Beispielen beschrieben worden, jedoch sind die allgemeinen Prinzipien, die hierin definiert werden, auch auf andere Ausführungsformen und Anwendungen anwendbar, ohne vom Gedanken und vom Schutzbereich der beschriebenen Ausführungsformen abzuweichen, und der Schutzbereich der Ausführungsformen und/oder der Verfahren gemäß der vorliegenden Erfindung ist nicht auf die gezeigten und beschriebenen Ausführungsformen begrenzt, weil sich für den Fachmann aus den Zeichnungen, der Beschreibung und den folgenden Ansprüchen verschiedene Modifikationen ergeben. Zum Beispiel können Komponenten und Funktionen auch getrennt oder anders als in den verschiedenen beschriebenen Ausführungsformen kombiniert werden und lassen sich auch anhand anderer Termini beschreiben. Diese und weitere Variationen, Modifikationen, Hinzufügungen und Verbesserungen können in den Schutzbereich der Offenbarung, wie in den folgenden Ansprüchen definiert, fallen.

Claims

Computerimplementiertes Verfahren zur unüberwachten Domänenanpassung, die eine erste Domäne und eine zweite Domäne involviert, wobei das Verfahren Folgendes umfasst: Erhalten eines Maschinenlernsystems, das mit ersten Sensordaten und ersten Labeldaten der ersten Domäne trainiert wird; Erhalten zweiter Sensordaten der zweiten Domäne; Generieren zweiter Labeldaten über das Maschinenlernsystem basierend auf den zweiten Sensordaten; Generieren von Interdomänensensordaten durch Interpolieren erster Sensordaten der ersten Domäne mit Bezug auf zweite Sensordaten der zweiten Domäne; Generieren von Interdomänenlabeldaten durch Interpolieren erster Labeldaten der ersten Domäne mit Bezug auf zweite Labeldaten der zweiten Domäne; Generieren von Interdomänenausgabedaten basierend auf den Interdomänensensordaten und den Interdomänenlabeldaten; Generieren von Interdomänenverlustdaten basierend auf den Interdomänenausgabedaten mit Bezug auf die Interdomänenlabeldaten; und Aktualisieren von Parametern des Maschinenlernsystems nach dem Optimieren von Endverlustdaten, wobei die Endverlustdaten die Interdomänenverlustdaten enthalten.
Computerimplementiertes Verfahren nach Anspruch 1, ferner umfassend: Erhalten einer ersten codierten Repräsentation der ersten Sensordaten und einer zweiten codierten Repräsentation der zweiten Sensordaten; Generieren von Zwischendaten codierter Repräsentationen durch Interpolieren der ersten codierten Repräsentation mit Bezug auf die zweite codierte Repräsentation; Codieren der Zwischendaten codierter Repräsentationen, um eine dritte codierte Repräsentation zu generieren; und Generieren von Regularisiererverlustdaten basierend auf der dritten codierten Repräsentation mit Bezug auf die Interdomänensensordaten, wobei die Endverlustdaten die Regularisiererverlustdaten enthalten.
Computerimplementiertes Verfahren nach Anspruch 1, wobei die zweiten Labeldaten vorhergesagte, durch das Maschinenlernsystem als Reaktion auf die zweiten Sensordaten generierte Labeldaten sind.
Computerimplementiertes Verfahren nach Anspruch 1, ferner umfassend: Trainieren eines Diskriminators basierend auf einer codierten Repräsentation der Interdomänensensordaten und einer codierten Repräsentation der Interdomänenlabeldaten; und Generieren von Daten eines gegnerischen Domänenverlusts basierend auf Ausgabedaten aus dem Diskriminator, wobei die Endverlustdaten die Daten eines gegnerischen Domänenverlusts enthalten.
Computerimplementiertes Verfahren nach Anspruch 1, ferner umfassend: Generieren von Zwischensensordaten durch Interpolieren von Paaren erster Sensordaten der ersten Domäne; Generieren von Zwischenlabeldaten durch Interpolieren von Paaren erster Labeldaten der ersten Domäne; Generieren erster Labelvorhersagen über das Maschinenlernsystem basierend auf den Zwischensensordaten; und Generieren erster Domänenverlustdaten basierend auf den Zwischenlabeldaten mit Bezug auf die ersten Labelvorhersagen, wobei die Endverlustdaten die ersten Domänenverlustdaten enthalten.
Computerimplementiertes Verfahren nach Anspruch 1, ferner umfassend: Generieren von Zwischensensordaten durch Interpolieren von Paaren zweiter Sensordaten der zweiten Domäne; Generieren von Zwischenlabeldaten durch Interpolieren von Paaren zweiter Labeldaten der ersten Domäne; Generieren zweiter Labelvorhersagen über das Maschinenlernsystem basierend auf den Zwischensensordaten; und Generieren zweiter Domänenverlustdaten basierend auf den Zwischenlabeldaten mit Bezug auf die zweiten Labelvorhersagen, wobei die Endverlustdaten die zweiten Domänenverlustdaten enthalten.
Computerimplementiertes Verfahren nach Anspruch 1, wobei das Maschinenlernsystem ein Convolutional Neural Network (CNN) oder ein Long Short-Term Memory (LSTM) Network ist.
System zur Domänenanpassung, wobei das System Folgendes umfasst: ein Speichersystem, das mindestens ein nichtflüchtiges, computerlesbares Medium enthält, wobei das Speichersystem eine Domänenanpassungsanwendung und ein Maschinenlernsystem speichert; ein Verarbeitungssystem, das betriebsfähig mit dem Speichersystem verbunden ist, wobei das Verarbeitungssystem mindestens einen Prozessor enthält, der konfiguriert ist, um die Domänenanpassungsanwendung auszuführen, um ein Verfahren zu implementieren, das Folgendes enthält: Generieren von Interdomänensensordaten durch Interpolieren erster Sensordaten einer ersten Domäne mit Bezug auf zweite Sensordaten einer zweiten Domäne; Generieren von Interdomänenlabeldaten durch Interpolieren erster Labeldaten der ersten Domäne mit Bezug auf zweite Labeldaten der zweiten Domäne; Generieren von Interdomänenausgabedaten über das Maschinenlernsystem basierend auf den Interdomänensensordaten und den Interdomänenlabeldaten; Generieren von Interdomänenverlustdaten basierend auf den Interdomänenausgabedaten mit Bezug auf die Interdomänenlabeldaten; Aktualisieren von Parametern des Maschinenlernsystems nach dem Minimieren von Endverlustdaten, wobei die Endverlustdaten mindestens die Interdomänenverlustdaten enthalten; und Bereitstellen des Maschinenlernsystems für den Einsatz, wobei das Maschinenlernsystem angepasst ist, um aktuelle Labeldaten, die aktuelle Sensordaten der zweiten Domäne klassifizieren, zu generieren.
System nach Anspruch 8, wobei das Verarbeitungssystem beim Ausführen der Domänenanpassungsanwendung das Verfahren implementiert, das Folgendes enthält: Erhalten einer ersten codierten Repräsentation der ersten Sensordaten und einer zweiten codierten Repräsentation der zweiten Sensordaten; Generieren von Zwischendaten codierter Repräsentationen durch Interpolieren der ersten codierten Repräsentation mit Bezug auf die zweite codierte Repräsentation; Codieren der Zwischendaten codierter Repräsentationen, um eine dritte codierte Repräsentation zu generieren; und Generieren von Regularisiererverlustdaten basierend auf der dritten codierten Repräsentation mit Bezug auf die Interdomänensensordaten, wobei die Endverlustdaten die Regularisiererverlustdaten enthalten.
System nach Anspruch 8, wobei: das Maschinenlernsystem so trainiert wird, dass es in der ersten Domäne betreibbar ist; und die zweiten Labeldaten vorhergesagte, durch das Maschinenlernsystem als Reaktion auf die zweiten Sensordaten generierte Labeldaten sind.
System nach Anspruch 8, wobei das Verarbeitungssystem beim Ausführen der Domänenanpassungsanwendung das Verfahren implementiert, das Folgendes enthält: Trainieren eines Diskriminators basierend auf einer codierten Repräsentation der Interdomänensensordaten und einer codierten Repräsentation der Interdomänenlabeldaten; und Generieren von Daten eines gegnerischen Domänenverlusts basierend auf Ausgabedaten aus dem Diskriminator, wobei der endgültige Verlust die Daten eines gegnerischen Domänenverlusts enthält.
System nach Anspruch 8, wobei das Verarbeitungssystem beim Ausführen der Domänenanpassungsanwendung das Verfahren implementiert, das Folgendes enthält: Generieren von Zwischensensordaten durch Interpolieren von Paaren erster Sensordaten der ersten Domäne; Generieren von Zwischenlabeldaten durch Interpolieren von Paaren erster Labeldaten der ersten Domäne; Generieren erster Labelvorhersagen über das Maschinenlernsystem basierend auf den Zwischensensordaten; und Generieren erster Domänenverlustdaten basierend auf den Zwischenlabeldaten mit Bezug auf die ersten Labelvorhersagen, wobei die Endverlustdaten die ersten Domänenverlustdaten enthalten.
System nach Anspruch 8, wobei das Verarbeitungssystem beim Ausführen der Domänenanpassungsanwendung das Verfahren implementiert, das Folgendes enthält: Generieren von Zwischensensordaten durch Interpolieren von Paaren zweiter Sensordaten der zweiten Domäne; Generieren von Zwischenlabeldaten durch Interpolieren von Paaren zweiter Labeldaten der ersten Domäne; Generieren zweiter Labelvorhersagen über das Maschinenlernsystem basierend auf den Zwischensensordaten; und Generieren zweiter Domänenverlustdaten basierend auf den Zwischenlabeldaten mit Bezug auf die zweiten Labelvorhersagen, wobei die Endverlustdaten die zweiten Domänenverlustdaten enthalten.
Nichtflüchtiges, computerlesbares Medium, das computerlesbare Daten einer Domänenanpassungsanwendung umfasst, die, wenn sie durch ein Verarbeitungssystem mit mindestens einem Prozessor ausgeführt wird, konfiguriert ist, um zu bewirken, dass das Verarbeitungssystem ein Verfahren implementiert, das Folgendes umfasst: Generieren von Interdomänensensordaten durch Interpolieren erster Sensordaten einer ersten Domäne mit Bezug auf zweite Sensordaten einer zweiten Domäne; Generieren von Interdomänenlabeldaten durch Interpolieren erster Labeldaten der ersten Domäne mit Bezug auf zweite Labeldaten der zweiten Domäne; Generieren von Interdomänenausgabedaten über ein Maschinenlernsystem basierend auf den Interdomänensensordaten und den Interdomänenlabeldaten; Generieren von Interdomänenverlustdaten basierend auf den Interdomänenausgabedaten mit Bezug auf die Interdomänenlabeldaten; Aktualisieren von Parametern des Maschinenlernsystems nach dem Minimieren von Endverlustdaten, wobei die Endverlustdaten mindestens die Interdomänenverlustdaten enthalten; und Bereitstellen des Maschinenlernsystems für den Einsatz, wobei das Maschinenlernsystem angepasst ist, um aktuelle Labeldaten, die aktuelle Sensordaten der zweiten Domäne klassifizieren, zu generieren.
Nichtflüchtiges, computerlesbares Medium nach Anspruch 14, wobei das Verfahren ferner Folgendes umfasst: Erhalten einer ersten codierten Repräsentation der ersten Sensordaten und einer zweiten codierten Repräsentation der zweiten Sensordaten; Generieren von Zwischendaten codierter Repräsentationen durch Interpolieren der ersten codierten Repräsentation mit Bezug auf die zweite codierte Repräsentation; Codieren der Zwischendaten codierter Repräsentationen, um eine dritte codierte Repräsentation zu generieren; und Generieren von Regularisiererverlustdaten basierend auf der dritten codierten Repräsentation mit Bezug auf die Interdomänensensordaten; wobei die Endverlustdaten die Regularisiererverlustdaten enthalten.
Nichtflüchtiges, computerlesbares Medium nach Anspruch 14, wobei: das Maschinenlernsystem so trainiert wird, dass es in der ersten Domäne betreibbar ist; und die zweiten Labeldaten vorhergesagte, durch das Maschinenlernsystem als Reaktion auf die zweiten Sensordaten generierte Labeldaten sind.
Nichtflüchtiges, computerlesbares Medium nach Anspruch 14, wobei das Verfahren ferner Folgendes umfasst: Trainieren eines Diskriminators basierend auf einer codierten Repräsentation der Interdomänensensordaten und einer codierten Repräsentation der Interdomänenlabeldaten; und Generieren von Daten eines gegnerischen Domänenverlusts basierend auf Ausgabedaten aus dem Diskriminator, wobei die Endverlustdaten die Daten eines gegnerischen Domänenverlusts enthalten.
Nichtflüchtiges, computerlesbares Medium nach Anspruch 14, wobei das Verfahren ferner Folgendes umfasst: Generieren von Zwischensensordaten durch Interpolieren von Paaren erster Sensordaten der ersten Domäne; Generieren von Zwischenlabeldaten durch Interpolieren von Paaren erster Labeldaten der ersten Domäne; Generieren erster Labelvorhersagen über das Maschinenlernsystem basierend auf den Zwischensensordaten; und Generieren erster Domänenverlustdaten basierend auf den Zwischenlabeldaten mit Bezug auf die ersten Labelvorhersagen, wobei die Endverlustdaten die ersten Domänenverlustdaten enthalten.
Nichtflüchtiges, computerlesbares Medium nach Anspruch 14, wobei das Verfahren ferner Folgendes umfasst: Generieren von Zwischensensordaten durch Interpolieren von Paaren zweiter Sensordaten der zweiten Domäne; Generieren von Zwischenlabeldaten durch Interpolieren von Paaren zweiter Labeldaten der ersten Domäne; Generieren zweiter Labelvorhersagen über das Maschinenlernsystem basierend auf den Zwischensensordaten; und Generieren zweiter Domänenverlustdaten basierend auf den Zwischenlabeldaten mit Bezug auf die zweiten Labelvorhersagen, wobei der endgültige Verlust die zweiten Domänenverlustdaten enthält.
Nichtflüchtiges, computerlesbares Medium nach Anspruch 14, wobei das Maschinenlernsystem ein Convolutional Neural Network (CNN) oder ein Long Short-Term Memory (LSTM) Network ist.