DE102021117005A1

DE102021117005A1 - Verfahren und Einrichtung für föderales Lernen

Info

Publication number: DE102021117005A1
Application number: DE102021117005.2A
Authority: DE
Inventors: Mostafa El-Khamy; Jungwon Lee; Weituo HAO
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2020-08-24
Filing date: 2021-07-01
Publication date: 2022-02-24
Also published as: US20220058507A1; CN114091682A; KR20220025663A; TW202209197A

Abstract

Es werden Verfahren und Vorrichtungen geschaffen, um föderales Lernen durchzuführen. Ein globales Modell wird von einem Server an eine Mehrzahl von Client-Vorrichtungen verteilt. An jeder der Mehrzahl von Client-Vorrichtungen: wird eine Modellinversion bei dem globalen Modell durchgeführt, um synthetische Daten zu erstellen; wird das globale Modell anhand einem erweiterten Datensatz aus gesammelten Daten und den synthetischen Daten trainiert, um ein jeweiliges Client-Modell zu erstellen; und es wird das jeweilige Client-Modell an den Server übertragen. An dem Server werden Client-Modelle von der Mehrzahl von Client-Vorrichtungen empfangen, wobei jedes Client-Modell von einer jeweiligen Client-Vorrichtung der Mehrzahl von Client-Vorrichtungen empfangen wird; es wird eine Modellinversion bei jedem Client-Modell durchgeführt, um einen synthetischen Datensatz zu erstellen; es wird ein Mittelwert der Client-Modelle gebildet, um ein gemitteltes Modell zu erstellen; und es wird das gemittelte Modell unter Verwendung des synthetischen Datensatzes trainiert, um ein aktualisiertes Modell zu erstellen.

Description

GEBIET
Die vorliegende Offenbarung betrifft allgemein Verfahren für maschinelles Lernen und insbesondere Verfahren und Vorrichtungen für eine verbesserte Fairness bei föderalem Lernen.
HINTERGRUND
Föderales Lernen ist ein Trainingsansatz, der in Bereichen eingesetzt wird, in denen es aufgrund einer Vertraulichkeit von Daten oder Datenschutz verboten ist, dass Daten lokale Client-Vorrichtungen verlassen. In verteilen Szenarien können lokale Client-Vorrichtungen allerdings eine hohe statistische Heterogenität aufweisen. Viele föderale Lernverfahren, die ein einzelnes Modell verfolgen, übersehen den Bias bzw. die Vorverzerrungen, die zu einer dominanten Datenverteilung hin erzeugt wird, was die Frage der Fairness bzw. Ausgewogenheit aufwirft.
Ein Modell wird als fairer bzw. ausgewogener als ein anderes Modell angesehen, wenn die Performance (z. B. Genauigkeit) des Modells bei M unterschiedlichen Vorrichtungen oder Klassen einheitlicher ist als die Performance des anderen Modells bei den gleichen Vorrichtungen oder Klassen. Insbesondere ist eine resultierende Abweichung bei der Performance des faireren Modells geringer als eine resultierende Abweichung bei der Performance des anderen Modells, wenn sie über die M Klassen oder Vorrichtungen hinweg gemessen wird.
Indem Nutzerdaten auf jeder lokalen Client-Vorrichtung behalten werden und nur Modellaktualisierungen mit einem globalen Server geteilt werden, kann föderales Lernen das Training von Modellen für maschinelles Lernen bei heterogenen, verteilten Netzwerken auf eine Weise ermöglichen, welche den Datenschutz wahrt. Der Server erstellt ein Durchschnittsmodell, indem ein gewichtetes Mittel der lokalen Client-Modelle verwendet wird. Bei der Bildung des Durchschnitts bzw. des Mittels ist es das Ziel, die nachfolgende Zielfunktion zu minimieren, die in Gleichung (1) unten dargelegt ist: $min_{ω} f (ω) = \sum_{k = 1}^{N} p_{k} F_{k} (ω)$
wobei Fk(w) := Ex~Dk [fk(w; x_k)] die lokale Zielfunktion ist, N die Anzahl an Vorrichtungen oder Clients ist und pk ≥ 0 die Gewichtung jeder Vorrichtung ist.
Statistische Heterogenität von Datenverteilungen von Client-Vorrichtungen ist eine Herausforderung im föderalen Lernen. Wenn sich föderales Lernen darauf konzentriert, ein einziges globales Modell zu lernen, unterliegt es häufig einer Abweichung des Modells, da sich lokale Client-Modelle wesentlich unterscheiden können.
KURZFASSUNG
Gemäß einer Ausführungsform wird ein Verfahren zum Durchführen von föderalem Lernen bei einer Client-Vorrichtung geschaffen. Die Client-Vorrichtung empfängt ein globales Modell von einem Server. Die Client-Vorrichtung führt eine Modellinversion bei dem globalen Modell durch, um synthetische Daten für eine oder mehrere Klassen an Daten in dem globalen Modell zu erstellen. Die Client-Vorrichtung erweitert gesammelte Daten in einem Datensatz der Client-Vorrichtung mit den synthetischen Daten, um einen erweiterten Datensatz mit einer einheitlicheren Verteilung von Daten über Klassen hinweg als in dem Datensatz zu erstellen. Die Client-Vorrichtung trainiert das globale Modell anhand des erweiterten Datensatzes, um ein Client-Modell zu erstellen. Die Client-Vorrichtung überträgt das Client-Modell von der Client-Vorrichtung an den Server.
Gemäß einer Ausführungsform wird ein Verfahren zum Durchführen von föderalem Lernen bei einem Server geschaffen. Der Server verteilt ein globales Modell von dem Server an eine Mehrzahl von Client-Vorrichtungen. Der Server empfängt Client-Modelle von der Mehrzahl von Client-Vorrichtungen. Jedes Client-Modell wird von einer jeweiligen Client-Vorrichtung der Mehrzahl von Client-Vorrichtungen empfangen. Der Server führt eine Modellinversion bei jedem Client-Modell durch, um synthetische Daten für jedes Client-Modell zu erstellen. Der Server erstellt einen synthetischen Datensatz unter Verwendung der synthetischen Daten von den Client-Modellen. Der Server bildet einen Mittelwert der Client-Modelle, um ein gemitteltes Modell zu erstellen. Der Server trainiert das gemittelte Modell unter Verwendung des synthetischen Datensatzes, um ein aktualisiertes globales Modell zu erstellen.
Gemäß einer Ausführungsform wird eine Client-Vorrichtung zum Durchführen von föderalem Lernen geschaffen. Die Client-Vorrichtung umfasst einen Prozessor und einen nicht-transitorischen, computerlesbaren Datenträger, auf dem Anweisungen gespeichert sind. Wenn sie ausgeführt werden, veranlassen die Anweisungen den Prozessor, ein globales Modell von einem Server zu empfangen, und eine Modellinversion bei dem globalen Modell durchzuführen, um synthetische Daten für eine oder mehrere Klassen an Daten in dem globalen Modell zu erstellen. Die Anweisungen veranlassen den Prozessor auch, gesammelte Daten in einem Datensatz der Client-Vorrichtung mit den synthetischen Daten zu erweitern, um einen erweiterten Datensatz mit einer einheitlicheren Verteilung von Daten über Klassen hinweg als in dem Datensatz zu erstellen. Die Anweisungen veranlassen den Prozessor ferner, das globale Modell anhand des erweiterten Datensatzes zu trainieren, um ein Client-Modell zu erstellen, und das Client-Modell an den Server zu übertragen.
Gemäß einer Ausführungsform wird ein Server zum Durchführen von föderalem Lernen geschaffen. Der Server umfasst einen Prozessor und einen nicht-transitorischen, computerlesbaren Datenträger, auf dem Anweisungen gespeichert sind. Wenn sie ausgeführt werden, veranlassen die Anweisungen den Prozessor, ein globales Modell an eine Mehrzahl von Client-Vorrichtungen zu verteilen und Client-Modelle von der Mehrzahl von Client-Vorrichtungen zu empfangen. Jedes Client-Modell wird von einer jeweiligen Client-Vorrichtung der Mehrzahl von Client-Vorrichtungen empfangen. Die Anweisungen veranlassen den Prozessor auch, eine Modellinversion bei jedem Client-Modell durchzuführen, um synthetische Daten für jedes Client-Modell zu erstellen, und einen synthetischen Datensatz unter Verwendung der synthetischen Daten von den Client-Modellen zu erstellen. Die Anweisungen veranlassen den Prozessor ferner, einen Mittelwert der Client-Modelle zu bilden, um ein gemitteltes Modell zu erstellen, und das gemittelte Modell unter Verwendung des synthetischen Datensatzes zu trainieren, um ein aktualisiertes globales Modell zu erstellen.
Figurenliste
Die vorstehenden und andere Aspekte, Merkmale und Vorteile bestimmter Ausführungsformen der vorliegenden Offenbarung werden aus der folgenden detaillierten Beschreibung in Verbindung mit den beiliegenden Zeichnungen ersichtlich sein. Es zeigen:

1 ein Schema, das ein föderales Lernsystem gemäß einer Ausführungsform darstellt;
2 ein Flussdiagramm, das ein Verfahren für eine föderale Modellinversion an lokalen Knoten (Federated Model Inversion At Local Nodes; FMIL) unter Verwendung von Zero-Shot-Datenerzeugung (Zero-shot Data-generation; ZSDG) gemäß einer Ausführungsform darstellt;
3 ein Flussdiagramm, das ein Verfahren für eine lokale Modellinversion an einem föderalen Server (LMIF) unter Verwendung von ZSDG gemäß einer Ausführungsform darstellt; und
4 ein Blockschaltbild einer elektronischen Vorrichtung in einer Netzwerkumgebung gemäß einer Ausführungsform.

DETAILLIERTE BESCHREIBUNG
Nachfolgend werden Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf die beigefügten Zeichnungen im Detail beschrieben. Es ist anzumerken, dass die gleichen Elemente mit den gleichen Bezugszeichen bezeichnet werden, auch wenn sie in unterschiedlichen Zeichnungen gezeigt sind. In der nachfolgenden Beschreibung sollen konkrete Details, wie beispielsweise detaillierte Konfigurationen und Komponenten, lediglich dem Gesamtverständnis der Ausführungsformen der vorliegenden Offenbarung dienen. Daher sollte es für einen Fachmann offensichtlich sein, dass verschiedene Änderungen und Abwandlungen der vorliegend beschriebenen Ausführungsformen vorgenommen werden können, ohne vom Schutzumfang der vorliegenden Offenbarung abzuweichen. Zudem werden Beschreibungen bekannter Funktionen und Konstruktionen zum Zwecke der Klarheit und Kürze ausgelassen. Die nachfolgend beschriebenen Begriffe sind Begriffe, die unter Berücksichtigung der Funktionen in der vorliegenden Offenbarung definiert wurden und können sich entsprechend Nutzern, Absichten der Nutzer oder Gewohnheiten unterscheiden. Daher sollten die Definitionen der Begriffe basierend auf dem Inhalt der gesamten Beschreibung bestimmt werden.
Die vorliegende Offenbarung kann verschiedene Abwandlungen und verschiedene Ausführungsformen aufweisen, von denen nachfolgend Ausführungsformen im Detail unter Bezugnahme auf die beigefügte Zeichnung beschrieben sind. Allerdings versteht es sich, dass die vorliegende Offenbarung nicht auf die Ausführungsformen beschränkt ist, sondern alle Abwandlungen, Äquivalente und Alternativen im Schutzumfang der vorliegenden Anmeldung umfassen.
Obwohl die Begriffe, die eine Ordnungszahl umfassen, wie beispielsweise erstes, zweites usw. verwendet werden können, um verschiedene Elemente zu beschreiben, sind die strukturellen Elemente durch die Begriffe nicht beschränkt. Die Begriffe werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Zum Beispiel kann ein erstes strukturelles Element als zweites strukturelles Element bezeichnet werden, ohne von dem Schutzumfang der vorliegenden Offenbarung abzuweichen. Ebenso kann das zweite strukturelle Element als erstes strukturelles Element bezeichnet werden. Im Sinne des vorliegenden Textes umfasst der Begriff „und/oder“ jegliche Kombinationen eines oder mehrerer assoziierter Einheiten.
Die vorliegend verwendeten Begriffe werden lediglich verwendet, um verschiedene Ausführungsformen der vorliegenden Offenbarung zu beschreiben, sollen die vorliegende Offenbarung aber nicht beschränken. Singularformen sollen auch Pluralformen umfassen, außer der Kontext gibt eindeutig anderes an. In der vorliegenden Offenbarung versteht es sich, dass die Begriffe „umfassen“ oder „aufweisen“ das Vorhandensein eines Merkmals, einer Anzahl, eines Schritts, eines Vorgangs, eines strukturellen Elements, Teils oder einer Kombination daraus angeben, und nicht das Vorhandensein oder die Wahrscheinlichkeit, dass ein oder mehrere andere Merkmale, Anzahlen, Schritte, Vorgänge, strukturelle Elemente, Teile oder Kombinationen daraus hinzugefügt werden.
Außer anderweitig definiert, haben alle vorliegend verwendeten Begriffe die gleichen Bedeutungen wie sie ein Fachmann des Fachgebiets versteht, zu dem die vorliegende Offenbarung gehört. Begriffe wie jene, die in einem allgemein verwendeten Wörterbuch definiert sind, sollen so interpretiert werden, dass sie die gleiche Bedeutung haben wie die kontextbezogenen Bedeutungen in dem jeweiligen Fachgebiet, und nicht dahingehend interpretiert werden, dass sie eine ideale oder übermäßig formelle Bedeutung haben, außer, dies ist in der vorliegenden Offenbarung klar definiert.
Die elektronische Vorrichtung gemäß einer Ausführungsform kann eine elektronische Vorrichtung verschiedener Art sein. Die elektronischen Vorrichtungen können zum Beispiel eine tragbare Kommunikationsvorrichtung (z. B. ein Smartphone), ein Computer, eine tragbare Multimedia-Vorrichtung, eine tragbare medizinische Vorrichtung, eine Kamera, eine Wearable-Vorrichtung oder ein Haushaltsgerät umfassen. Gemäß einer Ausführungsform der Offenbarung ist eine elektronische Vorrichtung nicht auf die oben beschriebenen beschränkt.
Die in der vorliegenden Offenbarung verwendeten Begriffe sollen die vorliegende Offenbarung nicht beschränken, sondern sollen verschiedene Änderungen, Äquivalente oder Ersatzmaßnahmen für eine entsprechende Ausführungsform umfassen. Bezüglich der Beschreibung der beigefügten Zeichnungen können ähnliche Bezugszeichen verwendet werden, um ähnliche oder artverwandte Elemente zu bezeichnen. Eine Singularform eines Substantivs, das einer Einheit entspricht, kann ein oder mehrere der Dinge umfassen, außer der relevante Kontext gibt eindeutig etwas anderes an. Wie vorliegend verwendet, können Formulierungen wie „A oder B“, „A und/oder B“, „mindestens eines aus A oder B“ „A, B oder C“, „A, B und/oder C“ und „mindestens eines aus A, B oder C“ jeweils alle möglichen Kombinationen der Einheiten umfassen, die zusammen in einer entsprechenden Formulierung aufgezählt werden. Wie vorliegend verwendet, können Begriffe wie beispielsweise „1.“, „2.“, „erste“ und „zweite“ verwendet werden, um eine entsprechende Komponente von einer anderen Komponente zu unterscheiden, aber sie sollen nicht die Komponenten hinsichtlich anderer Aspekte beschränken (z. B. Wichtigkeit oder Reihenfolge). Falls ein Element (z. B. ein erstes Element), mit oder ohne den Begriff „operativ“ oder „kommunikationsfähig“, als „gekoppelt mit“, „gekoppelt an“, als „verbunden mit“ oder „verbunden an“ einem anderen Element (z. B. einem zweiten Element) bezeichnet wird, gibt dies an, dass das Element mit dem anderen Element direkt (z. B. verdrahtet), drahtlos oder über ein drittes Element verbunden sein kann.
Wie vorliegend verwendet kann der Begriff „Modul“ eine Einheit umfassen, die in Form von Hardware, Software oder Firmware implementiert ist und kann synonym mit anderen Begriffen verwendet werden, wie beispielsweise „Logik“, „Logikblock“, „Teil“ und „Schaltung“. Ein Modul kann eine einzelne, integrale Komponente oder eine kleinste Einheit oder Teil derselben sein, die bzw. das derart eingerichtet ist, dass es eine oder mehrere Funktionen durchführt. Ein Modul gemäß einer Ausführungsform kann zum Beispiel in Form einer anwendungsspezifischen integrierten Schaltung (ASIC) implementiert sein.
Föderales Lernen ist ein Trainingsansatz, der ein Modell an ein Szenario mit Daten auf eine verteilte Weise anpasst. 1 ist ein Schema, das ein föderales Lernsystem gemäß einer Ausführungsform darstellt. Ein föderaler Server 102 verteilt ein globales Modell an Client-Vorrichtungen 104-1 bis 104-n. Die Client-Vorrichtungen 104-1 bis 104-n geben Client-Modelle mit lokalen Aktualisierungen an den föderalen Server zurück, während sie ihre lokalen Daten behalten.
Obwohl das Modell eine angemessene mittlere Performance bei allen Client-Vorrichtungen aufrechterhalten kann, kann die Performance des Modells bei unterschiedlichen Client-Vorrichtungen variieren. Zum Beispiel wenn gesammelte Daten zu Gunsten einer mehrheitlichen Gruppe oder Klassen verzerrt ist, wird das Modell wahrscheinlich bei Daten dieser Klassen eine bessere Performance erzielen als bei Daten mangelhafter Klassen. Entsprechend kann ein föderaler Lernalgorithmus dazu führen, dass ein Modell eine höhe mittlere Performance aber auch eine hohe Abweichung hinsichtlich der Performance auf unterschiedlichen Client-Vorrichtungen aufweist.
Wie vorliegend verwendet, kann der Begriff „gesammelte Daten“ allgemein Daten bezeichnen, die verarbeitet werden. Gesammelte Daten müssen nicht Daten sein, die über Sensoren der Vorrichtung erfasst wurden, welche die Verarbeitung erledigt. Gesammelte Daten können auch bereits einer Verarbeitung unterzogen worden sein.
Unausgewogenheit oder eine hohe Performance-Abweichung wird durch eine verzerrte Verteilung gesammelter Daten verursacht. Vorliegend werden Verfahren zur Durchschnittsbildung geschaffen, welche die Vorverzerrung in den verteilten Trainingsdaten/gesammelten Daten abmildern, um ein ausgewogenes Modell zu trainieren. Die Verfahren adressieren eine statistische Heterogenität für föderales Lernen mit ZSDG (d. h. Datenverbesserung ohne explizites Teilen von Daten) und erzielen ein faireres Modell über unterschiedliche Client-Vorrichtungen hinweg.
Ausführungsformen der Offenbarung schaffen ein föderales Lernverfahren, das ZSDG bei mangelhafter Datenverteilung einsetzt, um eine statistische Heterogenität abzumildern. Dies fördert eine einheitlichere Performance-Genauigkeit über Client-Vorrichtungen in föderalen Netzwerken hinweg. Solche Verfahren verbessern gleichzeitig Genauigkeit und Ausgewogenheit.
Ein erstes Verfahren wird bereitgestellt, um die Ausgewogenheit von föderalem Lernen über FMIL zu verbessern, bei dem Client-Vorrichtungen (z. B. lokale Knoten) eine Modellinversion bei einem globalen Modell durchführen, das von einem föderalen Server geliefert wird. Entsprechend werden Daten an einer Client-Vorrichtung gewonnen, obwohl Trainingsdaten anderer Client-Vorrichtungen nicht geteilt wurden.
Ein zweites Verfahren wird geschaffen, um die Ausgewogenheit von föderalem Lernen über LMIF zu verbessern, bei dem der föderale Server eine Modellinversion bei empfangenen Client-Modellen durchführt, um synthetische Daten und auf diese Weise einen ausgewogenen Datensatz zu erstellen, der in einem zusätzlichen Trainingsschritt bei dem föderalen Server verwendet werden soll. Entsprechend werden Daten am Server gewonnen, obwohl Trainingsdaten von Client-Vorrichtungen nicht geteilt wurden.
Entsprechend dem zweiten Verfahren können die Client-Vorrichtungen ebenfalls trainiert sein, mit den Schichtstatistiken des föderalen Servers übereinzustimmen, wobei angenommen wird, dass der föderale Server bereits ein ausgewogenes Modell bereitstellt, zum Beispiel unter Verwendung von LMIF. Dies verhindert, dass die Client-Vorrichtungen zu sehr zu Gunsten ihrer eigenen Daten verzerrt sind.
Entsprechend sowohl dem ersten als auch dem zweiten Verfahren wird eine Modellinversion ohne Daten durchgeführt, indem falsche Daten oder synthetische Daten aus einem trainierten Modell erstellt werden, ohne auf die tatsächlichen Trainingsdaten zuzugreifen. Jedes Daten-Sample hat ein Klassen-Label.
In einer ersten Ausführungsform einer Modellinversion wird ein Modell M als neuronales Netz eingestellt, das L Schichten enthält. Der Einfachheit halber wird angenommen, dass das Modell M L Batch-Normalisierungs(BN)-Schichten hat und Aktivierungen vor der i-ten BN-Schicht werden als zi bezeichnet.
Während einer Vorwärtspropagation wird zi um Mittel µi normalisiert und Abweichung σi in einer i-ten BN-Schicht parametrisiert. Es ist zu beachten, dass bei einem gegebenen vortrainierten Modell M BN-Statistiken aller BN-Schichten gespeichert und zugänglich sind. Um eine falsche Eingabe x̃ zu erstellen, welche am Besten mit den BN-Statistiken, die in den BN-Schichten gespeichert sind, und gegebenen Zielklassen y̅ übereinstimmt, kann folglich ein Optimierungsproblem wie in Gleichung (2) unten angegeben gelöst werden. $min_{\bar{x}} \sum_{i = 1}^{L} {‖ {\bar{μ}}_{i}^{r} - μ_{i} ‖}_{2}^{2} + {‖ {\bar{σ}}_{i}^{r} - σ_{i} ‖}_{2}^{2} + L (M (\bar{x}), \bar{y})$
Um Gleichung (2) zu lösen, werden die Modellparameter fest eingestellt und die Eingabe von einem zufälligen Sample wird durch ein Gradientenverfahren aktualisiert. Da die Eingaberekonstruktion keine Trainingsdaten erfordert, wird sie als ZSDG bezeichnet. Da das vortrainierte Modell M fest eingestellt ist, ist die visuelle Qualität der erstellen falschen Eingabe x̃ stark von der Performance von M abhängig.
In einer anderen Ausführungsform einer Modellinversion ist eine Erstelleinrichtung trainiert, synthetische Daten unter Verwendung von Data-Free Adversarial Knowledge Distillation zu erstellen. Die Erstelleinrichtung wird mit Adversarial-Verlusten trainiert, um die Erstelleinrichtung zu zwingen, synthetische Daten zu produzieren, welche eine ähnliche Performance wie gesammelte Daten (z. B. echte Daten oder Originaldaten) bei der Wissensdestillation von einem Referenznetzwerk (Lehrer) zu einem anderen Netzwerk (Schüler) aufweisen. Die Erstelleinrichtung ist trainiert, seine synthetischen Daten zu zwingen, Statistiken zu produzieren, die mit den BN-Statistiken übereinstimmen, die in einem Referenzmodell gespeichert sind, das mit gesammelten Daten vortrainiert wurde. Die Erstelleinrichtung ist auch derart trainiert, dass ihre synthetischen Bilder eine geringe kategorische Entropie und eine hohe kategorische Entropie in einem Batch ausgehend von dem vortrainierten Referenznetzwerk produzieren. Eine Bedingungs-Erstelleinrichtung kann verwendet werden, um Daten zu erzeugen, die einem spezifischen Label entsprechen.
Gemäß einer Ausführungsform zur Verbesserung der Ausgewogenheit von föderalem Lernen mittels FMIL gewinnen Client-Vorrichtungen (z. B. lokale Knoten) Daten, indem sie das Modell invertieren, das ihnen durch den föderalen Server geliefert wird. Diese erstellten Daten werden zur Datenverbesserung verwendet, um ein Training lokaler Client-Modelle zu verbessern.
Vorliegend werden (x; y) als echtes lokales Eingabe-/Label-Paar eingestellt und (x̅; y̅) werden als erstellte synthetische Daten (z. B. falsche Daten) eingestellt. Um die statistische Heterogenität abzumildern, verbessert jede Client-Vorrichtung ihren Trainings-Satz, indem sie Daten für Klassen mit mangelhaften gesammelten Daten synthetisiert.
Insbesondere verteilt der Server das Modell M an jede Client-Vorrichtung und die Client-Vorrichtung führt ZSDG durch, um x̃ zu erstellen, indem alle möglichen y̅ iteriert werden. Zum Beispiel falls (x_i, y_i) die Daten für die i-te Client-Vorrichtung sind und (x̅_t; y̅_t) synthetische Daten sind, die an der i-ten Client-Vorrichtung erstellt werden, so wird die i-te Client-Vorrichtung erweiterte Daten [(x_i, y_i); (x̅_i; y̅_l)] verwenden. Nach einem lokalen Training gibt die Client-Vorrichtung das aktualisierte Modell M zur Aggregation zurück an den Server.
Jede Client-Vorrichtung hat ihren eigenen Satz an Trainings-/gesammelten Daten (x_i, y_i), die unterschiedliche statistische Eigenschaften aufweisen, und die synthetischen Daten, die an jedem Client (x̅_l; y̅_i) erstellt werden, sind aufgrund einer Zufälligkeit bei der Bilderstellung in dem Modellinversionsprozess nicht gleich.
2 ist ein Flussdiagramm, das ein Verfahren für FMIL unter Verwendung von ZSDG gemäß einer Ausführungsform darstellt. Der Einfachheit der Beschreibung halber wird das Label y, das dem Datenelement x entspricht, entfernt.
Bei 202, bei Kommunikationsrunde t, verteilt ein föderaler Server ein föderales globales Modell M_f,t-1 an einen Teilsatz an Client-Vorrichtungen S_t. Bei 204 erstellt jede Client-Vorrichtung i in dem Teilsatz an Client-Vorrichtungen S_t synthetische Daten x̃_i für alle Klassen in dem föderalen globalen Modell M_f oder für einen Teilsatz an Klassen, in denen gesammelte Daten mangelhaft sind, indem bei dem föderalen globalen Modell eine Modellinversion durchgeführt wird (z. B. indem eine Bilddestillation oder ZSDG verwendet wird). Bei 206 erweitert jeder Client i seine gesammelten Daten x_i mit den synthetischen Daten x̃_i, um einen erweiterten Datensatz (x_i, x̃_i}_t zu erstellen, der eine einheitlichere Verteilung hat als die gesammelten Daten x_i über die Klassen des föderalen globalen Modells M_f hinweg.
Im Allgemeinen wird bei der Feststellung, ob ein Datensatz eine einheitlichere Verteilung über Klassen hinweg aufweist, eine Häufigkeitsverteilung von Klassen in dem Datensatz als Messwert verwendet. Falls sich die Klassenverteilung an eine diskrete einheitliche Verteilung annähert, ist der Datensatz einheitlicher. Zum Beispiel falls die Größe des Datensatzes (z. B. die Anzahl an mit einem Label versehenen Datensatzpunkten) S ist und es N Klassen gibt, ist der Datensatz einheitlich, wenn für jede der N Klassen S/N mit einem Label versehene Punkte vorhanden sind.
Bei 208 trainiert jede Client-Vorrichtung i das föderale globale Modell M_f,t-1 anhand seines erweiterten Datensatzes und erstellt ein aktualisiertes Client-Modell M_ci,t. Bei 210 überträgt jeder Client i das aktualisierte Client-Modell M_ci,t an den föderalen Server. Bei 212 bildet der föderale Server ein Mittel der Client-Modelle, die von dem Teilsatz an Client-Vorrichtungen S_t empfangen wurden, unter Verwendung eines gewichteten Mittels M_f,t = Σ_i w_iM_ci,t und erstellt ein neues föderales Durchschnittsmodell, das erneut an die Client-Vorrichtungen verteilt werden kann, wodurch das Verfahren zu 202 zurückkehrt.
Beim Prüfen des Verfahrens bezüglich FMIL kann ein Server während jeder Kommunikationsrunde einen Teil C = 0:1 aus 100 Clients auswählen, wobei T = 100 Gesamtrunden. Jeder ausgewählter Client kann sein eigenes Modell für E = 5 lokale Epochen mit Mini-Batch-Größe B = 10 trainieren. Jeder Client hat höchstens 2 Klassen von Bildern und jede Klasse enthält 250 Bilder. Angefangen bei der 80. Runde kann ZSDG für lokales Training gestartet werden. Die Größe jeder erweiterten Klasse beträgt 64. Nach einem datenerweiterten föderalen Lernen wird das endgültige aggregierte Modell getestet und es wird die Testgenauigkeit und Abweichung zwischen allen Clients erhalten. Das endgültige aggregierte Modell des FMIL-Verfahrens hat eine höhere Testgenauigkeit und geringere Abweichung (mehr Ausgewogenheit) im Vergleich zu dem standardmäßigen föderalen Durchschnittsmodell. Insbesondere werden Performance und Ausgewogenheit gleichzeitig verbessert.
Das Verfahren bezüglich FMIL kann zweckmäßig eingesetzt werden, wenn Client-Vorrichtungen ausreichend Rechen- und Speicherkomplexität haben, wie beispielsweise wenn ein Client ein Krankenhaus ist, das keinen Zugriff auf Daten anderer Krankenhäuser hat, aber ein Interesse daran hat, aus solchen Daten zu lernen.
Gemäß einer Ausführungsform zur Verbesserung der Ausgewogenheit von föderalem Lernen mittels LMIF werden Modelle, die von lokalen Knoten geliefert werden, bei dem föderalen Server invertiert, um synthetische Daten zu gewinnen. Diese erstellten synthetischen Daten werden von dem föderalen Server verwendet, um die Kombination der lokalen Client-Modelle oder den Modelldurchschnittsbildungsprozess zu verbessern.
Einschränkungen bei lokalen Client-Vorrichtungen umfassen beschränkte Rechenressourcen und Speicherkapazität, welche die Anwendung einer oben unter Bezugnahme auf FMIL beschriebenen Datenverbesserung einschränken können. Zudem kann die i-te Client-Vorrichtung mehr mit der Modell-Performance bei ihren eigenen gesammelten Daten (x_i, y_i) befasst sein als einem allgemeinen Modell, das für alle Daten geeignet ist. Folglich wird in dieser Ausführungsform ZSDG und föderales Lernen auf der Seite des föderalen Servers vorgeschlagen.
Insbesondere verteilt der föderale Server das föderale globale (gemittelte) Modell M an jede Client-Vorrichtung. Jede Client-Vorrichtung i trainiert das föderale globale Modell M unter Verwendung ihrer gesammelten lokalen Daten (x_i, y_i). Jede Client-Vorrichtung i gibt ein aktualisiertes Modell Mi an den föderalen Server zurück. Der Server führt ZSDG bei jedem aktualisierten Modell Mi durch, um synthetische Daten für jeden Client i zu erstellen, und vermischt die synthetischen Daten auf ausgewogene Art und Weise. Der Server aggregiert die neu empfangenen Modelle in einem aktualisierten gemittelten föderalen Modell unter Verwendung eines Algorithmus zur Durchschnittsbildung. Der Server stellt die Gewichtungen des gemittelten Modells genau ein, um ein ausgewogenes, föderales Modell mittels Training mit den gemischten synthetischen Daten zu erstellen.
Gemäß einer anderen Ausführungsform führt der Server den Algorithmus zur Durchschnittsbildung bei den empfangenen Client-Modellen durch, um ein erstes gemitteltes, föderales Modell zu erstellen. Der Server erstellt synthetische Daten (z. B. falsche Daten) aus dem ersten gemittelten föderalen Modell. Der Server evaluiert das erste gemittelte föderale Modell basierend auf den erstellten synthetischen Daten und bestimmt mangelhafte Klassen. Der Server erzeugt mehr Daten aus seinem gemittelten föderalen Modell für die mangelhaften Klassen und mischt die zusätzlich erzeugten synthetischen Daten mit den vorherigen Daten, wodurch ein Datensatz erstellt wird, der in den mangelhaften Klassen mehr Samples hat. Der Server nimmt eine Feinabstimmung bei seinem ersten gemittelten Modell unter Verwendung der neu erstellten Daten vor.
Verglichen mit einer Datenverbesserung am Ende der Client-Vorrichtung (FMIL) vermeidet die Verbesserung am Serverende (LMIF) eine Rechen- und Speicherbegrenzung auf lokalen Vorrichtungen. Zudem aktualisiert jede Client-Vorrichtung das empfangene Modell ausgehend von einem gleichen Initialisierungspunkt, wodurch insgesamt eine ausgeglichene Modell-Performance gefördert wird.
3 ist ein Flussdiagramm, das ein Verfahren für LMIF unter Verwendung von ZSDG gemäß einer Ausführungsform darstellt.
Bei 302, bei Kommunikationsrunde t, verteilt der föderale Server ein föderales globales Modell M_f,t-1 an einen Teilsatz an Clients S_t. Bei 304 trainiert jeder Client i in dem Teilsatz an Clients S_t das föderale globale Modell M_f,t-1. anhand seiner echten Daten {x_i}_t und erstellt ein aktualisiertes Client-Modell M_ci,t. Bei 306 überträgt jeder Client i sein aktualisiertes Client-Modell M_ci,t an den föderalen Server.
Bei 308 führt der föderale Server bei jedem empfangenen Client-Modell M_ci,t eine Modellinversion durch und erstellt synthetische Daten {x̃_i}_t, um einen ausgewogenen synthetischen, föderalen Datensatz ${\tilde{x_{f}}}_{t}$
mit einer einheitlichen Verteilung über die Klassen des föderalen globalen Modells M_f hinweg zu erstellen. In einer anderen Ausführungsform kann der Server einen verzerrten Datensatz erstellen, um mangelhafte Klassen zu kompensieren, falls der Server Vorwissen bezüglich Client-Datenverteilungen hat.
Wie oben beschrieben, weist ein Datensatz eine einheitlichere Verteilung über Klassen hinweg auf, falls sich die Klassenverteilung einer diskreten, einheitlichen Verteilung annähert. Zum Beispiel falls die Größe des Datensatzes (z. B. die Anzahl an mit einem Label versehenen Datensatzpunkten) S ist und es N Klassen gibt, ist der Datensatz einheitlich, wenn für jede der N Klassen S/N mit einem Label versehene Punkte vorhanden sind.
Bei 310 bildet der föderale Server ein Mittel der empfangenen Client-Modelle unter Verwendung eines gewichteten Durchschnitts M̃_f,t = Σ_i w_iM_ci,t. In einer anderen Ausführungsform erstellt der föderale Server mehr Daten aus seinem ersten gemittelten föderalen Modell M̃_f,t für die mangelhaften Klassen aus ${\tilde{x_{f}}}_{t},$
sodass der Datensatz mehr Samples der mangelhaften Klassen hat. In einer weiteren Ausführungsform verbessert der föderale Server seinen Datensatz mit Daten, die aus vorherigen föderalen Trainings-Epochen ${\tilde{x_{f}}}_{t} = U_{τ = 1}^{t} {\tilde{x_{f}}}_{τ}$
erstellt werden.
Bei 312 trainiert der Server das gemittelte föderale Modell M̃_f,t, oder stellt es anhand des ausgewogenen synthetischen Datensatzes ${\tilde{x_{f}}}_{t}$
genau ein, um ein aktualisiertes föderales Modell M_f,t zu erstellen. Dieses aktualisierte föderale Modell kann dann an die Client-Vorrichtungen weiterverteilt werden, indem zu 302 zurückgekehrt wird.
Die Ausführungsformen aus 1 (LMIF) und 2 (FMIL) können gleichzeitig, in der gleichen föderalen Lernepoche durchgeführt werden, oder in abwechselnden föderalen Lernepochen.
Wenn ein ausgewogenes Modell am Serverende erstellt wird, kann der Trainingsalgorithmus bei den lokalen Client-Vorrichtungen (z. B. lokalen Knoten) verändert werden und das Training kann derart normalisiert werden, dass die Statistiken von Modellgewichtungen an Client-Vorrichtungen jenen des föderalen Servers ähneln, wobei angenommen wird, dass das Modell des föderalen Servers besser oder ausgewogener ist, wodurch ein ausgewogenes lokales Modell gefördert wird. In einer Ausführungsform werden gespeicherte BN-Statistiken des föderalen Modells verwendet. In einer anderen Ausführungsform werden Statistiken der l^ten Schicht des k^ten Client-Modells und des föderalen Modells f für die Eingabedaten bei jedem Trainings-Batch aufeinander abgestimmt.
Die Gewichtungen des k^ten Nutzers bei Trainingsepoche (t + 1) werden aktualisiert, um eine objektive Funktion zu minimieren, wo F_k(.) das Haupttrainingsziel µ_k,l ist, µ_f,l der Durchschnitt der l^ten Schicht (oder jener ist, der in ihrer entsprechenden Batch-Normalisierungsschicht gespeichert ist) von jeweils dem k^ten Nutzer und dem föderalen Modell ist. Genauso sind σ_k,l,σ_f,l die Standardabweichungen der l^ten Schicht oder jener ihrer entsprechenden BN-Schicht von jeweils dem k^ten Nutzer und dem föderalen Modell. Die Zielfunktion wird nachfolgend in Gleichung (3) angegeben. $w_{k, t + 1} = arg min_{w} F_{k} (w) + a \sum_{l} {‖ μ_{k, l} - μ_{f, l} ‖}^{2} + β {\sum_{l} ‖ σ_{k, l} - σ_{f, l} ‖}^{2}$
Entsprechend stimmen Client-Vorrichtungen mit den Statistiken an dem föderalen Modell überein und es wird implizit angenommen, dass das föderale Modell ausgewogen ist. Dieser Trainingsprozess kann bei den Client-Vorrichtungen zusammen mit dem LMIF an dem föderalen Server eingesetzt werden, was sicherstellt, dass das föderale Modell, das an Clients verteilt wird, ausgewogen ist.
Anstelle die Abstände zwischen dem Durchschnitt und den Abweichungen, wie oben beschrieben, zu minimieren, wird in einer anderen Ausführungsform der Abstand zwischen den Verteilungen minimiert, indem die KL-Abweichung zwischen zwei Gauß-Verteilungen mit dem entsprechenden Durchschnitt und Abweichungen minimiert wird, wie in Gleichung (4) unten dargestellt. $K L [N (μ_{k, l}, σ_{k, l}^{2}), N (μ_{f, l}, σ_{f, l}^{2})] = \frac{{(μ_{k, l} - μ_{f, l})}^{2} + σ_{k, l}^{2}}{2 σ_{f, l}^{2}} - log \frac{σ_{k, l}}{σ_{f, l}} - \frac{1}{2},$
4 ist ein Blockschaltbild einer elektronischen Vorrichtung in einer Netzwerkumgebung gemäß einer Ausführungsform. In Bezug auf die Ausführungsform aus 2 kann eine elektronische Vorrichtung 401 aus 4 als Client-Vorrichtung verkörpert sein und ein Server 408 aus 4 kann als föderaler Server verkörpert sein. In Bezug auf die Ausführungsform aus 3 kann die elektronische Vorrichtung 401 als föderaler Server verkörpert sein und externe elektronische Vorrichtungen 402 und 404 aus 4 können als Client-Vorrichtungen verkörpert sein.
Bezug nehmend auf 4 kann die elektronische Vorrichtung 401 in einer Netzwerkumgebung 400 mit der elektronischen Vorrichtung 402 über ein erstes Netzwerk 498 (z. B. ein drahtloses Kommunikationsnetzwerk im Nahbereich) oder mit der elektronischen Vorrichtung 404 oder dem Server 408 über ein zweites Netzwerk 499 (z. B. ein drahtloses Kommunikationsnetzwerk im Fernbereich) kommunizieren. Die elektronische Vorrichtung 401 kann mit der elektronischen Vorrichtung 404 über den Server 408 kommunizieren. Die elektronische Vorrichtung 401 kann einen Prozessor 420, einen Speicher 430, eine Eingabevorrichtung 450, eine Tonausgabevorrichtung 455, eine Anzeigevorrichtung 460, ein Audiomodul 470, ein Sensormodul 476, eine Schnittstelle 477, ein haptisches Modul 479, ein Kameramodul 480, ein Leistungsverwaltungsmodul 488, eine Batterie 489, ein Kommunikationsmodul 490, ein Teilnehmerkennungsmodul (SIM) 496 oder ein Antennenmodul 497 umfassen. In einer Ausführungsform kann mindestens eine (z. B. die Anzeigevorrichtung 460 oder das Kameramodul 480) der Komponenten aus der elektronischen Vorrichtung 401 ausgelassen werden, oder eines oder mehrere andere Komponenten können zu der elektronischen Vorrichtung 401 hinzugefügt werden. Einige der Komponenten können in Form einer einzelnen integrierten Schaltung (IC) implementiert sein. Zum Beispiel kann das Sensormodul 476 (z. B. ein Fingerabdrucksensor, ein Irissensor oder ein Belichtungssensor) in der Anzeigevorrichtung 460 (z. B. eine Anzeige) eingebaut sein.
Der Prozessor 420 kann zum Beispiel Software ausführen (z. B. ein Programm 440), um mindestens eine andere mit dem Prozessor 420 gekoppelte Komponente (z. B. eine Hardware- oder Software-Komponente) der elektronischen Vorrichtung 401 zu steuern, und kann verschiedene Datenverarbeitungsvorgänge oder -berechnungen durchführen. Zumindest als Teil der Datenverarbeitungsvorgänge oder -berechnungen kann der Prozessor 420 einen Befehl oder Daten, die von einer anderen Komponente empfangen wurden (z. B. dem Sensormodul 476 oder dem Kommunikationsmodul 490) in einen flüchtigen Speicher 432 laden, den Befehl oder die Daten, die in dem flüchtigen Speicher 432 gespeichert sind, verarbeiten und die resultierenden Daten in einem nichtflüchtigen Speicher 434 speichern. Der Prozessor 420 kann einen Hauptprozessor 421 (z. B. eine zentrale Prozessoreinheit (CPU) oder einen Anwendungsprozessor (AP)) umfassen sowie einen zusätzlichen Prozessor 423 (z. B. einen Grafikprozessor (GPU), einen Bildsignalprozessor (ISP), einen Sensor-Hub-Prozessor oder einen Kommunikationsprozessor (CP)), der unabhängig von oder in Verbindung mit dem Hauptprozessor 421 betätigbar ist. Zudem oder alternativ kann der zusätzliche Prozessor 423 in der Lage sein, weniger Leistung als der Hauptprozessor 421 zu verbrauchen oder eine bestimmte Funktion auszuführen. Der zusätzliche Prozessor 423 kann separat von oder als Teil des Hauptprozessors 421 implementiert sein.
Der zusätzliche Prozessor 423 kann mindestens einige der Funktionen oder Zustände, die mindestens eine Komponente (z. B. die Anzeigevorrichtung 460, das Sensormodul 476 oder das Kommunikationsmodul 490) von den Komponenten der elektronischen Vorrichtungen 401 betreffen, anstelle des Hauptprozessors 421 steuern, während sich der Hauptprozessor 421 in einem inaktiven (z. B. Standby-)Zustand befindet, oder zusammen mit dem Hauptprozessor 421 steuern, während sich der Hauptprozessor 421 in einem aktiven Zustand befindet (z. B. eine Anwendung ausführt). Der zusätzliche Prozessor 423 (z. B. ein Bildsignalprozessor oder ein Kommunikationsprozessor) kann als Teil einer anderen Komponente (z. B. des Kameramoduls 480 oder des Kommunikationsmoduls 490) implementiert sein, die funktional zu dem zusätzlichen Prozessor 423 in Bezug steht.
Der Speicher 430 kann verschiedene Daten speichern, die von mindestens einer Komponente (z. B. dem Prozessor 420 oder dem Sensormodul 476) der elektronischen Vorrichtung 401 verwendet werden. Die verschiedenen Daten können zum Beispiel Software (z. B. das Programm 440) umfassen und Daten für einen damit zusammenhängenden Befehl eingeben oder ausgeben. Der Speicher 430 kann den flüchtigen Speicher 432 oder den nichtflüchtigen Speicher 434 umfassen.
Das Programm 440 kann in dem Speicher 430 als Software gespeichert sein und kann zum Beispiel ein Betriebssystem (OS) 442, Middleware 444 oder eine Anwendung 446 umfassen.
Die Eingabevorrichtung 450 kann einen Befehl oder Daten, die von einer anderen Komponente (z. B. dem Prozessor 420) der elektronischen Vorrichtung 401 zu verwenden sind, von außerhalb (z. B. einem Nutzer) der elektronischen Vorrichtung 401 empfangen. Die Eingabevorrichtung 450 kann zum Beispiel ein Mikrofon, eine Maus oder eine Tastatur umfassen.
Die Tonausgabevorrichtung 455 kann Tonsignale nach außen der elektronischen Vorrichtung 401 ausgeben. Die Tonausgabevorrichtung 455 kann zum Beispiel einen Lautsprecher oder einen Empfänger umfassen. Der Lautsprecher kann für allgemeine Zwecke verwendet werden, wie beispielsweise zum Abspielen von Multimedia oder einer Aufnahme, und der Empfänger kann verwendet werden, um einen eingehenden Anruf zu empfangen. Der Empfänger kann separat von oder als Teil des Lautsprechers implementiert sein.
Die Anzeigevorrichtung 460 kann visuell Informationen nach außen (z. B. an einen Nutzer) der elektronischen Vorrichtung 401 liefern. Die Anzeigevorrichtung 460 kann zum Beispiel eine Anzeige, eine Hologrammvorrichtung oder einen Projektor und eine Steuerschaltung umfassen, um ein jeweiliges Element von der Anzeige, der Hologrammvorrichtung und dem Projektor zu steuern. Die Anzeigevorrichtung 460 kann eine Touch-Schaltung umfassen, die fähig ist, eine Berührung zu erfassen, oder eine Sensorschaltung (z. B. einen Drucksensor), die fähig ist, die Intensität einer Kraft, die durch die Berührung aufgebracht wird, zu messen.
Das Audiomodul 470 kann einen Ton in ein elektrisches Signal und zurück umwandeln. Das Audiomodul 470 kann den Ton über die Eingabevorrichtung 450 erhalten oder den Ton über die Tonausgabevorrichtung 455 oder einen Kopfhörer einer externen elektronischen Vorrichtung 402 ausgeben, die direkt (z. B. verkabelt) oder drahtlos mit der elektronischen Vorrichtung 401 gekoppelt ist.
Das Sensormodul 476 kann einen Betriebszustand (z. B. eine Leistung oder Temperatur) der elektronischen Vorrichtung 401 oder einen Umweltzustand (z. B. einen Zustand eines Nutzers) außerhalb der elektronischen Vorrichtung 401 erfassen und dann ein elektrisches Signal oder einen Datenwert erzeugen, der dem erfassten Zustand entspricht. Das Sensormodul 476 kann zum Beispiel einen Gestensensor, einen Gyroskopsensor, einen Atmosphärendrucksensor, einen magnetischen Sensor, einen Beschleunigungssensor, einen Griffsensor, einen Näherungssensor, einen Farbsensor, einen Infrarot(IT)-Sensor, einen biometrischen Sensor, einen Temperatursensor, einen Feuchtigkeitssensor oder einen Belichtungssensor umfassen.
Die Schnittstelle 477 kann eines oder mehrere spezifizierte Protokolle unterstützen, die für die elektronische Vorrichtung 401 zu verwenden sind, die mit der externen elektronischen Vorrichtung 402 direkt (z. B. verkabelt) oder drahtlos gekoppelt werden soll. Die Schnittstelle 477 kann zum Beispiel High Definition Multimedia Interface (HDMI), eine Schnittstelle für universellen seriellen Bus (USB), eine Schnittstelle für Secure-Digital(SD)-Card oder eine Audioschnittstelle umfassen.
Ein Verbindungsanschluss 478 kann einen Verbinder umfassen, über den die elektronische Vorrichtung 401 physisch mit der externen elektronischen Vorrichtung 402 verbunden sein kann. Der Verbindungsanschluss 478 kann zum Beispiel einen HDMI-Verbinder, einen USB-Verbinder, einen SD-Kartenverbinder oder einen Audioverbinder (z. B. einen Kopfhörerverbinder) umfassen.
Das haptische Modul 479 kann ein elektrisches Signal in einen mechanischen Impuls (z. B. eine Vibration oder eine Bewegung) oder in einen elektrischen Impuls umwandeln, der von einem Nutzer über den Tastsinn oder ein kinästhetisches Gefühl erkannt werden kann. Das haptische Modul 479 kann zum Beispiel einen Elektromotor, ein piezoelektrisches Element oder einen elektrischen Impulsgeber umfassen.
Das Kameramodul 480 kann ein Standbild oder bewegte Bilder aufnehmen. Das Kameramodul 480 kann eine oder mehrere Linsen, Bildsensoren, Bildsignalprozessoren oder Blitze umfassen.
Das Leistungsverwaltungsmodul 488 kann eine Leistung verwalten, die der elektronischen Vorrichtung 401 zugeführt wird. Das Leistungsverwaltungsmodul 488 kann als zumindest ein Teil von, zum Beispiel, einer integrierten Leistungsverwaltungsschaltung (PMIC) implementiert sein.
Die Batterie 489 kann zumindest einer Komponente der elektronischen Vorrichtung 401 Leistung zuführen. Die Batterie 489 kann zum Beispiel eine Primärzelle, die nicht wiederaufladbar ist, eine Sekundärbatterie, die wiederaufladbar ist, oder eine Brennstoffzelle umfassen.
Das Kommunikationsmodul 490 kann das Herstellen eines direkten (z. B. verkabelten) Kommunikationskanals oder eines drahtlosen Kommunikationskanals zwischen der elektronischen Vorrichtung 401 und der externen elektronischen Vorrichtung (z. B. der elektronischen Vorrichtung 402, der elektronischen Vorrichtung 404 oder dem Server 408) und das Durchführen einer Kommunikation über den hergestellten Kommunikationskanal unterstützen. Das Kommunikationsmodul 490 kann einen oder mehrere Kommunikationsprozessoren umfassen, die unabhängig von dem Prozessor 420 (z. B. dem AP) betriebsfähig sind und eine direkte (z. B. verkabelte) Kommunikation oder eine drahtlose Kommunikation unterstützen. Das Kommunikationsmodul 490 kann ein drahtloses Kommunikationsmodul 492 (z. B. ein Mobilfunkkommunikationsmodul, ein drahtloses Kommunikationsmodul im Nahbereich oder ein Kommunikationsmodul für ein globales Navigationssatellitensystem (GNSS)) oder ein verkabeltes Kommunikationsmodul 494 umfassen (z. B. ein Local-Area-Network(LAN)-Kommunikationsmodul oder ein Power-Line-Communication(PLC)-Modul). Ein entsprechendes dieser Kommunikationsmodule kann mit der externen elektronischen Vorrichtung über das erste Netzwerk 498 (z. B. ein Kommunikationsnetzwerk im Nahbereich, wie beispielsweise Bluetooth™, Wireless-Fidelity (Wi-Fi) oder ein Standard der Infrared Data Association (IrDA)) oder über das zweite Netzwerk 499 kommunizieren (z. B. ein Kommunikationsnetzwerk im Fernbereich, wie beispielsweise ein Mobilfunknetz, das Internet oder ein Computernetzwerk (z. B. LAN oder Wide Area Network (WAN)). Diese verschiedenen Arten an Kommunikationsmodulen können in Form einer einzelnen Komponente (z. B. ein einzelner IC) oder mehrerer Komponenten (z. B. mehrere ICs), die voneinander getrennt sind, implementiert werden. Das drahtlose Kommunikationsmodul 492 kann die elektronische Vorrichtung 401 in einem Kommunikationsnetzwerk wie beispielsweise dem ersten Netzwerk 498 oder dem zweiten Netzwerk 499 unter Verwendung von Teilnehmerinformationen (z. B. International Mobile Subscriber Identity (IMSI)), die in dem Teilnehmerkennungsmodul 496 gespeichert sind, identifizieren und authentifizieren.
Das Antennenmodul 497 kann ein Signal oder eine Leistung nach außen übertragen oder von außerhalb (z. B. der externen elektronischen Vorrichtung) der elektronischen Vorrichtung 401 empfangen. Das Antennenmodul 497 kann eine oder mehrere Antennen umfassen und daher kann mindestens eine Antenne, die für ein Kommunikationssystem geeignet ist, das in dem Kommunikationsnetzwerk verwendet wird, wie beispielsweise das erste Netzwerk 498 oder das zweite Netzwerk 499, ausgewählt werden, zum Beispiel durch das Kommunikationsmodul 490 (z. B. das drahtlose Kommunikationsmodul 492). Das Signal oder die Leistung kann dann zwischen dem Kommunikationsmodul 490 und der externen elektronischen Vorrichtung über die mindestens eine ausgewählte Antenne übertragen oder empfangen werden.
Mindestens einige der oben beschriebenen Komponenten können wechselseitig gekoppelt sein und Signale (z. B. Befehle oder Daten) dazwischen über ein inter-peripheres Kommunikationssystem (z. B. einen Bus, einen General Purpose Input and Output (GPIO), eine Serial Peripheral Interface (SPI) oder eine Mobile Industry Processor Interface (MIPI)) kommunizieren.
Befehle oder Daten können zwischen der elektronischen Vorrichtung 401 und der externen elektronischen Vorrichtung 404 über den Server 408, der mit dem zweiten Netzwerk 499 gekoppelt ist, übertragen oder empfangen werden. Jede der elektronischen Vorrichtungen 402 und 404 kann eine Vorrichtung eines gleichen Typs oder eines anderen Typs sein als die elektronische Vorrichtung 401. Alle oder einige der Vorgänge, die bei der elektronischen Vorrichtung 401 auszuführen sind, können bei einer oder mehreren der externen elektronischen Vorrichtungen 402, 404 oder 408 ausgeführt werden. Zum Beispiel falls die elektronische Vorrichtung 401 eine Funktion oder einen Service automatisch oder ansprechend auf eine Anfrage von einem Nutzer oder einer anderen Vorrichtung durchführen soll, kann die elektronische Vorrichtung 401 anstelle von oder zusätzlich zu der Ausführung der Funktion oder des Services anfordern, dass die eine oder mehreren externen elektronischen Vorrichtungen mindestens einen Teil der Funktion oder des Services durchführen. Die eine oder die mehreren externen elektronischen Vorrichtungen, die die Anfrage empfangen, können zumindest den Teil der Funktion oder des Services, der angefordert wird, durchführen, oder eine zusätzliche Funktion oder einen zusätzlichen Service mit Bezug auf die Anforderung durchführen und ein Ergebnis der Durchführung an die elektronische Vorrichtung 401 übertragen. Die elektronische Vorrichtung 401 kann das Ergebnis mit oder ohne weitere Verarbeitung des Ergebnisses als mindestens einen Teil einer Antwort auf die Anfrage bereitstellen. Zu diesem Zweck kann zum Beispiel Cloud Computing, eine verteilte Verarbeitung oder Client-Server-Computertechnologie verwendet werden.
Eine Ausführungsform kann als Software implementiert sein (z. B. das Programm 440), das eine oder mehrere Anweisungen umfasst, die in einem Speichermedium (z. B. internen Speicher 436 oder externen Speicher 438) gespeichert sind, das durch eine Maschine (z. B. die elektronische Vorrichtung 401) lesbar ist. Zum Beispiel kann der Prozessor der elektronischen Vorrichtung 401 mindestens eine der einen oder mehreren Anweisungen, die in dem Speichermedium gespeichert sind, aufrufen und sie ausführen, mit oder ohne eine oder mehrere andere Komponenten zu verwenden, die von dem Prozessor gesteuert werden. So kann eine Maschine betrieben werden, um mindestens eine Funktion gemäß der mindestens einen aufgerufenen Anweisung durchzuführen. Die eine oder mehreren Anweisungen können Code umfassen, der von einem Compiler erstellt wird, oder Code, der durch einen Interpreter ausführbar ist. Ein maschinell lesbares Speichermedium kann in Form eines nicht-transitorischen Speichermediums bereitgestellt sein. Der Begriff „nicht-transitorisch“ bedeutet, dass das Speichermedium eine physische Vorrichtung ist und kein Signal (z. B. eine elektromagnetische Welle) umfasst, aber dieser Begriff unterscheidet nicht, wo Daten semi-permanent in dem Speichermedium gespeichert werden und wo die Daten vorübergehend in dem Speichermedium gespeichert werden.
Gemäß einer Ausführungsform kann ein Verfahren der Offenbarung in einem Computerprogrammprodukt umfasst und bereitgestellt werden. Das Computerprogrammprodukt kann als Produkt zwischen einem Verkäufer und einem Käufer gehandelt werden. Das Computerprogrammprodukt kann in Form eines maschinell lesbaren Speichermediums (z. B. einer Compact Disc Read Only Memory (CD-ROM)) vertrieben werden oder online (z. B. per Download oder Upload) über einen Application Store (z. B. Play Store™) vertrieben werden oder direkt zwischen zwei Nutzervorrichtungen (z. B. Smartphones). Falls es online vertrieben wird, kann zumindest ein Teil des Computerprogrammprodukts vorübergehend erzeugt oder zumindest vorübergehend in dem maschinell lesbaren Speichermedium, wie beispielsweise einem Speicher des Herstellerservers, eines Servers des Application Stores oder einem Relayserver gespeichert sein.
Gemäß einer Ausführungsform kann jede Komponente (z. B. ein Modul oder ein Programm) der oben beschriebenen Komponenten eine Einheit oder mehrere Einheiten umfassen. Eine oder mehrere der oben beschriebenen Komponenten können ausgelassen werden oder eine oder mehrere andere Komponenten können hinzugefügt werden. Alternativ oder zusätzlich kann eine Mehrzahl an Komponenten (z. B. Module oder Programme) in einer einzelnen Komponente integriert sein. In diesem Fall kann die integrierte Komponente immer noch eine oder mehrere Funktionen von jeder der Mehrzahl an Komponenten auf die gleiche oder eine ähnliche Art durchführen, wie wenn sie durch eine entsprechende der Mehrzahl an Komponenten vor der Integration durchgeführt werden. Vorgänge, die durch das Modul, das Programm oder eine andere Komponente durchgeführt werden, können sequenziell parallel, wiederholt oder heuristisch ausgeführt werden, oder einer oder mehrere der Vorgänge können in einer anderen Reihenfolge ausgeführt oder ausgelassen werden oder einer oder mehrere Vorgänge können hinzugefügt werden.
Obwohl bestimmte Ausführungsformen der vorliegenden Offenbarung in der detaillierten Beschreibung der vorliegenden Offenbarung beschrieben wurden, kann die vorliegende Offenbarung auf verschiedene Art modifiziert werden, ohne von dem Schutzumfang der vorliegenden Offenbarung abzuweichen. Daher soll der Schutzumfang der vorliegenden Offenbarung nicht lediglich basierend auf den beschriebenen Ausführungsformen bestimmt werden, sondern stattdessen basierend auf den beigefügten Ansprüchen und deren Äquivalenten bestimmt werden.

Claims

Verfahren zum Durchführen von föderalem Lernen bei einer Client-Vorrichtung, wobei das Verfahren aufweist: Empfangen, an der Client-Vorrichtung, eines globalen Modells von einem Server; Durchführen einer Modellinversion bei dem globalen Modell, um synthetische Daten für eine oder mehrere Klassen an Daten in dem globalen Modell zu erstellen; Erweitern von gesammelten Daten in einem Datensatz der Client-Vorrichtung mit den synthetischen Daten, um einen erweiterten Datensatz mit einer einheitlicheren Verteilung von Daten über Klassen hinweg als in dem Datensatz zu erstellen; Trainieren des globalen Modells anhand des erweiterten Datensatzes, um ein Client-Modell zu erstellen; und Übertragen des Client-Modells von der Client-Vorrichtung an den Server.
Verfahren nach Anspruch 1, wobei ein Durchführen einer Modellinversion aufweist: Erstellen der synthetischen Daten für alle Klassen von Daten in dem globalen Modell; oder Erstellen der synthetischen Daten für die eine oder die mehreren Klassen an Daten in dem globalen Modell, wo die gesammelten Daten mangelhaft sind.
Verfahren nach Anspruch 1, wobei ein Durchführen einer Modellinversion aufweist, eine Bilddestillation und/oder Zero-Shot Data Generation (ZSDG) bei dem globalen Modell durchzuführen.
Verfahren nach Anspruch 1, ferner aufweisend: Empfangen, an der Client-Vorrichtung, eines aktualisierten globalen Modells von dem Server, wobei das aktualisierte globale Modell erstellt wird, indem ein Mittelwert einer Mehrzahl von Client-Modellen, einschließlich des übertragenen Client-Modells, an dem Server gebildet wird.
Verfahren nach Anspruch 1, wobei die einheitlichere Verteilung der Daten erzielt wird, wenn sich eine Klassenverteilung der erweiterten Daten einer diskreten einheitlichen Verteilung annähert.
Verfahren zum Durchführen von föderalem Lernen an einem Server, wobei das Verfahren aufweist: Verteilen eines globalen Modells von dem Server an eine Mehrzahl von Client-Vorrichtungen; Empfangen von Client-Modellen von der Mehrzahl von Client-Vorrichtungen, wobei jedes Client-Modell von einer jeweiligen Client-Vorrichtung der Mehrzahl von Client-Vorrichtungen empfangen wird; Durchführen einer Modellinversion bei jedem Client-Modell, um synthetische Daten für jedes Client-Modell zu erstellen; Erstellen eines synthetischen Datensatzes unter Verwendung der synthetischen Daten von den Client-Modellen; Bilden eines Mittelwerts der Client-Modelle, um ein gemitteltes Modell zu erstellen; und Trainieren des gemittelten Modells unter Verwendung des synthetischen Datensatzes, um ein aktualisiertes globales Modell zu erstellen.
Verfahren nach Anspruch 6, wobei jedes Client-Modell durch Trainieren des globalen Modells anhand gesammelter Daten der jeweiligen Client-Vorrichtung erstellt wird.
Verfahren nach Anspruch 7, wobei das Training des globalen Modells bei jeder Client-Vorrichtung derart normalisiert wird, dass Statistiken jedes Client-Modells innerhalb eines angegebenen Bereichs von Statistiken des globalen Modells sind.
Verfahren nach Anspruch 6, wobei der synthetische Datensatz eine einheitliche Verteilung von Daten über Klassen des globalen Modells hinweg oder eine verzerrte Verteilung von Daten über die Klassen des globalen Modells hinweg aufweist, um mangelhafte gesammelte Daten in Klassen der Client-Modelle zu kompensieren.
Verfahren nach Anspruch 6, ferner aufweisend Erweitern des synthetischen Datensatzes mit Daten, die in vorherigen Trainingsepochen erstellt wurden.
Client-Vorrichtung zum Durchführen von föderalem Lernen, wobei die Client-Vorrichtung aufweist: einen Prozessor; und einen nicht-transitorischen computerlesbaren Datenträger, auf dem Anweisungen gespeichert sind, die, wenn sie ausgeführt werden, den Prozessor veranlassen: ein globales Modell von einem Server zu empfangen; eine Modellinversion bei dem globalen Modell durchzuführen, um synthetische Daten für eine oder mehrere Klassen an Daten in dem globalen Modell zu erstellen; gesammelte Daten in einem Datensatz der Client-Vorrichtung mit den synthetischen Daten zu erweitern, um einen erweiterten Datensatz mit einer einheitlicheren Verteilung von Daten über Klassen hinweg als in dem Datensatz zu erstellen; das globale Modell anhand des erweiterten Datensatzes zu trainieren, um ein Client-Modell zu erstellen; und das Client-Modell an den Server zu übertragen.
Client-Vorrichtung nach Anspruch 11, wobei beim Durchführen einer Modellinversion die Anweisungen den Prozessor veranlassen: die synthetischen Daten für alle Klassen von Daten in dem globalen Modell zu erstellen; oder die synthetischen Daten für die eine oder die mehreren Klassen an Daten in dem globalen Modell zu erstellen, wo die gesammelten Daten mangelhaft sind.
Client-Vorrichtung nach Anspruch 11, wobei beim Durchführen einer Modellinversion die Anweisungen den Prozessor veranlassen, eine Bilddestillation und/oder Zero-Shot Data Generation (ZSDG) bei dem globalen Modell durchzuführen.
Client-Vorrichtung nach Anspruch 11, wobei die Anweisungen den Prozessor ferner veranlassen: ein aktualisiertes globales Modell von dem Server zu empfangen, wobei das aktualisierte globale Modell erstellt wird, indem ein Mittelwert einer Mehrzahl von Client-Modellen, einschließlich des übertragenen Client-Modells, bei dem Server gebildet wird.
Client-Vorrichtung nach Anspruch 11, wobei die einheitlichere Verteilung der Daten erzielt wird, wenn sich eine Klassenverteilung der erweiterten Daten einer diskreten einheitlichen Verteilung annähert.
Server zum Durchführen von förderalem Lernen, wobei der Server aufweist: einen Prozessor; und einen nicht-transitorischen computerlesbaren Datenträger, auf dem Anweisungen gespeichert sind, die, wenn sie ausgeführt werden, den Prozessor veranlassen: ein globales Modell an eine Mehrzahl von Client-Vorrichtungen zu verteilen; Client-Modelle von der Mehrzahl von Client-Vorrichtungen zu empfangen, wobei jedes Client-Modell von einer jeweiligen Client-Vorrichtung der Mehrzahl von Client-Vorrichtungen empfangen wird; eine Modellinversion bei jedem Client-Modell durchzuführen, um synthetische Daten für jedes Client-Modell zu erstellen; einen synthetischen Datensatz unter Verwendung der synthetischen Daten von den Client-Modellen zu erstellen; einen Mittelwert der Client-Modelle zu bilden, um ein gemitteltes Modell zu erstellen; und das gemittelte Modell unter Verwendung des synthetischen Datensatzes zu trainieren, um ein aktualisiertes globales Modell zu erstellen.
Server nach Anspruch 16, wobei jedes Client-Modell durch Trainieren des globalen Modells anhand gesammelter Daten der jeweiligen Client-Vorrichtung erstellt wird.
Server nach Anspruch 17, wobei das Training des globalen Modells bei jeder Client-Vorrichtung derart normalisiert wird, dass Statistiken jedes Client-Modells innerhalb eines angegebenen Bereichs von Statistiken des globalen Modells sind.
Server nach Anspruch 16, wobei der synthetische Datensatz eine einheitliche Verteilung von Daten über Klassen des globalen Modells hinweg oder eine verzerrte Verteilung von Daten über die Klassen des globalen Modells hinweg aufweist, um mangelhafte gesammelte Daten in Klassen der Client-Modelle zu kompensieren.
Server nach Anspruch 16, wobei die Anweisungen ferner den Prozessor veranlassen, den synthetischen Datensatz mit Daten zu erweitern, die aus vorherigen Trainingsepochen erstellt wurden.