DE112021000092T5 - Verfahren zur Verschlüsselung von Edge-Daten für Edge-IoT-Proxy-Geräte - Google Patents

Abstract

Aus der vorliegenden Erfindung ist ein Verfahren zur Verschlüsselung von Edge-Daten für Edge-IoT-Proxy-Geräte bekannt, wobei das Verfahren folgende Schritte umfasst: über eine Downlink-Kommunikationsschnittstelle werden für jedes Edge-IoT-Proxy-Gerät systembezogene globale Parameter initialisiert; unter Verwendung der Idee eines stochastischen Gradientenabstiegs berechnet jedes Edge-IoT-Proxy-Gerät durch ein zufälliges Abtasten eines Trainingssatzes und mittels eines KI-Funktionsmoduls mit erhaltenen Datenstichproben einen Gradienten einer Verlustfunktion des maschinellen Lernmodells für die nächste Stufe des Gradientenabstiegs; zunächst wird eine fehlertolerante Verarbeitung durchgeführt, wonach die lokalen Parameter jedes Edge-IoT-Proxy-Geräts vom Gradienten der vorherigen Stufe subtrahiert werden und dann eine Verarbeitung zum Hinzufügen von Rauschen durchgeführt wird; jedes Edge-IoT-Proxy-Gerät überträgt die Parameter nach der Verarbeitung zum Hinzufügen von Rauschen in der vorherigen Stufe an ein benachbartes Gerät; das Edge-IoT-Proxygerät aktualisiert und iteriert die lokalen Parameter abhängig von Daten, die von Nachbarknoten gesendet sind, und speichert neue Parameter. Das erfindungsgemäße Verfahren schützt mittels der Technologie der differentiellen Privatheit den lokalen Datenschutz und reduziert die Auswirkungen auf die Effizienz und Konvergenz des maschinellen Lernens, die durch Datenrauschen verursacht werden, bis zu einem gewissen Grad.

Description

• TECHNISCHES GEBIET
• Die vorliegende Erfindung gehört zum technischen Gebiet der verteilten Netzwerke und betrifft insbesondere ein Verfahren zur Verschlüsselung von Edge-Daten für Edge-IoT-Proxy-Geräte.
• STAND DER TECHNIK
• Edge-Computing (Mobile Edge Computing) ist eine neue Computertechnologie, die Cloud-Computing-Funktionen für mobile Edge-Geräte bereitstellen kann. Indem Rechenaufgaben von einem zentralen Server auf lokale Edge-Geräte verlagert werden, wird die Recheneffizienz erheblich verbessert und kann gleichzeitig ein reaktionsschnellerer Dienst für Benutzer mobiler Geräte bereitgestellt werden. Mit dem Aufkommen der Technologie der fünften und sechsten Generation werden Anwendungsszenarien mit Besonderheiten wie niedriger Latenz, hoher Bandbreite, hoher Zuverlässigkeit und massiven Verbindungen immer häufiger, wobei das Edge-Computing immer mehr Vorteile aufweist und an Popularität gewinnt.
• In vielen Anwendungsbereichen von Edge-Computing, wie fahrzeuginternem Netzwerk und intelligenter Überwachung, ist das maschinelle Lernen von immer größerer Bedeutung. Außerdem stellt die Dezentralisierung ein wichtiges Merkmal des Edge-Computings dar. Daher ist die dezentrale maschinelle Lerntechnologie für die Anwendung des Edge-Computings von großer Bedeutung. Im Rechenmodus des dezentralen verteilten Lernens wird die gesamte Lernaufgabe auf mehrere Arbeitsknoten zur parallelen Verarbeitung verteilt, um den Lernprozess zu beschleunigen und die Effizienz des Edge-Computings zu erhöhen. Da es keinen zentralen Server gibt, wird das dezentrale maschinelle Lernen robuster gegenüber Mängeln wie Kommunikationsengpässen und Knotenausfällen und dergleichen sein.
• Ein Edge-IoT-Proxy-Gerät ist eines der physischen Geräte, die intelligentes Edge-Computing realisieren. Mit der kontinuierlichen Weiterentwicklung des Aufbaus des Internets der Dinge (IoT) in Stromversorgungssystemen und dem schnellen Wachstum des Datenzugriffs auf IoT-Terminals im Zeitalter von Big-Data ist es zu einem dringend zu lösenden Problem geworden, eine effiziente Analyse und schnelle Verarbeitung von Terminaldaten zu erreichen. Angesichts dieses Problems ist ein Edge-IoT-Proxy-Gerät entstanden, das auf allgegenwärtigem IoT und Edge-Computing basiert.
• Das Edge-IoT-Proxy-Gerät verfügt über zusätzliche Funktionen wie Konvertierung von Datenprotokollen und Edge-Computing, und weist eine Vielzahl von Modulen wie Datenerfassungsmodul, Edge-Computing-Modul und KI (künstliche Intelligenz)-Funktionsmodul. Das Edge-IoT-Proxy-Gerät unterstützt die kundenspezifische Entwicklung und Bereitstellung von Anwendungen auf der Grundlage tatsächlicher Anwendungsszenarien. Gegenwärtig sind die Entwicklung und Bereitstellung einer Anwendung zur Vor-Ort-Diagnose, einer Anwendung zur Berechnung der Menge an neuer Energie, die in das Netz eingespeist wird, einer Anwendung für Rechenzentrumsinfrastruktur und einer Anwendung zur Warnung vor Geräterisiken abgeschlossen, was den Aufbau des allgegenwärtigen Internets der Dinge in Stromversorgungssystemen und die gemeinsame Wertschöpfung zwischen Stromversorgungssystemen und anderen Industrien erheblich unterstützt.
• Obwohl das Edge-Computing mittels der Edge-IoT-Proxy-Geräte viele Vorteile hat, gibt es beim Edge Computing als relativ neuer Technologie immer noch viele Datenschutz- und Sicherheitsprobleme. Beispielsweise ist das Edge-IoT-Gerät als IoT-Gerät anfällig für Hacking oder Datenlecks aufgrund von Backend-Abfragen durch Anwendungen. Da der Sicherheitsschutz mobiler Geräte nicht stark genug ist, müssen viele Geräte verschiedenen bösartigen Viren ausgesetzt werden. Darüber hinaus stellt die effektive Kommunikation von Daten zwischen verschiedenen IoT-Geräten bei der Durchführung von Aufgaben des maschinellen Lernens immer noch eine Richtung dar, die es wert ist, erforscht und verbessert zu werden.
• Die differentielle Privatheit ist eine kryptografische Technologie, die die Sicherheit jeder Information in einer Datenbank effektiv garantieren kann. Die Technologie der differentiellen Privatheit stellt möglichst sicher, dass irgendein Datenelement in der Datenbank unter keinen Umständen leicht durchgesickert ist, indem Ergebnisse statistischer Abfragen an die Datenbank entsprechend angepasst werden. Im Allgemeinen kann ein Abfrageergebnis verschleiert werden, indem das Abfrageergebnis verrauscht wird, um den Effekt der Verschlüsselung zu erzielen. Bei der Lernaufgabe von Edge-Computing ist es noch ein neuer Versuch, die lokale Datenbank durch die Einführung der Technologie der differentiellen Privatheit zu schützen. Außerdem ist das Problem, wie die Auswirkungen auf die Effizienz und Konvergenz verteilter maschineller Lernaufgaben nach Hinzufügen des Datenschutzes verringert werden, ebenfalls ein Thema, das es wert ist, untersucht zu werden.
• INHALT DER VORLIEGENDEN ERFINDUNG
• Um die oben genannten technischen Probleme zu lösen, stellt die vorliegende Erfindung ein Verfahren zur Verschlüsselung von Edge-Daten für Edge-IoT-Proxy-Geräte bereit, das mittels der Technologie der differentiellen Privatheit den lokalen Datenschutz schützt, und das die Auswirkungen auf die Effizienz und Konvergenz des maschinellen Lernens, die durch Datenrauschen verursacht werden, bis zu einem gewissen Grad reduziert.
• Um die oben genannten technischen Probleme zu lösen, schlägt die vorliegende Erfindung folgende Lösung vor:
• Ein Verfahren zur Verschlüsselung von Edge-Daten für Edge-IoT-Proxy-Geräte, umfassend folgende Schritt:
  • (1) Stufe zur Initialisierung: über eine Downlink-Kommunikationsschnittstelle werden für jedes Edge-IoT-Proxy-Gerät systembezogene globale Parameter initialisiert;
  • (2) Stufe zur Berechnung von Gradienten: unter Verwendung der Idee eines stochastischen Gradientenabstiegs berechnet jedes Edge-IoT-Proxy-Gerät durch ein zufälliges Abtasten eines Trainingssatzes und mittels eines KI-Funktionsmoduls mit erhaltenen Datenstichproben einen Gradienten einer Verlustfunktion des maschinellen Lernmodells für die nächste Stufe des Gradientenabstiegs;
  • (3) Verarbeitungsstufe zum Hinzufügen von Rauschen: zunächst wird eine fehlertolerante Verarbeitung durchgeführt, wonach die lokalen Parameter jedes Edge-IoT-Proxy-Geräts vom Gradienten der vorherigen Stufe subtrahiert werden und dann eine Verarbeitung zum Hinzufügen von Rauschen durchgeführt wird;
  • (4) Stufe zur Ausbreitung von Parametern: jedes Edge-IoT-Proxy-Gerät überträgt die Parameter nach der Verarbeitung zum Hinzufügen von Rauschen in der vorherigen Stufe an ein benachbartes Gerät;
  • (5) Stufe zur Aktualisierung von Parametern: das Edge-IoT-Proxygerät aktualisiert und iteriert die lokalen Parameter abhängig von Daten, die von Nachbarknoten gesendet sind, und speichert neue Parameter.
• In der vorstehenden Lösung ist vorgesehen, dass die globalen Parameter in Schritt (1) umfassen: Anfangswert x₀ von Anzahl der Iterationen und von Modellparametern für maschinelles Lernen, Lernrate γ und Fusionsrate η, Gewichtsmatrix W mit doppelt zufälliger Natur und Varianz für hinzugefügtes Rauschen.
• In der vorstehenden Lösung ist vorgesehen, dass der Schritt (2) insbesondere folgende Teilschritte umfasst:
• (2.1) in einer t-ten Iterationsrunde wird eine Datenprobe ${\xi }_t^{\left(i\right)}$
  
  einheitlich aus einer lokalen Datenbank durch Zufallsstichproben extrahiert und in einem internen Speicher gespeichert, wobei i das i-te Edge-IoT-Proxy-Gerät darstellt;
• (2.2) unter Verwendung eines KI-Beschleunigungschips des Edge-IoT-Proxy-Geräts und eines allgemeinen KI-SDKs, das durch das Edge-IoT-Proxy-Gerät bereitgestellt wird, wird gemäß der Form der Verlustfunktion im maschinellen Lernmodell ein entsprechender Gradient ${\overline{g}}_t^{\left(i\right)}$
  
  für Verlustfunktion des maschinellen Lernmodells durch die erhaltenen Datenstichproben ${\xi }_t^{\left(i\right)}$
  
  ermittelt;
• (2.3) an dem erhaltenen Gradienten ${\overline{g}}_t^{\left(i\right)}$
  
  wird ein Gradienten-Clipping durchgeführt, um einen neuen Gradienten $g_t^{\left(i\right)}$
  
  zu erhalten, der auf die nachfolgende Verarbeitung angewendet wird, wobei die spezifische Verarbeitung mit folgenden Gleichungen erfolgt: $g_t^{\left(i\right)}={\overline{g}}_t^{\left(i\right)}/max\left(\mathrm{1,}{C}_t^{\left(i\right)}\right)$
  
  und $C_t^{\left(i\right)}=\Vert {\overline{g}}_t^{\left(i\right)}\Vert /C.$
  
  wobei C für den Maximalwert von 2-Norm des Gradienten nach dem Gradienten-Clipping steht.
• In der vorstehenden Lösung ist vorgesehen, dass der Schritt (3) insbesondere folgende Teilschritte umfasst:
• (3.1) zunächst werden die lokalen Parameter des Edge-IoT-Proxy-Geräts von einem beim letzten Mal hinzugefügten Rauschen subtrahiert, um korrigierte lokale Parameter ${\widehat{x}}_t^{\left(i\right)}$
  
  zu erhalten und zu speichern;
• (3.2) ein Vektor wird zufällig aus einzelnen Dimension in einer gegebenen N-dimensionalen Gaußschen Verteilung ausgewählt, und es wird garantiert, dass jede Zufallsvariable in dem Vektor unabhängig voneinander ist, so dass ein Rauschvektor ${\delta }_t^{\left(i\right)}$
  
  erhalten wird;
• (3.3) unter Verwendung der in Schritt (2) erhaltenen beschnittenen Parameter werden fehlertolerant korrigierte lokale Parameter ${\widehat{x}}_t^{\left(i\right)}$
  
  lokal an dem Edge-IoT-Proxy-Gerät einer Gradientenabstiegsverarbeitung durch eine Gleichung ${\widehat{v}}_t^{\left(i\right)}={\widehat{x}}_t^{\left(i\right)}-\gamma g_t^{\left(i\right)}$
  
  unterzogen, wobei ${\widehat{v}}_t^{\left(i\right)}$
  
  für eine Zwischenvariable im Algorithmus steht und γ für eine Lernrate steht;
• (3.4) Rauschen wird den im vorherigen Schritt erhaltenen Parametern durch die Gleichung $v_t^{\left(i\right)}={\widehat{v}}_t^{\left(i\right)}+{\delta }_t^{\left(i\right)}$
  
  $$
  
  hinzugefügt, wobei $v_t^{\left(i\right)}$
  
  für Parameter steht, die von dem Edge-IoT-Proxy-Gerät i in der t-ten Iteration zu übertragen sind.
• In der vorstehenden Lösung ist vorgesehen, dass der Schritt (4) insbesondere folgende Teilschritte umfasst:
• (4.1) jedes Edge-IoT-Proxy-Gerät sendet die lokalen Parameter nach der Verarbeitung zum Hinzufügen von Rauschen im vorherigen Schritt per Multicast an ein Netzwerk, das aus anderen Edge-IoT-Proxy-Geräten besteht, und überträgt sie gerichtet über einen Uplink an seine Nachbarknoten;
• (4.2) jedes Edge-IoT-Proxy-Gerät empfängt und verifiziert die empfangenen Informationen über ein Datenerfassungsmodul unter Verwendung eines drahtlosen Kommunikationsprotokolls und speichert die Informationen von anderen Arbeitsknoten im internen Speicher.
• In der vorstehenden Lösung ist vorgesehen, dass der Schritt (5) insbesondere folgende Teilschritte umfasst:
• (5.1) unter Verwendung einer Gewichtungsmatrix werden die empfangenen Parameter einer gewichteten Mittelung unterzogen, wonach ein gewichtet gemitteltes Ergebnis mit der Fusionsrate µ multipliziert wird, um einen Einfluss von endgültigen externen Parameter auf lokale Datenaktualisierungen zu erhalten, d.h., dass eine Gleichung $v{\text{'}}_t^{\left(i\right)}=\mu {\displaystyle {\sum }_j{W}_{ij}{v}_t^{\left(j\right)}}$
  
  erhalten wird, wobei $v{\text{'}}_t^{\left(i\right)}$
  
  für die Zwischenvariable des Edge-IoT-Proxy-Geräts i steht, die den Einfluss externer Parameter auf die lokalen Datenaktualisierungen darstellt, wobei W_ij für Daten der i-ten Zeile und j -ten Spalte der Gewichtungsmatrix steht, wobei im Fall, dass zwei Edge-IoT-Proxy-Geräte i und j nicht direkt miteinander kommunizieren können, eine Gleichung W_ij = W_ji = 0 gilt, wobei $v_t^{\left(j\right)}$
  
  für die vom Edge-IoT-Proxy-Gerät j gesendeten Parameter steht;
• (5.2) jedes Edge-IoT-Proxy-Gerät führt einen Gradientenabstieg durch, und addiert dessen Ergebnisse zu Korrektur anderer Parameter, die in der vorherigen Runde berechnet wurden, um die Ergebnisse zu fusionieren, d.h., dass eine Gleichung $x_{t+1}^{\left(i\right)}=x_t^{\left(i\right)}-\gamma g_t^{\left(i\right)}+\mu {\displaystyle {\sum }_j{W}_{ij}{v}_t^{\left(j\right)}}$
  
  erhalten wird, wobei γ für die Lernrate steht und $x_{t+1}^{\left(i\right)}$
  
  für die Parameter des Edge-IoT-Proxy-Geräts i in der t + 1-ten Iteration steht, und wobei $x_t^{\left(i\right)}$
  
  für die Parameter des Edge-IoT-Proxy-Geräts i in der t-ten Iteration steht.
• Durch die oben genannte technische Lösung weist das von der vorliegenden Erfindung bereitgestellte Verfahren zur Verschlüsselung von Edge-Daten für Edge-IoT-Proxy-Geräte folgende Wirkungen auf:
• (1) Die vorliegende Erfindung berücksichtigt den dezentralen maschinellen Lernalgorithmus mit Datenschutz, verwirklicht die Verwendung von Edge-Computing-Geräten zur Durchführung von Aufgaben des maschinellen Lernens und stellt gleichzeitig sicher, dass die Vertraulichkeit der lokalen Daten jedes Arbeitsknotens während jedes Datenaustauschs im Lernprozess geschützt wird, indem den Daten Rauschen hinzugefügt wird.
• (2) Die vorliegende Erfindung versucht durch das Einführen eines fehlertoleranten Mechanismus den Einfluss zufälliger Störungen, die durch das Rauschen verursacht werden, auf die Effizienz und Konvergenz der Lernaufgabe möglichst auszugleichen, indem das in der vorherigen Runde hinzugefügte Rauschen von den lokalen Parametern subtrahiert wird.
• Figurenliste
• Um die Ausführungsbeispiele der vorliegenden Erfindung oder die technischen Lösungen des Standes der Technik klarer anzugeben, werden im Folgenden die Zeichnungen kurz vorgestellt, die bei der Beschreibung der Ausführungsbeispiele bzw. des Standes der Technik zu verwenden sind.
• 1 zeigt eine schematische Gesamtansicht eines Verfahrens zur Verschlüsselung von Edge-Daten für Edge-IoT-Proxy-Geräte gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
• AUSFÜHRLICHE BESCHREIBUNG
• Die technischen Lösungen in Ausführungsbeispielen der vorliegenden Erfindung werden im Folgenden unter Bezugnahme auf die beigefügten Zeichnungen der Ausführungsbeispiele der vorliegenden Erfindung klar und vollständig beschrieben.
• Die vorliegende Erfindung stellt ein Verfahren zur Verschlüsselung von Edge-Daten für Edge-IoT-Proxy-Geräte bereit. Wie in 1 gezeigt, kann das Verfahren mittels der Technologie der differentiellen Privatheit den lokalen Datenschutzes schützen und die Auswirkungen auf die Effizienz und Konvergenz des maschinellen Lernens, die durch Datenrauschen verursacht werden, bis zu einem gewissen Grad reduzieren.
• Im Folgende werden ausführliche Ausführungsbeispiele angegeben:
• Ein Verfahren zur Verschlüsselung von Edge-Daten für Edge-IoT-Proxy-Geräte, umfassend folgende Schritt:
  • (1) Stufe zur Initialisierung:
    • (1.1) ein Anfangswert x₀ von Anzahl der Iterationen und von Modellparametern werden eingestellt, wobei der Anfangswert im Allgemeinen auf 0 gesetzt ist, wobei Anfangswerte, die näher an den optimalen Parametern liegen, den Wert der Verlustfunktion schneller reduzieren und zusammen zur optimalen Lösung konvergieren;
    • (1.2) eine Lernrate γ und eine Fusionsrate η werden eingestellt, um die Lernrate und die Fusionsrate von Parametern jeweils zu steuern;
    • (13) eine Gewichtsmatrix W mit doppelt zufälliger Natur ist eingestellt, wobei im Fall, dass jeder Arbeitsknoten (Edge-IoT-Proxy-Gerät) im Netzwerk eine Parameterfusion durchführt, den Parametern der Nachbarknoten je nach Werten, die Positionen in W entsprechen, unterschiedliche Gewichte zugewiesen werden;
    • (1.4) eine Varianz für hinzugefügtes Rauschen wird eingestellt, wobei das Datenschutzniveau durch die Varianz verschiedener Skalen bestimmt werden kann, wobei gleichzeitig eine zu große Varianz auch zu einer Verringerung der Konvergenzrate führen kann.
    Wenn die Synchronisationsuhr umgeschaltet wird, tritt jeder Arbeitsknoten im gesamten System in die Loop-Iterationsphase ein.
  • (2) Stufe zur Berechnung von Gradienten:
    • (2.1) in einer t-ten Iterationsrunde wird eine Datenprobe ${\xi }_t^{\left(i\right)}$
      
      einheitlich aus einer lokalen Datenbank durch Zufallsstichproben extrahiert und in einem internen Speicher gespeichert, wobei i das i-te Edge-IoT-Proxy-Gerät darstellt;
    • (2.2) unter Verwendung eines KI-Beschleunigungschips des Edge-IoT-Proxy-Geräts und eines allgemeinen KI-SDKs, das durch das Edge-IoT-Proxy-Gerät bereitgestellt wird, wird gemäß der Form der Verlustfunktion im maschinellen Lernmodell ein entsprechender Gradient ${\overline{g}}_t^{\left(i\right)}$
      
      für Verlustfunktion des maschinellen Lernmodells durch die erhaltenen Datenstichproben ${\xi }_t^{\left(i\right)}$
      
      ermittelt;
    • (2.3) an dem erhaltenen Gradienten ${\overline{g}}_t^{\left(i\right)}$
      
      wird ein Gradienten-Clipping durchgeführt, um einen neuen Gradienten $g_t^{\left(i\right)}$
      
      zu erhalten, der auf die nachfolgende Verarbeitung angewendet wird, wobei die spezifische Verarbeitung mit folgenden Gleichungen erfolgt: $g_t^{\left(i\right)}={\overline{g}}_t^{\left(i\right)}/max\left(\mathrm{1,}{C}_t^{\left(i\right)}\right)$
      
      und $C_t^{\left(i\right)}=\Vert {\overline{g}}_t^{\left(i\right)}\Vert /C,$
      
      wobei C für den Maximalwert von 2-Norm des Gradienten nach dem Gradienten-Clipping steht.
    Nachdem der Gradient berechnet wurde, wird der Gradient gespeichert und in die nächste Runde eingetragen. Für verschiedene Knoten kann dieser Schritt asynchron durchgeführt werden.
  • (3) Verarbeitungsstufe zum Hinzufügen von Rauschen:
    • (3.1) zunächst werden die lokalen Parameter des Edge-IoT-Proxy-Geräts von einem beim letzten Mal hinzugefügten Rauschen subtrahiert, um korrigierte lokale Parameter ${\widehat{x}}_t^{\left(i\right)}$
      
      zu erhalten und zu speichern;
    • (3.2) ein Vektor wird zufällig aus einzelnen Dimension in einer gegebenen N-dimensionalen Gaußschen Verteilung ausgewählt, und es wird garantiert, dass jede Zufallsvariable in dem Vektor unabhängig voneinander ist, so dass ein Rauschvektor ${\delta }_t^{\left(i\right)}$
      
      erhalten wird;
    • (3.3) unter Verwendung der in Schritt (2) erhaltenen beschnittenen Parameter werden fehlertolerant korrigierte lokale Parameter ${\widehat{x}}_t^{\left(i\right)}$
      
      lokal an dem Edge-IoT-Proxy-Gerät einer Gradientenabstiegsverarbeitung durch eine Gleichung ${\widehat{v}}_t^{\left(i\right)}={\widehat{x}}_t^{\left(i\right)}-\gamma g_t^{\left(i\right)}$
      
      unterzogen, wobei ${\widehat{v}}_t^{\left(i\right)}$
      
      für eine Zwischenvariable im Algorithmus steht und γ für eine Lernrate steht;
    • (3.4) Rauschen wird den im vorherigen Schritt erhaltenen Parametern durch die Gleichung $v_t^{\left(i\right)}={\widehat{v}}_t^{\left(i\right)}+{\delta }_t^{\left(i\right)}$
      
      $$
      
      hinzugefügt, wobei $v_t^{\left(i\right)}$
      
      für Parameter steht, die von dem Edge-IoT-Proxy-Gerät i in der t-ten Iteration zu übertragen sind.
    Nachdem Rauschen den Parameter hinzugefügt wurde, ist es für den Multicast-Betrieb bereit.
  • (4) Stufe zur Ausbreitung von Parametern:
    • (4.1) jedes Edge-IoT-Proxy-Gerät sendet die lokalen Parameter nach der Verarbeitung zum Hinzufügen von Rauschen im vorherigen Schritt per Multicast an ein Netzwerk, das aus anderen Edge-IoT-Proxy-Geräten besteht, und überträgt sie gerichtet über einen Uplink an seine Nachbarknoten;
    • (4.2) jedes Edge-IoT-Proxy-Gerät empfängt und verifiziert die empfangenen Informationen über ein Datenerfassungsmodul unter Verwendung von RFID, Bluetooth, ZigBee, LoRa, NB-IoT und anderen drahtlosen Kommunikationsprotokollen, und speichert die Informationen von anderen Arbeitsknoten im internen Speicher.
  • (5) Stufe zur Aktualisierung von Parametern:
    • (5.1) unter Verwendung einer Gewichtungsmatrix werden die empfangenen Parameter einer gewichteten Mittelung unterzogen, wonach ein gewichtet gemitteltes Ergebnis mit der Fusionsrate µ multipliziert wird, um einen Einfluss von endgültigen externen Parameter auf lokale Datenaktualisierungen zu erhalten, d.h., dass eine Gleichung $v{\text{'}}_t^{\left(i\right)}=\mu {\displaystyle {\sum }_j{W}_{ij}{v}_t^{\left(j\right)}}$
      
      erhalten wird, wobei $v{\text{'}}_t^{\left(i\right)}$
      
      für die Zwischenvariable des Edge-IoT-Proxy-Geräts i steht, die den Einfluss externer Parameter auf die lokalen Datenaktualisierungen darstellt, wobei W_ij für Daten der i-ten Zeile und j -ten Spalte der Gewichtungsmatrix steht, wobei im Fall, dass zwei Edge-IoT-Proxy-Geräte i und j nicht direkt miteinander kommunizieren können, eine Gleichung W_ij = W_ji = 0 gilt, wobei $v_t^{\left(j\right)}$
      
      für die vom Edge-IoT-Proxy-Gerät j gesendeten Parameter steht; (5.2) jedes Edge-IoT-Proxy-Gerät führt einen Gradientenabstieg durch, und addiert dessen Ergebnisse zu Korrektur anderer Parameter, die in der vorherigen Runde berechnet wurden, um die Ergebnisse zu fusionieren, d.h., dass eine Gleichung $x_{t+1}^{\left(i\right)}=x_t^{\left(i\right)}-\gamma g_t^{\left(i\right)}+\mu {\displaystyle {\sum }_j{W}_{ij}{v}_t^{\left(j\right)}}$
      
      erhalten wird, wobei γ für die Lernrate steht und $x_{t+1}^{\left(i\right)}$
      
      für die Parameter des Edge-IoT-Proxy-Geräts i in der t + 1-ten Iteration steht, und wobei $x_t^{\left(i\right)}$
      
      für die Parameter des Edge-IoT-Proxy-Geräts i in der t-ten Iteration steht.
• Das Verfahren kann ein maschinelles Lernen durchführen und die endgültige Konvergenz von Modellparametern realisieren, wenn Trainingssätze, zu denen jedes Edge-IoT-Agent-Gerät gehört, unterschiedlich sind. Gleichzeitig wird die Vertraulichkeit der lokalen Daten jedes Knotens im Netzwerk durch den Noise-Adding-Mechanismus bis zu einem gewissen Grad gewährleistet, was die Anforderungen des differentiellen Datenschutzes erfüllt. Zudem wird beim Verfahren auch ein fehlertoleranter Mechanismus eingeführt, wobei durch Fehlerkompensationen der durch das Hinzufügen von Rauschen verursachte Informationsverlust möglichst ausgeglichen und die Gesamtkonvergenzgeschwindigkeit der Parameter im IoT-Netzwerk beschleunigt wird.
• Durch die obige Beschreibung der offenbarten Ausführungsbeispiele wird ermöglicht, dass der Fachmann die vorliegende Erfindung implementieren oder verwenden können. Verschiedene Modifikationen an diesen Ausführungsbeispielen sind für den Fachmann naheliegend. Die hierin definierten allgemeinen Prinzipien können in anderen Ausführungsbeispielen implementiert werden, ohne vom Geist oder Umfang der vorliegenden Erfindung abzuweichen. Daher ist die vorliegende Erfindung nicht auf die hierin gezeigten Ausführungsbeispiele beschränkt, sondern sollte dem weitesten Umfang entsprechen, der mit den hierin offenbarten Prinzipien und neuen Besonderheiten übereinstimmt.

Claims (6)

1. Verfahren zur Verschlüsselung von Edge-Daten für Edge-IoT-Proxy-Geräte, dadurch gekennzeichnet, dass das Verfahren folgende Schritt umfasst: (1) Stufe zur Initialisierung: über eine Downlink-Kommunikationsschnittstelle werden für jedes Edge-IoT-Proxy-Gerät systembezogene globale Parameter initialisiert; (2) Stufe zur Berechnung von Gradienten: unter Verwendung der Idee eines stochastischen Gradientenabstiegs berechnet jedes Edge-IoT-Proxy-Gerät durch ein zufälliges Abtasten eines Trainingssatzes und mittels eines KI-Funktionsmoduls mit erhaltenen Datenstichproben einen Gradienten einer Verlustfunktion des maschinellen Lernmodells für die nächste Stufe des Gradientenabstiegs; (3) Verarbeitungsstufe zum Hinzufügen von Rauschen: zunächst wird eine fehlertolerante Verarbeitung durchgeführt, wonach die lokalen Parameter jedes Edge-IoT-Proxy-Geräts vom Gradienten der vorherigen Stufe subtrahiert werden und dann eine Verarbeitung zum Hinzufügen von Rauschen durchgeführt wird; (4) Stufe zur Ausbreitung von Parametern: jedes Edge-IoT-Proxy-Gerät überträgt die Parameter nach der Verarbeitung zum Hinzufügen von Rauschen in der vorherigen Stufe an ein benachbartes Gerät; (5) Stufe zur Aktualisierung von Parametern: das Edge-IoT-Proxygerät aktualisiert und iteriert die lokalen Parameter abhängig von Daten, die von Nachbarknoten gesendet sind, und speichert neue Parameter.
2. Verfahren zur Verschlüsselung von Edge-Daten für Edge-IoT-Proxy-Geräte nach Anspruch 1, dadurch gekennzeichnet, dass die globalen Parameter in Schritt (1) umfassen: Anfangswert x₀ von Anzahl der Iterationen und von Modellparametern für maschinelles Lernen, Lernrate γ und Fusionsrate η, Gewichtsmatrix W mit doppelt zufälliger Natur und Varianz für hinzugefügtes Rauschen.
3. Verfahren zur Verschlüsselung von Edge-Daten für Edge-IoT-Proxy-Geräte nach Anspruch 1, dadurch gekennzeichnet, dass der Schritt (2) insbesondere folgende Teilschritte umfasst: (2.1) in einer t-ten Iterationsrunde wird eine Datenprobe ${\xi }_t^{\left(i\right)}$

   

   einheitlich aus einer lokalen Datenbank durch Zufallsstichproben extrahiert und in einem internen Speicher gespeichert, wobei i das i-te Edge-IoT-Proxy-Gerät darstellt; (2.2) unter Verwendung eines KI-Beschleunigungschips des Edge-IoT-Proxy-Geräts und eines allgemeinen KI-SDKs, das durch das Edge-IoT-Proxy-Gerät bereitgestellt wird, wird gemäß der Form der Verlustfunktion im maschinellen Lernmodell ein entsprechender Gradient ${\overline{g}}_t^{\left(i\right)}$

   

   für Verlustfunktion des maschinellen Lernmodells durch die erhaltenen Datenstichproben ${\xi }_t^{\left(i\right)}$

   

   ermittelt; (2.3) an dem erhaltenen Gradienten ${\overline{g}}_t^{\left(i\right)}$

   

   wird ein Gradienten-Clipping durchgeführt, um einen neuen Gradienten $g_t^{\left(i\right)}$

   

   zu erhalten, der auf die nachfolgende Verarbeitung angewendet wird, wobei die spezifische Verarbeitung mit folgenden Gleichungen erfolgt: $g_t^{\left(i\right)}={\overline{g}}_t^{\left(i\right)}/max\left(\mathrm{1,}{C}_t^{\left(i\right)}\right)$

   

   und $C_t^{\left(i\right)}=\Vert {\overline{g}}_t^{\left(i\right)}\Vert /C,$

   

   wobei C für den Maximalwert von 2-Norm des Gradienten nach dem Gradienten-Clipping steht.
4. Verfahren zur Verschlüsselung von Edge-Daten für Edge-IoT-Proxy-Geräte nach Anspruch 3, dadurch gekennzeichnet, dass der Schritt (3) insbesondere folgende Teilschritte umfasst: (3.1) zunächst werden die lokalen Parameter des Edge-IoT-Proxy-Geräts von einem beim letzten Mal hinzugefügten Rauschen subtrahiert, um korrigierte lokale Parameter ${\widehat{x}}_t^{\left(i\right)}$

   

   zu erhalten und zu speichern; (3.2) ein Vektor wird zufällig aus einzelnen Dimension in einer gegebenen N-dimensionalen Gaußschen Verteilung ausgewählt, und es wird garantiert, dass jede Zufallsvariable in dem Vektor unabhängig voneinander ist, so dass ein Rauschvektor ${\delta }_t^{\left(i\right)}$

   

   erhalten wird; (3.3) unter Verwendung der in Schritt (2) erhaltenen beschnittenen Parameter werden fehlertolerant korrigierte lokale Parameter ${\widehat{x}}_t^{\left(i\right)}$

   

   lokal an dem Edge-IoT-Proxy-Gerät einer Gradientenabstiegsverarbeitung durch eine Gleichung ${\widehat{v}}_t^{\left(i\right)}={\widehat{x}}_t^{\left(i\right)}-\gamma g_t^{\left(i\right)}$

   

   unterzogen, wobei ${\widehat{v}}_t^{\left(i\right)}$

   

   für eine Zwischenvariable im Algorithmus steht und γ für eine Lernrate steht; (3.4) Rauschen wird den im vorherigen Schritt erhaltenen Parametern durch die Gleichung $v_t^{\left(i\right)}={\widehat{v}}_t^{\left(i\right)}+{\delta }_t^{\left(i\right)}$

   

   $$

   

   hinzugefügt, wobei $v_t^{\left(i\right)}$

   

   für Parameter steht, die von dem Edge-IoT-Proxy-Gerät i in der t-ten Iteration zu übertragen sind.
5. Verfahren zur Verschlüsselung von Edge-Daten für Edge-IoT-Proxy-Geräte nach Anspruch 1, dadurch gekennzeichnet, dass der Schritt (4) insbesondere folgende Teilschritte umfasst: (4.1) jedes Edge-IoT-Proxy-Gerät sendet die lokalen Parameter nach der Verarbeitung zum Hinzufügen von Rauschen im vorherigen Schritt per Multicast an ein Netzwerk, das aus anderen Edge-IoT-Proxy-Geräten besteht, und überträgt sie gerichtet über einen Uplink an seine Nachbarknoten; (4.2) jedes Edge-IoT-Proxy-Gerät empfängt und verifiziert die empfangenen Informationen über ein Datenerfassungsmodul unter Verwendung eines drahtlosen Kommunikationsprotokolls und speichert die Informationen von anderen Arbeitsknoten im internen Speicher.
6. Verfahren zur Verschlüsselung von Edge-Daten für Edge-IoT-Proxy-Geräte nach Anspruch 5, dadurch gekennzeichnet, dass der Schritt (5) insbesondere folgende Teilschritte umfasst: (5.1) unter Verwendung einer Gewichtungsmatrix werden die empfangenen Parameter einer gewichteten Mittelung unterzogen, wonach ein gewichtet gemitteltes Ergebnis mit der Fusionsrate µ multipliziert wird, um einen Einfluss von endgültigen externen Parameter auf lokale Datenaktualisierungen zu erhalten, d.h., dass eine Gleichung $v{\text{'}}_t^{\left(i\right)}=\mu {\displaystyle {\sum }_j{W}_{ij}{v}_t^{\left(j\right)}}$

   

   erhalten wird, wobei $v{\text{'}}_t^{\left(i\right)}$

   

   für die Zwischenvariable des Edge-IoT-Proxy-Geräts i steht, die den Einfluss externer Parameter auf die lokalen Datenaktualisierungen darstellt, wobei W_ij für Daten der i-ten Zeile und j -ten Spalte der Gewichtungsmatrix steht, wobei im Fall, dass zwei Edge-IoT-Proxy-Geräte i und j nicht direkt miteinander kommunizieren können, eine Gleichung W_ij = W_ji = 0 gilt, wobei $v_t^{\left(j\right)}$

   

   für die vom Edge-IoT-Proxy-Gerät j gesendeten Parameter steht; (5.2) jedes Edge-IoT-Proxy-Gerät führt einen Gradientenabstieg durch, und addiert dessen Ergebnisse zu Korrektur anderer Parameter, die in der vorherigen Runde berechnet wurden, um die Ergebnisse zu fusionieren, d.h., dass eine Gleichung $x_{t+1}^{\left(i\right)}=x_t^{\left(i\right)}-\gamma g_t^{\left(i\right)}+\mu {\displaystyle {\sum }_j{W}_{ij}{v}_t^{\left(j\right)}}$

   

   erhalten wird, wobei γ für die Lernrate steht, $x_{t+1}^{\left(i\right)}$

   

   für die Parameter des Edge-IoT-Proxy-Geräts i in der t + 1-ten Iteration steht, und wobei $x_t^{\left(i\right)}$

   

   für die Parameter des Edge-IoT-Proxy-Geräts i in der t-ten Iteration steht.

Images