DE102018202497A1

DE102018202497A1 - Technologien für optimiertes Maschinenlerntraining

Info

Publication number: DE102018202497A1
Application number: DE102018202497.9A
Authority: DE
Inventors: Lev Faivishevsky; Amitai Armon
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2017-02-19
Filing date: 2018-02-19
Publication date: 2018-08-23
Also published as: US10963783B2; US20180240010A1; CN108460460A

Abstract

Technologien zum Optimieren von Maschinenlerntraining beinhalten eine Rechenvorrichtung zum Trainieren eines Maschinenlernnetzes mit einem Trainingsalgorithmus, der mit Konfigurationsparametern konfiguriert ist. Die Rechenvorrichtung kann viele Trainingsinstanzen parallel durchführen. Die Rechenvorrichtung nimmt aus dem Training eine Zeitreihe von teilgenauen Werten auf. Jeder teilgenaue Wert gibt eine Maschinenlernnetzgenauigkeit bei einer assoziierten Trainingsiteration an. Die Rechenvorrichtung gibt die Konfigurationsparameter in ein vorwärtsgekoppeltes neuronales Netz ein zum Erzeugen einer Repräsentation und gibt die Repräsentation in ein rückgekoppeltes neuronales Netz ein. Die Rechenvorrichtung trainiert das vorwärtsgekoppelte neuronale Netz und das rückgekoppelte neuronale Netz gegen die teilgenauen Werte. Die Rechenvorrichtung optimiert das vorwärtsgekoppelte neuronale Netz und das rückgekoppelte neuronale Netz zum Bestimmen optimierter Konfigurationsparameter. Die optimierten Konfigurationsparameter können die Trainingszeit zum Erreichen eines vorbestimmten Genauigkeitsniveaus minimieren. Andere Ausführungsformen werden beschrieben und beansprucht.

Description

HINTERGRUND
Moderne Maschinenlernalgorithmen, wie etwa Faltungs-Neuronale-Netze oder andere tiefe Lernalgorithmen erfordern typischerweise involvierte Trainingsprozesse, welche berechnungsmäßig hart zu fassen sein können. Maschinenlerntraining kann mit einer Anzahl von Konfigurationsparametern abgestimmt werden, um optimale Genauigkeit der unterliegenden Maschinenlernalgorithmen zu erreichen. Abstimmen der Konfigurationsparameter erfordert typischerweise wiederholtes Ausführen des gesamten Trainingsprozesses und ist somit berechnungsmäßig teuer.
Figurenliste
Die hierin beschriebenen Konzepte sind in den beiliegenden Figuren lediglich beispielhaft und nicht beschränkend veranschaulicht. Aus Gründen der Einfachheit und Klarheit der Darstellung sind Elemente, die in den Figuren veranschaulicht werden, nicht notwendigerweise maßstabsgetreu gezeichnet. Wo es als angebracht angesehen wurde, werden Bezugszeichen unter den Figuren wiederholt, um entsprechende oder analoge Elemente zu kennzeichnen.

1 ist ein vereinfachtes Blockdiagramm von mindestens einer Ausführungsform einer Rechenvorrichtung für optimiertes Maschinenlerntraining;
2 ist ein vereinfachtes Blockdiagramm von mindestens einer Ausführungsform einer Umgebung der Rechenvorrichtung von 1;
3 ist ein vereinfachtes Blockdiagramm von mindestens einer Ausführungsform einer Neuronalnetztopologie, die durch die Rechenvorrichtung der 1 und 2 erstellt werden kann; und
4 ist ein vereinfachtes Flussdiagramm von mindestens einer Ausführungsform eines Verfahrens für optimiertes Maschinenlerntraining, das durch die Rechenvorrichtung der 1 und 2 ausgeführt werden kann.

AUSFÜHRLICHE BESCHREIBUNG DER ZEICHNUNGEN
Obwohl die Konzepte der vorliegenden Offenbarung für vielfältige Modifikationen und alternative Formen geeignet sind, wurden spezifische Ausführungsformen davon in den Zeichnungen beispielhaft gezeigt und werden hier ausführlich beschrieben werden. Es versteht sich allerdings, dass es nicht beabsichtigt ist, die Konzepte der vorliegenden Offenbarung auf die bestimmten offenbarten Formen zu beschränken; eher besteht im Gegenteil die Absicht, alle Modifikationen, Äquivalente und Alternativen, die konsistent zur vorliegenden Offenbarung und den angehängten Ansprüchen sind, abzudecken.
Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „Ausführungsform“, „eine veranschaulichende Ausführungsform“ usw. geben an, dass die beschriebene Ausführungsform ein besonderes Merkmal, eine besondere Struktur oder ein besonderes Charakteristikum beinhalten kann, wobei allerdings möglicherweise jede Ausführungsform dieses besondere Merkmal, diese besondere Struktur oder dieses besondere Charakteristikum enthält oder nicht notwendigerweise enthält. Darüber hinaus beziehen sich derartige Phrasen nicht notwendigerweise auf dieselbe Ausführungsform. Wenn ein besonderes Merkmal, eine besondere Struktur oder ein besonderes Charakteristikum in Verbindung mit einer Ausführungsform beschrieben wird, wird außerdem unterstellt, dass es im Kenntnisbereich einer Fachperson liegt, ein derartiges Merkmal, eine derartige Struktur oder ein derartiges Charakteristikum in Verbindung mit anderen Ausführungsformen zustande zu bringen, ob es nun explizit beschrieben wurde oder nicht. Zusätzlich versteht sich, dass Einträge in einer Liste der Form „mindestens eines von A, B und C“ Folgendes bedeuten können: (A); (B); (C); (A und B); (A und C); (B und C); oder (A, B und C). Gleichermaßen können Einträge in einer Liste der Form „mindestens eines von A, B oder C“ Folgendes bedeuten: (A); (B); (C); (A und B); (A und C); (B und C); oder (A, B und C).
Die offenbarten Ausführungsformen können in manchen Fällen in Hardware, Firmware, Software oder einer beliebigen Kombination davon implementiert sein. Die offenbarten Ausführungsformen können ebenfalls als Anweisungen implementiert sein, die von einem vergänglichen oder nichtvergänglichen maschinenlesbaren (z. B. computerlesbaren) Ablagemedium getragen oder in diesem gespeichert werden, das von einem oder mehreren Prozessoren ausgelesen und ausgeführt werden kann. Ein maschinenlesbares Ablagemedium kann als eine beliebige Ablagevorrichtung, ein Ablagemechanismus oder eine andere physische Struktur zum Speichern oder Übertragen von Informationen in einer von einer Maschine lesbaren Form (z. B. einem flüchtigen oder nichtflüchtigen Speicher, einer Medien-Disc oder einer anderen Medien-Vorrichtung) realisiert sein.
In den Zeichnungen sind gewisse strukturelle oder methodische Merkmale möglicherweise in speziellen Anordnungen und/oder Abfolgen gezeigt. Allerdings sollte zur Kenntnis genommen werden, dass derartige spezielle Anordnungen und/oder Abfolgen möglicherweise nicht nötig sind. Vielmehr sind in einigen Ausführungsformen derartige Merkmale möglicherweise auf andere Weise und/oder in anderer Reihenfolge angeordnet als in den veranschaulichenden Figuren gezeigt. Zusätzlich soll das Einschließen eines strukturellen oder methodischen Merkmals in einer speziellen Figur nicht bedeuten, dass ein derartiges Merkmal in allen Ausführungsformen erforderlich ist und in gewissen Ausführungsformen möglicherweise nicht enthalten oder mit anderen Merkmalen kombiniert sein kann.
Beziehen wir uns nun auf 1, wo eine veranschaulichende Rechenvorrichtung 100 für optimiertes Maschinenlerntraining gezeigt ist. Wie unten beschrieben wird, trainiert die Rechenvorrichtung 100 im Gebrauch ein Maschinenlernnetz unter Verwendung eines Algorithmus, der mit einer Menge von einem oder mehreren Konfigurationsparametern konfiguriert ist. Die Rechenvorrichtung 100 nimmt während des Trainings eine Zeitreihe von teilgenauen Werten auf. Die Rechenvorrichtung 100 kann viele Instanzen des Trainingsalgorithmus parallel ausführen, wobei jede Instanz mit einer anderen Menge von Konfigurationsparametern konfiguriert ist. Die Konfigurationsparameter werden in ein Modell eingegeben, das ein tiefes neuronales Netz und ein rückgekoppeltes neuronales Netz beinhaltet, und das Modell wird gegen die aufgenommene Zeitreihe von teilgenauen Werten trainiert. Nach dem Training kann das Modell optimiert werden zum Bestimmen einer Menge von optimierten Konfigurationsparametern, die die zum Erreichen eines vorbestimmten Genauigkeitsniveaus erforderliche Trainingszeit minimieren. Die optimierten Konfigurationsparameter können zum Trainieren des Maschinenlernmodells verwendet werden. Durch Modellieren des Trainingsverhaltens des Maschinenlernnetzes und Optimierens des Modellverwendens kann die Rechenvorrichtung 100 die Trainingskonfigurationsparameter mit signifikant verringerter Berechnungskomplexität verbessern oder anderweitig abstimmen, im Vergleich zum Abstimmen der Konfigurationsparameter unter Verwendung des unterliegenden Maschinenlernalgorithmus. Beispielsweise erreichte eine potentielle Ausführungsform der Rechenvorrichtung 100 eine 10%-ige Trainingsverschnellerung für GoogLeNet unter Verwendung der ImageNet-Trainingsdatenbank, im Vergleich zu typischem Multimodaltraining, während eine äquivalente Genauigkeit beibehalten wurde. Zusätzlich kann die Rechenvorrichtung 100 das Trainingsverhalten des Maschinenlernalgorithmus mit hoher Genauigkeit modellieren. Beispielsweise modellierte eine potentielle Ausführungsform der Rechenvorrichtung 100 Genauigkeitszeitreihen für den AlexNet-Algorithmus mit einem RMSE-Fehler von 0,08. Zusätzlich kann die Rechenvorrichtung 100 in der Lage sein zum Ausnutzen von zunehmendem Parallelismus und zum Verbessern des Ausskalierens, im Vergleich zum herkömmlichen Konfigurationsparameterabstimmen.
Die Rechenvorrichtung 100 kann als eine beliebige Art von Vorrichtung realisiert sein, die fähig ist zu vorhersagbarer dynamischer Adresszuweisung und anderweitiger Durchführung der hier beschriebenen Funktionen. Beispielsweise kann die Rechenvorrichtung 100 unter anderem als ein Computer, ein Server, eine Workstation, ein Laptopcomputer, ein Tabletcomputer, ein Notebookcomputer, eine mobile Rechenvorrichtung, ein Smartphone, eine anziehbare Rechenvorrichtung, ein Multiprozessorsystem und/oder eine Unterhaltungselektronikvorrichtung realisiert sein. Wie in 1 gezeigt, beinhaltet die veranschaulichende Rechenvorrichtung 100 einen Prozessor 120, ein E/A-Subsystem 122, einen Speicher 124 und eine Datenablagevorrichtung 126. Zusätzlich können in manchen Ausführungsformen eine oder mehrere der veranschaulichenden Komponenten in einer anderen Komponente verbaut sein oder anderweitig einen Teil davon bilden. Zum Beispiel kann in manchen Ausführungsformen der Speicher 124, oder Teile davon, in dem Prozessor 120 verbaut sein.
Der Prozessor 120 kann als irgendein Prozessortyp realisiert sein, der dazu in der Lage ist, die hier beschriebenen Funktionen durchzuführen. Der Prozessor 120 kann zum Beispiel als ein oder mehrere Einzel- oder Multi-Kern-Prozessoren, als ein digitaler Signalprozessor, Mikrocontroller oder anderer Prozessor oder Verarbeitungs-/Steuerungsschaltung realisiert sein. Gleichermaßen kann der Speicher 124 als irgendein Typ flüchtigen oder nichtflüchtigen Speichers oder einer Datenablage, die in der Lage ist, die hier beschriebenen Funktionen durchzuführen, realisiert sein. Im Betrieb kann der Speicher 124 vielfältige Daten und Software, die während des Betriebs der Rechenvorrichtung 100 verwendet werden, wie etwa Betriebssysteme, Anwendungen, Programme, Bibliotheken und Treiber, speichern. Der Speicher 124 ist kommunizierend über das E/A-Subsystem 122 mit dem Prozessor 120 gekoppelt, das als Schaltungen und/oder Komponenten realisiert sein kann, um Eingabe-/Ausgabe-Operationen mit dem Prozessor 120, dem Speicher 124 und anderen Komponenten der Rechenvorrichtung 100 zu erleichtern. Das E/A-Subsystem 122 kann zum Beispiel als Speichersteuerungs-Hubs, Eingabe-/Ausgabesteuerungs-Hubs, Sensorhubs, Hostcontroller, Firmware-Vorrichtungen, Kommunikations-Verbindungen (d.h. Punkt-zu-Punkt-Verbindungen, Bus-Verbindungen, Drähte, Kabel, Lichtleiter, Spuren auf gedruckten Leiterplatten usw.) und/oder andere Komponenten und Subsysteme realisiert sein oder diese sonstwie beinhalten, um die Eingabe-/Ausgabe-Operationen zu erleichtern. Bei manchen Ausführungsformen kann das E/A-Subsystem 122 einen Teil eines Systems-auf-Chip (SoC) bilden und zusammen mit dem Prozessor 120, dem Speicher 124 und anderen Komponenten der Rechenvorrichtung 100 auf einem einzigen Integrierte-Schaltung-Chip verbaut sein.
Die Datenablagevorrichtung 126 kann als ein beliebiger Typ von Vorrichtung oder Vorrichtungen realisiert sein, der zum Kurz- oder Langfrist-Speichern von Daten ausgelegt ist, wie zum Beispiel Speichervorrichtungen und Schaltungen, Speicherkarten, Festplatten, Solid-State-Drives, nichtflüchtiger Flash-Speicher oder andere Datenablagevorrichtungen. Die Rechenvorrichtung 100 kann auch ein Kommunikationssubsystem 128 beinhalten, welches als eine beliebige Kommunikationsschaltung, -vorrichtung oder eine Ansammlung davon realisiert sein kann, die in der Lage ist, Kommunikation über ein (nicht gezeigtes) Computernetzwerk zwischen der Rechenvorrichtung 100 und anderen fernen Vorrichtungen zu ermöglichen. Das Kommunikationssubsystem 128 kann dafür ausgelegt sein, eine oder mehrere beliebige Kommunikationstechnologien (z. B. drahtgebundene oder drahtlose Kommunikation) und damit assoziierte Protokolle (z. B. Ethernet, Bluetooth®, Wi-Fi®, WiMAX, 3G, 4G LTE usw.) zu verwenden, um solche Kommunikation auszuüben.
Wie gezeigt kann die Rechenvorrichtung 100 ferner eine oder mehrere Peripherievorrichtungen 130 beinhalten. Die Peripherievorrichtungen 130 können eine beliebige Anzahl von zusätzlichen Eingabe-/Ausgabevorrichtungen, Schnittstellenvorrichtungen und/oder anderen Peripherievorrichtungen beinhalten. Beispielsweise können die Peripherievorrichtungen 130 bei manchen Ausführungsformen eine Anzeige, einen Touchscreen, Graphikschaltungen, eine Tastatur, eine Maus, ein Lautsprechersystem, ein Mikrofon, eine Netzwerkschnittstelle und/oder andere Eingabe/Ausgabevorrichtungen, Schnittstellenvorrichtungen und/oder Peripherievorrichtungen beinhalten.
Nunmehr mit Bezugnahme auf die 2 erstellt die Rechenvorrichtung 100 in einer veranschaulichenden Ausführungsform während des Betriebs eine Umgebung 200. Die veranschaulichende Umgebung 200 beinhaltet einen Netztrainer 202, einen Netzmodellierer 204, einen Modelltrainer 206 und einen Optimierer 208. Die verschiedenen Komponenten der Umgebung 200 können als Hardware, Software, Firmware oder als eine Kombination davon realisiert sein. Von daher können in manchen Ausführungsformen eine oder mehrere der Komponenten der Umgebung 200 als Schaltungsanordnungen oder eine Zusammenstellung von elektrischen Vorrichtungen (z. B. Netztrainerschaltungen 202, Netzmodelliererschaltungen 204, Modelltrainerschaltungen 206 und/oder Optimiererschaltungen 208) realisiert sein. Es versteht sich, dass in derartigen Ausführungsformen die Netztrainerschaltungen 202 und/oder die Netzmodelliererschaltungen 204 und/oder die Modelltrainerschaltungen 206 und/oder die Optimiererschaltungen 208 einen Teil des Prozessors 120, des E/A-Subsystems 122 und/oder anderer Komponenten der Rechenvorrichtung 100 bilden können. Zusätzlich können in manchen Ausführungsformen eine oder mehrere der veranschaulichenden Komponenten einen Teil einer anderen Komponente ausbilden und/oder eine oder mehrere der veranschaulichenden Komponenten können unabhängig voneinander sein.
Der Netztrainer 202 ist ausgelegt zum Trainieren eines Maschinenlernnetzes mit einem Trainingsalgorithmus. Das Maschinenlernnetz kann beispielsweise als ein Faltungs-Neuronales-Netz realisiert sein. Der Trainingsalgorithmus ist mit einem oder mehreren Konfigurationsparametern konfiguriert. Der Netztrainer 202 ist ferner ausgelegt zum Aufnehmen einer Zeitreihe teilgenauer Werte als Reaktion auf Trainieren des Maschinenlernnetzes. Jeder teilgenaue Wert gibt eine Maschinenlernnetzgenauigkeit bei einer assoziierten Trainingsiteration an. Der Netztrainer 202 kann ferner ausgelegt sein zum Trainieren des Maschinenlernnetzes mit mehreren parallelen Instanzen des Trainingsalgorithmus. Jede parallele Instanz des Trainingsalgorithmus ist mit einer anderen Menge von einem oder mehreren Konfigurationsparametern konfiguriert. Der Netztrainer 202 kann ferner ausgelegt sein zum Aufnehmen einer Zeitreihe von teilgenauen Werten für jede parallele Instanz des Trainingsalgorithmus. Bei manchen Ausführungsformen kann der Netztrainer 202 ferner ausgelegt sein zum parallelen Trainieren des Maschinenlernnetzes mit dem Trainingsalgorithmus durch eine Vielzahl von verteilten Rechenknoten. Der Trainingsalgorithmus von jedem Rechenknoten ist mit einer anderen Menge von einem oder mehreren Konfigurationsparametern konfiguriert.
Der Netzmodellierer 204 ist ausgelegt zum Eingeben des einen oder der mehreren Konfigurationsparameter in ein vorwärtsgekoppeltes neuronales Netz zum Erzeugen einer Repräsentation der Konfigurationsparameter. Das vorwärtsgekoppelte neuronale Netz kann als ein tiefes neuronales Netz realisiert sein, das mehrere vollständig verbundene Schichten beinhaltet. Der Netzmodellierer 204 ist ferner ausgelegt zum Eingeben der Repräsentation der Konfigurationsparameter in ein rückgekoppeltes neuronales Netz. Das rückgekoppelte neuronale Netz kann als ein Langzeit-Kurzzeit-Speichernetz realisiert sein. Der Modelltrainer 206 ist ausgelegt zum Trainieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes gegen die Zeitreihe von teilgenauen Werten.
Der Optimierer 208 ist ausgelegt zum Optimieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes, um einen oder mehrere optimierte Konfigurationsparameter zu bestimmen. Der Optimierer 208 optimiert das rückgekoppelte neuronale Netz und das vorwärtsgekoppelte neuronale Netz als Reaktion auf Training des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes. Optimieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes kann Bestimmen eines oder mehrerer optimierter Konfigurationsparameter zum Minimieren der Trainingszeit zum Erreichen eines vorbestimmten Genauigkeitsniveaus beinhalten. Bei manchen Ausführungsformen kann der Optimierer 208 ausgelegt sein zum Optimieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes mit einem BFGS-Algorithmus. Der Netztrainer 202 kann ferner ausgelegt sein zum Trainieren des Maschinenlernnetzes mit dem mit dem einen oder den mehreren optimierten Konfigurationsparametern konfigurierten Trainingsalgorithmus.
Mit Bezug auf 3 kann die Rechenvorrichtung 100 im Gebrauch eine wie in Diagramm 300 gezeigte neuronale Netztopologie erstellen. Wie gezeigt erstellt die Rechenvorrichtung 100 ein unterliegendes Maschinenlernnetz 302. Beispielsweise kann das Maschinenlernnetz 302 als ein tiefes Faltungs-Neuronales-Netz für Bildklassifikation realisiert sein, wie etwa AlexNet oder GoogLeNet, oder als ein anderer tiefer Lernalgorithmus. Wie gezeigt wird das Maschinenlernnetz 302 durch einen Trainingsalgorithmus 304 trainiert. Der Trainingsalgorithmus 304 kann mit mehreren Konfigurationsparametern {H₁, H₂, H₃, ...} konfiguriert sein, die auch Hyperparameter genannt werden. Der Trainingsalgorithmus 304 führt eine Abfolge von Trainingsiterationen mit dem Maschinenlernnetz 302 durch und produziert eine assoziierte Abfolge von teilgenauen Werten {A₁, A₂, A₃, ... , A_t}. Jeder teilgenaue Wert A_t entspricht einer Genauigkeit des Maschinenlernnetzes 302 bei einer Trainingsiteration t.
Wie gezeigt werden die Konfigurationsparameter {H} in ein Modell 306 eingegeben, welches ein tiefes neuronales Netz (DNN) 308 und ein rückgekoppeltes neuronales Netz (RNN) 310 beinhaltet. Das DNN 308 ist ein vorwärtsgekoppeltes neuronales Netz und ist veranschaulichend als ein tiefes neuronales Netz mit mehreren vollständig verbundenen (fully connected - FC) Schichten realisiert. Das RNN 310 ist veranschaulichend ein Langzeit-Kurzzeit-Speicher(LSTM)-RNN, welches zum Modellieren einer Abfolge von Werten verwendet werden kann. Wie gezeigt werden die Konfigurationsparameter {H} in das DNN 308 eingegeben, um eine Repräsentation zu erzeugen. Diese Repräsentation wird wiederum in das RNN 310 injiziert. Ein Trainingsalgorithmus 312 trainiert das Modell 306 gegen die Zeitreihen von teilgenauen Werten {A_t}. Nach dem Training produziert das RNN 310 eine modellierte Zeitreihe {A_t}*. Ein Optimierungsalgorithmus 314 kann das Modell 306 nach dem Training optimieren, um optimierte Konfigurationsparameter {H}* zu erzeugen. Wie gezeigt können die optimierten Konfigurationsparameter {H}* durch den Trainingsalgorithmus 304 verwendet werden zum Fortführen des Trainierens des Maschinenlernnetzes 302. Das Maschinenlernnetz 302 kann beispielsweise trainiert werden für Produktionsgebrauch oder kann trainiert werden zum Erzeugen zusätzlicher teilgenauer Werte {A₁, A₂, A₃, ... , A_t} für zusätzliche Trainingsoptimierung.
Nehmen wir nun Bezug auf 4, wo die Rechenvorrichtung 100 im Gebrauch ein Verfahren 400 für optimiertes Maschinenlerntraining ausführen kann. Es versteht sich, dass die Operationen des Verfahrens 400 bei manchen Ausführungsformen durch eine oder mehrere Komponenten der Umgebung 200 der Rechenvorrichtung 100 durchgeführt werden können, wie in 2 gezeigt ist. Das Verfahren 400 beginnt in Block 402, in welchem die Rechenvorrichtung 100 mehrere Konfigurationsparameter {H₁, H₂, H₃, ...} für den Trainingsalgorithmus 304 erzeugt. Der Trainingsalgorithmus 304 kann als ein beliebiger zum Training des Maschinenlernnetzes 302 verwendbarer Trainingsalgorithmus realisiert sein, wie etwa ein Gradientenabfall-, stochastischer Gradientenabfall- oder anderer gradientenbasierter Trainingsalgorithmus. Die Konfigurationsparameter H können somit einen beliebigen Parameter zum Abstimmen oder anderweitigen Konfigurieren des Betriebs des Trainingsalgorithmus 304 beinhalten, wie etwa eine Verlustfunktion, eine Aktualisierungsregel, eine Epochenanzahl, eine Losgröße, eine Lernrate, eine Lernzerfallsrate oder andere Konfigurationsparameter.
Die Rechenvorrichtung 100 kann jegliche passende Technik zum Erzeugen der Konfigurationsparameter {H} verwenden. Beispielsweise können die Konfigurationsparameter {H} zufällig erzeugt werden oder können auf vorbestimmten Anfangskonfigurationsparametern basieren. Wie unten weiter beschrieben wird, können die Konfigurationsparameter {H} zuvor durch die Rechenvorrichtung 100 bestimmte optimierte Konfigurationsparameter {H}* beinhalten und/oder auf diesen basieren. Bei manchen Ausführungsformen kann die Rechenvorrichtung 100 viele verschiedene Mengen von Konfigurationsparametern {H} zum parallelen Trainieren erzeugen, wie unten weiter beschrieben ist.
Nach Erzeugen der Konfigurationsparameter {H} geht das Verfahren 400 parallel zu mehreren Instanzen von Block 404 weiter. Obgleich als die Blöcke 404a, 404b parallel ausführend veranschaulicht, versteht sich, dass das Verfahren 400 bei manchen Ausführungsformen parallel zu viel mehr Instanzen (z. B. hunderte von Instanzen) von Block 404 weitergehen kann. Die Blöcke 404 können durch die Rechenvorrichtung 100 oder durch viele Rechenvorrichtungen 100 parallel ausgeführt werden, beispielsweise durch viele in einem verteilten Rechensystem arbeitende verteilte Rechenknoten.
In Block 404 führt die Rechenvorrichtung 100 Training unter Verwendung der Konfigurationsparameter {H} auf dem Maschinenlernnetz 302 durch. Die Rechenvorrichtung 100 führt mehrere Trainingsiterationen unter Verwendung des Trainingsalgorithmus 304 aus. Für jede Trainingsiteration t, erzeugt die Rechenvorrichtung 100 einen teilgenauen Wert A_t, der die Genauigkeit des unterliegenden Maschinenlernnetzes 304 bei dieser Trainingsiteration t angibt. Die Rechenvorrichtung 100 kann den Trainingsalgorithmus 304 parallel unter Verwendung von herkömmlichen Paralleltrainingstechniken durchführen, welche auf hunderte von Instanzen ausskalieren können. Da jede parallele Instanz des Blocks 404 paralleles Training durchführen kann, kann das Verfahren 400 somit Skalieren auf viele (z. B. tausende oder Millionen) von Instanzen und/oder Rechenknoten unterstützen. In Block 406 nimmt die Rechenvorrichtung 100 eine Zeitreihe von teilgenauen Werten {A₁, A₂, A₃, ... , A_t} auf. Die Zeitreihen von teilgenauen Werten A_t geben die Konvergenz des Maschinenlernnetzes 302 auf genaue unter Verwendung der Konfigurationsparameter {H} erreichte Ergebnisse an. Da jede Menge von Konfigurationsparametern H unabhängig ist, kann jede Instanz der Blöcke 404, 406 unabhängig ausgeführt werden, um eine unabhängige Zeitreihe{A₁, A₂, A₃, ... , A_t} zu erzeugen. Wie unten weiter beschrieben ist, können alle dieser Zeitreihen zum Trainieren des Modells 306 verwendet werden.
Nach parallelem Erzeugen und Aufnehmen mehrerer Zeitreihen {A₁, A₂, A₃, ... , A_t} schreitet das Verfahren 400 zu Block 408 voran. In Block 408 erzeugt die Rechenvorrichtung 100 eine Repräsentation der Konfigurationsparameter {H} unter Verwendung des tiefen neuronalen Netzes (DNN) 308. Die Abhängigkeit zwischen Konfigurationsparametern {H} und teilgenauen Werten {A_t} ist hochgradig nichtlinear. Daher kann Verarbeiten der Konfigurationsparameter {H} mit dem DNN 308 eine optimale Repräsentation der Konfigurationsparameter {H} erzeugen. Bei manchen Ausführungsformen können die Konfigurationsparameter {H} in Block 410 mit mehreren vollständig verbundenen (FC) Schichten verarbeitet werden. Bei der veranschaulichenden Ausführungsform beinhaltet das DNN 308 fünf FC-Schichten, einschließlich vier verborgenen Schichten mit Dimensionen von 50, 25, 15 und fünf und eine Projektionsschicht der Größe 10. Jede FC-Schicht kann ReLu-Aktivierungen verwenden.
In Block 412 gibt die Rechenvorrichtung 100 die Repräsentation der Konfigurationsparameter {H} von der DNN 308 in ein rückgekoppeltes neuronales Netz (RNN) 310 ein. Das RNN 310 beinhaltet internen Speicher und kann somit verwendet werden zum Modellieren von Eingabeabfolgen. Bei manchen Ausführungsformen kann das RNN 310 in Block 414 als ein Langzeit-Kurzzeit-Speicher (LSTM) realisiert sein. Bei der veranschaulichenden Ausführungsform ist das RNN 310 ein LSTM mit einer verborgenen Größe von 10 und einer Zellengröße von 10.
In Block 416 trainiert die Rechenvorrichtung 100 das Modell 306 gegen die teilgenaue Zeitreihe {A₁, A₂, A₃, ... , A_t}. Training ermöglicht es dem Modell 306, die Konvergenz des Maschinenlernnetzes 302 für die assoziierten Konfigurationsparameter {H} zu beschreiben und/oder vorherzusagen. Das Modell 306 wird mit dem Trainingsalgorithmus 312 trainiert, welcher als ein beliebiger zum Training des Modells 306 verwendbarer Trainingsalgorithmus realisiert sein kann, wie etwa ein Gradientenabfall-, stochastischer Gradientenabfall- oder anderer gradientenbasierter Trainingsalgorithmus. Bei der veranschaulichenden Ausführungsform verwendet der Trainingsalgorithmus 312 die L₂-Verlustfunktion, die adaptive Momentenschätzung(Adam)-Aktualisierungsregel, 500 Epochen, eine Losgröße von 30, eine Lernrate von 4e-3 und einen Lernratenabfall von 0,995.
In Block 418 optimiert die Rechenvorrichtung 100 das trainierte Modell 306, um die optimierten Konfigurationsparameter {H}* zu bestimmen. Die optimierten Konfigurationsparameter {H}* können als eine Menge von Konfigurationsparametern {H₁, H₂, H₃, ... } realisiert sein, die die Zeit t (d. h. die Anzahl von Trainingsiterationen) minimiert, die zum Erreichen einer vorbestimmten Genauigkeit A_t = A_fixed erforderlich ist. Die Rechenvorrichtung 100 kann das trainierte Modell 306 unter Verwendung eines gradientenbasierten Optimierungsverfahrens optimieren. Bei manchen Ausführungsformen kann die Rechenvorrichtung 100 in Block 420 das Modell 306 unter Verwendung eines BFGS-Optimierungsalgorithmus optimieren. Beispielsweise kann die Rechenvorrichtung 100 einen BFGS-Algorithmus mit begrenztem Speicher ausführen, wie er in Richard Byrd et al., A Limited Memory Algorithm for Bound Constrained Optimization, 16 SIAM J. on Sci. Computing 1190 (1995) beschrieben ist.
In Block 422 bestimmt die Rechenvorrichtung 100, ob mit dem Trainingsoptimieren des Maschinenlernnetzes 30 weitergemacht wird. Die Rechenvorrichtung 100 kann beispielsweise bestimmen, das Training für eine vorbestimmte Anzahl von Iterationen, für einen vorbestimmten Zeitraum, bis eine vorbestimmte Leistung des Trainingsalgorithmus 304 erreicht ist oder für beliebige andere Kriterien fortzuführen. Falls die Rechenvorrichtung 100 bestimmt, mit dem Trainingsoptimieren des Maschinenlernnetzes 302 weiterzumachen, schleift das Verfahren 400 zum Block 402 zurück, um zusätzliche teilgenaue Zeitreihen {A_t} unter Verwendung der optimierten Konfigurationsparameter {H}* zu erzeugen. Wenn die Rechenvorrichtung 100 mit dem Analysieren zusätzlicher teilgenauer Zeitreihen {A_t} weitermacht, kann die Rechenvorrichtung 100 verbesserte optimierte Konfigurationsparameter {H}* erzeugen, die bessere Trainingsleistung liefern. Wenn die Rechenvorrichtung 100 bestimmt, nicht mit der Optimierung weiterzumachen, schreitet das Verfahren 400 zu Block 424 voran.
In Block 424 führt die Rechenvorrichtung 100 Training unter Verwendung der optimierten Konfigurationsparameter {H}* auf dem Maschinenlernnetz 302 durch. Durchführen von Training mit den optimierten Konfigurationsparametern {H}* kann es dem Trainingsalgorithmus 304 ermöglichen, schneller zu konvergieren und/oder dem Maschinenlernnetz 302 ermöglichen, genauere Ergebnisse zu produzieren. Nach dem Durchführen des Trainings ist das Verfahren 400 abgeschlossen und das trainierte Maschinenlernnetz 302 kann in Produktion verwendet oder anderweitig ausgeführt werden. Natürlich kann das Verfahren 400 mehrere Male ausgeführt werden, um die Konfigurationsparameter weiter zu optimieren und zusätzliches Training durchzuführen.
Es versteht sich, dass das Verfahren 400 bei manchen Ausführungsformen als vielfältige auf einem computerlesbaren Medium gespeicherte Anweisungen realisiert sein kann, welche durch den Prozessor 120, das E/A-Subsystem 122 und/oder andere Komponenten der Rechenvorrichtung 100 ausgeführt werden können, um die Rechenvorrichtung 100 zu veranlassen, das Verfahren 400 durchzuführen. Das computerlesbare Medium kann als eine beliebige Art von Medium realisiert sein, das zum Lesen durch die Rechenvorrichtung 100 fähig ist, einschließlich unter anderem der Speicher 124, die Datenablagevorrichtung 126, Firmwarevorrichtungen, andere Speicher- oder Datenablagevorrichtungen der Rechenvorrichtung 100, durch eine Peripherievorrichtung 130 der Rechenvorrichtung 100 lesbare portable Medien und/oder andere Medien.
BEISPIELE
Veranschaulichende Beispiele der hier offenbarten Technologien sind unten bereitgestellt. Eine Ausführungsform der Technologien kann eines oder mehrere der unten beschriebenen Beispiel und jede Kombination davon beinhalten.
Beispiel 1 beinhaltet eine Rechenvorrichtung zur Optimierung von Maschinenlerntraining, wobei die Rechenvorrichtung Folgendes umfasst: einen Netztrainer zum (i) Trainieren eines Maschinenlernnetzes mit einem Trainingsalgorithmus, wobei der Trainingsalgorithmus mit einem oder mehreren Konfigurationsparametern konfiguriert ist, und (ii) Aufnehmen einer Zeitreihe von teilgenauen Werten als Reaktion auf Trainieren des Maschinenlernnetzes, wobei jeder teilgenaue Wert eine Maschinenlernnetzgenauigkeit bei einer assoziierten Trainingsiteration angibt; einen Netzmodellierer zum (i) Eingeben des einen oder der mehreren Konfigurationsparameter in ein vorwärtsgekoppeltes neuronales Netz zum Erzeugen einer Repräsentation der Konfigurationsparameter und (ii) Eingeben der Repräsentation der Konfigurationsparameter in ein rückgekoppeltes neuronales Netz; einen Modelltrainer zum Trainieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes gegen die Zeitreihe von teilgenauen Werten; und einen Optimierer zum, als Reaktion auf Trainieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes, Optimieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes zum Bestimmen eines oder mehrerer optimierter Konfigurationsparameter.
Beispiel 2 beinhaltet den Gegenstand von Beispiel 1 und wobei das Maschinenlernnetz ein Faltungs-Neuronales-Netz umfasst.
Beispiel 3 beinhaltet den Gegenstand von einem der Beispiele 1 und 2 und wobei Optimieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes Bestimmen des einen oder der mehreren optimierten Konfigurationsparameter zum Minimieren der Trainingszeit zum Erreichen eines vorbestimmten Genauigkeitsniveaus umfasst.
Beispiel 4 beinhaltet den Gegenstand von einem der Beispiele 1-3 und wobei Optimieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes Optimieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes mit einem BFGS-Algorithmus umfasst.
Beispiel 5 beinhaltet den Gegenstand von einem der Beispiele 1-4 und wobei der Netztrainer ferner ausgelegt ist zum Trainieren des Maschinenlernnetzes mit mehreren parallelen Instanzen des Trainingsalgorithmus, wobei jede parallele Instanz des Trainingsalgorithmus mit einer anderen Menge von einem oder mehreren Konfigurationsparametern konfiguriert ist.
Beispiel 6 beinhaltet den Gegenstand von einem der Beispiele 1-5 und wobei der Netztrainer ferner zum Aufnehmen einer Zeitreihe von teilgenauen Werten für jede parallele Instanz des Trainingsalgorithmus ausgelegt ist.
Beispiel 7 beinhaltet den Gegenstand von einem der Beispiele 1-6 und wobei der Netztrainer ferner ausgelegt ist zum parallelen Trainieren des Maschinenlernnetzes mit dem Trainingsalgorithmus durch mehrere verteilte Rechenknoten, wobei der Trainingsalgorithmus von jedem Rechenknoten mit einer anderen Menge von einem oder mehreren Konfigurationsparametern konfiguriert ist.
Beispiel 8 beinhaltet den Gegenstand von einem der Beispiele 1-7 und wobei der Netztrainer ferner ausgelegt ist zum Trainieren des Maschinenlernnetzes mit dem Trainingsalgorithmus, wobei der Trainingsalgorithmus mit dem einen oder den mehreren optimierten Konfigurationsparametern konfiguriert ist.
Beispiel 9 beinhaltet den Gegenstand von einem der Beispiele 1-8 und wobei der Netztrainer ferner ausgelegt ist zum Aufnehmen einer Zeitreihe von teilgenauen Werten als Reaktion auf Trainieren des Maschinenlernnetzes mit dem mit dem einen oder den mehreren optimierten Konfigurationsparametern konfigurierten Trainingsalgorithmus.
Beispiel 10 beinhaltet den Gegenstand von einem der Beispiele 1-9 und wobei die Konfigurationsparameter eine Lernrate, eine Lernzerfallsrate, eine Verlustfunktion, eine Losgröße oder eine Epochenanzahl beinhalten.
Beispiel 11 beinhaltet den Gegenstand von einem der Beispiele 1-10 und wobei das vorwärtsgekoppelte neuronale Netz ein tiefes neuronales Netz einschließlich mehrerer vollständig verbundener Schichten umfasst.
Beispiel 12 beinhaltet den Gegenstand von einem der Beispiele 1-11 und wobei das tiefe neuronale Netz fünf vollständig verbundene Schichten umfasst.
Beispiel 13 beinhaltet den Gegenstand von einem der Beispiele 1-12 und wobei das rückgekoppelte neuronale Netz ein Langzeit-Kurzzeit-Speicher-Netz umfasst.
Beispiel 14 beinhaltet ein Verfahren zur Optimierung von Maschinenlerntraining, wobei das Verfahren die folgenden Schritte umfasst: Trainieren, durch eine Rechenvorrichtung, eines Maschinenlernnetzes mit einem Trainingsalgorithmus, wobei der Trainingsalgorithmus mit einem oder mehreren Konfigurationsparametern konfiguriert ist; Aufnehmen, durch die Rechenvorrichtung, einer Zeitreihe von teilgenauen Werten als Reaktion auf Trainieren des Maschinenlernnetzes, wobei jeder teilgenaue Wert eine Maschinenlernnetzgenauigkeit bei einer assoziierten Trainingsiteration angibt; Eingeben, durch die Rechenvorrichtung, des einen oder der mehreren Konfigurationsparameter in ein vorwärtsgekoppeltes neuronales Netz zum Erzeugen einer Repräsentation der Konfigurationsparameter; Eingeben, durch die Rechenvorrichtung, der Repräsentation der Konfigurationsparameter in ein rückgekoppeltes neuronales Netz; Trainieren, durch die Rechenvorrichtung, des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes gegen die Zeitreihe von teilgenauen Werten; und Optimieren, durch die Rechenvorrichtung als Reaktion auf Trainieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes, des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes zum Bestimmen eines oder mehrerer optimierter Konfigurationsparameter.
Beispiel 15 beinhaltet den Gegenstand von Beispiel 14 und wobei das Maschinenlernnetz ein Faltungs-Neuronales-Netz umfasst.
Beispiel 16 beinhaltet den Gegenstand von einem der Beispiele 14 und 15 und wobei Optimieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes Bestimmen des einen oder der mehreren optimierten Konfigurationsparameter zum Minimieren der Trainingszeit zum Erreichen eines vorbestimmten Genauigkeitsniveaus umfasst.
Beispiel 17 beinhaltet den Gegenstand von einem der Beispiele 14-16 und wobei Optimieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes Optimieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes mit einem BFGS-Algorithmus umfasst.
Beispiel 18 beinhaltet den Gegenstand von einem der Beispiele 14-17 und umfasst ferner Trainieren, durch die Rechenvorrichtung, des Maschinenlernnetzes mit mehreren parallelen Instanzen des Trainingsalgorithmus, wobei jede parallele Instanz des Trainingsalgorithmus mit einer anderen Menge von einem oder mehreren Konfigurationsparametern konfiguriert ist.
Beispiel 19 beinhaltet den Gegenstand von einem der Beispiele 14-18 und umfasst ferner Aufnehmen, durch die Rechenvorrichtung, einer Zeitreihe von teilgenauen Werten für jede parallele Instanz des Trainingsalgorithmus.
Beispiel 20 beinhaltet den Gegenstand von einem der Beispiele 14-19 und umfasst ferner paralleles Trainieren des Maschinenlernnetzes mit dem Trainingsalgorithmus durch mehrere verteilte Rechenknoten, wobei der Trainingsalgorithmus von jedem Rechenknoten mit einer anderen Menge von einem oder mehreren Konfigurationsparametern konfiguriert ist.
Beispiel 21 beinhaltet den Gegenstand von einem der Beispiele 14-20 und umfasst ferner Trainieren des Maschinenlernnetzes mit dem Trainingsalgorithmus durch die Rechenvorrichtung, wobei der Trainingsalgorithmus mit dem einen oder den mehreren optimierten Konfigurationsparametern konfiguriert ist.
Beispiel 22 beinhaltet den Gegenstand von einem der Beispiele 14-21 und umfasst ferner Aufnehmen, durch die Rechenvorrichtung, einer Zeitreihe von teilgenauen Werten als Reaktion auf Trainieren des Maschinenlernnetzes mit dem mit dem einen oder den mehreren optimierten Konfigurationsparametern konfigurierten Trainingsalgorithmus.
Beispiel 23 beinhaltet den Gegenstand von einem der Beispiele 14-22 und wobei die Konfigurationsparameter eine Lernrate, eine Lernzerfallsrate, eine Verlustfunktion, eine Losgröße oder eine Epochenanzahl beinhalten.
Beispiel 24 beinhaltet den Gegenstand von einem der Beispiele 14-23 und wobei das vorwärtsgekoppelte neuronale Netz ein tiefes neuronales Netz einschließlich mehrerer vollständig verbundener Schichten umfasst.
Beispiel 25 beinhaltet den Gegenstand von einem der Beispiele 14-24 und wobei das tiefe neuronale Netz fünf vollständig verbundene Schichten umfasst.
Beispiel 26 beinhaltet den Gegenstand von einem der Beispiele 14-25 und wobei das rückgekoppelte neuronale Netz ein Langzeit-Kurzzeit-Speicher-Netz umfasst.
Beispiel 27 beinhaltet eine Rechenvorrichtung, die einen Prozessor umfasst; und einen Speicher, der darin mehrere Anweisungen gespeichert hat, die, wenn sie von einem Prozessor ausgeführt werden, die Rechenvorrichtung veranlassen, das Verfahren nach einem der Beispiele 14-26 auszuführen.
Beispiel 28 beinhaltet ein oder mehrere maschinenlesbare Ablagemedien, die mehrere darauf gespeicherte Anweisungen umfassen, die, als Reaktion auf deren Ausführung veranlassen, dass eine Rechenvorrichtung das Verfahren nach einem der Beispiele 14-26 ausführt.
Beispiel 29 beinhaltet eine Rechenvorrichtung, die Mittel zum Durchführen des Verfahrens nach einem der Beispiele 14-26 umfasst.
Beispiel 30 beinhaltet eine Rechenvorrichtung zur Optimierung von Maschinenlerntraining, wobei die Rechenvorrichtung Folgendes umfasst: ein Mittel zum Trainieren eines Maschinenlernnetzes mit einem Trainingsalgorithmus, wobei der Trainingsalgorithmus mit einem oder mehreren Konfigurationsparametern konfiguriert ist; ein Mittel zum Aufnehmen einer Zeitreihe von teilgenauen Werten als Reaktion auf Trainieren des Maschinenlernnetzes, wobei jeder teilgenaue Wert eine Maschinenlernnetzgenauigkeit bei einer assoziierten Trainingsiteration angibt; ein Mittel zum Eingeben des einen oder der mehreren Konfigurationsparameter in ein vorwärtsgekoppeltes neuronales Netz zum Erzeugen einer Repräsentation der Konfigurationsparameter; ein Mittel zum Eingeben der Repräsentation der Konfigurationsparameter in ein rückgekoppeltes neuronales Netz; ein Mittel zum Trainieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes gegen die Zeitreihe von teilgenauen Werten; und ein Mittel zum Optimieren, als Reaktion auf Trainieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes, des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes zum Bestimmen eines oder mehrerer optimierter Konfigurationsparameter.
Beispiel 31 beinhaltet den Gegenstand von Beispiel 30 und wobei das Maschinenlernnetz ein Faltungs-Neuronales-Netz umfasst.
Beispiel 32 beinhaltet den Gegenstand von einem der Beispiele 30 und 31 und wobei das Mittel zum Optimieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes ein Mittel zum Bestimmen des einen oder der mehreren optimierten Konfigurationsparameter zum Minimieren der Trainingszeit zum Erreichen eines vorbestimmten Genauigkeitsniveaus umfasst.
Beispiel 33 beinhaltet den Gegenstand von einem der Beispiele 30-32 und wobei das Mittel zum Optimieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes ein Mittel zum Optimieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes mit einem BFGS-Algorithmus umfasst.
Beispiel 34 beinhaltet den Gegenstand von einem der Beispiele 30-33 und umfasst ferner ein Mittel zum Trainieren des Maschinenlernnetzes mit mehreren parallelen Instanzen des Trainingsalgorithmus, wobei jede parallele Instanz des Trainingsalgorithmus mit einer anderen Menge von einem oder mehreren Konfigurationsparametern konfiguriert ist.
Beispiel 35 beinhaltet den Gegenstand von einem der Beispiele 30-34 und umfasst ferner ein Mittel zum Aufnehmen einer Zeitreihe von teilgenauen Werten für jede parallele Instanz des Trainingsalgorithmus.
Beispiel 36 beinhaltet den Gegenstand von einem der Beispiele 30-35 und umfasst ferner ein Mittel zum parallelen Trainieren des Maschinenlernnetzes mit dem Trainingsalgorithmus durch mehrere verteilte Rechenknoten, wobei der Trainingsalgorithmus von jedem Rechenknoten mit einer anderen Menge von einem oder mehreren Konfigurationsparametern konfiguriert ist.
Beispiel 37 beinhaltet den Gegenstand von einem der Beispiele 30-36 und umfasst ferner ein Mittel zum Trainieren des Maschinenlernnetzes mit dem Trainingsalgorithmus, wobei der Trainingsalgorithmus mit dem einen oder den mehreren optimierten Konfigurationsparametern konfiguriert ist.
Beispiel 38 beinhaltet den Gegenstand von einem der Beispiele 30-37 und umfasst ferner ein Mittel zum Aufnehmen einer Zeitreihe von teilgenauen Werten als Reaktion auf Trainieren des Maschinenlernnetzes mit dem mit dem einen oder den mehreren optimierten Konfigurationsparametern konfigurierten Trainingsalgorithmus.
Beispiel 39 beinhaltet den Gegenstand von einem der Beispiele 30-38 und wobei die Konfigurationsparameter eine Lernrate, eine Lernzerfallsrate, eine Verlustfunktion, eine Losgröße oder eine Epochenanzahl beinhalten.
Beispiel 40 beinhaltet den Gegenstand von einem der Beispiele 30-39 und wobei das vorwärtsgekoppelte neuronale Netz ein tiefes neuronales Netz einschließlich mehrerer vollständig verbundener Schichten umfasst.
Beispiel 41 beinhaltet den Gegenstand von einem der Beispiele 30-40 und wobei das tiefe neuronale Netz fünf vollständig verbundene Schichten umfasst.
Beispiel 42 beinhaltet den Gegenstand von einem der Beispiele 30-41 und wobei das rückgekoppelte neuronale Netz ein Langzeit-Kurzzeit-Speicher-Netz umfasst.

Claims

Rechenvorrichtung zur Optimierung von Maschinenlerntraining, wobei die Rechenvorrichtung Folgendes umfasst: einen Netztrainer zum (i) Trainieren eines Maschinenlernnetzes mit einem Trainingsalgorithmus, wobei der Trainingsalgorithmus mit einem oder mehreren Konfigurationsparametern konfiguriert ist, und (ii) Aufnehmen einer Zeitreihe von teilgenauen Werten als Reaktion auf Trainieren des Maschinenlernnetzes, wobei jeder teilgenaue Wert eine Maschinenlernnetzgenauigkeit bei einer assoziierten Trainingsiteration angibt; einen Netzmodellierer zum (i) Eingeben des einen oder der mehreren Konfigurationsparameter in ein vorwärtsgekoppeltes neuronales Netz zum Erzeugen einer Repräsentation der Konfigurationsparameter und (ii) Eingeben der Repräsentation der Konfigurationsparameter in ein rückgekoppeltes neuronales Netz; einen Modelltrainer zum Trainieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes gegen die Zeitreihe von teilgenauen Werten; und einen Optimierer zum, als Reaktion auf Trainieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes, Optimieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes zum Bestimmen eines oder mehrerer optimierter Konfigurationsparameter.
Rechenvorrichtung nach Anspruch 1, wobei das Maschinenlernnetz ein Faltungs-Neuronales-Netz umfasst.
Rechenvorrichtung nach Anspruch 1, wobei Optimieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes Bestimmen des einen oder der mehreren optimierten Konfigurationsparameter zum Minimieren der Trainingszeit zum Erreichen eines vorbestimmten Genauigkeitsniveaus umfasst.
Rechenvorrichtung nach Anspruch 3, wobei Optimieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes Optimieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes mit einem BFGS-Algorithmus umfasst.
Rechenvorrichtung nach Anspruch 1, wobei der Netztrainer ferner ausgelegt ist zum Trainieren des Maschinenlernnetzes mit mehreren parallelen Instanzen des Trainingsalgorithmus, wobei jede parallele Instanz des Trainingsalgorithmus mit einer anderen Menge von einem oder mehreren Konfigurationsparametern konfiguriert ist.
Rechenvorrichtung nach Anspruch 5, wobei der Netztrainer ferner zum Aufnehmen einer Zeitreihe von teilgenauen Werten für jede parallele Instanz des Trainingsalgorithmus ausgelegt ist.
Rechenvorrichtung nach Anspruch 1, wobei der Netztrainer ferner ausgelegt ist zum parallelen Trainieren des Maschinenlernnetzes mit dem Trainingsalgorithmus durch mehrere verteilte Rechenknoten, wobei der Trainingsalgorithmus von jedem Rechenknoten mit einer anderen Menge von einem oder mehreren Konfigurationsparametern konfiguriert ist.
Rechenvorrichtung nach Anspruch 1, wobei der Netztrainer ferner ausgelegt ist zum Trainieren des Maschinenlernnetzes mit dem Trainingsalgorithmus, wobei der Trainingsalgorithmus mit dem einen oder den mehreren optimierten Konfigurationsparametern konfiguriert ist.
Rechenvorrichtung nach Anspruch 8, wobei der Netztrainer ferner ausgelegt ist zum Aufnehmen einer Zeitreihe von teilgenauen Werten als Reaktion auf Trainieren des Maschinenlernnetzes mit dem mit dem einen oder den mehreren optimierten Konfigurationsparametern konfigurierten Trainingsalgorithmus.
Rechenvorrichtung nach Anspruch 1, wobei das vorwärtsgekoppelte neuronale Netz ein tiefes neuronales Netz einschließlich mehrerer vollständig verbundener Schichten umfasst.
Rechenvorrichtung nach Anspruch 1, wobei das rückgekoppelte neuronale Netz ein Langzeit-Kurzzeit-Speicher-Netz umfasst.
Verfahren zur Optimierung von Maschinenlerntraining, wobei das Verfahren die folgenden Schritte umfasst: Trainieren, durch eine Rechenvorrichtung, eines Maschinenlernnetzes mit einem Trainingsalgorithmus, wobei der Trainingsalgorithmus mit einem oder mehreren Konfigurationsparametern konfiguriert ist; Aufnehmen, durch die Rechenvorrichtung, einer Zeitreihe von teilgenauen Werten als Reaktion auf Trainieren des Maschinenlernnetzes, wobei jeder teilgenaue Wert eine Maschinenlernnetzgenauigkeit bei einer assoziierten Trainingsiteration angibt; Eingeben, durch die Rechenvorrichtung, des einen oder der mehreren Konfigurationsparameter in ein vorwärtsgekoppeltes neuronales Netz zum Erzeugen einer Repräsentation der Konfigurationsparameter; Eingeben, durch die Rechenvorrichtung, der Repräsentation der Konfigurationsparameter in ein rückgekoppeltes neuronales Netz; Trainieren, durch die Rechenvorrichtung, des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes gegen die Zeitreihe von teilgenauen Werten; und Optimieren, durch die Rechenvorrichtung als Reaktion auf Trainieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes, des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes zum Bestimmen eines oder mehrerer optimierter Konfigurationsparameter.
Verfahren nach Anspruch 12, wobei Optimieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes Bestimmen des einen oder der mehreren optimierten Konfigurationsparameter zum Minimieren der Trainingszeit zum Erreichen eines vorbestimmten Genauigkeitsniveaus umfasst.
Verfahren nach Anspruch 12, ferner umfassend Trainieren, durch die Rechenvorrichtung, des Maschinenlernnetzes mit mehreren parallelen Instanzen des Trainingsalgorithmus, wobei jede parallele Instanz des Trainingsalgorithmus mit einer anderen Menge von einem oder mehreren Konfigurationsparametern konfiguriert ist.
Verfahren nach Anspruch 14, ferner umfassend Aufnehmen, durch die Rechenvorrichtung, einer Zeitreihe von teilgenauen Werten für jede parallele Instanz des Trainingsalgorithmus.
Verfahren nach Anspruch 12, ferner umfassend paralleles Trainieren des Maschinenlernnetzes mit dem Trainingsalgorithmus durch mehrere verteilte Rechenknoten, wobei der Trainingsalgorithmus von jedem Rechenknoten mit einer anderen Menge von einem oder mehreren Konfigurationsparametern konfiguriert ist.
Verfahren nach Anspruch 12, ferner umfassend Trainieren, durch die Rechenvorrichtung, des Maschinenlernnetzes mit dem Trainingsalgorithmus, wobei der Trainingsalgorithmus mit dem einen oder den mehreren optimierten Konfigurationsparametern konfiguriert ist.
Verfahren nach Anspruch 17, ferner umfassend Aufnehmen, durch die Rechenvorrichtung, einer Zeitreihe von teilgenauen Werten als Reaktion auf Trainieren des Maschinenlernnetzes mit dem mit dem einen oder den mehreren optimierten Konfigurationsparametern konfigurierten Trainingsalgorithmus.
Computerlesbares Ablagemedium oder mehrere computerlesbare Ablagemedien, die eine Vielzahl von Anweisungen umfassen, die, als Reaktion darauf, ausgeführt zu werden, eine Rechenvorrichtung veranlassen zum: Trainieren eines Maschinenlernnetzes mit einem Trainingsalgorithmus, wobei der Trainingsalgorithmus mit einem oder mehreren Konfigurationsparametern konfiguriert ist; Aufnehmen einer Zeitreihe von teilgenauen Werten als Reaktion auf Trainieren des Maschinenlernnetzes, wobei jeder teilgenaue Wert eine Maschinenlernnetzgenauigkeit bei einer assoziierten Trainingsiteration angibt; Eingeben des einen oder der mehreren Konfigurationsparameter in ein vorwärtsgekoppeltes neuronales Netz zum Erzeugen einer Repräsentation der Konfigurationsparameter; Eingeben der Repräsentation der Konfigurationsparameter in ein rückgekoppeltes neuronales Netz; Trainieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes gegen die Zeitreihe von teilgenauen Werten; und Optimieren, als Reaktion auf Trainieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes, des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes zum Bestimmen eines oder mehrerer optimierter Konfigurationsparameter.
Computerlesbares Ablagemedium oder mehrere computerlesbare Ablagemedien nach Anspruch 19, wobei Optimieren des rückgekoppelten neuronalen Netzes und des vorwärtsgekoppelten neuronalen Netzes Bestimmen des einen oder der mehreren optimierten Konfigurationsparameter zum Minimieren der Trainingszeit zum Erreichen eines vorbestimmten Genauigkeitsniveaus umfasst.
Computerlesbares Ablagemedium oder mehrere computerlesbare Ablagemedien nach Anspruch 19, ferner umfassend eine Vielzahl von Anweisungen, die als Reaktion darauf, ausgeführt zu werden, die Rechenvorrichtung veranlassen zum Trainieren des Maschinenlernnetzes mit mehreren parallelen Instanzen des Trainingsalgorithmus, wobei jede parallele Instanz des Trainingsalgorithmus mit einer anderen Menge von einem oder mehreren Konfigurationsparametern konfiguriert ist.
Computerlesbares Ablagemedium oder mehrere computerlesbare Ablagemedien nach Anspruch 21, ferner umfassend eine Vielzahl von Anweisungen, die, als Reaktion darauf, ausgeführt zu werden, die Rechenvorrichtung veranlassen zum Aufnehmen einer Zeitreihe von teilgenauen Werten für jede parallele Instanz des Trainingsalgorithmus.
Computerlesbares Ablagemedium oder mehrere computerlesbare Ablagemedien nach Anspruch 19, ferner umfassend eine Vielzahl von Anweisungen, die als Reaktion darauf, ausgeführt zu werden, die Rechenvorrichtung veranlassen zum parallelen Trainieren des Maschinenlernnetzes mit dem Trainingsalgorithmus durch mehrere verteilte Rechenknoten, wobei der Trainingsalgorithmus von jedem Rechenknoten mit einer anderen Menge von einem oder mehreren Konfigurationsparametern konfiguriert ist.
Computerlesbares Ablagemedium oder mehrere computerlesbare Ablagemedien nach Anspruch 19, ferner umfassend eine Vielzahl von Anweisungen, die als Reaktion darauf, ausgeführt zu werden, die Rechenvorrichtung veranlassen zum Trainieren des Maschinenlernnetzes mit dem Trainingsalgorithmus, wobei der Trainingsalgorithmus mit dem einen oder den mehreren optimierten Konfigurationsparametern konfiguriert ist.
Computerlesbares Ablagemedium oder mehrere computerlesbare Ablagemedien nach Anspruch 24, ferner umfassend eine Vielzahl von Anweisungen, die als Reaktion darauf, ausgeführt zu werden, die Rechenvorrichtung veranlassen zum Aufnehmen einer Zeitreihe von teilgenauen Werten als Reaktion auf Trainieren des Maschinenlernnetzes mit dem mit dem einen oder den mehreren optimierten Konfigurationsparametern konfigurierten Trainingsalgorithmus.