DE112021005569T5

DE112021005569T5 - Kontradiktorisches, halbüberwachtes one-shot-lernen

Info

Publication number: DE112021005569T5
Application number: DE112021005569.0T
Authority: DE
Inventors: Takayuki Katsuki; Takayuki Osogami
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2020-12-08
Filing date: 2021-11-24
Publication date: 2023-08-17
Also published as: WO2022123380A1; IL301852A; GB202309403D0; CA3194463A1; CN116635872A; MX2023006490A; KR20230097151A; JP2023552068A; AU2021396607B2; AU2021396607A1; US11875270B2; US20220180204A1; GB2616227A

Abstract

Ein Verfahren, ein Computerprogrammprodukt und ein System für kontradiktorisches, halbüberwachtes One-Shot-Training unter Verwendung eines Datenstroms. Das Verfahren umfasst ein Empfangen eines Datenstroms auf der Grundlage einer Beobachtung, wobei der Datenstrom ungekennzeichnete Daten und gekennzeichnete Daten umfasst. Das Verfahren umfasst auch ein Trainieren eines Vorhersagemodells mit den gekennzeichneten Daten unter Verwendung von stochastischem Gradientenabstieg auf der Grundlage eines Klassifizierungsverlusts und eines kontradiktorischen Terms und ein Trainieren eines Darstellungsmodells mit den gekennzeichneten Daten und den ungekennzeichneten Daten auf der Grundlage eines Wiederherstellungsverlusts und des kontradiktorischen Terms. Bei dem kontradiktorischen Term handelt es sich um eine Kreuzentropie zwischen den Ausgabedaten der mittleren Schicht der Modelle. Bei dem Klassifizierungsverlust handelt es sich um eine Kreuzentropie zwischen den gekennzeichneten Daten und einer Ausgabe des Vorhersagemodells. Das Verfahren umfasst darüber hinaus ein Aktualisieren eines Diskriminators mit Ausgabedaten der mittleren Schicht des Vorhersagemodells und des Darstellungsmodells sowie auf der Grundlage eines Unterscheidungsverlusts und ein Verwerfen des Datenstroms.

Description

HINTERGRUND
Die vorliegende Offenbarung betrifft kontradiktorisches Lernen und insbesondere kontradiktorisches, halbüberwachtes One-Shot-Lernen unter Verwendung eines Datenstroms.
Bei kontradiktorischem Lernen handelt es sich um einen Trainingsprozess des maschinellen Lernens, bei dem zwei Modelle versuchen, sich gegenseitig zu schwächen und infolgedessen die von jedem Modell getroffenen Vorhersagen zu verbessern. Bei einem generativen kontradiktorischen Netz handelt es sich um einen gängigen kontradiktorischen Lernansatz, bei dem zwei miteinander konkurrierende neuronale Netze verwendet werden. Ausgehend von einem Trainingssatz lernt diese Technik, neue Daten mit denselben Statistiken wie der Trainingssatz zu generieren. Das Trainieren umfasst ein indirektes Trainieren durch die Verwendung eines Diskriminators, wobei die neuronalen Netze so trainiert werden, dass sie den Diskriminator täuschen.
Bei One-Shot-Lernen handelt es sich um eine Form des maschinellen Lernens, bei der Daten erhalten werden, ein Modell mit diesen Daten trainiert wird und die Daten dann verworfen werden. Die Daten werden nach einem Trainingszyklus nicht gespeichert. Von daher liegt der Schwerpunkt auf Algorithmen, die den Wissenstransfer unterstützen, wobei Vorkenntnisse über erlernte Kategorien genutzt werden und das Lernen an minimalen Trainingsbeispielen möglich ist. Eine Möglichkeit des Wissenstransfers besteht in der Wiederverwendung von Modellparametern beruhend auf der Ähnlichkeit zwischen zuvor und neu erlernten Klassen.
KURZDARSTELLUNG
Ausführungsformen der vorliegenden Offenbarung umfassen ein auf einem Computer ausgeführtes Verfahren zum kontradiktorischen, halbüberwachten One-Shot-Training unter Verwendung eines Datenstroms. Das auf einem Computer ausgeführte Verfahren umfasst ein Empfangen eines Datenstroms auf der Grundlage einer Beobachtung, wobei der Datenstrom ungekennzeichnete Daten und gekennzeichnete Daten umfasst. Das auf einem Computer ausgeführte Verfahren umfasst auch ein Trainieren eines Vorhersagemodells mit den gekennzeichneten Daten unter Verwendung von stochastischem Gradientenabstieg auf der Grundlage eines Klassifizierungsverlusts und eines kontradiktorischen Terms und ein Trainieren eines Darstellungsmodells mit den gekennzeichneten Daten und den ungekennzeichneten Daten auf der Grundlage eines Wiederherstellungsverlusts und des kontradiktorischen Terms. Bei dem kontradiktorischen Term handelt es sich um eine Kreuzentropie zwischen den Ausgabedaten der mittleren Schicht der Modelle. Bei dem Klassifizierungsverlust handelt es sich um eine Kreuzentropie zwischen den gekennzeichneten Daten und einer Ausgabe des Vorhersagemodells. Das auf einem Computer ausgeführte Verfahren umfasst darüber hinaus ein Aktualisieren eines Diskriminators mit Ausgabedaten der mittleren Schicht des Vorhersagemodells und des Darstellungsmodells sowie auf der Grundlage eines Unterscheidungsverlusts und ein Verwerfen des Datenstroms.
Zusätzliche Ausführungsformen der vorliegenden Offenbarung umfassen ein Computerprogrammprodukt für kontradiktorisches, halbüberwachtes One-Shot-Training unter Verwendung eines Datenstroms, das ein durch einen Computer lesbares Speichermedium mit darauf enthaltenen Programmanweisungen umfassen kann, wobei die Programmanweisung durch einen Prozessor ausführbar ist, um den Prozessor zu veranlassen, ein Verfahren durchzuführen. Das Verfahren umfasst ein Empfangen eines Datenstroms auf der Grundlage einer Beobachtung, wobei der Datenstrom ungekennzeichnete Daten und gekennzeichnete Daten umfasst. Das Verfahren umfasst auch ein Trainieren eines Vorhersagemodells mit den gekennzeichneten Daten unter Verwendung von stochastischem Gradientenabstieg auf der Grundlage eines Klassifizierungsverlusts und eines kontradiktorischen Terms und ein Trainieren eines Darstellungsmodells mit den gekennzeichneten Daten und den ungekennzeichneten Daten auf der Grundlage eines Wiederherstellungsverlusts und des kontradiktorischen Terms. Bei dem kontradiktorischen Term handelt es sich um eine Kreuzentropie zwischen den Ausgabedaten der mittleren Schicht der Modelle. Bei dem Klassifizierungsverlust handelt es sich um eine Kreuzentropie zwischen den gekennzeichneten Daten und einer Ausgabe des Vorhersagemodells. Das Verfahren umfasst darüber hinaus ein Aktualisieren eines Diskriminators mit Ausgabedaten der mittleren Schicht des Vorhersagemodells und des Darstellungsmodells sowie auf der Grundlage eines Unterscheidungsverlusts und ein Verwerfen des Datenstroms.
Weitere Ausführungsformen sind auf ein System zum kontradiktorischen, halbüberwachten One-Shot-Training unter Verwendung eines Datenstroms gerichtet. Das System umfasst einen Speicher, einen Prozessor, einen lokalen Datenspeicher, auf dem ein durch einen Computer ausführbarer Code gespeichert ist, um die vorstehend beschriebenen Verfahren durchzuführen. Das System umfasst auch ein Vorhersagemodell, das so konfiguriert ist, dass es ein Fahrzeugverhalten vorhersagt, wobei das Vorhersagemodell mit gekennzeichneten Daten aus einem Datenstrom unter Verwendung von stochastischem Gradientenabstieg auf der Grundlage eines Klassifizierungsverlusts und eines kontradiktorischen Terms trainiert wird. Das System umfasst auch ein Darstellungsmodell, das so konfiguriert ist, dass es das Fahrzeugverhalten vorhersagt, wobei das Darstellungsmodell mit ungekennzeichneten Daten und den gekennzeichneten Daten aus dem Datenstrom auf der Grundlage eines Wiederherstellungsverlusts und des kontradiktorischen Terms trainiert wird. Das System umfasst darüber hinaus einen Diskriminator, der so konfiguriert ist, dass er von dem Vorhersagemodell und dem Darstellungsmodell getroffene Vorhersagen vorhersagt, wobei der Diskriminator mit Ausgabedaten der mittleren Schicht des Vorhersagemodells und des Darstellungsmodells sowie auf der Grundlage eines Unterscheidungsverlusts trainiert wird. Es ist nicht beabsichtigt, in der vorliegenden Zusammenfassung jeden Aspekt, jede Umsetzung und/oder jede Ausführungsform der vorliegenden Offenbarung zu veranschaulichen.
Figurenliste
Diese und andere Merkmale, Aspekte und Vorteile der Ausführungsformen der Offenbarung werden anhand der folgenden Beschreibung, der beigefügten Ansprüche und der beigefügten Zeichnungen besser verständlich, wobei:

1 ein Blockschaubild ist, das ein kontradiktorisches, halbüberwachtes One-Shot-Lernsystem gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
2 ist ein Ablaufplan, der einen Prozess eines kontradiktorischen, halbüberwachten One-Shot-Lernsystems gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
3 ist ein Blockschaltbild auf hoher Ebene, das ein beispielhaftes Computersystem veranschaulicht, das beim Umsetzen eines oder mehrerer der hierin beschriebenen Verfahren, Werkzeuge und Module sowie aller damit verbundenen Funktionen gemäß Ausführungsformen der vorliegenden Offenbarung verwendet werden kann.
4 stellt eine Cloud-Computing-Umgebung gemäß Ausführungsformen der vorliegenden Offenbarung dar.
5 stellt Abstraktionsmodellschichten gemäß Ausführungsformen der vorliegenden Offenbarung dar.

Zwar ist die vorliegende Offenbarung für verschiedene Abänderungen und alternative Formen offen, in den Zeichnungen sind deren Einzelheiten jedoch beispielhaft gezeigt und werden ausführlich beschrieben. Es sollte allerdings klar sein, dass die Absicht nicht darin besteht, die beschriebenen Ausführungsformen einzuschränken. Im Gegenteil, die Absicht besteht darin, alle Abänderungen, Entsprechungen und Alternativen abzudecken, die in den Umfang der vorliegenden Offenbarung fallen. Gleiche Bezugszahlen werden in den beigefügten Zeichnungen zum Kennzeichnen gleicher Teile verwendet.
AUSFÜHRLICHE BESCHREIBUNG
Die vorliegende Offenbarung betrifft kontradiktorisches Lernen und insbesondere kontradiktorisches, halbüberwachtes One-Shot-Lernen unter Verwendung eines Datenstroms. Zwar ist die vorliegende Offenbarung nicht notwendigerweise auf derartige Anwendungen beschränkt, verschiedene Aspekte der Offenbarung können jedoch durch eine Erörterung verschiedener Beispiele unter Verwendung dieses Kontextes verstanden werden.
Autonome Fahrzeuge können durch die Verwendung von Sensoren, die in dem Fahrzeug umgesetzt sind, mögliche Unfälle reduzieren und die Verkehrssicherheit erhöhen. Durch die Verwendung von Sensoranalysen kann ein autonomes Fahrzeug den aktuellen Zustand anderer Fahrzeuge verstehen und deren zukünftiges Verhalten proaktiv vorhersehen. Zusätzlich können Vorhersagen nicht nur über andere Fahrzeuge, sondern auch über Fußgänger, Wetterbedingungen sowie die Aufmerksamkeit des Bedieners getroffen werden. Zum Beispiel können Sensordaten zum Vorhersagen von Unfallrisiken und der Schläfrigkeit des Bedieners verwendet werden.
Die Sensoren überwachen kontinuierlich verschiedene Bedingungen und melden diese an das autonome Fahrzeug, wodurch ein Datenstrom an Informationen generiert wird. Diese Informationen können durch das Fahrzeug oder durch einen Cloud-Dienst analysiert werden, und das Fahrzeug kann auf der Grundlage der Sensordaten entscheiden, ob eine Aktion erforderlich ist. Zum Beispiel kann das autonome Fahrzeug Aktionen wie zum Beispiel die Bremsen betätigen, die Scheinwerfer einschalten, einem Gegenstand ausweichen, beschleunigen und dergleichen mehr durchführen.
Üblicherweise werden Modelle des maschinellen Lernens, die von autonomen Fahrzeugen verwendet werden, trainiert, wenn eine ausreichende Anzahl von Trainingsdaten-Abtastwerten mit korrekten Bezeichnungen zur Verfügung steht. Diese Art des Trainierens kann als Batch-Lernen bezeichnet werden. Beim Batch-Lernen werden Daten (z.B. der Datenstrom aus den Beobachtungen der Sensoren) in bestimmten Intervallen gesammelt. Zum Beispiel können die Intervalle jede Sekunde, jede Minute, einmal am Tag und dergleichen betragen. Die Intervalle können auch auf dem Typ des Sensors und dem beobachteten Sensormesswert beruhen.
Beim Trainieren von Modellen des maschinellen Lernens für autonome Fahrzeuge gibt es jedoch Einschränkungen; das Batch-Lernen erfordert die Verwendung von Daten aus der Vergangenheit für jeden Trainingsdurchlauf, was große Rechenressourcen erfordert. In Datenströmen können sich in kurzer Zeit riesige Datenmengen ansammeln, und es ist unter Umständen nicht möglich, alle diese Daten über einen langen Zeitraum aufzubewahren. Zusätzlich kann es sein, dass die Modelle nicht so häufig aktualisiert werden, da gekennzeichnete Daten möglicherweise über lange Zeiträume hinweg nicht verfügbar sind.
Ausführungsformen der vorliegenden Offenbarung können die vorstehenden und andere Probleme überwinden, indem sie ein kontradiktorisches, halbüberwachtes One-Shot-Lernsystem verwenden. Das kontradiktorische, halbüberwachte One-Shot-Lernsystem kann Modelle des maschinellen Lernens unter Verwendung eines Datenstroms trainieren und den Datenstrom nach Beendigung des Trainingszyklus verwerfen. Zusätzlich muss der Datenstrom nicht unbedingt immer gekennzeichnet sein. Da gekennzeichnete Daten nicht unbedingt immer zur Verfügung stehen, kann das kontradiktorische, halbüberwachte One-Shot-Lernsystem seine Modelle des maschinellen Lernens für einige Trainingszyklen lediglich mit ungekennzeichneten Daten trainieren. Die nützlichen Informationen über die ungekennzeichneten Daten können in einem unüberwachten Darstellungsmodell gespeichert werden. Wenn gekennzeichnete Daten verfügbar sind, kann ein überwachtes Vorhersagemodell trainiert werden. Während dieser Trainingszyklen wird ein kontradiktorisches Diskriminatormodell umgesetzt, um die Vorhersagen jedes Modells zu verbessern.
Genauer gesagt, kann das kontradiktorische, halbüberwachte One-Shot-Lernsystem einen von einem autonomen Fahrzeug generierten Datenstrom nutzen und diese Informationen als Trainingsdaten verwenden. Die ungekennzeichneten Daten können zum Trainieren eines Darstellungsmodells des maschinellen Lernens verwendet werden, und die gekennzeichneten Daten, sofern vorhanden, können zum Trainieren eines Vorhersagemodells des maschinellen Lernens verwendet werden. Beide Modelle werden so trainiert, dass sie ein Diskriminatormodell täuschen, das anhand von Daten trainiert wird, die aus den mittleren Schichten der Darstellungs- und Vorhersagemodelle stammen. Durch diesen Prozess wird das Vorhersagemodell so eingeschränkt, dass es ähnliche Vorhersagen wie das Darstellungsmodell trifft und umgekehrt. Sobald der Trainingszyklus abgeschlossen ist, wird der Datenstrom verworfen, um Rechenressourcen zu schonen.
In einigen Ausführungsformen handelt es sich bei dem Darstellungsmodell um einen Autocodierer, der auf einem neuronalen Netz beruht. Ein Autocodierer umfasst eine codierende Komponente und eine decodierende Komponente. Dieses Format hilft dem Repräsentationsmodell, die aus dem Datenstrom erlernten relevanten Informationen zu speichern, ohne dass diese Informationen in nachfolgenden Trainingszyklen beibehalten werden müssen. Das Repräsentationsmodell kann mit ungekennzeichneten Daten und gekennzeichneten Daten, die den Datenstrom betreffen, sowie auf der Grundlage eines Wiederherstellungsverlusts und eines kontradiktorischen Terms, die zum Zeitpunkt des Trainings berechnet werden, trainiert werden.
In einigen Ausführungsformen handelt es sich bei dem Vorhersagemodell um ein neuronales Netz, das für die gekennzeichneten Trainingsdaten einen stochastischen Gradientenabstieg verwendet. Der stochastische Gradientenabstieg folgt einem negativen Gradienten eines Ziels, nachdem er nur ein einziges oder einige wenige Trainingsabtastwerte gesehen hat. Zusätzlich wird die Verwendung von stochastischem Gradientenabstieg in einer Umgebung mit neuronalen Netzen durch die hohen Kosten begründet, die beim Ausführen der Rückwärtspropagierung über einen vollständigen Trainingssatz anfallen. Der stochastische Gradientenabstieg kann diese Kosten umgehen und führt gleichzeitig zu einer schnellen Konvergenz der Daten. Das Vorhersagemodell kann auch einen stochastischen Gradientenabstieg auf der Grundlage eines Klassifizierungsverlustes und eines kontradiktorischen Terms, die zum Zeitpunkt des Trainierens berechnet werden, verwenden.
In einigen Ausführungsformen handelt es sich bei dem Diskriminator um ein neuronales Netz, das so konfiguriert ist, dass es zwischen Ausgaben der mittleren Schicht des Vorhersagemodells und Ausgaben der mittleren Schicht des Darstellungsmodells unterscheidet. Die Unterscheidung kann auch auf einem zum Zeitpunkt des Trainierens berechneten Unterscheidungsverlust beruhen. Zum Beispiel kann es sich bei der Ausgabe der mittleren Schicht des Darstellungsmodells um die Ausgabe handeln, die nach dem Codieren eines Abtastwerts erzeugt wird.
Bei kontradiktorischem Lernen handelt es sich um einen Trainingsprozess des maschinellen Lernens, bei dem zwei Modelle versuchen, sich gegenseitig zu schwächen und infolgedessen die von jedem Modell getroffenen Vorhersagen zu verbessern. Bei einem generativen kontradiktorischen Netz handelt es sich um einen gängigen kontradiktorischen Lernansatz, bei dem zwei miteinander konkurrierende neuronale Netze verwendet werden. Ausgehend von einem Trainingssatz lernt diese Technik, neue Daten mit denselben Statistiken wie der Trainingssatz zu generieren. Das Trainieren umfasst ein indirektes Trainieren durch die Verwendung eines Diskriminators, wobei die neuronalen Netze so trainiert werden, dass sie den Diskriminator täuschen.
Bei One-Shot-Lernen handelt es sich um eine Form des maschinellen Lernens, bei der Daten erhalten werden, ein Modell mit diesen Daten trainiert wird und die Daten dann verworfen werden. Die Daten werden nach einem Trainingszyklus nicht gespeichert. Von daher liegt der Schwerpunkt auf Algorithmen, die den Wissenstransfer unterstützen, wobei Vorkenntnisse über erlernte Kategorien genutzt werden und das Lernen an minimalen Trainingsbeispielen möglich ist. Eine Möglichkeit des Wissenstransfers besteht in der Wiederverwendung von Modellparametern beruhend auf der Ähnlichkeit zwischen zuvor und neu erlernten Klassen.
Unter Bezugnahme auf 1 ist ein Blockschaubild auf hoher Ebene eines kontradiktorischen halbüberwachten One-Shot-Lernsystems 100 für ein kontradiktorisches, halbüberwachtes One-Shot-Training unter Verwendung eines Datenstroms gemäß Ausführungsformen der vorliegenden Offenbarung gezeigt. Das kontradiktorische, halbüberwachte One-Shot-Lernsystem 100 umfasst einen Trainingsdatensatz 110, ein Vorhersagemodell 120, ein Darstellungsmodell 130 und einen Diskriminator 140. Das Darstellungsmodell 130 umfasst einen Codierer 133 und einen Decoder 136.
Bei dem Trainingsdatensatz 110 handelt es sich um eine Komponente des kontradiktorischen, halbüberwachten One-Shot-Lernsystems 100, die zur Verwendung zum Trainieren des Vorhersagemodells 120 und des Darstellungsmodells 130 konfiguriert ist. Der Trainingsdatensatz 110 umfasst ungekennzeichnete und gekennzeichnete Daten, die aus einem Datenstrom generiert werden. Bei dem Datenstrom kann es sich um Informationen handeln, die von Sensoren an einem Fahrzeug erfasst werden. Zum Beispiel umfassen die Sensoren zum Beispiel 3-Achsen-Sensoren, Kameras, Radar- und Lidar-Sensoren, die über das komplette Fahrzeug verteilt angebracht sind und während des Betriebs des Fahrzeugs Sensordaten sammeln. Die 3-Achsen-Sensoren können Informationen über Geschwindigkeit, Winkel, Breiten- und Längengrad für einen Fahrtenschreiber umfassen. Die durch diese Sensoren erfassten Informationen können als ein Datenstrom betrachtet werden, der als Trainingsdatensatz 110 verwendet werden kann. In einigen Ausführungsformen kann ein Bediener des Fahrzeugs Abtastwerte aus dem Datenstrom kennzeichnen. Das Fahrzeug kann mit einem Cloud-Dienst verbunden sein, der den Bediener auffordern kann, Informationen über ein vergangenes Fahrzeugverhalten oder Ereignis bereitzustellen. Zum Beispiel kann ein Bediener Informationen über ein Ereignis wie zum Beispiel einen Unfall, einen Gegenstand, eine Geschwindigkeit und dergleichen bereitstellen. Die bereitgestellten Informationen können verwendet werden, um den Abtastwert zu kennzeichnen und diesen gekennzeichneten Abtastwert in den Trainingsdatensatz 110 einzubeziehen. Andernfalls können die aus dem Datenstrom generierten Abtastwerte ungekennzeichnet bleiben. Daher umfasst der Trainingsdatensatz 110 sowohl einen gekennzeichneten Datensatz als auch einen ungekennzeichneten Datensatz. Der gekennzeichnete Datensatz umfasst die von einem Bediener bereitgestellten gekennzeichneten Abtastwerte, und der ungekennzeichnete Datensatz umfasst Abtastwerte, die aus dem Datenstrom generiert werden.
Bei dem Vorhersagemodell 120 handelt es sich um eine Komponente des kontradiktorischen, halbüberwachten One-Shot-Lernsystems 100, das so konfiguriert ist, dass es ein auf Sensordaten beruhendes Fahrzeugverhalten ausgibt. Bei dem Vorhersagemodell 120 handelt es sich um ein Modell des maschinellen Lernens, das anhand des gekennzeichneten Datensatzes aus dem Trainingsdatensatz 110 trainiert wird. Das Fahrzeugverhalten umfasst zum Beispiel Beschleunigung, Abbremsung, Umgehung von Gegenständen, Umdrehen, Einhaltung der Fahrspur und dergleichen. Das Fahrzeugverhalten kann durch das Vorhersagemodell 120 auf der Grundlage der von einem Fahrzeug gesammelten Sensordaten vorhergesagt werden. Wenn zum Beispiel die Sensordaten einen Gegenstand auf der Fahrbahn erkennen, kann das Vorhersagemodell 120 ein Fahrzeugverhalten vorhersagen, bei dem der erkannte Gegenstand umfahren wird.
Das Vorhersagemodell 120 kann verschiedene Techniken des maschinellen Lernens einsetzen, um ein auf Sensorinformationen beruhendes Fahrzeugverhalten zu bestimmen. Techniken des maschinellen Lernens können Algorithmen oder Modelle aufweisen, die durch ein Durchführen eines überwachten Trainings anhand eines Datensatzes und anschließendes Anwenden des generierten Algorithmus oder Modells erzeugt werden, um eine bedingte Wahrscheinlichkeit für ein Fahrzeugverhalten zu generieren. Zu Algorithmen des maschinellen Lernens gehören Entscheidungsbaum-Lernen, Assoziationsregel-Lernen, künstliche neuronale Netze, Deep Learning, induktive logische Programmierung, Stützvektormaschinen, Clustering, Bayessche Netze, verstärktes Lernen, Repräsentationslernen, Ähnlichkeits-/Metrik-Training, Sparse Dictionary Learning, genetische Algorithmen, auf Regeln beruhendes Lernen und/oder andere Techniken des maschinellen Lernens, ohne darauf beschränkt zu sein.
Zum Beispiel können die Algorithmen des maschinellen Lernens eine oder mehrere der folgenden beispielhaften Techniken einsetzen: K-Nächster Nachbar (KNN), lernende Vektorquantisierung (LVQ), selbstorganisierende Karte (SOM), logistische Regression, gewöhnliche Regression der kleinsten Quadrate (OLSR), lineare Regression, schrittweise Regression, multivariater adaptiver Regressionsspline (MARS), Ridge-Regression, kleinster absoluter Schrumpfungs- und Auswahloperator (LASSO), elastisches Netz, Least Angle Regression (LARS), probabilistischer Klassifikator, naiver Bayes-Klassifikator, binärer Klassifikator, linearer Klassifikator, hierarchischer Klassifikator, kanonische Korrelationsanalyse (CCA), Faktorenanalyse, unabhängige Komponentenanalyse (ICA), Hidden-Markov-Modelle, Gaußsche naive Bayes, multinomiale naive Bayes, gemittelte Ein-Abhängigkeits-Schätzer (AODE), Bayessches Netz (BN), Klassifizierungs- und Regressionsbaum (CART), neuronale Netze mit Vorwärtssteuerung, logische Lernmaschine, selbstorganisierende Karte, Single-Linkage-Clustering, Fuzzy-Clustering, hierarchisches Clustering, Boltzmann-Maschinen, faltende neuronale Netze, rekurrente neuronale Netze, hierarchisches temporales Gedächtnis (HTM) und/oder andere Techniken des maschinellen Lernens.
In einigen Ausführungsformen handelt es sich bei dem Vorhersagemodell 120 um ein neuronales Netz, das auf der Grundlage der nachstehend beschriebenen Gleichung 1 trainiert wird: $min_{M_{C l a}} - \frac{1}{N K} \sum_{i = 1}^{N} \sum_{i - 1}^{K} y_{i}^{(k)} l n M_{C l a} {(x_{i})}^{(k)} + \frac{1}{N} \sum_{i = 1}^{N} ln M_{D i s} (h_{C l a} (x_{i}))$
wobei M_cla für das Vorhersagemodell 120 steht. Der gekennzeichnete Datensatz wird als ein Vektor von Eingaben dargestellt, die als x ∈ ℝ^D(D ∈ ℕ) dargestellt werden, um ein Fahrzeugverhalten vorherzusagen, das als Zielkennzeichnung y dargestellt wird. M_Dis steht für den Diskriminator 140. $\frac{1}{N K} \sum_{i = 1}^{N} \sum_{i = 1}^{K} y_{i}^{(k)} l n M_{C l a} {(x_{i})}^{(k)}$
steht für einen Klassifikationsverlust während des Trainierens, und $\frac{1}{N} \sum_{i = 1}^{N} ln M_{D i s} (h_{C l a} (x_{i}))$
steht für einen kontradiktorischen Term. N steht für die Anzahl von Abtastwerten. K steht für die Anzahl von Klassen. Gleichung 1 kann verwendet werden, um jeden gekennzeichneten Abtastwert in dem Trainingsdatensatz 110 unter Verwendung von stochastischem Gradientenabstieg zu optimieren. Für jede Datenbeobachtung in dem Strom wird Gleichung 1 unter Verwendung von stochastischem Gradientenabstieg (SGD) minimiert, wenn es sich um einen gekennzeichneten Abtastwert handelt, indem Parameter in dem neuronalen Netz von M_Cla eingestellt werden, wobei der Klassifizierungsverlust erfordert, dass die Vorhersage durch M_Cla so nahe wie möglich an der Zielkennzeichnung y liegt, und der kontradiktorische Term erfordert, dass die Ausgaben der mittleren Schicht des Vorhersagemodells h_Cla (x_i) so nahe wie möglich an den Ausgaben der mittleren Schicht des Darstellungsmodells h_Enc(x_i) liegen.
Nach dem Trainieren unter Verwendung von gekennzeichneten Daten erstellt das Vorhersagemodell 120 eine Vorhersage eines Fahrzeugverhaltens und versucht, die Fehlerquote des Diskriminators 140 zu erhöhen. Die Fehlerquote wird dadurch erhöht, dass Vorhersagen zum Fahrzeugverhalten, von denen der Diskriminator 140 glaubt, dass sie durch das Darstellungsmodell 130 erstellt wurden, erzeugt werden.
Bei dem Darstellungsmodell 130 handelt es sich um eine Komponente des kontradiktorischen, halbüberwachten One-Shot-Lernsystems 100, das so konfiguriert ist, dass es Informationen über frühere, ungekennzeichnete Daten speichert. In einigen Ausführungsformen handelt es sich bei dem Darstellungsmodell 130 um ein neuronales Netz mit Autocodierer, das einen Codierer 133 und einen Decoder 136 umfasst. Das Darstellungsmodell 130 kann eine Abbildung von hochdimensionalen Beobachtungen (z.B. ungekennzeichnete Daten) auf einen niederdimensionalen Darstellungsraum erlernen, so dass die ursprünglichen Beobachtungen aus der niederdimensionalen Darstellung näherungsweise wiederhergestellt werden können. Der Codierer 133 des Darstellungsmodells 130 kann eine Darstellung für die ungekennzeichneten Daten erlernen, indem er das Netz so trainiert, dass es mögliches Rauschen ignoriert. Während der Decoder 136 auf der Grundlage der durch den Codierer 133 erzeugten verringerten Codierung eine Darstellung generieren kann, die der ursprünglichen Eingabe so nahe wie möglich kommt. Im Wesentlichen bildet der Codierer 133 die ungekennzeichneten Daten in dem Code des Darstellungsmodells 130 ab, und der Decoder 136 bildet den Code auf eine Wiederherstellung der ursprünglichen, ungekennzeichneten Daten ab.
Das Darstellungsmodell 130 kann Varianten eines Autocodierers umsetzen, um Informationen über die früheren, ungekennzeichneten Daten zu speichern. Diese Varianten umfassen zum Beispiel regularisierte Autocodierer und Variations-Autocodierer. Die regularisierten Autoencoder umfassen zum Beispiel Sparse Autoencoder (SAE), Denoising Autoencoder (DAE) und Contractive Autoencoder (CAE). SAEs können mehr verborgene Einheiten als Eingaben lernen, wobei nur eine kleine Anzahl von verborgenen Einheiten gleichzeitig aktiv sein kann. Konkret umfasst ein SAE ein Trainingskriterium, das mit einer Strafe wegen Spärlichkeit (sparsity penalty) innerhalb der Codeschicht einhergeht. Eine Variante eines SAE umfasst einen k-sparse-Codierer, der manuell alle Aktivierungen außer den stärksten versteckten Einheiten auf Null setzt. Die Ermittlung der Aktivierungen der stärksten versteckten Einheiten kann durch Sortieren der Aktivitäten und Beibehaltung lediglich der ersten k Werte erreicht werden. Ein DAE kann eine teilweise verfälschte Eingabe verwenden und die unverfälschte Eingabe durch Entrauschen der Eingabe wiederherstellen.
Bei Variations-Autocodierern handelt es sich um generative Modelle, wie generative kontradiktorische Netze. Bei Variations-Autoencodern handelt es sich um gerichtete probabilistische grafische Modelle, deren Posterior durch ein neuronales Netz aus einer autocodiererähnlichen Architektur näherungsweise berechnet wird.
In einigen Ausführungsformen wird das Darstellungsmodell 130 wie in der unten definierten Gleichung 2 beschrieben trainiert: $min_{M_{D e c}, M_{E n c}} \frac{1}{N} \sum_{i = 1}^{N} {‖ x_{i} - M_{D e c} (x_{i}) ‖}_{2}^{2} + \frac{1}{N} ln (1 - M_{D i s} (h_{E n c} (x_{i})))$
wobei M_Dec den Decoder 136 darstellt, und M_Enc den Codierer 133 darstellt. Der gekennzeichnete Datensatz wird als ein Vektor von Eingaben dargestellt, die als x ∈ ℝ.^D (D ∈ ℕ) dargestellt werden, um ein Fahrzeugverhalten vorherzusagen, das als Zielkennzeichnung y dargestellt wird, und zwar unter Verwendung des ungekennzeichneten Datensatzes als Vektor von Eingaben x. M_Dis steht für den Diskriminator 140. $\frac{1}{N} {\sum_{i = 1}^{N} ‖ x_{i} - M_{D e c} (M_{E n c} (x_{i})) ‖}_{2}^{2}$

steht für einen Wiederherstellungsverlust beim Trainieren, und $\frac{1}{N} \sum_{i = 1}^{N} ln (1 - M_{D i s} (h_{E n c} (x_{i})))$
steht für einen kontradiktorischen Term. N steht für die Anzahl von Abtastwerten. Gleichung 2 kann verwendet werden, um jeden gekennzeichneten und ungekennzeichneten Abtastwert in dem Trainingsdatensatz 110 unter Verwendung von stochastischem Gradientenabstieg zu optimieren. Für jede Datenbeobachtung in dem Datenstrom wird Gleichung 2 unter Verwendung von stochastischem Gradientenabstieg (SGD) minimiert, indem Parameter in dem aus dem Codierer M_Enc und dem Decoder M_Decbestehenden Autocodierer eingestellt werden, wobei der Wiederherstellungsverlust erfordert, dass die Wiederherstellung durch M_Enc und M_Dec , M_Dis(h_Enc(x)) so nahe wie möglich an den Eingaben x liegt, und der kontradiktorische Term erfordert, dass die Ausgaben der mittleren Schicht des Darstellungsmodells h_Enc(x_i) so nahe wie möglich an den Ausgaben der mittleren Schicht des Vorhersagemodells h_Cla(x_i) liegen.
Nach dem Trainieren erstellt das Darstellungsmodell 130 eine Vorhersage des Fahrzeugverhaltens und versucht, die Fehlerquote des Diskriminators 140 zu erhöhen. Die Fehlerquote wird dadurch erhöht, dass Vorhersagen zum Fahrzeugverhalten, von denen der Diskriminator glaubt, dass sie durch das Vorhersagemodell 120 erstellt wurden, erzeugt werden.
Bei dem Diskriminator 140 handelt es sich um eine Komponente des kontradiktorischen, halbüberwachten One-Shot-Lernsystems, die so konfiguriert ist, dass sie von dem Vorhersagemodell 120 und dem Darstellungsmodell 130 getroffene Vorhersagen unterscheidet. Der Diskriminator 140 ermöglicht ein Trainieren des Vorhersagemodells 120 und des Darstellungsmodells 130, indem er darauf abzielt, zwischen Vorhersagen des Fahrzeugverhaltens zu unterscheiden, die entweder durch das Vorhersagemodell 120 oder das Darstellungsmodell 130 erstellt werden. Zum Beispiel sagt der Diskriminator 140 vorher, welches der Modelle die Vorhersage erzeugt hat. Das Vorhersagemodell 120 und das Darstellungsmodell 130 konkurrieren mit dem Diskriminator 140, wobei das Vorhersagemodell 120 und das Darstellungsmodell 130 so angepasst oder anderweitig optimiert werden, dass sie Fahrzeugverhaltensvorhersagen bereitstellen, die den Fahrzeugvorhersagen des jeweils anderen so weit wie möglich entsprechen - wodurch die Fehlerquote des Diskriminators 140 erhöht wird. Während des Trainingsprozesses wird der Diskriminator 140 unter Verwendung der Ausgaben der mittleren Schicht trainiert, die durch das Vorhersagemodell 120 und das Darstellungsmodell 130 erzeugt werden. Zum Beispiel kann die vom Codierer 133 erzeugte Ausgabe dazu verwendet werden, den Diskriminator 140 so zu trainieren, dass er seine Erfolgsquote beim Unterscheiden von Vorhersagen zum Fahrzeugverhalten, die von den anderen Modellen getroffen werden, erhöht.
In einigen Ausführungsformen wird der Diskriminator 140 wie in der unten definierten Gleichung 3 beschrieben trainiert: $min_{M_{C l a}} - \frac{1}{N} \sum_{i = 1}^{N} l n M_{D i s} (h_{C l a} (x_{i})) - l n (1 - M_{D i s} (h_{E n c} (x_{i})))$
wobei M_Dis für den Diskriminator 140 steht und der Trainingsdatensatz 110 als Vektor von Eingaben dargestellt wird, die als x ∈ ℝ^D(D ∈ ℕ) dargestellt werden, um eine als Ziel y dargestellte Unterscheidung unter Verwendung des Trainingsdatensatzes als Vektor von Eingaben x vorherzusagen. $\frac{1}{N} \sum_{i = 1}^{N} l n M_{D i s} (h_{C l a} (x_{i})) - l n (1 - M_{D i s} (h_{E n c} (x_{i})))$
steht für einen Unterscheidungsverlust während des Trainierens. Gleichung 3 kann verwendet werden, um jeden gekennzeichneten und ungekennzeichneten Abtastwert in dem Trainingsdatensatz 110 unter Verwendung von stochastischem Gradientenabstieg zu optimieren. Zusätzlich steht h_Clα(x_i) für eine Ausgabe der mittleren Schicht, die von dem Vorhersagemodell 120 für die Kennzeichnung x_i erstellt wird, und h_Enc(x_i) steht für eine Ausgabe der mittleren Schicht, die von dem Darstellungsmodell 130 für die Kennzeichnung x_i erzeugt wird. N steht für die Anzahl von Abtastwerten. Für jede Datenbeobachtung in dem Datenstrom wird Gleichung 3 unter Verwendung von stochastischem Gradientenabstieg (SGD) minimiert, indem Parameter in dem Diskriminator M_Dis eingestellt werden, wobei der Unterscheidungsverlust erfordert, dass die Unterscheidung durch M_Dis die durch das Vorhersagemodell h_Cla (x_i) erzeugte Ausgabe der mittleren Schicht von der durch den Codierer h_Enc(x_i) erzeugten Ausgabe der mittleren Schicht so korrekt wie möglich unterscheidet.
Es wird darauf hingewiesen, dass 1 die charakteristischen Hauptkomponenten eines beispielhaften kontradiktorischen, halbüberwachten One-Shot-Lernsystems 100 darstellen soll. In einigen Ausführungsformen können jedoch einzelne Komponenten eine höhere oder niedrigere Komplexität aufweisen als in 1 dargestellt ist, es können andere als die in 1 gezeigten oder zusätzliche Komponenten vorliegen, und die Anzahl, Art und Konfiguration derartiger Komponenten kann variieren.
2 ist ein Ablaufplan, der einen Prozess 200 eines kontradiktorischen, halbüberwachten One-Shot-Lernsystems gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Der Prozess 200 kann durch Hardware, Firmware, Software, die auf einem Prozessor ausgeführt wird, Edge-Einheiten (z.B. ein Fahrzeug), Cloud-Dienste oder eine Kombination davon durchgeführt werden. Zum Beispiel können einige oder alle Schritte des Prozesses 200 von einem oder mehreren in einer Datenverarbeitungseinheit eingebetteten Prozessoren durchgeführt werden.
Der Prozess 200 beginnt damit, dass ein Datenstrom empfangen wird, der ein autonomes Fahrzeug betrifft. Der Datenstrom umfasst ungekennzeichnete und gekennzeichnete Daten, die aus einem Datenstrom generiert und als Trainingsdatensatz 110 verwendet werden. Dies ist bei Schritt 210 veranschaulicht. Bei dem Datenstrom kann es sich um Informationen handeln, die von Sensoren an einem Fahrzeug erfasst werden. Zum Beispiel umfassen die Sensoren zum Beispiel 3-Achsen-Sensoren, Kameras, Radar- und Lidar-Sensoren, die über das komplette Fahrzeug verteilt angebracht sind und während des Betriebs des Fahrzeugs Sensordaten sammeln. Ein Bediener des Fahrzeugs kann Abtastwerte aus dem Datenstrom kennzeichnen. Das Fahrzeug kann mit einem Cloud-Dienst verbunden sein, der den Bediener auffordern kann, Informationen über ein vergangenes Fahrzeugverhalten oder Ereignis bereitzustellen. Zum Beispiel kann ein Bediener Informationen über ein Ereignis wie zum Beispiel einen Unfall, einen Gegenstand, eine Geschwindigkeit und dergleichen bereitstellen. Die bereitgestellten Informationen können verwendet werden, um den Abtastwert zu kennzeichnen und diesen gekennzeichneten Abtastwert in den Trainingsdatensatz 110 einzubeziehen.
Das Vorhersagemodell 120 wird unter Verwendung des gekennzeichneten Datensatzes aus dem durch den Datenstrom erzeugten Trainingsdatensatz 110 trainiert. Dies ist bei Schritt 220 veranschaulicht. Das Vorhersagemodell 120 kann unter Verwendung von stochastischem Gradientenabstieg der gekennzeichneten Daten trainiert werden. Zusätzlich kann das Trainieren auf einem Klassifikationsverlust und einem kontradiktorischen Term beruhen. In einigen Ausführungsformen beruhen der Klassifikationsverlust und der kontradiktorische Term auf der vorstehend definierten Gleichung 1. Bei dem Klassifizierungsverlust kann es sich um eine Kreuzentropie zwischen dem gekennzeichneten Datensatz und den durch das Vorhersagemodell 120 erstellten Vorhersagen handeln. Bei dem kontradiktorischen Term kann es sich auch um eine Kreuzentropie zwischen einer Ausgabe der mittleren Schicht des Darstellungsmodells 130 und den vom Vorhersagemodell 120 erstellten Vorhersagen handeln. Während des Trainierens des Vorhersagemodells 120 wird der Klassifizierungsverlust minimiert, und der kontradiktorische Term wird während jedes Trainingszyklus maximiert, um die Leistung des Vorhersagemodells 120 zu verbessern.
Das Darstellungsmodell 130 wird unter Verwendung des durch den Datenstrom erzeugten Trainingsdatensatzes 110 trainiert. Dies ist bei Schritt 230 veranschaulicht. In einigen Ausführungsformen enthält der Trainingsdatensatz 110 lediglich einen ungekennzeichneten Datensatz. Das Darstellungsmodell 130 kann weiterhin lediglich unter Verwendung des ungekennzeichneten Datensatzes trainiert werden. Steht allerdings ein gekennzeichneter Datensatz zur Verfügung, kann das Darstellungsmodell 130 sowohl mit dem ungekennzeichneten Datensatz als auch mit dem gekennzeichneten Datensatz aus dem Trainingsdatensatz 110 trainiert werden. Das Darstellungsmodell 130 wird mit dem Trainingsdatensatz 110 unter Verwendung von stochastischem Gradientenabstieg anhand des Trainingsdatensatzes 110 trainiert. Zusätzlich kann das Trainieren auf einem Wiederherstellungsverlust und einem kontradiktorischen Term beruhen. In einigen Ausführungsformen beruhen der Wiederherstellungsverlust und der kontradiktorische Term auf der vorstehend definierten Gleichung 2. Bei dem Wiederherstellungsverlust kann es sich um einen quadrierten Verlust zwischen dem Trainingsdatensatz 110 und durch das Darstellungsmodell 130 erstellte Vorhersagen handeln. Bei dem kontradiktorischen Term kann es sich um eine Kreuzentropie zwischen den Ausgaben der mittleren Schicht des Vorhersagemodells 120 und den Vorhersagen des Darstellungsmodells 130 handeln. Während des Trainierens des Darstellungsmodells 130 wird der Wiederherstellungsverlust minimiert, und der kontradiktorische Term wird während jedes Trainingszyklus maximiert, um die Leistung des Darstellungsmodells 130 zu verbessern.
Der Diskriminator 140 wird unter Verwendung von Ausgaben der mittleren Schicht aktualisiert, die durch das Vorhersagemodell 120 und das Darstellungsmodell 130 erstellt werden. Dies ist bei Schritt 240 veranschaulicht. Ähnlich wie das Darstellungsmodell 130 kann der Diskriminator 140 auch dann trainiert werden, wenn nur ungekennzeichnete Datensätze verfügbar sind. Steht allerdings ein gekennzeichneter Datensatz zur Verfügung, so kann der Diskriminator 140 dennoch aktualisiert werden. Der Diskriminator 140 wird durch Anwenden von stochastischem Gradientenabstieg auf die durch das Vorhersagemodell 120 und das Darstellungsmodell 130 erzeugten Ausgaben der mittleren Schicht aktualisiert. Zusätzlich kann das Trainieren auf einem Unterscheidungsverlust beruhen. In einigen Ausführungsformen beruht der Unterscheidungsverlust auf der vorstehend definierten Gleichung 3. Bei dem Unterscheidungsverlust kann es sich um eine Kreuzentropie zwischen den Ausgaben der mittleren Schicht des Vorhersagemodells 120 und den Ausgaben der mittleren Schicht des Darstellungsmodells 130 handeln. Während des Aktualisierens des Diskriminators 140 wird der Unterscheidungsverlust während jedes Trainingszyklus minimiert, um die Leistung des Diskriminators 140 zu verbessern.
Die von dem Vorhersagemodell 120 und dem Darstellungsmodell 130 getroffenen Vorhersagen werden analysiert, um festzustellen, ob ihre Vorhersagen zum Fahrzeugverhalten zu einem Schwellenwert für die Unterscheidungsfehlerquote durch den Diskriminator 140 führen. Dies ist bei Schritt 250 veranschaulicht. Bei dem Schwellenwert für die Fehlerquote kann es sich um einen vorher festgelegten Schwellenwert handeln, der so festgelegt ist, dass die Modelle zufriedenstellend trainiert sind. Zum Beispiel kann der Schwellenwert für die Fehlerquote auf 75 % der Fehlerquote für die Vorhersagen des Diskriminators 140 festgelegt sein. Wenn der Diskriminator 140 nicht in der Lage ist, mit einer Quote von 75 % zu unterscheiden, welche Vorhersagen von einem der beiden Modelle getroffen wurden, können die Modelle als ausreichend trainiert betrachtet werden. Wenn die Modelle den Schwellenwert überschreiten, wird der Datenstrom verworfen, und das Trainieren ist abgeschlossen. Dies ist bei Schritt 260 veranschaulicht. Wurde der Schwellenwert allerdings nicht erreicht, kehrt der Trainingszyklus zu Schritt 210 zurück und wiederholt sich, bis das Trainieren dazu führt, dass die Modelle den Schwellenwert erreichen. Das Trainieren kann auch erfolgen, wenn eine Beobachtung in dem Datenstrom auftritt, um eine verbesserte Leistung des Vorhersagemodells 120 und des Darstellungsmodells 130 zu erreichen.
Unter Bezugnahme auf 3 ist ein Blockschaltbild auf hoher Ebene eines beispielhaften Computersystems 300 (z.B. das kontradiktorische, halbüberwachte One-Shot-Lernsystem 100) dargestellt, das zum Umsetzen eines oder mehrerer der hierin beschriebenen Verfahren, Werkzeuge und Module sowie aller damit verbundenen Funktionen (z.B. unter Verwendung einer/eines oder mehrerer Prozessorschaltungen oder Computerprozessoren des Computers) gemäß Ausführungsformen der vorliegenden Offenbarung verwendet werden kann. In einigen Ausführungsformen können die Hauptkomponenten des Computersystems 300 einen oder mehrere Prozessoren 302, einen Speicher 304, eine Terminalschnittstelle 312, eine E/A-(Eingabe/Ausgabe)-Einheitenschnittstelle 314, eine Speicherschnittstelle 316 und eine Netzwerkschnittstelle 318 aufweisen, die alle direkt oder indirekt für die Datenübertragung zwischen den Komponenten über einen Speicherbus 303, einen E/A-Bus 308 und eine E/A-Busschnittstelle 310 kommunikativ verbunden sein können.
Das Computersystem 300 kann eine oder mehrere programmierbare, vielseitig einsetzbare Zentraleinheiten (CPUs) 302-1, 302-2, 302-3, und 302-N umfassen, die hierin allgemein als Prozessor 302 bezeichnet werden. In einigen Ausführungsformen kann das Computersystem 300 mehrere Prozessoren enthalten, wie sie für ein relativ großes System üblich sind; in anderen Ausführungsformen kann das Computersystem 300 alternativ jedoch auch aus einem einzelnen CPU-System bestehen. Jeder Prozessor 301 kann Anweisungen ausführen, die in dem Speicher 304 gespeichert sind, und kann eine oder mehrere Ebenen von integriertem Cache aufweisen.
Der Speicher 304 kann durch ein Computersystem lesbare Medien in Form eines flüchtigen Speichers wie zum Beispiel einen Direktzugriffsspeicher (RAM) 322 oder einen Cache 324 umfassen. Das Computersystem 300 kann darüber hinaus andere austauschbare/nicht austauschbare, flüchtige/nichtflüchtige Computersystem-Speichermedien umfassen. Lediglich als Beispiel kann das Speichersystem 326 zum Lesen von und zum Schreiben auf ein nicht austauschbares, nichtflüchtiges magnetisches Medium bereitgestellt werden, wie zum Beispiel ein „Festplattenlaufwerk“. Es können auch ein Magnetplattenlaufwerk zum Lesen von und zum Schreiben auf eine austauschbare, nichtflüchtige Magnetplatte (z.B. eine „Floppy-Diskette“) oder ein optisches Plattenlaufwerk zum Lesen von oder zum Schreiben auf eine austauschbare, nichtflüchtige optische Platte wie zum Beispiel eine CD-ROM, DVD-ROM oder ein anderes optisches Medium bereitgestellt werden, auch wenn diese nicht gezeigt sind. Zusätzlich kann der Speicher 304 einen Flash-Speicher umfassen, z.B. ein Flash-Speicherstick-Laufwerk oder ein Flash-Laufwerk. Speichereinheiten können über eine oder mehrere Datenmedienschnittstellen mit dem Speicherbus 303 verbunden sein. Der Speicher 304 kann mindestens ein Programmprodukt enthalten, das einen Satz (z.B. mindestens einen) von Programmmodulen aufweist, die so konfiguriert sind, dass sie die Funktionen von verschiedenen Ausführungsformen ausführen.
Obwohl der Speicherbus 303 in 3 als eine einzelne Busstruktur gezeigt ist, die einen direkten Datenübertragungspfad zwischen den Prozessoren 302, dem Speicher 304 und der E/A-Bus-Schnittstelle 310 bereitstellt, kann der Speicherbus 303 in einigen Ausführungsformen mehrere verschiedene Busse oder Datenübertragungspfade aufweisen, die in beliebigen verschiedenen Formen angeordnet sein können, wie zum Beispiel Punkt-zu-Punkt-Verbindungen in hierarchischen, sternförmigen oder netzartigen Konfigurationen, mehrere hierarchische Busse, parallele und redundante Pfade oder jede beliebige andere geeignete Art der Konfiguration. Des Weiteren sind die E/A-Bus-Schnittstelle 310 und der E/A-Bus 308 zwar als einzelne jeweilige Einheit gezeigt, das Computersystem 300 kann jedoch in einigen Ausführungsformen mehrere E/A-Bus-Schnittstelleneinheiten, mehrere E/A-Busse oder beides enthalten. Darüber hinaus sind zwar mehrere E/A-Schnittstelleneinheiten gezeigt, die den E/A-Bus 308 von verschiedenen Datenübertragungspfaden trennen, die zu den verschiedenen E/A-Einheiten führen, doch können in anderen Ausführungsformen einige oder alle der E/A-Einheiten direkt an einen oder mehrere System-E/A-Busse angeschlossen sein.
In einigen Ausführungsformen kann es sich bei dem Computersystem 300 um ein Mehrbenutzer-Mainframe-Computersystem, ein Einzelbenutzersystem oder einen Servercomputer oder eine ähnliche Einheit handeln, die so gut wie keine oder gar keine direkte Benutzerschnittstelle aufweist, sondern Anfragen von anderen Computersystemen (Clients) empfängt. Darüber hinaus kann das Computersystem 300 in einigen Ausführungsformen als Desktop-Computer, tragbarer Computer, Laptop- oder Notebook-Computer, Tablet-Computer, Taschencomputer, Telefon, Smartphone, Netzwerk-Vermittlungseinheiten oder -Router oder jede andere beliebige geeignete Art von elektronischer Einheit umgesetzt sein.
Es wird darauf hingewiesen, dass 3 die charakteristischen Hauptkomponenten des beispielhaften Computersystems 300 bildlich darstellen soll. In einigen Ausführungsformen können jedoch einzelne Komponenten eine höhere oder niedrigere Komplexität aufweisen als in 3 dargestellt ist, es können andere als die in 3 gezeigten oder zusätzliche Komponenten vorliegen, und die Anzahl, Art und Konfiguration derartiger Komponenten kann variieren.
Ein oder mehrere Programme/Dienstprogramme 328, die jeweils mindestens einen Satz von Programmmodulen 330 (z.B. das kontradiktorische, halbüberwachte One-Shot-Lernsystem 100) aufweisen, können in dem Speicher 304 gespeichert sein. Die Programme/Dienstprogramme 328 können einen Hypervisor (auch als Virtual Machine Monitor bezeichnet), ein oder mehrere Betriebssysteme, ein oder mehrere Anwendungsprogramme, andere Programmmodule und Programmdaten umfassen. Jedes einzelne der Betriebssysteme, des einen oder der mehreren Anwendungsprogramme, der anderen Programmmodule und der Programmdaten oder eine Kombination davon, kann eine Umsetzung einer Netzwerkumgebung umfassen. Die Programme 328 und/oder Programmmodule 330 führen im Allgemeinen die Funktionen oder Methodiken verschiedener Ausführungsformen durch.
Es sei von vornherein klargestellt, dass das Umsetzen der hierin angeführten Lehren nicht auf eine Cloud-Computing-Umgebung beschränkt ist, obwohl diese Offenbarung eine ausführliche Beschreibung von Cloud-Computing aufweist. Vielmehr können Ausführungsformen der vorliegenden Erfindung gemeinsam mit jeder beliebigen Art von jetzt bekannter oder später erfundener Datenverarbeitungsumgebung umgesetzt werden.
Cloud-Computing ist ein Servicebereitstellungsmodell zum Ermöglichen eines problemlosen bedarfsgesteuerten Netzwerkzugriffs auf einen gemeinsam genutzten Pool von konfigurierbaren Datenverarbeitungsressourcen (z.B. Netzwerke, Netzwerkbandbreite, Server, Verarbeitung, Hauptspeicher, Speicher, Anwendungen, virtuelle Maschinen und Dienste), die mit minimalem Verwaltungsaufwand bzw. minimaler Interaktion mit einem Anbieter des Service schnell bereitgestellt und freigegeben werden können. Dieses Cloud-Modell kann mindestens fünf Eigenschaften aufweisen, mindestens drei Dienstmodelle und mindestens vier Implementierungsmodelle.
Bei den Eigenschaften handelt es sich um die Folgenden:

On-Demand Self-Service: Ein Cloud-Nutzer kann einseitig automatisch nach Bedarf für Datenverarbeitungsfunktionen wie Serverzeit und Netzwerkspeicher sorgen, ohne dass eine menschliche Interaktion mit dem Anbieter der Dienste erforderlich ist.
Broad Network Access: Es sind Funktionen über ein Netzwerk verfügbar, auf die durch Standardmechanismen zugegriffen wird, welche die Verwendung durch heterogene Thin- oder Thick-Client-Plattformen (z.B. Mobiltelefone, Laptops und PDAs) unterstützen.
Resource-Pooling: Die Datenverarbeitungsressourcen des Anbieters werden zusammengeschlossen, um mehreren Nutzern unter Verwendung eines Multi-Tenant-Modells zu dienen, wobei verschiedene physische und virtuelle Ressourcen dynamisch nach Bedarf zugewiesen und neu zugewiesen werden. Es gibt eine gefühlte Standortunabhängigkeit, da der Nutzer allgemein keine Kontrolle bzw. Kenntnis über den genauen Standort der bereitgestellten Ressourcen hat, aber in der Lage sein kann, einen Standort auf einer höheren Abstraktionsebene festzulegen (z.B. Land, Staat oder Rechenzentrum).
Rapid Elasticity: Funktionen können für eine schnelle horizontale Skalierung (scale out) schnell und elastisch bereitgestellt werden, in einigen Fällen auch automatisch, und für ein schnelles Scale-in schnell freigegeben werden. Für den Nutzer erscheinen die für das Bereitstellen verfügbaren Funktionen häufig unbegrenzt und sie können jederzeit in jeder beliebigen Menge gekauft werden.
Measured Service: Cloud-Systeme steuern und optimieren die Verwendung von Ressourcen automatisch, indem sie eine Messfunktion auf einer gewissen Abstraktionsebene nutzen, die für die Art von Dienst geeignet ist (z.B. Speicher, Verarbeitung, Bandbreite sowie aktive Benutzerkonten). Die Nutzung von Ressourcen kann überwacht, gesteuert und gemeldet werden, wodurch sowohl für den Anbieter als auch für den Nutzer des verwendeten Dienstes Transparenz geschaffen wird.

Bei den Dienstmodellen handelt es sich um die Folgenden:

Software as a Service (SaaS): Die dem Nutzer bereitgestellte Funktion besteht darin, die in einer Cloud-Infrastruktur laufenden Anwendungen des Anbieters zu verwenden. Die Anwendungen sind über eine Thin-Client-Schnittstelle wie einen Web-Browser (z.B. auf dem Web beruhende E-Mail) von verschiedenen Client-Einheiten her zugänglich. Der Nutzer verwaltet bzw. steuert die zugrunde liegende Cloud-Infrastruktur nicht, darunter das Netzwerk, Server, Betriebssysteme, Speicher bzw. sogar einzelne Anwendungsfunktionen, mit der möglichen Ausnahme von eingeschränkten benutzerspezifischen Anwendungskonfigurationseinstellungen.
Platform as a Service (PaaS): Die dem Nutzer bereitgestellte Funktion besteht darin, durch einen Nutzer erstellte bzw. erhaltene Anwendungen, die unter Verwendung von durch den Anbieter unterstützten Programmiersprachen und Tools erstellt wurden, in der Cloud-Infrastruktur einzusetzen. Der Nutzer verwaltet bzw. steuert die zugrunde liegende Cloud-Infrastruktur nicht, darunter Netzwerke, Server, Betriebssysteme bzw. Speicher, hat aber die Kontrolle über die eingesetzten Anwendungen und möglicherweise über Konfigurationen des Application Hosting Environment.
Infrastructure as a Service (laaS): Die dem Nutzer bereitgestellte Funktion besteht darin, das Verarbeiten, Speicher, Netzwerke und andere grundlegende Datenverarbeitungsressourcen bereitzustellen, wobei der Nutzer in der Lage ist, beliebige Software einzusetzen und auszuführen, zu der Betriebssysteme und Anwendungen gehören können. Der Nutzer verwaltet bzw. steuert die zugrunde liegende Cloud-Infrastruktur nicht, hat aber die Kontrolle über Betriebssysteme, Speicher, eingesetzte Anwendungen und möglicherweise eine eingeschränkte Kontrolle über ausgewählte Netzwerkkomponenten (z.B. Host-Firewalls).

Bei den Einsatzmodellen handelt es sich um die Folgenden:

Private Cloud: Die Cloud-Infrastruktur wird einzig und allein für eine Organisation betrieben. Sie kann durch die Organisation oder einen Dritten verwaltet werden und kann sich in den eigenen Räumen oder in fremden Räumen befinden.
Community Cloud: Die Cloud-Infrastruktur wird von mehreren Organisationen gemeinsam genutzt und unterstützt eine spezielle Benutzergemeinschaft, die gemeinsame Angelegenheiten hat (z.B. Mission, Sicherheitsanforderungen, Richtlinien sowie Überlegungen bezüglich der Einhaltung von Vorschriften). Sie kann durch die Organisationen oder einen Dritten verwaltet werden und kann in den eigenen Räumen oder fremden Räumen stehen.
Public Cloud: Die Cloud-Infrastruktur wird der allgemeinen Öffentlichkeit oder einer großen Industriegruppe zur Verfügung gestellt und sie gehört einer Cloud-Dienste verkaufenden Organisation.
Hybrid Cloud: Die Cloud-Infrastruktur ist eine Zusammensetzung aus zwei oder mehreren Clouds (privat, Benutzergemeinschaft oder öffentlich), die zwar einzelne Einheiten bleiben, aber durch eine standardisierte oder proprietäre Technologie miteinander verbunden sind, die Daten- und Anwendungsportierbarkeit ermöglicht (z.B. Cloud-Zielgruppenverteilung für den Lastenausgleich zwischen Clouds).

Eine Cloud-Computing-Umgebung ist dienstorientiert mit Fokus auf Statusunabhängigkeit, geringer Kopplung, Modularität und semantischer Interoperabilität. Im Herzen von Cloud-Computing liegt eine Infrastruktur, die ein Netzwerk aus zusammengeschalteten Knoten aufweist.
Unter Bezugnahme auf 4 ist eine veranschaulichende Cloud-Computing-Umgebung 400 abgebildet. Wie gezeigt ist, weist die Cloud-Computing-Umgebung 400 einen oder mehrere Cloud-Computing-Knoten 410 auf, mit denen von Cloud-Nutzern verwendete lokale Datenverarbeitungseinheiten wie zum Beispiel ein elektronischer Assistent (PDA, personal digital assistant) oder ein Mobiltelefon 420-1, ein Desktop-Computer 420-2, ein Laptop-Computer 420-3 und/oder ein Automobil-Computer-System 420-4 Daten austauschen können. Die Knoten 410 können miteinander Daten austauschen. Sie können physisch oder virtuell in ein oder mehrere Netzwerke wie private, Benutzergemeinschafts-, öffentliche oder hybride Clouds gruppiert werden (nicht gezeigt), wie vorstehend beschrieben wurde, oder in eine Kombination daraus. Dies ermöglicht es der Cloud-Computing-Umgebung 400, Infrastruktur, Plattformen und/oder Software als Dienst anzubieten, für die ein Cloud-Nutzer keine Ressourcen auf einer lokalen Datenverarbeitungseinheit vorhalten muss. Es sei darauf hingewiesen, dass die Arten der in 4 gezeigten Datenverarbeitungseinheiten 420-1 bis 420-4 lediglich veranschaulichend sein sollen und dass die Datenverarbeitungsknoten 410 und die Cloud-Computing-Umgebung 400 über eine beliebige Art Netzwerk und/oder über eine beliebige Art von über ein Netzwerk aufrufbarer Verbindung (z.B. unter Verwendung eines Web-Browsers) mit einer beliebigen Art von computergestützter Einheit Daten austauschen können.
Unter Bezugnahme auf 5 wird ein Satz von funktionalen Abstraktionsschichten 500 gezeigt, die durch die Cloud-Computing-Umgebung 400 (4) bereitgestellt werden. Es sollte von vornherein klar sein, dass die in 5 gezeigten Komponenten, Schichten und Funktionen lediglich veranschaulichend sein sollen und Ausführungsformen der Erfindung nicht darauf beschränkt sind. Wie abgebildet ist, werden die folgenden Schichten und entsprechenden Funktionen bereitgestellt:
Eine Hardware- und Software-Schicht 510 weist Hardware- und Software-Komponenten auf. Zu Beispielen für Hardware-Komponenten gehören: Mainframe-Computer 511; auf der RISC- (Reduced Instruction Set Computer) Architektur beruhende Server 512; Server 513; Blade-Server 514; Speichereinheiten 515; und Netzwerke sowie Netzwerkkomponenten 516. In einigen Ausführungsformen weisen Software-Komponenten eine Netzwerk-Anwendungsserver-Software 517 und eine Datenbank-Software 518 auf.
Eine Virtualisierungsschicht 520 stellt eine Abstraktionsschicht bereit, aus der die folgenden Beispiele für virtuelle Einheiten bereitgestellt werden können: virtuelle Server 521, virtueller Speicher 522, virtuelle Netzwerke 523, darunter virtuelle private Netzwerke, virtuelle Anwendungen und Betriebssysteme 524; und virtuelle Clients 525.
In einem Beispiel kann die Verwaltungsschicht 530 die nachfolgend beschriebenen Funktionen bereitstellen. Eine Ressourcen-Bereitstellung 531 stellt die dynamische Beschaffung von Datenverarbeitungsressourcen sowie anderen Ressourcen bereit, die zum Durchführen von Aufgaben innerhalb der Cloud-Computing-Umgebung verwendet werden. Ein Messen und eine Preisfindung 532 stellen die Kostenverfolgung beim Verwenden von Ressourcen innerhalb der Cloud-Computing-Umgebung sowie die Abrechnung oder Rechnungsstellung für den Verbrauch dieser Ressourcen bereit. In einem Beispiel können diese Ressourcen Anwendungs-Software-Lizenzen aufweisen. Eine Sicherheit stellt die Identitätsüberprüfung für Cloud-Nutzer und Aufgaben sowie Schutz für Daten und andere Ressourcen bereit. Ein Benutzerportal 533 stellt Nutzern und Systemadministratoren den Zugang zu der Cloud-Computing-Umgebung bereit. Eine Verwaltung des Dienstumfangs 534 stellt die Zuordnung und Verwaltung von Cloud-Computing-Ressourcen bereit, so dass die benötigten Dienstziele erreicht werden. Ein Planen und Erfüllen von Vereinbarungen zum Dienstumfang (S.L.A., Service Level Agreement) 535 stellt die Anordnung vorab und die Beschaffung von Cloud-Computing-Ressourcen, für die eine zukünftige Anforderung vorausgesehen wird, gemäß einem S.L.A. bereit.
Eine Arbeitslastschicht 540 stellt Beispiele für die Funktionalität bereit, für welche die Cloud-Computing-Umgebung verwendet werden kann. Zu Beispielen für Arbeitslasten und Funktionen, die von dieser Schicht bereitgestellt werden können, gehören: Abbildung und Navigation 541; Software-Entwicklung und Lebenszyklusverwaltung 542 (z.B. das kontradiktorische, halbüberwachte One-Shot-Lernsystem 100); Bereitstellung von Ausbildung in virtuellen Klassenzimmern 543; Datenanalytikverarbeitung 544; Transaktionsverarbeitung 545; und präzise Kohortenanalytik 546.
Bei der vorliegenden Erfindung kann es sich um ein System, ein Verfahren und/oder ein Computerprogrammprodukt auf jeder möglichen technischen Detailstufe der Integration handeln. Das Computerprogrammprodukt kann ein durch einen Computer lesbares Speichermedium (oder -medien) mit durch einen Computer lesbaren Programmanweisungen darauf aufweisen, um einen Prozessor dazu zu veranlassen, Aspekte der vorliegenden Erfindung auszuführen.
Bei dem durch einen Computer lesbaren Speichermedium kann es sich um eine physische Einheit handeln, die Anweisungen zur Verwendung durch ein System zur Ausführung von Anweisungen behalten und speichern kann. Bei dem durch einen Computer lesbaren Speichermedium kann es sich zum Beispiel um eine elektronische Speichereinheit, eine magnetische Speichereinheit, eine optische Speichereinheit, eine elektromagnetische Speichereinheit, eine Halbleiterspeichereinheit oder jede geeignete Kombination daraus handeln, ohne auf diese beschränkt zu sein. Zu einer nicht erschöpfenden Liste spezifischerer Beispiele des durch einen Computer lesbaren Speichermediums gehören die Folgenden: eine auswechselbare Computerdiskette, eine Festplatte, ein Direktzugriffsspeicher (RAM), ein Nur-Lese-Speicher (ROM), ein löschbarer programmierbarer Nur-Lese-Speicher (EPROM bzw. Flash-Speicher), ein statischer Direktzugriffsspeicher (SRAM), ein auswechselbarer Kompaktspeicherplatte-Nur-Lese-Speicher (CD-ROM), eine DVD (digital versatile disc), ein Speicher-Stick, eine Diskette, eine mechanisch kodierte Einheit wie zum Beispiel Lochkarten oder erhabene Strukturen in einer Rille, auf denen Anweisungen gespeichert sind, und jede geeignete Kombination daraus. Ein durch einen Computer lesbares Speichermedium soll in der Verwendung hierin nicht als flüchtige Signale an sich aufgefasst werden, wie zum Beispiel Funkwellen oder andere sich frei ausbreitende elektromagnetische Wellen, elektromagnetische Wellen, die sich durch einen Wellenleiter oder ein anderes Übertragungsmedium ausbreiten (z.B. Lichtwellenleiterkabel durchlaufende Lichtimpulse) oder durch einen Draht übertragene elektrische Signale.
Hierin beschriebene, durch einen Computer lesbare Programmanweisungen können von einem durch einen Computer lesbaren Speichermedium auf jeweilige Datenverarbeitungs-/Verarbeitungseinheiten oder über ein Netzwerk wie zum Beispiel das Internet, ein lokales Netzwerk, ein Weitverkehrsnetzwerk und/oder ein drahtloses Netzwerk auf einen externen Computer oder eine externe Speichereinheit heruntergeladen werden. Das Netzwerk kann Kupferübertragungskabel, Lichtwellenübertragungsleiter, drahtlose Übertragung, Leitwegrechner, Firewalls, Vermittlungseinheiten, Gateway-Computer und/oder Edge-Server aufweisen. Eine Netzwerkadapterkarte oder Netzwerkschnittstelle in jeder Datenverarbeitungs-/Verarbeitungseinheit empfängt durch einen Computer lesbare Programmanweisungen aus dem Netzwerk und leitet die durch einen Computer lesbaren Programmanweisungen zur Speicherung in einem durch einen Computer lesbaren Speichermedium innerhalb der entsprechenden Datenverarbeitungs-/Verarbeitungseinheit weiter.
Bei durch einen Computer lesbaren Programmanweisungen zum Ausführen von Arbeitsschritten der vorliegenden Erfindung kann es sich um Assembler-Anweisungen, ISA-Anweisungen (Instruction-Set-Architecture), Maschinenanweisungen, maschinenabhängige Anweisungen, Mikrocode, Firmware-Anweisungen, zustandssetzende Daten, Konfigurationsdaten für integrierte Schaltungen oder entweder Quellcode oder Objektcode handeln, die in einer beliebigen Kombination aus einer oder mehreren Programmiersprachen geschrieben werden, darunter objektorientierte Programmiersprachen wie zum Beispiel Smalltalk, C++ o.ä. sowie prozedurale Programmiersprachen wie zum Beispiel die Programmiersprache „C“ oder ähnliche Programmiersprachen. Die durch einen Computer lesbaren Programmanweisungen können vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Software-Paket, teilweise auf dem Computer des Benutzers und teilweise auf einem fernen Computer oder vollständig auf dem fernen Computer oder Server ausgeführt werden. In letzterem Fall kann der entfernt angeordnete Computer mit dem Computer des Benutzers durch eine beliebige Art Netzwerk verbunden sein, darunter ein lokales Netzwerk (LAN) oder ein Weitverkehrsnetzwerk (WAN), oder die Verbindung kann mit einem externen Computer hergestellt werden (zum Beispiel über das Internet unter Verwendung eines Internet-Dienstanbieters). In einigen Ausführungsformen können elektronische Schaltungen, darunter zum Beispiel programmierbare Logikschaltungen, vor Ort programmierbare Gatter-Anordnungen (FPGA, field programmable gate arrays) oder programmierbare Logikanordnungen (PLA, programmable logic arrays) die durch einen Computer lesbaren Programmanweisung ausführen, indem sie Zustandsinformationen der durch einen Computer lesbaren Programmanweisungen nutzen, um die elektronischen Schaltungen zu personalisieren, um Aspekte der vorliegenden Erfindung durchzuführen.
Aspekte der vorliegenden Erfindung sind hierin unter Bezugnahme auf Ablaufpläne und/oder Blockschaltbilder bzw. Schaubilder von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Erfindung beschrieben. Es wird darauf hingewiesen, dass jeder Block der Ablaufpläne und/oder der Blockschaltbilder bzw. Schaubilder sowie Kombinationen von Blöcken in den Ablaufplänen und/oder den Blockschaltbildern bzw. Schaubildern mittels durch einen Computer lesbarer Programmanweisungen ausgeführt werden können.
Diese durch einen Computer lesbaren Programmanweisungen können einem Prozessor eines Computers oder einer anderen programmierbaren Datenverarbeitungsvorrichtung bereitgestellt werden, um eine Maschine zu erzeugen, so dass die über den Prozessor des Computers bzw. der anderen programmierbaren Datenverarbeitungsvorrichtung ausgeführten Anweisungen ein Mittel zur Umsetzung der in dem Block bzw. den Blöcken der Ablaufpläne und/oder der Blockschaltbilder bzw. Schaubilder festgelegten Funktionen/Schritte erzeugen. Diese durch einen Computer lesbaren Programmanweisungen können auch auf einem durch einen Computer lesbaren Speichermedium gespeichert sein, das einen Computer, eine programmierbare Datenverarbeitungsvorrichtung und/oder andere Einheiten so steuern kann, dass sie auf eine bestimmte Art funktionieren, so dass das durch einen Computer lesbare Speichermedium, auf dem Anweisungen gespeichert sind, ein Herstellungsprodukt aufweist, darunter Anweisungen, welche Aspekte der/des in dem Block bzw. den Blöcken des Ablaufplans und/oder der Blockschaltbilder bzw. Schaubilder festgelegten Funktion/Schritts umsetzen.
Die durch einen Computer lesbaren Programmanweisungen können auch auf einen Computer, eine andere programmierbare Datenverarbeitungsvorrichtung oder eine andere Einheit geladen werden, um das Ausführen einer Reihe von Prozessschritten auf dem Computer bzw. der anderen programmierbaren Vorrichtung oder anderen Einheit zu verursachen, um einen auf einem Computer ausgeführten Prozess zu erzeugen, so dass die auf dem Computer, einer anderen programmierbaren Vorrichtung oder einer anderen Einheit ausgeführten Anweisungen die in dem Block bzw. den Blöcken der Ablaufpläne und/oder der Blockschaltbilder bzw. Schaubilder festgelegten Funktionen/Schritte umsetzen.
Die Ablaufpläne und die Blockschaltbilder bzw. Schaubilder in den Figuren veranschaulichen die Architektur, die Funktionalität und den Betrieb möglicher Ausführungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung. In diesem Zusammenhang kann jeder Block in den Ablaufplänen oder Blockschaltbildern bzw. Schaubildern ein Modul, ein Segment oder einen Teil von Anweisungen darstellen, die eine oder mehrere ausführbare Anweisungen zur Ausführung der festgelegten logischen Funktion(en) aufweisen. In einigen alternativen Ausführungen können die in dem Block angegebenen Funktionen in einer anderen Reihenfolge als in den Figuren gezeigt stattfinden. Zum Beispiel können zwei nacheinander gezeigte Blöcke in Wirklichkeit in einem Schritt erreicht werden, gleichzeitig, im Wesentlichen gleichzeitig, teilweise oder vollständig zeitlich überlappend ausgeführt werden, oder die Blöcke können manchmal je nach entsprechender Funktionalität in umgekehrter Reihenfolge ausgeführt werden. Es ist darüber hinaus anzumerken, dass jeder Block der Blockschaltbilder bzw. Schaubilder und/oder der Ablaufpläne sowie Kombinationen aus Blöcken in den Blockschaltbildern bzw. Schaubildern und/oder den Ablaufplänen durch spezielle auf Hardware beruhende Systeme umgesetzt werden können, welche die festgelegten Funktionen oder Schritte durchführen, oder Kombinationen aus Spezial-Hardware und Computeranweisungen ausführen.
Die hierin verwendete Terminologie dient lediglich dem Zweck des Beschreibens bestimmter Ausführungsformen und soll die verschiedenen Ausführungsformen nicht einschränken. Die Verwendung der Singularform „ein“, „eine“ bzw. „der“, „die“, „das“ hierin soll ebenfalls die Pluralformen einschließen, es sei denn, etwas anderes ergibt sich deutlich aus dem Zusammenhang. Es wird darüber hinaus darauf hingewiesen, dass die Begriffe „umfasst“ und/oder „umfassend“, wenn sie in dieser Beschreibung verwendet werden, das Vorhandensein von aufgeführten Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementen und/oder Komponenten angeben, jedoch nicht das Vorhandensein oder das Hinzufügen einer oder mehrerer anderer Merkmale, ganzer Zahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen hiervon ausschließen. In der vorangegangenen ausführlichen Beschreibung von beispielhaften Ausführungsformen der verschiedenen Ausführungsformen wurde auf die beigefügten Zeichnungen Bezug genommen (wobei gleiche Zahlen für gleiche Elemente stehen), die einen Teil dieses Dokuments bilden und in denen zur Veranschaulichung bestimmte beispielhafte Ausführungsformen gezeigt sind, in denen die verschiedenen Ausführungsformen in die Praxis umgesetzt werden können. Diese Ausführungsformen wurden hinreichend ausführlich beschrieben, um es dem Fachmann zu ermöglichen, die Ausführungsformen in die Praxis umzusetzen, aber es können auch andere Ausführungsformen verwendet und logische, mechanische, elektrische und andere Änderungen vorgenommen werden, ohne von dem Umfang der verschiedenen Ausführungsformen abzuweichen. In der vorangegangenen Beschreibung wurden zahlreiche spezifische Details dargelegt, um ein umfassendes Verständnis der verschiedenen Ausführungsformen bereitzustellen. Allerdings können die verschiedenen Ausführungsformen auch ohne diese spezifischen Details in die Praxis umgesetzt werden. In anderen Fällen sind bekannte Schaltungen, Strukturen und Techniken nicht im Detail gezeigt worden, um die Ausführungsformen nicht unklar zu machen.
Wenn verschiedene Bezugszahlen eine gemeinsame Zahl aufweisen, auf die unterschiedliche Buchstaben (z.B. 100a, 100b, 100c) oder Satzzeichen gefolgt von unterschiedlichen Zahlen (z.B. 100-1, 100-2 oder 100.1, 100.2) folgen, kann sich die Verwendung des Bezugszeichens allein ohne den Buchstaben oder die folgenden Zahlen (z.B. 100) auf die gesamte Gruppe von Elementen, eine beliebige Untergruppe der Gruppe oder ein beispielhaftes Exemplar der Gruppe beziehen.
Darüber hinaus bedeutet die Wortfolge „mindestens eines von“, wenn sie mit einer Liste von Elementen verwendet wird, dass verschiedene Kombinationen von einem oder mehreren der aufgeführten Elemente verwendet werden können und nur eines von jedem Element in der Liste erforderlich sein kann. Anders ausgedrückt bedeutet „mindestens eines von“, dass eine beliebige Kombination von Elementen und eine beliebige Anzahl von Elementen aus der Liste verwendet werden kann, aber nicht alle Elemente der Liste erforderlich sind. Bei dem Element kann es sich um einen bestimmten Gegenstand, ein Ding oder eine Kategorie handeln.
Zum Beispiel kann die Formulierung „mindestens eines von Element A, Element B oder Element C“ nur Element A, Element A und Element B oder nur Element B umfassen, ohne darauf beschränkt zu sein. Dieses Beispiel kann auch nur Element A, nur Element B und nur Element C oder Element B und Element C umfassen. Natürlich können alle Kombinationen dieser Elemente vorhanden sein. In einigen veranschaulichenden Beispielen kann „mindestens eines von“ zum Beispiel zwei von Element A; eines von Element B; und zehn von Element C; vier von Element B und sieben von Element C; oder andere geeignete Kombinationen bedeuten.
Verschiedene Verwendungen des Wortes „Ausführungsform“ im Rahmen dieser Beschreibung müssen sich nicht unbedingt auf dieselbe Ausführungsform beziehen, können es aber. Alle hierin veranschaulichten oder beschriebenen Daten und Datenstrukturen sind lediglich Beispiele, und in anderen Ausführungsformen können andere Datenmengen, Datentypen, Felder, Anzahlen und Typen von Feldern, Feldnamen, Anzahlen und Typen von Zeilen, Datensätzen, Einträgen oder Datenorganisationen verwendet werden. Zusätzlich können beliebige Daten mit einer Logik kombiniert werden, so dass eine separate Datenstruktur nicht unbedingt notwendig ist. Die vorstehende ausführliche Beschreibung ist daher nicht als einschränkend zu verstehen.
Die Beschreibungen der verschiedenen Ausführungsformen der vorliegenden Offenbarung wurden zum Zwecke der Veranschaulichung aufgeführt, sollen jedoch nicht gesamthaft stehen für bzw. begrenzt sein auf die offenbarten Ausführungsformen. Für Fachleute werden viele Abänderungen und Abwandlungen ersichtlich sein, ohne von dem Umfang der beschriebenen Ausführungsformen abzuweichen. Die hierin verwendete Terminologie wurde gewählt, um die Grundgedanken der Ausführungsformen, die praktische Anwendung oder technische Verbesserung gegenüber auf dem Markt vorgefundenen Technologien bestmöglich zu erläutern oder um es anderen Fachleuten zu ermöglichen, die hierin dargelegten Ausführungsformen zu verstehen.
Obwohl die vorliegende Erfindung in Form von bestimmten Ausführungsformen beschrieben wurde, wird davon ausgegangen, dass Änderungen und Abänderungen daran für den Fachmann offensichtlich werden. Daher sollen die folgenden Ansprüche so ausgelegt werden, dass sie alle derartigen Änderungen und Abänderungen daran abdecken, die in den wahren Umfang der Erfindung fallen.

Claims

Auf einem Computer ausgeführtes Verfahren für kontradiktorisches, halbüberwachtes One-Shot-Training unter Verwendung eines Datenstroms, das auf einem Computer ausgeführte Verfahren aufweisend: Empfangen eines Datenstroms auf der Grundlage einer Beobachtung, wobei der Datenstrom ungekennzeichnete Daten und gekennzeichnete Daten umfasst; Trainieren eines Vorhersagemodells mit den gekennzeichneten Daten unter Verwendung von stochastischem Gradientenabstieg auf der Grundlage eines Klassifizierungsverlusts und eines kontradiktorischen Terms; Trainieren eines Darstellungsmodells mit den gekennzeichneten Daten und den ungekennzeichneten Daten auf der Grundlage eines Wiederherstellungsverlusts und des kontradiktorischen Terms; Aktualisieren eines Diskriminators mit Ausgabedaten der mittleren Schicht des Vorhersagemodells und des Darstellungsmodells sowie auf der Grundlage eines Unterscheidungsverlusts; und Verwerfen des Datenstroms.
Auf einem Computer ausgeführtes Verfahren nach Anspruch 1, wobei es sich bei dem Klassifizierungsverlust um eine Kreuzentropie zwischen den gekennzeichneten Daten und einer durch das Vorhersagemodell ausgegebenen Vorhersage handelt.
Auf einem Computer ausgeführtes Verfahren nach Anspruch 1, wobei es sich bei dem kontradiktorischen Term um eine Kreuzentropie zwischen den Ausgabedaten der mittleren Schicht des Vorhersagemodells und des Darstellungsmodells handelt.
Auf einen Computer ausgeführtes Verfahren nach Anspruch 1, wobei es sich bei dem Wiederherstellungsverlust um einen quadrierten Verlust zwischen dem Datenstrom und einer durch das Darstellungsmodell ausgegebenen Wiederherstellung handelt.
Auf einem Computer ausgeführtes Verfahren nach Anspruch 1, wobei es sich bei dem Unterscheidungsverlust um eine Kreuzentropie zwischen den Ausgabedaten der mittleren Schicht des Vorhersagemodells und des Darstellungsmodells handelt.
Auf einem Computer ausgeführtes Verfahren nach Anspruch 1, wobei es sich bei dem Darstellungsmodell um einen Autocodierer handelt, der auf einem neuronalen Netz beruht.
Auf einem Computer ausgeführtes Verfahren nach Anspruch 1, wobei es sich bei dem Vorhersagemodell um ein neuronales Netz mit einer unteren Schicht als Codierer handelt.
Auf einem Computer ausgeführtes Verfahren nach Anspruch 1, wobei es sich bei dem Diskriminator um ein neuronales Netz handelt, das so konfiguriert ist, dass es zwischen Ausgaben der mittleren Schicht des Vorhersagemodells und Ausgaben der mittleren Schicht des Darstellungsmodells unterscheidet.
System zum kontradiktorischen, halbüberwachten One-Shot-Training unter Verwendung eines Datenstroms, das System aufweisend: einen Speicher; einen Prozessor; einen lokalen Datenspeicher, auf dem ein durch einen Computer ausführbarer Code gespeichert ist; ein Vorhersagemodell, das so konfiguriert ist, dass es ein Fahrzeugverhalten vorhersagt, wobei das Vorhersagemodell mit gekennzeichneten Daten aus einem Datenstrom unter Verwendung von stochastischem Gradientenabstieg auf der Grundlage eines Klassifizierungsverlusts und eines kontradiktorischen Terms trainiert wird; ein Darstellungsmodell, das so konfiguriert ist, dass es das Fahrzeugverhalten vorhersagt, wobei das Darstellungsmodell mit ungekennzeichneten Daten und den gekennzeichneten Daten aus dem Datenstrom auf der Grundlage eines Wiederherstellungsverlusts und des kontradiktorischen Terms trainiert wird; und einen Diskriminator, der so konfiguriert ist, dass er von dem Vorhersagemodell und dem Darstellungsmodell getroffene Vorhersagen vorhersagt, wobei der Diskriminator mit Ausgabedaten der mittleren Schicht des Vorhersagemodells und des Darstellungsmodells sowie auf der Grundlage eines Unterscheidungsverlusts trainiert wird.
System nach Anspruch 9, wobei es sich bei dem Klassifizierungsverlust um eine Kreuzentropie zwischen den gekennzeichneten Daten und einer durch das Vorhersagemodell ausgegebenen Vorhersage handelt.
System nach Anspruch 9, wobei es sich bei dem kontradiktorischen Term um eine Kreuzentropie zwischen den Ausgabedaten der mittleren Schicht des Vorhersagemodells und des Darstellungsmodells handelt.
System nach Anspruch 9, wobei es sich bei dem Wiederherstellungsverlust um einen quadrierten Verlust zwischen dem Datenstrom und einer durch das Darstellungsmodell ausgegebenen Wiederherstellung handelt.
System nach Anspruch 9, wobei es sich bei dem Unterscheidungsverlust um eine Kreuzentropie zwischen den Ausgabedaten der mittleren Schicht des Vorhersagemodells und des Darstellungsmodells handelt.
System nach Anspruch 9, wobei es sich bei dem Darstellungsmodell um einen Autocodierer handelt, der auf einem neuronalen Netz beruht.
System nach Anspruch 9, wobei es sich bei dem Vorhersagemodell um ein neuronales Netz mit einer unteren Schicht als Codierer handelt.
System nach Anspruch 9, wobei es sich bei dem Diskriminator um ein neuronales Netz handelt, das so konfiguriert ist, dass es zwischen Ausgaben von mittleren Schichten des Vorhersagemodells und mittleren Schichten des Darstellungsmodells unterscheidet.
Computerprogrammprodukt für kontradiktorisches, halbüberwachtes One-Shot-Training unter Verwendung eines Datenstroms, das Computerprogrammprodukt aufweisend: ein oder mehrere durch einen Computer lesbare Speichermedien und auf dem einen oder den mehreren durch einen Computer lesbaren Speichermedien gespeicherte Programmanweisungen, die Programmanweisungen aufweisend: Programmanweisungen zum Empfangen eines Datenstroms auf der Grundlage einer Beobachtung, wobei der Datenstrom ungekennzeichnete Daten und gekennzeichnete Daten umfasst; Programmanweisungen zum Trainieren eines Vorhersagemodells mit den gekennzeichneten Daten unter Verwendung von stochastischem Gradientenabstieg auf der Grundlage eines Klassifizierungsverlusts und eines kontradiktorischen Terms; Programmanweisungen zum Trainieren eines Darstellungsmodells mit den gekennzeichneten Daten und den ungekennzeichneten Daten auf der Grundlage eines Wiederherstellungsverlusts und des kontradiktorischen Terms; Programmanweisungen zum Aktualisieren eines Diskriminators mit Ausgabedaten der mittleren Schicht des Vorhersagemodells und des Darstellungsmodells sowie auf der Grundlage eines Unterscheidungsverlusts; und Programmanweisungen zum Verwerfen des Datenstroms.
Computerprogrammprodukt nach Anspruch 17, wobei es sich bei dem Klassifizierungsverlust um eine Kreuzentropie zwischen den gekennzeichneten Daten und einer durch das Vorhersagemodell ausgegebenen Vorhersage handelt.
Computerprogrammprodukt nach Anspruch 17, wobei es sich bei dem kontradiktorischen Term um eine Kreuzentropie zwischen den Ausgabedaten der mittleren Schicht des Vorhersagemodells und des Darstellungsmodells handelt.
Computerprogrammprodukt nach Anspruch 17, wobei es sich bei dem Wiederherstellungsverlust um einen quadrierten Verlust zwischen dem Datenstrom und einer durch das Darstellungsmodell ausgegebenen Wiederherstellung handelt.