DE102023207515A1

DE102023207515A1 - Systeme und Verfahren für expertengeführte Semiüberwachung mit Label-Propagation für maschinelle Lernmodelle

Info

Publication number: DE102023207515A1
Application number: DE102023207515.6A
Authority: DE
Inventors: Michael Kuka; Thomas Alber; Bijay Kumar Soren; Felix Schorn; Filipe Cabrita Condessa; Rizal Fathony; Andreas Henke; Florian Lang
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-08-16
Filing date: 2023-08-04
Publication date: 2024-02-22
Also published as: US20240062058A1; CN117591908A; KR20240024020A

Abstract

Ein Verfahren weist den Empfang eines gelabelten Datensatzes, der eine Mehrzahl gelabelte Proben aufweist, und das anfängliche Trainieren eines maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes auf. Das Verfahren weist auch den Empfang eines ungelabelten Datensatzes, der eine Mehrzahl ungelabelter Proben aufweist, auf. Das Verfahren weist auch das Berechnen latenter Darstellungsräume für jede jeweilige Probe der Mehrzahl gelabelter Proben und jede jeweilige Probe der Mehrzahl ungelabelter Proben auf. Das Verfahren weist auch das Erzeugen eines k-Nächste-Nachbarn-Ähnlichkeitsgraphen basierend auf den latenten Darstellungsräumen, das Erzeugen eines kombinierten Ähnlichkeitsgraphen durch Erweitern des k-Nächste-Nachbarn-Ähnlichkeitsgraphen unter Verwendung eines expertenabgeleiteten Ähnlichkeitsgraphen und das Propagieren, unter Verwendung des kombinierten Ähnlichkeitsgraphen, von Labeln für jede jeweilige Probe aus der Mehrzahl ungelabelter Proben auf. Das Verfahren weist auch anschließendes Trainieren des maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes mit Proben, die mit Labeln unter Verwendung des kombinierten Ähnlichkeitsgraphen propagiert wurden, auf.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft Computersysteme, die über die Fähigkeit zur künstlichen Intelligenz verfügen, einschließlich neuronaler Netze. In Ausführungsformen betrifft die Offenbarung die Verwendung von expertengeführtem, semiüberwachtem maschinellem Lernen unter Verwendung von Trainingsdatensätzen mit Label-Propagation.
Hintergrund des Standes der Technik
Bei der Entwicklung von Daten zum Trainieren von maschinellen Lernmodellen ist das Sammeln und Labeln von Daten ein mühsames, kostspieliges und zeitaufwändiges Unterfangen, das in den meisten aktuellen Pipelines für maschinelles Lernen einen großen Engpass darstellen kann. In vielen realen Anwendungen ist die Anzahl der gelabelten Proben relativ begrenzt, während nicht gelabelte Proben relativ häufig sind, wobei in der Regel nur begrenzte Ressourcen für die Sammlung erforderlich sind. Um solche ungelabelten Proben zu verwenden, werden in der Regel Label angebracht, was im Allgemeinen einen manuellen Aufwand erfordert, was tendenziell zu höheren Kosten und einem höheren Zeitaufwand führt bei der Vorbereitung gelabelter Trainingsdaten.
Kurzdarstellung
Ein Aspekt der offenbarten Ausführungsformen weist ein Verfahren zur Label-Propagation von Trainingsdaten auf, die zum Trainieren eines maschinellen Lernmodells verwendet werden. Das Verfahren weist den Empfang eines gelabelten Datensatzes, der eine Mehrzahl gelabelter Proben aufweist, und das anfängliche Trainieren des maschinellen Lernmodells unter Verwendung des gelabelten Datensätze auf. Das Verfahren weist auch den Empfang eines ungelabelten Datensatzes, der eine Mehrzahl ungelabelter Proben aufweist, auf. Das Verfahren weist auch das Berechnen latenter Darstellungsräume für jede jeweilige Probe aus der Mehrzahl gelabelter Proben und jede jeweilige Probe aus der Mehrzahl ungelabelter Proben unter Verwendung des anfänglich trainierten maschinellen Lernmodells auf. Das Verfahren weist auch das Erzeugen eines k-Nächste-Nachbarn-Ähnlichkeitsgraphen basierend auf den latenten Darstellungsräumen für jede jeweilige Probe der Mehrzahl gelabelter Proben und jede jeweilige Probe der Mehrzahl ungelabelter Proben auf. Das Verfahren weist auch das Erzeugen eines kombinierten Ähnlichkeitsgraphen durch Erweitern des k-Nächste-Nachbarn-Ähnlichkeitsgraphen unter Verwendung eines expertenabgeleiteten Ähnlichkeitsgraphen und das Propagieren von Labeln unter Verwendung des kombinierten Ähnlichkeitsgraphen an jede jeweilige Probe der Mehrzahl ungelabelter Proben auf. Das Verfahren weist auch das anschließende Trainieren des maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes, der Proben mit Labeln hat, die unter Verwendung des kombinierten Ähnlichkeitsgraphen propagiert wurden, auf.
Ein weiterer Aspekt der offenbarten Ausführungsformen weist ein System zur Label-Propagation von Trainingsdaten auf, die zum Trainieren eines maschinellen Lernmodells verwendet werden. Das System weist einen Prozessor und einen Speicher auf. Das Verfahren weist Anweisungen, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen zum: Empfangen eines gelabelten Datensatzes, der eine Mehrzahl gelabelter Proben aufweist; anfängliches Trainieren des maschinellen Lernmodell unter Verwendung des gelabelten Datensatzes, Empfangen eines ungelabelten Datensatzes, der eine Mehrzahl ungelabelter Proben aufweist; Berechnen, unter Verwendung des anfänglich trainierten maschinellen Lernmodells, von latenten Darstellungsräume für jede jeweilige Probe aus der Mehrzahl gelabelter Proben und jede jeweilige Probe aus der Mehrzahl ungelabelter Proben; Erzeugen eines k-Nächste-Nachbarn-Ähnlichkeitsgraphen basierend auf den latenten Darstellungsräumen für jede jeweilige Probe der Mehrzahl gelabelter Proben und jede jeweilige Probe der Mehrzahl ungelabelter Proben; Erzeugen eines kombinierten Ähnlichkeitsgraphen durch Erweitern des k-Nächste-Nachbarn-Ähnlichkeitsgraphen unter Verwendung eines expertenabgeleiteten Ähnlichkeitsgraphen; Propagieren, unter Verwendung des kombinierten Ähnlichkeitsgraphen, von Labeln an jede jeweilige Probe der Mehrzahl ungelabelter Proben; und anschließend Trainieren des maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes mit Proben, die mit Labeln unter Verwendung des kombinierten Ähnlichkeitsgraphen propagiert wurden.
Ein weiterer Aspekt der offenbarten Ausführungsformen weist eine Vorrichtung zur Label-Propagation von Trainingsdaten auf, die zum Trainieren eines maschinellen Lernmodells verwendet werden. Die Vorrichtung weist einen Prozessor und einen Speicher auf. Der Speicher weist Anweisungen auf, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen zum: Empfangen eines gelabelten Datensatzes, der eine Mehrzahl gelabelter Proben aufweist; anfängliches Trainieren, unter Verwendung einer vollständig überwachten Lerntechnik, des maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes, Empfangen eines ungelabelten Datensatzes, der eine Mehrzahl ungelabelter Proben aufweist; Berechnen, unter Verwendung des anfänglich trainierten maschinellen Lernmodells, von latenten Darstellungsräumen für jede jeweilige Probe aus der Mehrzahl gelabelter Proben und jede jeweilige Probe aus der Mehrzahl ungelabelter Proben; Erzeugen eines k-Nächste-Nachbarn-Ähnlichkeitsgraphen basierend auf den latenten Darstellungsräumen für jede jeweilige Probe der Mehrzahl gelabelter Proben und jede jeweilige Probe der Mehrzahl ungelabelter Proben; Erzeugen eines kombinierten Ähnlichkeitsgraphen durch Erweitern des k-Nächste-Nachbarn-Ähnlichkeitsgraphen unter Verwendung eines expertenabgeleiteten Ähnlichkeitsgraphen; Propagieren, unter Verwendung des kombinierten Ähnlichkeitsgraphen, von Labeln an jede jeweilige Probe der Mehrzahl ungelabelter Proben; und anschließendes Trainieren, unter Verwendung einer semiüberwachten Lerntechnik, des maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes mit Proben, die mit Labeln unter Verwendung des kombinierten Ähnlichkeitsgraphen propagiert wurden.
Kurze Beschreibung der Zeichnungen

1 veranschaulicht allgemein ein System zum Trainieren eines neuronalen Netzes gemäß den Prinzipien der vorliegenden Offenbarung.
2 veranschaulicht allgemein ein computerimplementiertes Verfahren zum Trainieren und Nutzen eines neuronalen Netzes gemäß den Prinzipien der vorliegenden Offenbarung.
3 veranschaulicht allgemein eine Label-Propagationsarchitektur gemäß den Prinzipien der vorliegenden Offenbarung.
4A ist ein Flussdiagramm, das allgemein ein Verfahren zur Label-Propagation gemäß den Prinzipien der vorliegenden Offenbarung veranschaulicht.
4A ist ein Flussdiagramm, das allgemein ein alternatives Verfahren zur Label-Propagation gemäß den Prinzipien der vorliegenden Offenbarung veranschaulicht.
5 zeigt ein schematisches Graph einer Interaktion zwischen einer computergesteuerten Maschine und einem Steuersystem gemäß den Prinzipien der vorliegenden Offenbarung.
6 zeigt ein schematisches Graph des Steuersystems von 5, das dazu ausgebildet ist, ein Fahrzeug zu steuern, bei dem es sich um ein teilweise autonomes Fahrzeug, ein vollständig autonomes Fahrzeug, einen teilweise autonomen Roboter oder einen vollständig autonomen Roboter handeln kann, gemäß den Prinzipien der vorliegenden Offenbarung.
7 zeigt ein schematisches Graph des Steuersystems von 5, das dazu ausgebildet ist, eine Fertigungsmaschine, beispielsweise einen Stanzschneider, einen Fräser oder einen Tieflochbohrer eines Fertigungssystems, beispielsweise eines Teils einer Produktionslinie, zu steuern.
8 zeigt ein schematisches Graph des Steuersystems von 5, das dazu ausgebildet ist, ein Elektrowerkzeug, wie etwa eine Bohrmaschine oder einen Elektroschrauber, der über einen zumindest teilweise autonomen Modus verfügt, zu steuern.
9 zeigt ein schematisches Graph des Steuersystems von 5, das dazu ausgebildet ist, einen automatisierten persönlichen Assistenten zu steuern.
10 zeigt ein schematisches Graph des Steuersystems von 5, das dazu ausgebildet ist, ein Überwachungssystem, beispielsweise ein Zugangssteuerungssystem oder eine Überwachungsanlage, zu steuern.
11 zeigt ein schematisches Graph des Steuersystems von 5, das dazu ausgebildet ist, ein Bildgebungssystems, beispielsweise ein MRT-Gerät, Röntgenbildgebungsgeräts oder Ultraschallgerät, zu steuern.

Ausführliche Beschreibung
Ausführungsformen der vorliegenden Offenbarung werden hier beschrieben. Es versteht sich jedoch, dass die offenbarten Ausführungsformen lediglich Beispiele sind und andere Ausführungsformen verschiedene und alternative Formen annehmen können. Die Figuren sind nicht unbedingt maßstabsgetreu; einige Funktionen können übertrieben oder minimiert dargestellt sein, um Details bestimmter Komponenten zu zeigen. Daher sind die hier offenbarten spezifischen strukturellen und funktionalen Details nicht als einschränkend zu interpretieren, sondern lediglich als repräsentative Grundlage, um einem Fachmann zu vermitteln, die Ausführungsformen auf unterschiedliche Weise einzusetzen. Wie der Durchschnittsfachmann verstehen wird, können verschiedene Merkmale, die unter Bezugnahme auf eine der Figuren dargestellt und beschrieben werden, mit Merkmalen kombiniert werden, die in einer oder mehreren anderen Figuren dargestellt sind, um Ausführungsformen zu erzeugen, die nicht explizit dargestellt oder beschrieben werden. Die dargestellten Merkmalskombinationen stellen repräsentative Ausführungsformen für typische Anwendungen dar. Für bestimmte Anwendungen oder Implementierungen könnten jedoch verschiedene Kombinationen und Modifikationen der Merkmale in Übereinstimmung mit den Lehren dieser Offenbarung wünschenswert sein.
Wie beschrieben, ist das Sammeln und Labeln von Daten bei der Entwicklung von Daten zum Trainieren von maschinellen Lernmodellen ein mühsames, kostspieliges und zeitaufwändiges Unterfangen, das in den meisten aktuellen Pipelines für maschinelles Lernen einen großen Engpass darstellen kann. In vielen realen Anwendungen ist die Anzahl der gelabelten Proben relativ begrenzt, während nicht gelabelte Proben relativ häufig sind, wobei in der Regel nur begrenzte Ressourcen für die Sammlung erforderlich sind. Um solche ungelabelten Proben zu verwenden, werden in der Regel Label angewendet, was im Allgemeinen einen manuellen Aufwand erfordert, was tendenziell zu höheren Kosten und einem höheren Zeitaufwand bei der Vorbereitung gelabelter Trainingsdaten führt.
Dementsprechend können Systeme und Verfahren wie die hier beschriebenen wünschenswert sein, die so ausgebildet sind, dass sie die ungelabelten Proben in einer semiüberwachten Lernumgebung verwenden, um die Leistung von Algorithmen für maschinelles Lernen zu verbessern. In einigen Ausführungsformen können die hier beschriebenen Systeme und Verfahren so ausgebildet sein, dass sie Trainingsdatensätze für maschinelles Lernen unter Verwendung gelabelter Proben, ungelabelter Proben, Expertenwissen, das von Praktikern in Verbindung mit dem Algorithmus für maschinelles Lernen bereitgestellt wird, oder einer Kombination davon, bereitstellen. Beispielsweise können die hierin beschriebenen Systeme und Verfahren so ausgebildet sein, dass sie für die Anwendung zur Bewertung der Klangwahrnehmung zumindest einige Kriterien von Eigenschaften empfangen, die zu zwei unterschiedlichen Geräusche führen, die vom menschlichen Ohr ähnlich wahrgenommen werden (die z. B. durch Klanganalyseexperten bereitgestellt werden).
In einigen Ausführungsformen können die hier beschriebenen Systeme und Verfahren so ausgebildet sein, dass sie eine Label-Propagation auf kontinuierlichen Labeln in einer tiefen semiüberwachten Lernanwendung ermöglichen. Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie expertenabgeleitete Regeln in die Pipeline für maschinelles Lernen einfügen, insbesondere expertenabgeleitete Ähnlichkeitsmetriken. Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie unter Verwendung des maschinellen Lernmodells Regressionsaufgaben ausführen, bei denen die Label kontinuierlich bewertet werden. Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie einen Darstellungsraum bestimmen, der unter Verwendung eines tiefen neuronalen Netzes erlernt wird und als Abstands- oder Ähnlichkeitsmetrik zur Durchführung der Label-Propagation verwendet wird (was z. B. für verschiedene Anwendungen nützlich sein kann, die auf einer Fähigkeit eines tiefen neuronalen Netzes, Darstellungen komplexer Objekte zu lernen, beruhen).
In einigen Ausführungsformen können die hier beschriebenen Systeme und Verfahren so ausgebildet sein, dass sie als Eingabe einen Satz gelabelter Trainingsdaten X empfangen, die aus gelabelten Proben {(x1, y1), (x2, y2 ),...,(xn,yn)}, wobei xi die i-te Probe, yi das entsprechende Label und n die Anzahl der gelabelten Proben ist. Die hier beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie als Eingabe einen Satz ungelabelter Daten U empfangen, der aus ungelabelten Proben {x(n+1),x(n+2),...,x({n+u)})} besteht, wobei u die Anzahl der ungelabelten Proben ist. Die hier beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie als Eingabe Expertendomänenwissen in Form eines Ähnlichkeitsgraphen G über sowohl gelabelte als auch ungelabelte Daten empfangen (z. B., wenn xi und xj in dem Graphen verbunden sind, bedeutet das, dass sie einander ähnlich sind). Die hier beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie unter Verwendung des maschinellen Lernmodells Regressionsaufgaben ausführen, bei denen das Label y einen kontinuierlichen Wert hat (z. B. y ∈ ℜ), was im Gegensatz zu Klassifizierungsaufgaben stehen kann, bei denen das Label diskretwertig ist. Es versteht sich, dass die hierin beschriebenen Systeme und Verfahren so ausgebildet sein können, dass sie zusätzlich zu oder anstelle von Regressionsaufgaben auch Klassifizierungsaufgaben ausführen.
In einigen Ausführungsformen können die hier beschriebenen Systeme und Verfahren so ausgebildet sein, dass sie ein Merkmalsextraktionsnetz f_θ(x) (z. B. parametrisiert durch θ) verwenden, das eine Probe x_i auf einen latenten Darstellungsraum z_i abbildet. Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie ein Prädiktor-(Sub-)Netz g_ω(x) (z. B. parametrisiert durch ω) verwenden, das die latente Darstellung z_i empfängt und ein vorhergesagtes Label ŷ_i ausgibt. Die hier beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie einen k-Nächste-Nachbarn- (KNN)-Graph-Ähnlichkeitsextraktor verwenden, der die gesamte latente Darstellung für die gelabelten und ungelabelten Daten empfängt und einen Ähnlichkeitsgraphen G_knn ausgibt, basierend auf den in dem latenten Raum gemessenen k nächsten Nachbarn. Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie eine Kosinus-Ähnlichkeitsmetrik verwenden, um die Ähnlichkeit zwischen zwei latenten Darstellungen zu messen, wobei jeder Knoten in G_knn k Verbindungen zu den k ähnlichsten Proben aufweist.
Die hier beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie einen Label-Propagator verwenden, der einen Ähnlichkeitsgraphen empfängt, der sowohl aus gelabelten als auch aus ungelabelten Daten besteht. Der Label-Propagator kann das Label von den gelabelten Daten an die ungelabelten Daten propagieren, indem er bekannte Label iterativ an entsprechende Nachbarn in dem Graphen propagiert. Die hier beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie eine Verlustfunktion ℓ(ŷ,y) verwenden, die als Ziel im Trainingsprozess dient. Die hier beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie den quadratischen Fehler ℓ(ŷ, y) = (ŷ - y)² als unsere Regressionsverlustfunktion verwenden.
In einigen Ausführungsformen können die hier beschriebenen Systeme und Verfahren so ausgebildet sein, dass sie eine vollständig überwachte Lernphase bereitstellen, die zumindest das Trainieren des maschinellen Lernmodells (das z. B. die Merkmalsextraktor- und Prädiktornetze) unter Verwendung gelabelter Daten (z. B. so, dass der Merkmalsextraktor für die Label-Propagation verwendbar ist) für zehn Epochen (oder z. B. eine andere geeignete Anzahl von Epochen) aufweist durch Minimierung von: $min_{θ, ω} \sum_{i = 1}^{n} l (g_{ω} (f_{θ} (x_{i})), y_{i}) = min_{θ, ω} \sum_{i = 1}^{n} {(g_{ω} (f_{θ} (x_{i})) - y_{i})}^{2}$
In einigen Ausführungsformen können die hierin beschriebenen Systeme und Verfahren so ausgebildet sein, dass sie eine Phase des semiüberwachten Lernens bereitstellen, die zumindest die Durchführung von semiüberwachtem Lernen unter Verwendung sowohl gelabelter als auch ungelabelter Daten durch iteratives Durchführen der hierin beschriebenen Schritte aufweist. Beispielsweise können die hier beschriebenen Systeme und Verfahren so ausgebildet sein, dass sie die trainierten Netze des maschinellen Lernmodells verwenden und die latenten Darstellungsräume zi für alle Proben (z. B. sowohl gelabelte als auch ungelabelte Proben) berechnen. Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie den KNN-Graph-Ähnlichkeitsextraktor verwenden, um unter Verwendung der berechneten laten- ten Darstellung einen KNN-Ähnlichkeitsgraphen Gknn zu erstellen. Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie den KNN-Ähnlichkeitsgraphen Gknn mit dem expertenabgeleiteten Ähnlichkeitsgraphen G erweitern. Die hier beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie den kombinierten Ähnlichkeitsgraphen Gcomb ausgeben (z. B., wo zwei Knoten in Gcomb verbunden sind, wenn die beiden Knoten in mindestens einem der Gknn - und G-Graphen verbunden sind). Die hier beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie das Label unter Verwendung des Label-Propagators verbreiten, indem sie Gcomb als Eingabe empfangen. Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie unter Verwendung des Label-Propagators ein propagiertes Label y ^~ für jede nicht gelabelte Probe mit einem Konfidenzniveau α ausgeben, das die Konfidenz des Propagators mit dem propagierten Label misst. Die hier beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie die Merkmalsextraktor- und Prädiktornetze trainieren, indem sie sowohl gelabelte Daten als auch ungelabelte Daten mit der propagierten Label für eine Epoche verwenden, indem Folgendes optimiert wird: $min_{θ, ω} \sum_{i = 1}^{n} {(g_{ω} (f_{θ} (x_{i})) - y_{i})}^{2} + \sum_{i = n + 1}^{n + u} α_{i} {(g_{ω} (f_{θ} (x_{i})) - {\tilde{y}}_{i})}^{2}$
Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie eine Summierung über den quadratischen Fehler für die gelabelten Proben und eine Summierung des gewichteten quadratischen Fehlers für die nicht gelabelten Proben mit den propagierten Label bestimmen. Die hier beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie auf Konvergenzkriterien prüfen, wobei, wenn die Konvergenzkriterien erfüllt sind, die hier beschriebenen Systeme und Verfahren so ausgebildet sein können, dass sie das Trainieren stoppen (andernfalls kehren sie z. B. zum Beginn des semiüberwachten Lernens zurück).
In einigen Ausführungsformen können die hier beschriebenen Systeme und Verfahren so ausgebildet sein, dass sie wie beschrieben eine Label-Propagation ermöglichen. Die hier beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie als Eingabe gelabelte Proben {(x1 ,y1), (x2, y2 ),...,(xn,yn)}, ungelabelte Proben {x(n+1),x(n+2),...,x({n+u})}, einen Ähnlichkeitsgraphen Gcomb und/oder einen Konfidenzabschlag η empfangen.
In einigen Ausführungsformen können die hier beschriebenen Systeme und Verfahren so ausgebildet sein, dass sie einen gewichteten Graphen Gweighted aus Gcomb erzeugen, wobei das Gewicht einer Kante die Kosinusähnlichkeit der latenten Darstellung ihrer verbundenen Knoten ist. Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie die propagierte Labelvariable ỹ_l, Vi ∈ [1, n + u] und die Konfidenzvariable α_i, ∀i ∈ [1, n + u] vorbereiten. Die hier beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie ỹ_l = y_i und α_i = 1 für die gelabelten Proben festlegen.
Die hier beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie ŷ_l = Null und a_i = Null für ungelabelte Proben setzen. Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie, bis die Konvergenzbedingung erfüllt ist, Folgendes wiederholen: Durchführen einer einstufigen Propagation (z. B. für jede Probe (jeden Knoten im Graph): Normalisieren der Gewichte ihrer Nicht-Null-Nachbarn, Berechnen der neuen propagierten Proben als gewichteter Durchschnitt über die Label ihrer Nicht-Null-Nachbarn; und/oder Berechnen der neuen Konfidenz für die propagierte Label als Durchschnitt der Konfidenz ihrer Nicht-Null-Nachbarn multipliziert mit dem Konfidenzabschlag); und Festlegen der gelabelten Daten (z. B. für jede gelabelte Probe, setze ỹ_l = y_i und α_i = 1). In einigen Ausführungsformen können die hier beschriebenen Systeme und Verfahren so ausgebildet sein, dass sie propagierte Label ỹ und eine entsprechende Konfidenz α für jede ungelabelte Probe zurückgeben.
In einigen Ausführungsformen können die hier beschriebenen Systeme und Verfahren so ausgebildet sein, dass sie einen gelabelten Datensatz empfangen, der eine Mehrzahl von gelabelten Proben aufweist. Die hier beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie das maschinelle Lernmodell anfänglich unter Verwendung des gelabelten Datensatzes trainieren. Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie das maschinelle Lernmodell anfänglich trainieren, indem sie anfänglich einen Merkmalsextraktor des maschinellen Lernmodells und ein oder mehrere Prädiktornetze des maschinellen Lernmodells trainieren. Die hier beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie anfänglich das maschinelle Lernmodells unter Verwendung einer vollständig überwachten Lerntechnik trainieren.
Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie einen ungelabelten Datensatz empfangen, der eine Mehrzahl ungelabelter Proben aufweist. Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie unter Verwendung des anfänglich trainierten maschinellen Lernmodells für jede jeweilige Probe aus der Mehrzahl gelabelter Proben und jede jeweilige Probe aus der Mehrzahl ungelabelter Proben latente Darstellungsräume berechnen.
Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie einen KNN-Ähnlichkeitsgraphen basierend auf den latenten Darstellungsräumen für jede jeweilige Probe der Mehrzahl gelabelter Proben und jede jeweilige Probe der Mehrzahl ungelabelter Proben erzeugen. Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie einen kombinierten Ähnlichkeitsgraphen erzeugen, indem sie den KNN-Ähnlichkeitsgraphen unter Verwendung eines expertenabgeleiteten Ähnlichkeitsgraphen erweitern. Ein erster Knoten des kombinierten Ähnlichkeitsgraphen kann mit einem zweiten Knoten des kombinierten Ähnlichkeitsgraphen als Reaktion darauf verbunden werden, dass der erste Knoten und der zweite Knoten in mindestens einem von dem KNN-Ähnlichkeitsgraphen und dem expertenabgeleiteten Ähnlichkeitsgraphen verbunden sind. Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie unter Verwendung des kombinierten Ähnlichkeitsgraphen Label an jede jeweilige Probe der Mehrzahl ungelabelter Proben propagieren. Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie unter Verwendung des kombinierten Ähnlichkeitsgraphen die Label an jede jeweilige Probe der Mehrzahl ungelabelter Proben propagieren, indem für jede jeweilige Probe der Mehrzahl ungelabelter Proben eine Label und ein Konfidenzniveau erzeugt werden.
Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie anschließend das maschinelle Lernmodell unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes mit Proben, die mit Labeln unter Verwendung des kombinierten Ähnlichkeitsgraphen propagiert wurden, trainieren. Die hier beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie das maschinelle Lernmodell anschließend unter Verwendung einer semiüberwachten Lerntechnik trainieren. Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie das maschinelle Lernmodell anschließend trainieren, indem sie eine Summierung eines quadratischen Fehlers für jede Probe der Mehrzahl gelabelter Proben und eine Summierung eines gewichteten quadratischen Fehlers für jede Probe der Mehrzahl ungelabelter Proben optimieren. Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie als Reaktion auf die Bestimmung, dass mindestens ein Konvergenzkriterium nicht erfüllt ist, das anschließende Trainieren fortsetzen. Die hierin beschriebenen Systeme und Verfahren können so ausgebildet sein, dass sie als Reaktion auf die Bestimmung, dass das mindestens eine Konvergenzkriterium erfüllt ist, das anschließende Trainieren des maschinellen Lernmodells abbrechen.
In einigen Ausführungsformen ist das maschinelle Lernmodell so ausgebildet, dass es mindestens eine Klassifizierungsaufgabe ausführt. In einigen Ausführungsformen ist das maschinelle Lernmodell so ausgebildet, dass es mindestens eine Regressionsaufgabe ausführt.
1 zeigt ein System 100 zum Trainieren eines neuronalen Netzes. Das System 100 kann eine Eingabeschnittstelle zum Zugriff auf Trainingsdaten 102 für das neuronale Netz umfassen. Wie beispielsweise in 1 veranschaulicht wird, kann die Eingabeschnittstelle aus einer Datenspeicherschnittstelle 104 bestehen, die auf die Trainingsdaten 102 aus einem Datenspeicher 106 zugreifen kann. Beispielsweise kann die Datenspeicherschnittstelle 104 eine Speicherschnittstelle oder eine persistente Speicherschnittstelle, z. B. eine Festplatte oder eine SSD-Schnittstelle, aber auch eine persönliche, lokale oder Weitverkehrsnetzschnittstelle, wie etwa eine Bluetooth-, Zigbee- oder Wi-Fi-Schnittstelle, oder eine Ethernet- oder Glasfaserschnittstelle sein. Der Datenspeicher 106 kann ein interner Datenspeicher des Systems 100 sein, beispielsweise eine Festplatte oder SSD, aber auch ein externer Datenspeicher, beispielsweise ein über das Netzwerk zugänglicher Datenspeicher.
In einigen Ausführungsformen kann der Datenspeicher 106 ferner eine Datendarstellung 108 einer untrainierten Version des neuronalen Netzes umfassen, auf die das System 100 über den Datenspeicher 106 zugreifen kann. Es versteht sich jedoch, dass auf die Trainingsdaten 102 und die Datendarstellung 108 des untrainierten neuronalen Netzes auch jeweils von einem anderen Datenspeicher zugegriffen werden kann, z. B. über ein anderes Subsystem der Datenspeicherschnittstelle 104. Jedes Subsystem kann von einem Typ sein, wie oben für die Datenspeicherschnittstelle 104 beschrieben.
In einigen Ausführungsformen kann die Datendarstellung 108 des untrainierten neuronalen Netzes intern von dem System 100 basierend auf Entwurfsparametern für das neuronale Netz erzeugt werden und daher möglicherweise nicht explizit im Datenspeicher 106 gespeichert werden. Das System 100 kann ferner ein Prozessor-Subsystem 110 umfassen, das so ausgebildet sein kann, dass es während des Betriebs des Systems 100 eine iterative Funktion als Ersatz für einen Stapel von Schichten des zu trainierenden neuronalen Netzes bereitstellt. Dabei können alle jeweiligen Schichten des zu ersetzenden Schichtenstapels gegenseitig gemeinsame Gewichte haben und als Eingabe eine Ausgabe einer vorherigen Schicht, oder für eine erste Schicht des Schichtstapels, eine anfängliche Aktivierung, und einen Teil der Eingabe des Schichtenstapels empfangen.
Das Prozessor-Subsystem 110 kann ferner dazu ausgebildet sein, das neuronale Netz unter Verwendung der Trainingsdaten 102 iterativ zu trainieren. Hier kann eine Iteration des Trainierens durch das Prozessor-Subsystem 110 einen Vorwärts-Propagationsteil und einen Rückwärts-Propagationsteil umfassen. Das Prozessor-Subsystem 110 kann so ausgebildet sein, dass es den Vorwärts-Propagationsteil durchführt, indem es neben anderen Operationen, die den Vorwärts-Propagationsteil definieren und durchgeführt werden können, einen Gleichgewichtspunkt der iterativen Funktion bestimmt, an dem die iterative Funktion gegen einen festen Punkt konvergiert, wobei das Bestimmen des Gleichgewichtspunkts die Verwendung eines numerischen Wurzelfindungsalgorithmus, um eine Wurzellösung für die iterative Funktion minus ihrer Eingabe zu finden, und die Bereitstellung des Gleichgewichtspunkts als Ersatz für eine Ausgabe des Schichtenstapels in dem neuronalen Netz umfasst.
Das System 100 kann ferner eine Ausgabeschnittstelle zum Ausgeben einer Datendarstellung 112 des trainierten neuronalen Netzes umfassen. Diese Daten können auch als trainierte Modelldaten 112 bezeichnet werden. Wie in 1 veranschaulicht wird, kann die Ausgabeschnittstelle durch die Datenspeicherschnittstelle 104 gebildet werden, wobei es sich bei dieser Schnittstelle in diesen Ausführungsformen um eine Eingabe-/Ausgabeschnittstelle („EA“) handelt, über die die trainierten Modelldaten 112 im Datenspeicher 106 gespeichert werden können. Beispielsweise kann die Datendarstellung 108, die das „untrainierte“ neuronale Netz definiert, während oder nach dem Trainieren zumindest teilweise durch die Datendarstellung 112 des trainierten neuronalen Netzes ersetzt werden, indem die Parameter des neuronalen Netzes, wie etwa Gewichte, Hyperparameter und andere Arten von Parametern neuronaler Netze, angepasst werden können, um das Trainieren anhand der Trainingsdaten 102 widerzuspiegeln. Dies ist auch in 1 durch die Bezugszeichen 108, 112 veranschaulicht, die sich auf denselben Datensatz im Datenspeicher 106 beziehen. In einigen Ausführungsformen kann die Datendarstellung 112 getrennt von der Datendarstellung 108, die das „untrainierte“ neuronale Netz definiert, gespeichert werden. In einigen Ausführungsformen kann die Ausgabeschnittstelle von der Datenspeicherschnittstelle 104 getrennt sein, kann aber im Allgemeinen von einem Typ wie oben für die Datenspeicherschnittstelle 104 beschrieben sein.
2 zeigt ein Datenannotations-/Erweiterungssystem 200 zum Implementieren eines Systems zum Annotieren und/oder Erweitern von Daten. Das Datenannotationssystem 200 kann mindestens ein Computersystem 202 aufweisen. Das Computersystem 202 kann mindestens einen Prozessor 204 aufweisen, der operativ mit einer Speichereinheit 208 verbunden ist. Der Prozessor 204 kann einen oder mehrere integrierte Schaltkreise aufweisen, die die Funktionalität einer Zentraleinheit (CPU) 206 implementieren. Die CPU 206 kann eine kommerziell erhältliche Verarbeitungseinheit sein, die einen Befehlssatz wie beispielsweise einen der x86-, ARM-, Power- oder MIPS-Befehlssatzfamilien implementiert.
Während des Betriebs kann die CPU 206 gespeicherte Programmanweisungen ausführen, die aus der Speichereinheit 208 abgerufen werden. Die gespeicherten Programmanweisungen können Software aufweisen, die den Betrieb der CPU 206 steuert, um den hier beschriebenen Operation auszuführen. In einigen Ausführungsformen kann der Prozessor 204 ein System-on-a-Chip (SoC) sein, das die Funktionalität der CPU 206, der Speichereinheit 208, einer Netzwerkschnittstelle und Eingabe-/Ausgabeschnittstellen in einer einzigen integrierten Vorrichtung integriert. Das Computersystem 202 kann ein Betriebssystem zum Verwalten verschiedener Aspekte des Betriebs implementieren.
Die Speichereinheit 208 kann einen flüchtigen Speicher und einen nichtflüchtigen Speicher zum Speichern von Anweisungen und Daten aufweisen. Der nichtflüchtige Speicher kann Festkörperspeicher, wie NAND-Flash-Speicher, magnetische und optische Speichermedien, oder jede andere geeignete Datenspeichervorrichtung aufweisen, die Daten speichert, wenn das Computersystem 202 deaktiviert ist oder die Stromversorgung verliert. Der flüchtige Speicher kann statischen und dynamischen Direktzugriffsspeicher (RAM) aufweisen, der Programmanweisungen und Daten speichert. Beispielsweise kann die Speichereinheit 208 ein Modell 210 oder einen Algorithmus für maschinelles Lernen, einen Trainingsdatensatz 212 für das maschinelle Lernmodell 210 und einen Rohquellendatensatz 216 speichern.
Das Computersystem 202 kann eine Netzwerkschnittstellenvorrichtung 222 aufweisen, die für die Kommunikation mit externen Systemen und Vorrichtungen ausgebildet ist. Beispielsweise kann die Netzwerkschnittstellenvorrichtung 222 eine drahtgebundene und/oder drahtlose Ethernet-Schnittstelle aufweisen, wie sie in der 802.11 -Standardfamilie des Institute of Electrical and Electronics Engineers (IEEE) definiert ist. Die Netzwerkschnittstellenvorrichtung 222 kann eine Mobilfunkkommunikationsschnittstelle zur Kommunikation mit einem Mobilfunknetz (z. B. 3G, 4G, 5G) aufweisen. Die Netzwerkschnittstellenvorrichtung 222 kann ferner so ausgebildet sein, dass sie eine Kommunikationsschnittstelle zu einem externen Netzwerk 224 oder einer Cloud bereitstellt.
Das externe Netzwerk 224 kann als World Wide Web oder Internet bezeichnet werden. Das externe Netzwerk 224 kann ein Standardkommunikationsprotokoll zwischen Computergeräten aufbauen. Das externe Netzwerk 224 kann den einfachen Austausch von Informationen und Daten zwischen Computergeräten und Netzwerken ermöglichen. Einer oder mehrere Server 230 können mit dem externen Netzwerk 224 kommunizieren.
Das Computersystem 202 kann eine Eingabe-/Ausgabe- (E/A) Schnittstelle220 aufweisen, die so ausgebildet sein kann, dass sie digitale und/oder analoge Ein- und Ausgaben bereitstellt. Die E/A-Schnittstelle 220 kann zusätzliche serielle Schnittstellen zur Kommunikation mit externen Geräten aufweisen (z. B. eine USB- (Universal Serial Bus) Schnittstelle).
Das Computersystem 202 kann eine Mensch-Maschine-Schnittstellenvorrichtung (HMI) 218 aufweisen, die ein beliebiges Gerät aufweisen kann, das es dem System 200 ermöglicht, Steuereingaben zu empfangen. Beispiele für Eingabegeräte können Benutzereingabeschnittstellen, wie Tastaturen, Mäuse, Touchscreens, Spracheingabegeräte, und andere ähnliche Geräte sein. Das Computersystem 202 kann eine Anzeigevorrichtung 232 aufweisen. Das Computersystem 202 kann Hardware und Software zum Ausgeben von Grafik- und Textinformationen an die Anzeigevorrichtung 232 aufweisen. Die Anzeigevorrichtung 232 kann einen elektronischen Bildschirm, einen Projektor, einen Drucker oder ein anderes geeignetes Gerät zum Anzeigen von Informationen für einen Benutzer oder Bediener aufweisen. Das Computersystem 202 kann ferner so ausgebildet sein, dass es über die Netzwerkschnittstellenvorrichtung 222 eine Interaktion mit entfernten HMI- und entfernten Anzeigevorrichtungen ermöglicht.
Das System 200 kann unter Verwendung eines oder mehrerer Computersysteme implementiert werden. Während das Beispiel ein einzelnes Computersystem 202 darstellt, das alle beschriebenen Merkmale implementiert, ist beabsichtigt, dass verschiedene Merkmale und Funktionen getrennt und von mehreren miteinander kommunizierenden Computereinheiten implementiert werden können. Die ausgewählte Systemarchitektur kann von einer Mehrzahl von Faktoren abhängig sein.
Das System 200 kann einen maschinellen Lernalgorithmus 210 implementieren, der zum Analysieren des Rohquelldatensatzes 216 ausgebildet ist. Der Rohquelldatensatz 216 kann rohe oder unverarbeitete Sensordaten aufweisen, die einen Eingabedatensatz für ein maschinelles Lernsystem darstellen können. Der Rohquelldatensatz 216 kann Videos, Videosegmente, Bilder, textbasierte Informationen und rohe oder teilweise verarbeitete Sensordaten (z. B. eine Radarkarte von Objekten) aufweisen. In einigen Ausführungsformen kann der maschinelle Lernalgorithmus 210 ein neuronaler Netzalgorithmus sein, der dafür ausgelegt ist, eine vorgegebene Funktion auszuführen. Beispielsweise kann der neuronale Netzalgorithmus in Automobilanwendungen dazu ausgebildet sein, Fußgänger in Videobildern zu identifizieren.
Das Computersystem 200 kann einen Trainingsdatensatz 212 für den maschinellen Lernalgorithmus 210 speichern. Der Trainingsdatensatz 212 kann einen Satz zuvor erstellter Daten zum Trainieren des maschinellen Lernalgorithmus 210 darstellen. Der Trainingsdatensatz 212 kann von dem maschinellen Lernalgorithmus 210 zum Erlernen von Gewichtungsfaktoren verwendet werden, die einem neuronalen Netzalgorithmus zugeordnet sind. Der Trainingsdatensatz 212 kann einen Satz Quelldaten aufweisen, der entsprechende Ergebnisse oder Resultate aufweist, die der maschinelle Lernalgorithmus 210 über den Lernprozess zu duplizieren versucht. In diesem Beispiel kann der Trainingsdatensatz 212 Quellvideos mit und ohne Fußgänger und entsprechende Anwesenheits- und Standortinformationen aufweisen. Die Quellvideos können verschiedene Szenarien enthalten, in denen Fußgänger identifiziert werden.
Der maschinelle Lernalgorithmus 210 kann in einem Lernmodus unter Verwendung des Trainingsdatensatzes 212 als Eingabe betrieben werden. Der maschinelle Lernalgorithmus 210 kann über eine Reihe von Iterationen unter Verwendung der Daten aus dem Trainingsdatensatz 212 ausgeführt werden. Bei jeder Iteration kann der maschinelle Lernalgorithmus 210 interne Gewichtungsfaktoren basierend auf den erzielten Ergebnissen aktualisieren. Beispielsweise kann der maschinelle Lernalgorithmus 210 Ausgabeergebnisse (z. B. Annotationen) mit denen vergleichen, die in dem Trainingsdatensatz 212 enthalten sind. Da der Trainingsdatensatz 212 die erwarteten Ergebnisse aufweist, kann der maschinelle Lernalgorithmus 210 bestimmen, wann die Leistung akzeptabel ist. Nachdem der maschinelle Lernalgorithmus 210 ein vorgegebenes Leistungsniveau erreicht hat (z. B. 100 % Übereinstimmung mit den Ergebnissen, die mit dem Trainingsdatensatz 212 verknüpft sind), kann der maschinelle Lernalgorithmus 210 unter Verwendung von Daten ausgeführt werden, die nicht in dem Trainingsdatensatz 212 enthalten sind. Der trainierte maschinellen Lernalgorithmus 210 kann auf neue Datensätze angewendet werden, um annotierte Daten zu erzeugen.
Der maschinelle Lernalgorithmus 210 kann so ausgebildet sein, dass er ein bestimmtes Merkmal in den Rohquelldaten 216 identifiziert. Die Rohquelldaten 216 können mehrere Instanzen oder Eingabedatensätze aufweisen, für die Annotationsergebnisse gewünscht werden. Beispielsweise kann der maschinelle Lernalgorithmus 210 so ausgebildet sein, dass er die Anwesenheit eines Fußgängers in Videobildern erkennt und die Vorkommnisse mit Annotationen versieht. Der maschinelle Lernalgorithmus 210 kann so programmiert sein, dass er die Rohquelldaten 216 verarbeitet, um das Vorhandensein der bestimmten Merkmale zu identifizieren. Der maschinelle Lernalgorithmus 210 kann so ausgebildet sein, dass er ein Merkmal in den Rohquelldaten 216 als vorgegebenes Merkmal (z. B. Fußgänger) identifiziert. Die Rohquelldaten 216 können aus verschiedenen Quellen stammen. Beispielsweise können die Rohquelldaten 216 tatsächliche Eingabedaten sein, die von einem maschinellen Lernsystem gesammelt wurden. Die Rohquelldaten 216 können zum Testen des Systems maschinell erzeugt werden. Beispielsweise können die Rohquelldaten 216 Rohvideobilder von einer Kamera aufweisen.
In dem Beispiel kann der maschinelle Lernalgorithmus 210 rohe Quelldaten 216 verarbeiten und einen Hinweis auf eine Darstellung eines Bildes ausgeben. Die Ausgabe kann auch eine erweiterte Darstellung des Bildes aufweisen. Ein maschineller Lernalgorithmus 210 kann für jede erzeugte Ausgabe ein Konfidenzniveau oder einen Konfidenzfaktor erzeugen. Beispielsweise kann ein Konfidenzwert, der einen vorgegebenen oberen Konfidenzschwellenwert überschreitet, anzeigen, dass der maschinelle Lernalgorithmus 210 sicher ist, dass das identifizierte Merkmal dem bestimmten Merkmal entspricht. Ein Konfidenzwert, der unter einem unteren Konfidenzschwellenwert liegt, kann darauf hinweisen, dass der maschinelle Lernalgorithmus 210 eine gewisse Unsicherheit darüber hat, ob das bestimmte Merkmal vorhanden ist.
In einigen Ausführungsformen, wie allgemein in 3 veranschaulicht wird, kann das System 200 als Eingabe einen gelabelten Datensatz empfangen, der eine Mehrzahl von gelabelten Proben aufweist. Das System 200 kann den maschinellen Lernalgorithmus 210 anfänglich unter Verwendung des gelabelten Datensatzes trainieren. Das System 200 kann den maschinellen Lernalgorithmus 210 anfänglich trainieren, indem es anfänglich einen Merkmalsextraktor des maschinellen Lernalgorithmus 210 und eines oder mehrere Prädiktornetze des maschinellen Lernalgorithmus 210 trainiert. Das System 200 kann den maschinellen Lernalgorithmus 210 anfänglich unter Verwendung einer vollständig überwachten Lerntechnik trainieren. Der maschinelle Lernalgorithmus 210 kann so ausgebildet sein, dass er mindestens eine Klassifizierungsaufgabe, mindestens eine Regressionsaufgabe, andere geeignete Aufgaben, oder eine Kombination davon ausführt.
Das System 200 kann als Eingabe einen ungelabelten Datensatz empfangen, der eine Mehrzahl ungelabelter Proben aufweist. Das System 200 kann unter Verwendung des anfänglich trainierten maschinellen Lernalgorithmus 210 latente Darstellungsräume für jede jeweilige Probe aus der Mehrzahl gelabelter Proben und jede jeweilige Probe aus der Mehrzahl ungelabelter Proben berechnen.
Das System 200 kann einen KNN-Ähnlichkeitsgraphen basierend auf den latenten Darstellungsräumen für jede jeweilige Probe der Mehrzahl gelabelter Proben und jede jeweilige Probe der Mehrzahl ungelabelter Proben erzeugen. Das System 200 kann einen kombinierten Ähnlichkeitsgraphen erzeugen, indem es den KNN-Ähnlichkeitsgraphen unter Verwendung eines expertenabgeleiteten Ähnlichkeitsgraphen erweitert. In einigen Ausführungsformen kann ein erster Knoten des kombinierten Ähnlichkeitsgraphen mit einem zweiten Knoten des kombinierten Ähnlichkeitsgraphen als Reaktion darauf verbunden werden, dass der erste Knoten und der zweite Knoten in mindestens einem von dem KNN-Ähnlichkeitsgraphen und dem expertenabgeleiteten Ähnlichkeitsgraphen verbunden sind.
Das System 200 kann unter Verwendung des kombinierten Ähnlichkeitsgraphen Label an jede jeweilige Probe der Mehrzahl ungelabelter Proben propagieren. Beispielsweise kann das System 200 unter Verwendung des kombinierten Ähnlichkeitsgraphen die Label an jede jeweilige Probe der Mehrzahl ungelabelter Proben propagieren, indem es für jede jeweilige Probe der Mehrzahl ungelabelter Proben ein Label und ein Konfidenzniveau erzeugt.
Das System 200 kann anschließend den maschinellen Lernalgorithmus 210 unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes mit Proben, die mit Labeln unter Verwendung des kombinierten Ähnlichkeitsgraphen propagiert wurden, trainieren. Beispielsweise kann das System 200 den maschinellen Lernalgorithmus 210 anschließend unter Verwendung einer semiüberwachten Lerntechnik trainieren. Das System 200 kann den maschinellen Lernalgorithmus 210 anschließend trainieren, indem es eine Summierung eines quadratischen Fehlers für jede Probe aus der Mehrzahl gelabelter Proben und eine Summierung eines gewichteten quadratischen Fehlers für jede Probe aus der Mehrzahl ungelabelter Proben optimiert. Das System 200 kann als Reaktion auf die Bestimmung, dass mindestens ein Konvergenzkriterium nicht erfüllt ist, das anschließende Trainieren fortsetzen. Das System 200 kann das anschließende nachfolgende Trainieren des maschinellen Lernalgorithmus 210 als Reaktion auf die Bestimmung, dass das mindestens eine Konvergenzkriterium erfüllt ist, abbrechen. In einigen Ausführungsformen kann das System 200 eine Verlustfunktion unter Verwendung der gelabelten Proben und/oder der ungelabelten Proben durchführen.
4A ist ein Flussdiagramm, das allgemein ein Label-Propagationsverfahren 300 gemäß den Prinzipien der vorliegenden Offenbarung veranschaulicht. Bei 302 empfängt die Verfahren 300 gelabelte Daten. Beispielsweise kann das System 200 die gelabelten Daten empfangen.
Bei 304 kann das Verfahren 300 unter Verwendung der gelabelten Daten für 10 Epochen trainieren. Beispielsweise kann das System 200 den maschinellen Lernalgorithmus 210 für 10 Epochen trainieren.
Bei 306 verwendet das Verfahren 300 das trainierte Netzwerk, um die latente Darstellung für die gelabelten und ungelabelten Daten zu berechnen. Beispielsweise kann das System 200 das trainierte Netzwerk verwenden, um die latente Darstellung für die gelabelten und ungelabelten Daten zu berechnen.
Bei 308 empfängt das Verfahren 30 ungelabelte Daten. Beispielsweise kann das System 200 die ungelabelten Daten empfangen.
Bei 310 erstellt das Verfahren 300 unter Verwendung von eines KNN für den latenten Raum einen Ähnlichkeitsgraphen für gelabelte und ungelabelte Daten. Beispielsweise kann das System 200 den Ähnlichkeitsgraphen für gelabelte und ungelabelte Daten unter Verwendung von KNN in dem latenten Raum erstellen.
Bei 312 erweitert das Verfahren 300 den KNN-Ähnlichkeitsgraphen um den expertenabgeleiteten Ähnlichkeitsgraphen. Beispielsweise kann das System 200 den KNN-Ähnlichkeitsgraphen mit dem expertenabgeleiteten Ähnlichkeitsgraphen erweitern.
Bei 314 bestimmt das Verfahren 300, ob Abbruchbedingungen erfüllt sind. Beispielsweise kann das System 200 bestimmen, ob die Abbruchbedingungen erfüllt sind. Wenn das System 200 feststellt, dass die Abbruchbedingungen erfüllt sind, fährt das Verfahren 300 mit 320 fort. Wenn das System 200 alternativ feststellt, dass die Abbruchbedingungen nicht erfüllt sind, fährt das Verfahren 300 mit 316 fort.
Bei 316 verwendet das Verfahren 300 die gelabelten Daten in Kombination mit den nicht gelabelten Daten (die z. B. das propagierte Label aufweisen), um das Netz für eine Epoche zu trainieren. Beispielsweise kann das System 200 die gelabelten Daten in Kombination mit den nicht gelabelten Daten (die z. B. das propagierte Label aufweisen) verwenden, um das Netz für eine Epoche zu trainieren.
Bei 318 verwendet das Verfahren 300 den kombinierten Ähnlichkeitsgraphen, um die Label-Propagation durchzuführen. Beispielsweise kann das System 200 den kombinierten Ähnlichkeitsgraphen verwenden, um eine Label-Propagation durchzuführen.
Bei 320 endet das Verfahren 300.
4B ist ein Flussdiagramm, das allgemein ein alternatives Label-Propagationsverfahren 400 gemäß den Prinzipien der vorliegenden Offenbarung veranschaulicht. Bei 402 empfängt das Verfahren 400 einen gelabelten Datensatz, der eine Mehrzahl gelabelter Proben aufweist. Beispielsweise kann das System 200 den gelabelten Datensatz empfangen, der eine Mehrzahl gelabelter Proben aufweist.
Bei 404 trainiert das Verfahren 400 anfänglich ein maschinellen Lernmodell unter Verwendung des gelabelten Datensatzes. Beispielsweise kann das System 200 anfänglich einen maschinellen Lernalgorithmus 210 unter Verwendung des gelabelten Datensatzes trainieren.
Bei 406 empfängt das Verfahren 400 einen ungelabelten Datensatz, der eine Mehrzahl ungelabelter Proben aufweist. Beispielsweise kann das System 200 den ungelabelten Datensatz empfangen, der eine Mehrzahl ungelabelter Proben aufweist.
Bei 408 berechnet das Verfahren 400 unter Verwendung des anfänglich trainierten maschinellen Lernmodells latente Darstellungsräume für jede jeweilige Probe aus der Mehrzahl gelabelter Proben und jede jeweilige Probe aus der Mehrzahl ungelabelter Proben. Beispielsweise kann das System 200 unter Verwendung des anfänglich trainierten maschinellen Lernalgorithmus 210 latente Darstellungsräume für jede jeweilige Probe aus der Mehrzahl gelabelter Proben und jede jeweilige Probe aus der Mehrzahl ungelabelter Proben berechnen.
Bei 410 erzeugt das Verfahren 400 einen k-Nächste-Nachbarn-Ähnlichkeitsgraphen basierend auf den latenten Darstellungsräumen für jede jeweilige Probe aus der Mehrzahl gelabelter Proben und jede jeweilige Probe aus der Mehrzahl ungelabelter Proben. Beispielsweise kann das System 200 den KNN-Ähnlichkeitsgraphen basierend auf den latenten Darstellungsräumen für jede jeweilige Probe der Mehrzahl gelabelter Proben und jede jeweilige Probe der Mehrzahl ungelabelter Proben erzeugen.
Bei 412 erzeugt das Verfahren 400 einen kombinierten Ähnlichkeitsgraphen durch Erweitern des k-Nächste-Nachbarn-Ähnlichkeitsgraphen unter Verwendung eines expertenabgeleiteten Ähnlichkeitsgraphen. Beispielsweise kann das System 200 den kombinierten Ähnlichkeitsgraphen erzeugen, indem es den KNN-Ähnlichkeitsgraphen unter Verwendung des expertenabgeleiteten Ähnlichkeitsgraphen erweitert.
Bei 414 propagiert das Verfahren 400 unter Verwendung des kombinierten Ähnlichkeitsgraphen Label auf jede jeweilige Probe der Mehrzahl ungelabelter Proben. Beispielsweise kann das System 200 unter Verwendung des kombinierten Ähnlichkeitsgraphen Label an jede jeweilige Probe der Mehrzahl ungelabelter Proben propagieren.
Bei 416 trainiert das Verfahren 400 anschließend das maschinelle Lernmodell unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes mit Proben, die mit Labeln unter Verwendung des kombinierten Ähnlichkeitsgraphen propagiert wurden. Beispielsweise kann das System 200 den maschinellen Lernalgorithmus 210 unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes mit Proben trainieren, die mit Labeln unter Verwendung des kombinierten Ähnlichkeitsgraphen propagiert wurden.
5 zeigt ein schematisches Diagramm einer Interaktion zwischen der computergesteuerten Maschine 500 und dem Steuersystem 502. Die computergesteuerte Maschine 500 weist einen Aktor 504 und einen Sensor 506 auf. Der Aktor 504 kann einen oder mehrere Aktoren aufweisen und der Sensor 506 kann einen oder mehrere Sensoren aufweisen. Der Sensor 506 ist so ausgebildet, dass er einen Zustand der computergesteuerten Maschine 500 erfasst. Der Sensor 506 kann so ausgebildet sein, dass er den erfassten Zustand in Sensorsignale 508 codiert und die Sensorsignale 508 an das Steuersystem 502 überträgt. Nicht einschränkende Beispiele für den Sensor 506 weisen Video-, Radar-, LiDAR-, Ultraschall- und Bewegungssensoren auf. In einigen Ausführungsformen ist der Sensor 506 ein optischer Sensor, der dazu ausgebildet ist, optische Bilder einer Umgebung in der Nähe der computergesteuerten Maschine 500 zu erfassen.
Das Steuersystem 502 ist so ausgebildet, dass es Sensorsignale 508 von der computergesteuerten Maschine 500 empfängt. Wie unten dargelegt, kann das Steuersystem 502 ferner so ausgebildet sein, dass es Aktorsteuerbefehle 510 in Abhängigkeit von den Sensorsignalen berechnet und Aktorsteuerbefehle 510 an den Aktor 504 der computergesteuerten Maschine 500 überträgt.
Wie in 5 gezeigt wird, weist das Steuersystem 502 eine Empfangseinheit 512 auf. Die Empfangseinheit 512 kann so ausgebildet sein, dass sie Sensorsignale 508 von dem Sensor 506 empfängt und die Sensorsignale 508 in Eingangssignale x umwandelt. In einer alternativen Ausführungsform werden die Sensorsignale 508 direkt als Eingangssignale x ohne Empfangseinheit 512 empfangen. Jedes Eingangssignal x kann ein Teil jedes Sensorsignals 508 sein. Die Empfangseinheit 512 kann so ausgebildet sein, dass sie jedes Sensorsignal 508 verarbeitet, um ein jeweiliges Eingangssignal x zu erzeugen. Das Eingangssignal x kann Daten aufweisen, die einem von dem Sensor 506 aufgezeichneten Bild entsprechen.
Das Steuersystem 502 weist einen Klassifikator 514 auf. Der Klassifikator 514 kann so ausgebildet sein, dass er Eingangssignale x unter Verwendung eines maschinelles Lernalgorithmus (ML), beispielsweise eines oben beschriebenen neuronalen Netzes, in eines oder mehrere Label klassifiziert. Der Klassifikator 514 ist so ausgebildet, dass er wie die oben beschriebenen durch Parameter (z. B. Parameter θ) parametrisiert werden kann. Die Parameter θ können im nichtflüchtigen Speicher 516 gespeichert und von diesem bereitgestellt werden. Der Klassifikator 514 ist so ausgebildet, dass er Ausgangssignale y aus Eingangssignalen x bestimmt. Jedes Ausgangssignal y weist Informationen auf, die jedem Eingangssignal x eines oder mehrere Label zuweisen. Der Klassifikator 514 kann Ausgangssignale y an die Konvertierungseinheit 518 übertragen. Die Konvertierungseinheit 518 ist dazu ausgebildet, Ausgangssignale y in Aktorsteuerbefehle 510 umzuwandeln. Das Steuersystem 502 ist dazu ausgebildet, Aktorsteuerbefehle 510 an den Aktor 504 zu übertragen, der dazu ausgebildet ist, die computergesteuerte Maschine 500 als Reaktion auf Aktorsteuerbefehle 510 zu betätigen. In einigen Ausführungsformen ist Aktor 504 so ausgebildet, dass er die computergesteuerte Maschine 500 direkt basierend auf Ausgangssignale y betätigt.
Beim Empfang von Aktorsteuerbefehlen 510 durch den Aktor 504, ist Aktor 504 so ausgebildet, dass er eine Aktion ausführt, die dem zugehörigen Aktorsteuerbefehl 510 entspricht. Der Aktor 504 kann eine Steuerlogik aufweisen, die so ausgebildet ist, dass sie Aktorsteuerbefehle 510 in einen zweiten Aktorsteuerbefehl umwandelt, der zur Steuerung des Aktors 504 verwendet wird. In einer oder mehreren Ausführungsformen können Aktorsteuerbefehle 510 zur Steuerung einer Anzeige anstelle eines Aktors oder zusätzlich zu diesem verwendet werden.
In einigen Ausführungsformen weist das Steuersystem 502 den Sensor 506 anstelle oder zusätzlich zu der computergesteuerten Maschine 500, die den Sensor 506 aufweist. auf. Das Steuersystem 502 kann auch den Aktor 504 anstelle oder zusätzlich zu der computergesteuerten Maschine 500, die den Aktors 504 aufweist, aufweisen.
Wie in 5 gezeigt wird, weist das Steuersystem 502 auch einen Prozessor 520 und einen Speicher 522 auf. Der Prozessor 520 kann einen oder mehrere Prozessoren aufweisen. Der Speicher 522 kann eine oder mehrere Speichervorrichtungen aufweisen. Der Klassifikator 514 (z. B. ein ML-Algorithmen) einer oder mehrerer Ausführungsformen kann durch das Steuersystem 502 implementiert werden, das den nichtflüchtigen Speicher 516, den Prozessor 520 und den Speicher 522 aufweist.
Der nichtflüchtige Speicher 516 kann eine oder mehrere persistente Datenspeichervorrichtungen, wie eine Festplatte, ein optisches Laufwerk, ein Bandlaufwerk, eine nichtflüchtige Solid-State-Vorrichtung, Cloud-Speicher oder jedes andere Gerät aufweisen, das Informationen dauerhaft speichern kann. Der Prozessor 520 kann eine oder mehrere Vorrichtungen aufweisen, die aus Hochleistungsrechnersystemen (HPC) ausgewählt werden, die Hochleistungskerne, Mikroprozessoren, Mikrocontroller, digitale Signalprozessoren, Mikrocomputer, Zentraleinheiten, feldprogrammierbare Gate-Arrays, programmierbare Logikvorrichtungen und Zustandsmaschinen, logischen Schaltkreise, analoge Schaltkreise, digitale Schaltkreise oder andere Vorrichtungen, die Signale (analog oder digital) basierend auf computerausführbaren Anweisungen, die sich im Speicher 522 befinden, manipulieren, aufweisen. Der Speicher 522 kann eine einzelne Speichervorrichtung oder eine Reihe von Speichervorrichtungen aufweisen, aufweisend, aber nicht beschränkt auf Direktzugriffsspeicher (RAM), flüchtigen Speicher, nichtflüchtigen Speicher, statischen Direktzugriffsspeicher (SRAM), dynamischen Direktzugriffsspeicher (DRAM), Flash-Speicher, Cache-Speicher, oder jede andere Vorrichtung, die Informationen speichern kann.
Der Prozessor 520 kann so ausgebildet sein, dass er computerausführbare Anweisungen, die sich im nichtflüchtigen Speicher 516 befinden und einen oder mehrere ML-Algorithmen und/oder Verfahren einer oder mehrerer Ausführungsformen verkörpern, in den Speicher 522 einliest und ausführt. Der nichtflüchtige Speicher 516 kann eines oder mehrere Betriebssysteme und Anwendungen aufweisen. Der nichtflüchtige Speicher 516 kann kompilierte und/oder interpretierte Computerprogramme speichern, die mit einer Mehrzahl von Programmiersprachen und/oder Technologien erstellt wurden, einschließlich, aber nicht beschränkt auf, und entweder einzeln oder in Kombination, Java, C, C++, C#, Objective C, Fortran, Pascal, Java Script, Python, Perl und PL/SQL.
Bei der Ausführung durch den Prozessor 520 können die computerausführbaren Anweisungen des nichtflüchtigen Speichers 516 dazu führen, dass das Steuersystem 502 einen oder mehrere der hier offenbarten ML-Algorithmen und/oder -Verfahren implementiert. Der nichtflüchtige Speicher 516 kann auch ML-Daten (einschließlich Datenparameter) aufweisen, die die Funktionen, Merkmale und Prozesse der einen oder mehrerer hierin beschriebenen Ausführungsformen unterstützen.
Der Programmcode, der die hierin beschriebenen Algorithmen und/oder Verfahren verkörpert, kann einzeln oder kollektiv als Programmprodukt in einer Mehrzahl unterschiedlicher Formen verteilt werden. Der Programmcode kann unter Verwendung eines computerlesbaren Speichermediums verteilt werden, auf dem sich computerlesbare Programmanweisungen befinden, um einen Prozessor zu veranlassen, Aspekte einer oder mehrerer Ausführungsformen auszuführen. Computerlesbare Speichermedien, die inhärent nichtflüchtig sind, können flüchtige und nichtflüchtige sowie entfernbare und nicht entfernbare materielle Medien aufweisen, die in einem beliebigen Verfahren oder Technologie zur Speicherung von Informationen implementiert sind, beispielsweise computerlesbare Anweisungen, Datenstrukturen oder Programmemodule oder andere Daten. Zu den computerlesbaren Speichermedien können außerdem RAM, ROM, löschbarer programmierbarer Nur-Lese-Speicher (EPROM), elektrisch löschbarer programmierbarer Nur-Lese-Speicher (EEPROM), Flash-Speicher oder eine andere Solid-State-Speichertechnologie, sowie tragbare Compact-Disc-Nur-Lese-Speicher (CD-ROM) oder andere optische Speicher, Magnetkassetten, Magnetbänder, Magnetplattenspeicher oder andere magnetische Speichergeräte oder jedes andere Medium, das zum Speichern der gewünschten Informationen verwendet werden kann und das von einem Computer gelesen werden kann, gehören. Computerlesbare Programmanweisungen können von einem computerlesbaren Speichermedium auf einen Computer, einer andere Art von programmierbarem Datenverarbeitungsvorrichtung oder einer anderen Vorrichtung oder über ein Netzwerk auf einen externen Computer oder eine externe Speichervorrichtung heruntergeladen werden.
Computerlesbare Programmanweisungen, die in einem computerlesbaren Medium gespeichert sind, können verwendet werden, um einen Computer, andere Arten von programmierbaren Datenverarbeitungsvorrichtungen oder andere Vorrichtungen anzuweisen, auf eine bestimmte Weise zu funktionieren, so dass die in dem computerlesbaren Medium gespeicherten Anweisungen einen Herstellungsartikel erzeugen, der Anweisungen aufweist, die die in den Flussdiagrammen oder Graphen angegebenen Funktionen, Handlungen und/oder Operationen implementieren. In bestimmten alternativen Ausführungsformen können die in den Flussdiagrammen und Graphen angegebenen Funktionen, Handlungen und/oder Operationen neu angeordnet, seriell verarbeitet und/oder gleichzeitig verarbeitet werden, in Übereinstimmung mit einer oder mehreren Ausführungsformen. Darüber hinaus können alle Flussdiagramme und/oder Graphe mehr oder weniger Knoten oder Blöcke aufweisen als die, die in Übereinstimmung mit einer oder mehreren Ausführungsformen dargestellt sind.
Die Prozesse, Verfahren oder Algorithmen können ganz oder teilweise unter Verwendung geeigneter Hardwarekomponenten verkörpert werden, wie beispielsweise anwendungsspezifischen integrierten Schaltkreisen (ASICs), feldprogrammierbaren Gate-Arrays (FPGAs), Zustandsmaschinen, Controllern oder anderen Hardwarekomponenten oder Geräten, oder einer Kombination aus Hardware-, Software- und Firmware-Komponenten.
6 zeigt ein schematisches Diagramm des Steuersystems 502, das zum Steuern des Fahrzeugs 600 ausgebildet ist, bei dem es sich um ein zumindest teilweise autonomes Fahrzeug oder einen zumindest teilweise autonomen Roboter handeln kann. Das Fahrzeug 600 weist einen Aktor 504 und einen Sensor 506 auf. Der Sensor 506 kann einen oder mehrere Videosensoren, Kameras, Radarsensoren, Ultraschallsensoren, LiDAR-Sensoren und/oder Positionssensoren (z. B. GPS) aufweisen. Einer oder mehrere des einen oder der mehreren spezifischen Sensoren können in das Fahrzeug 600 integriert sein. Alternativ oder zusätzlich zu einem oder mehreren der oben identifizierten spezifischen Sensoren kann der Sensor 506 ein Softwaremodul aufweisen, das dazu ausgebildet ist, bei der Ausführung einen Zustand des Aktors 504 zu bestimmen. Ein nicht einschränkendes Beispiel eines Softwaremoduls weist ein Wetterinformationssoftwaremodul, das dazu ausgebildet ist, einen gegenwärtige oder zukünftige Wetterverhältnisse in der Nähe des Fahrzeugs 600 oder eines anderen Standorts zu bestimmen.
Der Klassifikator 514 des Steuersystems 502 des Fahrzeugs 600 kann dazu ausgebildet sein, Objekte in der Nähe des Fahrzeugs 600 in Abhängigkeit von Eingangssignalen x zu erkennen. In einer solchen Ausführungsform kann das Ausgangssignal y Informationen aufweisen, die die Nähe von Objekten zum Fahrzeug 600 charakterisieren. Der Aktorsteuerbefehl 510 kann in Übereinstimmung mit diesen Informationen bestimmt werden. Der Aktorsteuerbefehl 510 kann verwendet werden, um Kollisionen mit den erkannten Objekten zu vermeiden.
In einigen Ausführungsformen handelt es sich bei dem Fahrzeug 600 um ein zumindest teilweise autonomes Fahrzeug. Der Aktor 504 kann in einer Bremse, einem Antriebssystem, einem Motor, einem Antriebsstrang oder einer Lenkung des Fahrzeugs 600 verkörpert sein. Die Aktorsteuerbefehle 510 können dazu sein bestimmt, dass der Aktor 504 so gesteuert wird, dass das Fahrzeug 600 Kollisionen mit erkannten Objekten vermeidet. Erkannte Objekte können auch danach klassifiziert werden, was der Klassifikator 514 für am wahrscheinlichsten hält, beispielsweise Fußgänger oder Bäume. Die Aktorsteuerbefehle 510 können in Abhängigkeit von der Klassifizierung bestimmt werden. In einem Szenario, in dem es zu einem gegnerischen Angriff kommen kann, kann das oben beschriebene System weiter trainiert werden, um Objekte besser zu erkennen oder eine Änderung der Lichtverhältnisse oder eines Winkels für einen Sensor oder eine Kamera am Fahrzeug 600 zu identifizieren.
In einigen Ausführungsformen, in denen es sich bei dem Fahrzeug 600 um einen zumindest teilweise autonomen Roboter handelt, kann es sich bei dem Fahrzeug 600 um einen mobilen Roboter handeln, der für die Ausführung einer oder mehrerer Funktionen wie Fliegen, Schwimmen, Tauchen und Gehen ausgebildet ist. Der mobile Roboter kann ein zumindest teilweise autonomer Rasenmäher oder ein zumindest teilweise autonomer Reinigungsroboter sein. In solchen Ausführungsformen kann der Aktorsteuerbefehl 510 so bestimmt werden, dass eine Antriebseinheit, eine Lenkeinheit und/oder eine Bremseinheit des mobilen Roboters so gesteuert werden können, dass der mobile Roboter Kollisionen mit identifizierten Objekten vermeiden kann.
In einigen Ausführungsformen ist das Fahrzeug 600 ein zumindest teilweise autonomer Roboter in Form eines Gartenroboters. In einer solchen Ausführungsform kann das Fahrzeug 600 einen optischen Sensor als Sensor 506 verwenden, um einen Zustand von Pflanzen in einer Umgebung in der Nähe des Fahrzeugs 600 zu bestimmen. Der Aktor 504 kann eine Düse sein, die zum Versprühen von Chemikalien ausgebildet ist. In Abhängigkeit von einer identifizierten Art und/oder einem identifizierten Zustand der Pflanzen kann der Aktorsteuerbefehl 510 dazu bestimmt sein, den Aktor 504 zu veranlassen, die Pflanzen mit einer geeigneten Menge geeigneter Chemikalien zu besprühen.
Das Fahrzeug 600 kann ein zumindest teilweise autonomer Roboter in Form eines Haushaltsgeräts sein. Nicht einschränkende Beispiele für Haushaltsgeräte sind eine Waschmaschine, ein Herd, ein Backofen, eine Mikrowelle oder ein Geschirrspüler. In einem solchen Fahrzeug 600 kann der Sensor 506 ein optischer Sensor sein, der dazu ausgebildet ist, einen Zustand eines Objekts zu erkennen, das einer Verarbeitung durch das Haushaltsgerät unterzogen werden soll. Handelt es sich bei dem Haushaltsgerät beispielsweise um eine Waschmaschine, kann der Sensor 506 den Zustand der Wäsche in der Waschmaschine erkennen. Der Aktorsteuerbefehl 510 kann basierend auf den erkannten Zustand der Wäsche bestimmt werden.
7 zeigt ein schematisches Diagramm des Steuersystems 502, das zum Steuern des Systems 700 (z. B. einer Fertigungsmaschine), wie etwa eines Stanzschneiders, eines Fräsers oder einer Tieflochbohrmaschine, des Fertigungssystems 702, wie etwa eines Teils einer Produktionslinie, ausgebildet ist. Das Steuersystem 502 kann zur Steuerung des Aktors 504 ausgebildet sein, der zur Steuerung des Systems 700 (z. B. der Fertigungsmaschine) ausgebildet ist.
Der Sensor 506 des Systems 700 (z. B. der Fertigungsmaschine) kann ein optischer Sensor sein, der so ausgebildet ist, dass er eine oder mehrere Eigenschaften des hergestellten Produkts 704 erfasst. Der Klassifikator 514 kann so ausgebildet sein, dass er einen Zustand des hergestellten Produkts 704 anhand einer oder mehrerer davon erfasste Eigenschaften bestimmt. Der Aktor 504 kann so ausgebildet sein, dass er das System 700 (z. B. die Fertigungsmaschine) in Abhängigkeit von dem bestimmten Zustand des hergestellten Produkts 704 für einen nachfolgenden Herstellungsschritt des hergestellten Produkts 704 steuert. Der Aktor 504 kann so ausgebildet sein, dass er Funktionen des Systems 700 (z. B. der Fertigungsmaschine) an einem nachfolgend hergestellten Produkt 706 des Systems 700 (z. B. der Fertigungsmaschine) in Abhängigkeit von dem bestimmten Zustand des hergestellten Produkts 704 steuert.
8 zeigt einen schematischen Graphen des Steuersystems 502, das zum Steuern des Elektrowerkzeugs 800, wie etwa einer Bohrmaschine oder eines Elektroschraubers, ausgebildet ist, das über einen zumindest teilweise autonomen Modus verfügt. Das Steuersystem 502 kann so ausgebildet sein, dass es den Aktor 504 steuert, der so ausgebildet ist, dass es das Elektrowerkzeug 800 steuert.
Der Sensor 506 des Elektrowerkzeugs 800 kann ein optischer Sensor sein, der so ausgebildet ist, dass er eine oder mehrere Eigenschaften der Arbeitsoberfläche 802 und/oder des in die Arbeitsoberfläche 802 eingetriebenen Befestigungselements 804 erfasst. Der Klassifikator 514 kann so ausgebildet sein, dass er einen Zustand der Arbeitsoberfläche 802 und/oder des Befestigungselement 804 relativ zur Arbeitsfläche 802 aus einer oder mehreren der erfassten Eigenschaften bestimmt. Der Zustand kann sein, dass das Befestigungselement 804 bündig mit der Arbeitsfläche 802 ist. Der Zustand kann alternativ die Härte der Arbeitsfläche 802 sein. Der Aktor 504 kann so ausgebildet sein, dass er das Elektrowerkzeug 800 so steuert, dass die Antriebsfunktion des Elektrowerkzeugs 800 in Abhängigkeit von dem bestimmten Zustand des Befestigungselements 804 relativ zur Arbeitsoberfläche 802 oder eine oder mehrere erfasste Eigenschaften der Arbeitsoberfläche 802 angepasst wird. Beispielsweise kann der Aktor 504 die Antriebsfunktion unterbrechen, wenn der Zustand des Befestigungselements 804 relativ zur Arbeitsoberfläche 802 bündig ist. Als weiteres nicht einschränkendes Beispiel kann der Aktor 504 in Abhängigkeit von der Härte der Arbeitsfläche 802 ein zusätzliches oder weniger Drehmoment aufbringen.
9 zeigt ein schematisches Diagramm des Steuersystems 502, das zur Steuerung des automatisierten persönlichen Assistenten 900 ausgebildet ist. Das Steuersystem 502 kann zur Steuerung des Aktors 504 ausgebildet sein, der zur Steuerung des automatisierten persönlichen Assistenten 900 ausgebildet ist. Der automatisierte persönliche Assistent 900 kann zur Steuerung eines Haushaltsgeräts, beispielsweise einer Waschmaschine, einem Herd, einem Backofen, einer Mikrowelle oder einem Geschirrspüler, ausgebildet sein.
Der Sensor 506 kann ein optischer Sensor und/oder ein Audiosensor sein. Der optische Sensor kann so ausgebildet sein, dass er Videobilder von Gesten 904 des Benutzers 902 empfängt. Der Audiosensor kann so ausgebildet sein, dass er einen Sprachbefehl des Benutzers 902 empfängt.
Das Steuersystem 502 des automatisierten persönlichen Assistenten 900 kann so ausgebildet sein, dass es Aktorsteuerbefehle 510 bestimmt, die zum Steuern des Systems 502 ausgebildet sind. Das Steuersystem 502 kann so ausgebildet sein, dass es Aktorsteuerbefehle 510 gemäß den Sensorsignalen 508 des Sensors 506 bestimmt. Der automatisiertes persönliche Assistent 900 ist so ausgebildet, dass er Sensorsignale 508 an das Steuersystem 502 überträgt. Der Klassifikator 514 des Steuersystems 502 kann so ausgebildet sein, dass er einen Gestenerkennungsalgorithmus ausführt, um die von dem Benutzer 902 ausgeführte Geste 904 zu identifizieren, Aktorsteuerbefehle 510 zu bestimmen, und Aktorsteuerbefehle 510 an den Aktor 504 zu übertragen. Der Klassifikator 514 kann so ausgebildet sein, dass er als Reaktion auf die Geste 904 Informationen aus dem nichtflüchtigen Speicher abruft und die abgerufenen Informationen in einer für den Empfang durch den Benutzer 902 geeigneten Form ausgibt.
10 zeigt ein schematisches Diagramm des Steuersystems 502, das zur Steuerung des Überwachungssystems 1000 ausgebildet ist. Das Überwachungssystem 1000 kann so ausgebildet sein, dass es den Zugang durch die Tür 1002 physisch kontrolliert. Der Sensor 506 kann so ausgebildet sein, dass er eine Szene erkennt, die für die Entscheidung, ob Zugang gewährt wird, relevant ist. Der Sensor 506 kann ein optischer Sensor sein, der zum Erzeugen und Übertragen von Bild- und/oder Videodaten ausgebildet ist. Solche Daten können von dem Steuersystem 502 verwendet werden, um das Gesicht einer Person zu erkennen.
Der Klassifikator 514 des Steuersystems 502 des Überwachungssystems 1000 kann so ausgebildet sein, dass er die Bild- und/oder Videodaten interpretiert, indem er Identitäten bekannter Personen abgleicht, die im nichtflüchtigen Speicher 516 gespeichert sind, und so eine Identität einer Person bestimmt. Der Klassifikator 514 kann so ausgebildet sein, dass er als Reaktion auf die Interpretation der Bild- und/oder Videodaten einen Aktorsteuerbefehl 510 erzeugt. Das Steuersystem 502 ist so ausgebildet, dass es den Aktorsteuerbefehl 510 an den Aktor 504 überträgt. In dieser Ausführungsform kann der Aktor 504 so ausgebildet sein, dass er die Tür 1002 als Reaktion auf den Aktorsteuerbefehl 510 verriegelt oder entriegelt. In einigen Ausführungsformen ist auch eine nicht physische, logische Zugangssteuerung möglich.
Das Überwachungssystem 1000 kann auch eine Überwachungsanlage sein. In einer solchen Ausführungsform kann der Sensor 506 ein optischer Sensor sein, der so ausgebildet ist, dass er eine Szene erkennt, die überwacht wird, und das Steuersystem 502 ist so ausgebildet, dass es die Anzeige 1004 steuert. Der Klassifikator 514 ist so ausgebildet, dass er eine Klassifizierung einer Szene bestimmt, z. B. ob die von dem Sensor 506 erkannte Szene verdächtig ist. Das Steuersystem 502 ist so ausgebildet, dass es als Reaktion auf die Klassifizierung einen Aktorsteuerbefehl 510 an die Anzeige 1004 überträgt. Die Anzeige 1004 kann so ausgebildet sein, dass sie den angezeigten Inhalt als Reaktion auf den Aktorsteuerbefehl 510 anpasst. Beispielsweise kann die Anzeige 1004 ein Objekt hervorheben, das vom Klassifikator 514 als verdächtig erachtet wird. Unter Verwendung einer Ausführungsform des offenbarten Systems kann das Überwachungssystem Objekte vorhersagen, die zu bestimmten Zeiten in der Zukunft auftauchen.
11 zeigt ein schematisches Diagramm des Steuersystems 502, das zur Steuerung des Bildgebungssystems 1100, beispielsweise eines MRT-Geräts, eines Röntgenbildgebungsgeräts oder eines Ultraschallgeräts, ausgebildet ist. Der Sensor 506 kann beispielsweise ein Bildsensor sein. Der Klassifikator 514 kann so ausgebildet sein, dass er eine Klassifizierung des gesamten oder eines Teils des erfassten Bildes bestimmt. Der Klassifikator 514 kann so ausgebildet sein, dass er als Reaktion auf die von dem trainierten neuronalen Netz erhaltene Klassifizierung einen Aktorsteuerbefehl 510 bestimmt oder auswählt. Beispielsweise kann der Klassifikator 514 einen Bereich eines erfassten Bildes als potenziell anomal interpretieren. In diesem Fall kann der Aktorsteuerbefehl 510 bestimmt oder ausgewählt werden, um zu veranlassen, dass die Anzeige 1102 das Bild anzeigt und den potenziell anomalen Bereich hervorhebt.
In einigen Ausführungsformen weist ein Verfahren zur Label-Propagation von Trainingsdaten, die zum Trainieren eines maschinellen Lernmodells verwendet werden, Empfangen eines gelabelten Datensatzes, der eine Mehrzahl gelabelter Proben aufweist, und anfängliche Trainieren des maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes auf. Das Verfahren weist auch den Empfang eines ungelabelten Datensatzes, der eine Mehrzahl ungelabelter Proben aufweist, auf. Das Verfahren weist auch Berechnen latenter Darstellungsräume für jede jeweilige Probe aus der Mehrzahl gelabelter Proben und jede jeweilige Probe aus der Mehrzahl ungelabelter Proben unter Verwendung des anfänglich trainierten maschinellen Lernmodells auf. Das Verfahren weist auch Erzeugen eines k-Nächste-Nachbarn-Ähnlichkeitsgraphen basierend auf den latenten Darstellungsräumen für jede jeweilige Probe der Mehrzahl gelabelter Proben und jede jeweilige Probe der Mehrzahl ungelabelter Proben auf. Das Verfahren weist auch Erzeugen eines kombinierten Ähnlichkeitsgraphen durch Erweitern des k-Nächste-Nachbarn-Ähnlichkeitsgraphen unter Verwendung eines expertenabgeleiteten Ähnlichkeitsgraphen und Propagieren von Labeln unter Verwendung des kombinierten Ähnlichkeitsgraphen an jede jeweilige Probe der Mehrzahl ungelabelter Proben auf. Das Verfahren weist auch das anschließende Trainieren des maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes mit Proben, die mit Labeln unter Verwendung des kombinierten Ähnlichkeitsgraphen propagiert wurden, auf.
In einigen Ausführungsformen weist das anfängliche Trainieren des maschinellen Lernmodells ein anfängliches Trainieren eines Merkmalsextraktors des maschinellen Lernmodells und eines oder mehrerer Prädiktornetze des maschinellen Lernmodells auf. In einigen Ausführungsformen weist das anfängliche Trainieren des maschinellen Lernmodells die Verwendung einer vollständig überwachten Lerntechnik auf. In einigen Ausführungsformen weist das anschließende Trainieren des maschinellen Lernmodells die Verwendung einer semiüberwachten Lerntechnik auf. In einigen Ausführungsformen weist das anschließende Trainieren des maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes mit Proben, die mit Labeln unter Verwendung des kombinierten Ähnlich-keitsgraphen propagiert wurden, das Optimieren einer Summierung eines quadratischen Fehlers für jede Probe der Mehrzahl von gelabelten Proben und einer Summierung eines gewichteter quadratischen Fehlers für jede Probe der Mehrzahl ungelabelter Proben auf. In einigen Ausführungsformen weist das anschließende Trainieren des maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes mit Proben, die mit Labeln unter Verwendung des kombinierten Ähnlichkeitsgraphen propagiert wurden, das Bestimmen auf, ob das maschinelle Lernmodell basierend auf mindestens einem Konvergenzkriterium weiter trainiert werden soll. In einigen Ausführungsformen wird ein erster Knoten des kombinierten Ähnlichkeitsgraphen mit einem zweiten Knoten des kombinierten Ähnlichkeitsgraphen verbunden, als Reaktion darauf, dass der erste Knoten und der zweite Knoten in mindestens einem von dem k-Nächste-Nachbarn-Ähnlichkeitsgraphen und dem experten abgeleiteten Ähnlichkeitsgraphen verbunden sind. In einigen Ausführungsformen weist die Propagation der Label an jede jeweilige Probe der Mehrzahl ungelabelter Proben unter Verwendung des kombinierten Ähnlichkeitsgraphen ein Erzeugen eines Labels und eines Konfidenzniveaus für jede jeweilige Probe der Mehrzahl ungelabelter Proben auf. In einigen Ausführungsformen ist das maschinelle Lernmodell so ausgebildet, dass es mindestens eine Klassifizierungsaufgabe ausführt. In einigen Ausführungsformen ist das maschinelle Lernmodell so ausgebildet, dass es mindestens eine Regressionsaufgabe ausführt.
In einigen Ausführungsformen weist ein System zur Label-Propagation von Trainingsdaten, die zum Trainieren eines maschinellen Lernmodells verwendet werden, einen Prozessor und einen Speicher auf. Das Verfahren weist Anweisungen auf, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor dazu veranlassen: einen gelabelten Datensatz zu empfangen, der eine Mehrzahl gelabelter Proben aufweist; anfängliches Trainieren des maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes; Empfangen eines ungelabelten Datensatzes, der eine Mehrzahl ungelabelter Proben aufweist; Berechnen, unter Verwendung des anfänglich trainierten maschinellen Lernmodells, von latenten Darstellungsräume für jede jeweilige Probe aus der Mehrzahl gelabelter Proben und jede jeweilige Probe aus der Mehrzahl ungelabelter Proben berechnen; Erzeugen eines k-Nächste-Nachbarn-Ähnlichkeitsgraphen basierend auf den latenten Darstellungsräumen für jede jeweilige Probe der Mehrzahl gelabelter Proben und jede jeweilige Probe der Mehrzahl ungelabelter Proben; Erzeugen eines kombinierten Ähnlichkeitsgraphen durch Erweitern des k-Nächste-Nachbarn-Ähnlichkeitsgraphen unter Verwendung eines expertenabgeleiteten Ähnlichkeitsgraphen; Propagieren, unter Verwendung des kombinierten Ähnlichkeitsgraphen, von Labeln an jede jeweilige Probe der Mehrzahl ungelabelter Proben; und anschließendes Trainieren des maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes mit Proben, die mit Labeln unter Verwendung des kombinierten Ähnlichkeitsgraphen propagiert wurden.
In einigen Ausführungsformen veranlassen die Anweisungen den Prozessor ferner dazu, das maschinelle Lernmodell anfänglich zu trainieren, indem ein Merkmalsextraktor des maschinellen Lernmodells und einer oder mehrere Prädiktornetze des maschinellen Lernmodells anfänglich trainiert werden. In einigen Ausführungsformen veranlassen die Anweisungen den Prozessor ferner dazu, das maschinelle Lernmodell anfänglich unter Verwendung einer vollständig überwachten Lerntechnik zu trainieren. In einigen Ausführungsformen veranlassen die Anweisungen den Prozessor ferner dazu, das maschinelle Lernmodell anschließend unter Verwendung einer semiüberwachten Lerntechnik zu trainieren. In einigen Ausführungsformen veranlassen die Anweisungen den Prozessor ferner dazu, das maschinelle Lernmodell anschließend unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes mit Proben, die mit Labeln unter Verwendung des kombinierten Ähnlichkeitsgraphen propagiert wurden, zu trainieren, indem eine Summierung eines quadratischen Fehlers für jede Probe der Mehrzahl gelabelter Proben und eine Summierung eines gewichteten quadratischen Fehlers für jede Probe der Mehrzahl ungelabelter Proben optimiert wird. In einigen Ausführungsformen veranlassen die Anweisungen den Prozessor ferner dazu, das maschinelle Lernmodell anschließend unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes mit Proben zu trainieren, die mit Labeln unter Verwendung des kombinierten Ähnlichkeitsgraphen propagiert wurden, indem basierend auf mindestens einem Konvergenzkriterium bestimmt wird, ob das maschinelle Lernmodell fortgesetzt werden soll. In einigen Ausführungsformen wird ein erster Knoten des kombinierten Ähnlichkeitsgraphen mit einem zweiten Knoten des kombinierten Ähnlichkeitsgraphen verbunden, als Reaktion darauf, dass der erste Knoten und der zweite Knoten in mindestens einem von dem k-Nächste-Nachbarn-Ähnlichkeitsgraphen und dem expertenabgeleiteten Ähnlichkeitsgraphen verbunden sind. In einigen Ausführungsformen veranlassen die Anweisungen den Prozessor ferner dazu, unter Verwendung des kombinierten Ähnlichkeitsgraphen die Label an jede jeweilige Probe der Mehrzahl ungelabelter Proben zu propagieren, indem für jede jeweilige Probe der Mehrzahl ungelabelter Proben eine Label und ein Konfidenzniveau erzeugt werden. In einigen Ausführungsformen ist das maschinelle Lernmodell so ausgebildet, dass es mindestens eine Klassifizierungsaufgabe und mindestens eine Regressionsaufgabe ausführt.
In einigen Ausführungsformen weist eine Vorrichtung zur Label-Propagation von Trainingsdaten, die zum Trainieren eines maschinellen Lernmodells verwendet werden, einen Prozessor und einen Speicher auf. Der Speicher weist Anweisungen auf, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen zum: Empfangen eines gelabelten Datensatzes, der eine Mehrzahl gelabelter Proben aufweist; anfängliches Trainieren, unter Verwendung einer vollständig überwachten Lerntechnik, des maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes; Empfangen eines ungelabelten Datensatzes, der eine Mehrzahl ungelabelter Proben aufweist; Berechnen, unter Verwendung des anfänglich trainierten maschinellen Lernmodells, von latenten Darstellungsräume für jede jeweilige Probe aus der Mehrzahl gelabelter Proben und jede jeweilige Probe aus der Mehrzahl ungelabelter Proben berechnen; Erzeugen eines k-Nächste-Nachbarn-Ähnlichkeitsgraphen basierend auf den latenten Darstellungsräumen für jede jeweilige Probe der Mehrzahl gelabelter Proben und jede jeweilige Probe der Mehrzahl ungelabelter Proben; Erzeugen eines kombinierten Ähnlichkeitsgraphen durch Erweitern des k-Nächste-Nachbarn-Ähnlichkeitsgraphen unter Verwendung eines expertenabgeleiteten Ähnlichkeitsgraphen; Propagieren, unter Verwendung des kombinierten Ähnlichkeitsgraphen, von Labeln an jede jeweilige Probe der Mehrzahl ungelabelter Proben Propagieren; und anschließendes Trainieren, unter Verwendung einer semiüberwachten Lerntechnik, des maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes mit Proben, die mit Labeln unter Verwendung des kombinierten Ähnlichkeitsgraphen propagiert wurden.
Die hier offenbarten Prozesse, Verfahren oder Algorithmen können an eine Verarbeitungsvorrichtung, eine Steuerung oder einen Computer geliefert bzw. von diesen implementiert werden, wozu jede vorhandene programmierbare elektronische Steuereinheit oder dedizierte elektronische Steuereinheit gehören kann. Ebenso können die Prozesse, Verfahren oder Algorithmen als Daten und Anweisungen, die von einer Steuerung oder einem Computer in vielen Formen ausgeführt werden können, gespeichert werden, einschließlich, aber nicht beschränkt, auf Informationen, die permanent auf nicht beschreibbaren Speichermedien, wie ROM-Geräten, gespeichert sind, und Informationen, die änderbar auf beschreibbaren Speichermedien, wie Disketten, Magnetbänder, CDs, RAM-Geräte und andere magnetische und optische Medien, gespeichert sind. Die Prozesse, Verfahren oder Algorithmen können auch in einem ausführbaren Softwareobjekt implementiert werden. Alternativ können die Prozesse, Verfahren oder Algorithmen ganz oder teilweise unter Verwendung geeigneter Hardwarekomponenten, wie beispielsweise anwendungsspezifischer integrierter Schaltkreise (ASICs), feldprogrammierbarer Gate-Arrays (FPGAs), Zustandsmaschinen, Controller oder anderer Hardwarekomponenten oder Geräten, oder einer Kombination aus Hardware-, Software- und Firmware-Komponenten verkörpert werden.
Obwohl oben beispielhafte Ausführungsformen beschrieben wurden, ist es nicht beabsichtigt, dass diese Ausführungsformen alle möglichen Formen beschreiben, die von den Ansprüchen abgedeckt werden. Die in der Beschreibung verwendeten Begriffe dienen der Beschreibung und nicht der Einschränkung, und es versteht sich, dass verschiedene Änderungen vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen. Wie zuvor beschrieben, können die Merkmale verschiedener Ausführungsformen kombiniert werden, um weitere Ausführungsformen der Erfindung zu bilden, die möglicherweise nicht explizit beschrieben oder dargestellt werden. Während verschiedene Ausführungsformen hinsichtlich einer oder mehrerer gewünschter Eigenschaften als vorteilhaft beschrieben oder gegenüber anderen Ausführungsformen oder Implementierungen nach dem Stand der Technik bevorzugt beschrieben werden könnten, erkennt der Durchschnittsfachmann, dass bei einer oder mehreren Eigenschaften oder Eigenschaften Kompromisse eingegangen werden können, um die gewünschten Gesamtsystemattribute zu erreichen, die von der spezifischen Anwendung und Implementierung abhängig sind. Zu diesen Attributen können unter anderem Kosten, Festigkeit, Haltbarkeit, Lebenszykluskosten, Marktfähigkeit, Aussehen, Verpackung, Größe, Gebrauchstauglichkeit, Gewicht, Herstellbarkeit, einfache Montage usw. gehören. Somit liegen, insofern Ausführungsformen in Bezug auf eines oder mehrere Merkmale als weniger wünschenswert beschrieben werden als andere Ausführungsformen oder Implementierungen nach dem Stand der Technik, diese Ausführungsformen nicht außerhalb des Umfangs der Offenbarung und können für bestimmte Anwendungen wünschenswert sein.

Claims

Verfahren zur Label-Propagation von Trainingsdaten, die zum Trainieren eines maschinellen Lernmodells verwendet werden, wobei das Verfahren aufweist: Empfangen eines gelabelten Datensatzes, der eine Mehrzahl gelabelter Proben aufweist; anfängliches Trainieren des maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes; Empfangen eines ungelabelten Datensatzes, der eine Mehrzahl ungelabelter Proben aufweist; Berechnen, unter Verwendung des anfänglich trainierten maschinellen Lernmodells, von latenten Darstellungsräumen für jede jeweilige Probe aus der Mehrzahl gelabelter Proben und jede jeweilige Probe aus der Mehrzahl ungelabelter Proben; Erzeugen eines k-Nächste-Nachbarn-Ähnlichkeitsgraphen basierend auf den latenten Darstellungsräumen für jede jeweilige Probe der Mehrzahl gelabelter Proben und jede jeweilige Probe der Mehrzahl ungelabelter Proben; Erzeugen eines kombinierten Ähnlichkeitsgraphen durch Erweitern des k-Nächste-Nachbarn-Ähnlichkeitsgraphen unter Verwendung eines expertenabgeleiteten Ähnlichkeitsgraphen; Propagieren von Labeln unter Verwendung des kombinierten Ähnlichkeitsgraphen an jede jeweilige Probe der Mehrzahl ungelabelter Proben; und anschließendes Trainieren des maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes mit Proben, die mit Labeln unter Verwendung des kombinierten Ähnlichkeitsgraphen propagiert wurden.
Verfahren nach Anspruch 1, wobei das anfängliche Trainieren des maschinellen Lernmodells anfängliches Trainieren eines Merkmalsextraktors des maschinellen Lernmodells und eines oder mehrerer Prädiktornetze des maschinellen Lernmodells aufweist.
Verfahren nach Anspruch 1, wobei das anfängliche Trainieren des maschinellen Lernmodells die Verwendung einer vollständig überwachten Lerntechnik aufweist.
Verfahren nach Anspruch 1, wobei das anschließende Trainieren des maschinellen Lernmodells die Verwendung einer semiüberwachten Lerntechnik aufweist.
Verfahren nach Anspruch 1, wobei das anschließende Trainieren des maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes, der Proben mit Labeln hat, die unter Verwendung des kombinierten Ähnlichkeitsgraphen propagiert wurden, Optimieren einer Summierung eines quadratischen Fehlers für jede Probe der Mehrzahl von gelabelten Proben und einer Summierung eines gewichteten quadratischen Fehlers für jede Probe der Mehrzahl ungelabelter Proben aufweist.
Verfahren nach Anspruch 1, wobei das anschließende Trainieren des maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes, der Proben mit Labeln hat, die unter Verwendung des kombinierten Ähnlichkeitsgraphen propagiert wurden, Bestimmen, ob das maschinelle Lernmodell weiter trainiert werden soll, basierend auf mindestens einem Konvergenzkriterium, aufweist.
Verfahren nach Anspruch 1, wobei ein erster Knoten des kombinierten Ähnlichkeitsgraphen mit einem zweiten Knoten des kombinierten Ähnlichkeitsgraphen als Reaktion darauf verbunden wird, dass der erste Knoten und der zweite Knoten in mindestens einem des k-Nächste-Nachbarn-Ähnlichkeitsgraphen und des expertenabgeleiteten Ähnlichkeitsgraphen verbunden sind.
Verfahren nach Anspruch 1, wobei das Propagieren der Label unter Verwendung des kombinierten Ähnlichkeitsgraphen an jede jeweilige Probe der Mehrzahl ungelabelter Proben das Erzeugen eines Labels und eines Konfidenzniveaus für jede jeweilige Probe der Mehrzahl ungelabelter Proben aufweist.
Verfahren nach Anspruch 1, wobei das maschinelle Lernmodell dazu ausgebildet ist, mindestens eine Klassifizierungsaufgabe auszuführen.
Verfahren nach Anspruch 1, wobei das maschinelle Lernmodell dazu ausgebildet ist, mindestens eine Regressionsaufgabe durchzuführen.
System zur Label-Propagation von Trainingsdaten, die zum Trainieren eines maschinellen Lernmodells verwendet werden, wobei das System umfasst: einen Prozessor; und einen Speicher mit Anweisungen, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen zum: Empfangen eines gelabelten Datensatzes, der eine Mehrzahl gelabelter Proben aufweist; anfängliches Trainieren des maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes; Empfangen eines ungelabelten Datensatzes, der eine Mehrzahl ungelabelter Proben aufweist; Berechnen, unter Verwendung des anfänglich trainierten maschinellen Lernmodells, von latenten Darstellungsräume für jede jeweilige Probe aus der Mehrzahl gelabelter Proben und jede jeweilige Probe aus der Mehrzahl ungelabelter Proben; Erzeugen eines k-Nächste-Nachbarn-Ähnlichkeitsgraphen basierend auf den latenten Darstellungsräumen für jede jeweilige Probe der Mehrzahl gelabelter Proben und jede jeweilige Probe der Mehrzahl ungelabelter Proben; Erzeugen eines kombinierten Ähnlichkeitsgraphen durch Erweitern des k-Nächste-Nachbarn-Ähnlichkeitsgraphen unter Verwendung eines expertenabgeleiteten Ähnlichkeitsgraphen; Propagieren, unter Verwendung des kombinierten Ähnlichkeitsgraphen, von Labeln an jede jeweilige Probe der Mehrzahl ungelabelter Proben; und anschließendes Trainieren des maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes mit Proben, die mit Labeln unter Verwendung des kombinierten Ähnlichkeitsgraphen propagiert wurden.
System nach Anspruch 11, wobei die Anweisungen den Prozessor ferner dazu veranlassen, das maschinelle Lernmodell anfänglich zu trainieren, indem ein Merkmalsextraktor des maschinellen Lernmodells und eines oder mehrere Prädiktornetze des maschinellen Lernmodells anfänglich trainiert wird.
System nach Anspruch 11, wobei die Anweisungen den Prozessor ferner dazu veranlassen, das maschinelle Lernmodell unter Verwendung einer vollständig überwachten Lerntechnik anfänglich zu trainieren.
System nach Anspruch 11, wobei die Anweisungen den Prozessor ferner dazu veranlassen, das maschinelle Lernmodell anschließend unter Verwendung einer semiüberwachten Lerntechnik zu trainieren.
System nach Anspruch 11, wobei die Anweisungen den Prozessor ferner dazu veranlassen, das maschinelle Lernmodell anschließend unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes, der Proben mit Labeln hat, die unter Verwendung des kombinierten Ähnlichkeitsgraphen propagiert wurden, zu trainieren, indem eine Summierung eines quadratischen Fehlers für jede Probe aus der Mehrzahl gelabelter Proben und eine Summierung eines gewichteten quadratischen Fehlers für jede Probe aus der Mehrzahl ungelabelter Proben optimiert wird.
System nach Anspruch 11, wobei die Anweisungen den Prozessor ferner dazu veranlassen, das maschinelle Lernmodell anschließend unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes mit Proben, die mit Labeln unter Verwendung des kombinierten Ähnlichkeitsgraphen propagiert wurden, zu trainieren, indem bestimmt wird, ob das maschinelle Lernmodell weiter trainiert werden soll, basierend auf mindestens einem Konvergenzkriterium.
System nach Anspruch 11, wobei ein erster Knoten des kombinierten Ähnlichkeitsgraphen mit einem zweiten Knoten des kombinierten Ähnlichkeitsgraphen als Reaktion darauf verbunden wird, dass der erste Knoten und der zweite Knoten in mindestens einem des k-Nächste-Nachbarn-Ähnlichkeitsgraphen und des expertenabgeleiteten Ähnlichkeitsgraphen verbunden sind.
System nach Anspruch 11, wobei die Anweisungen den Prozessor ferner dazu veranlassen, unter Verwendung des kombinierten Ähnlichkeitsgraphen die Label an jede jeweilige Probe der Mehrzahl ungelabelter Proben zu propagieren, indem er für jede jeweilige Probe der Mehrzahl ungelabelter Proben ein Label und ein Konfidenzniveau erzeugt wird.
System nach Anspruch 11, wobei das maschinelle Lernmodell dazu ausgebildet ist, mindestens eine von mindestens einer Klassifizierungsaufgabe und mindestens einer Regressionsaufgabe durchzuführen.
Vorrichtung zur Label-Propagation von Trainingsdaten, die zum Trainieren eines maschinellen Lernmodells verwendet werden, wobei die Vorrichtung aufweist: einen Prozessor; und einen Speicher mit Anweisungen, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen zum: Empfangen eines gelabelten Datensatzes, der eine Mehrzahl gelabelter Proben aufweist; anfängliches Trainieren, unter Verwendung einer vollständig überwachten Lerntechnik, des maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes; Empfangen eines ungelabelten Datensatzes, der eine Mehrzahl ungelabelter Proben aufweist; Berechnen, unter Verwendung des anfänglich trainierten maschinellen Lernmodells, von latenten Darstellungsräumen für jede jeweilige Probe aus der Mehrzahl gelabelter Proben und jede jeweilige Probe aus der Mehrzahl ungelabelter Proben; Erzeugen eines k-Nächste-Nachbarn-Ähnlichkeitsgraphen basierend auf den latenten Darstellungsräumen für jede jeweilige Probe der Mehrzahl gelabelter Proben und jede jeweilige Probe der Mehrzahl ungelabelter Proben; Erzeugen eines kombinierten Ähnlichkeitsgraphen durch Erweitern des k-Nächste-Nachbarn-Ähnlichkeitsgraphen unter Verwendung eines expertenabgeleiteten Ähnlichkeitsgraphen; Propagieren, unter Verwendung des kombinierten Ähnlichkeitsgraphen, von Labeln an jede jeweilige Probe der Mehrzahl ungelabelter Proben; und anschließendes Trainieren unter Verwendung einer semiüberwachten Lerntechnik des maschinellen Lernmodells unter Verwendung des gelabelten Datensatzes und des ungelabelten Datensatzes mit Proben, die mit Labeln unter Verwendung des kombinierten Ähnlichkeitsgraphen propagiert wurden.