DE102022200546A1

DE102022200546A1 - Verfahren und Vorrichtung zum kontinuierlichen maschinellen Lernen einer Abfolge von unterschiedlichen Aufgaben

Info

Publication number: DE102022200546A1
Application number: DE102022200546.5A
Authority: DE
Inventors: Thomas Elsken
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-01-18
Filing date: 2022-01-18
Publication date: 2023-07-20
Also published as: US20230229969A1; CN116467587A

Abstract

Es wird ein Verfahren zum Parametrisieren einer Funktion (H), welche eine ideale Parametrisierung eines maschinellen Lernsystems für eine Vielzahl von unterschiedlichen Datensätzen ausgibt, vorgeschlagen. Hierzu erfolgt ein erstes Anlernen (S13) eines maschinellen Lernsystems nacheinander auf mehreren Trainingsdatensätzen, wobei die einzelnen optimierten Parametrisierungen des maschinellen Lernsystems für jeden der Trainingsdatensätze gespeichert werden. Dann folgt ein zweites Anlernen (S14) des maschinellen Lernsystems gleichzeitig auf allen Datensätzen wobei die optimale Parametrisierung des maschinellen Lernsystems gespeichert wird. Daraufhin folgt ein Optimieren (S15) der Parametrisierung der Funktion (H) derart, sodass gegeben einer optimalen Parametrisierung des erstens Anlernens die Funktion die zugeordnete optimale Parametrisierung des zweiten Anlernens ausgibt.

Description

Die Erfindung betrifft ein Verfahren zum kontinuierlichen maschinellen Lernen unter Verwendung einer Projektionsfunktion und eine Vorrichtung, ein Computerprogramm und ein maschinenlesbares Speichermedium die jeweils zum Ausführen des Verfahrens eingerichtet sind.
Stand der Technik
Kontinuierliches Lernen (engl. Continual Learning, CL) für Deep Learning bezieht sich auf das Problem des Lernens mehrerer Aufgaben T₁, ... T_n in einer Sequenz, d.h. ein maschinelles Lernsystem, wie z.B. ein neuronales Netz, wird zuerst auf T₁ trainiert, danach auf T₂, usw.. Ein häufiges Problem bei diesem Ansatz ist, dass er zu katastrophalem Vergessen führt. Das bedeutet, dass nach dem Training des neuronalen Netzes auf Aufgabe n die Performance auf den Aufgaben 1, ..., n - 1 stark degeneriert, d.h. das neuronale Netz „vergisst“ sie. Im Gegensatz dazu ist das neuronale Netz beim gemeinsamen Training auf allen Aufgaben (auch Multitasking genannt) in der Lage, alle Aufgaben erfolgreich zu lernen.
Mirzadeh, Seyed Iman, et al. „Linear mode connectivity in multitask and continual learning.“ arXiv preprint arXiv:2010.04495 offenbaren einen Algorithmus, der die nacheinander erlernten Minima des kontinuierlichen Lernens dazu zwingt, sich wie eine Multitasking-Lösung zu verhalten
Vorteile der Erfindung
Die gegenwärtige Erfindung stellt einen Meta-Learning-Ansatz dar, bei dem in einer Offline-Phase gelernt wird, eine kontinuierlich gelernte Parametrisierung w_cl auf die Multi-Task-Lösung w_mt über eine Projektionsfunktion H: w_cl → w_mt zu projizieren. Nach der Offline-Phase kann dann die gelernte Projektionsfunktion H verwenden werden, um die kontinuierlich gelernte Parametrisierung w_cl auf die die Multi-Task-Lösung w_mt für neue Aufgaben zu projizieren, ohne dass Daten aus früheren Aufgaben gespeichert werden müssen.
Dies ist vorteilhaft aus a) rechnerischen Gründen und b) aus Gründen des Datenschutzes in Anwendungsfällen, in denen der Datenschutz kritisch ist (z. B. könnten sich verschiedene Aufgaben auf Daten von verschiedenen Endnutzern beziehen).
In anderen Worten, die Erfindung mit den Merkmalen des unabhängigen Anspruchs 1 hat den Vorteil, dass diese besonders speichereffizient ist, da keine Speicherung von Daten aus zuvor gesehenen Aufgaben notwendig ist. Folglich kann die Erfindung auf Systemen mit besonders kleinen Speichern ausgeführt werden.
Weitere Aspekte der Erfindung sind Gegenstand der nebengeordneten Ansprüche. Vorteilhafte Weiterbildungen sind Gegenstand der abhängigen Ansprüche.
Offenbarung der Erfindung
In einem ersten Aspekt betrifft die Erfindung ein computerimplementiertes Verfahren zum Parametrisieren einer Funktion, welche eine ideale Parametrisierung eines maschinellen Lernsystems für eine Vielzahl von unterschiedlichen Datensätzen ausgibt.
Das Verfahren beginnt mit einem Bereitstellen einer Mehrzahl von (unterschiedlichen) Trainingsdatensätzen (T₁, ...,T_n), wobei jedem Datensatz ein eindeutiger Index (k) zugeordnet ist. Die Trainingsdatensätze sind vorzugweise derart strukturiert, dass diese Trainingseingangsgrößen sowie den Trainingseingangsgrößen jeweils zugeordnete Trainingsausgangsgrößen umfassen. Die Trainingsdatensätze können sich dahingehend voneinander unterscheiden, dass die Trainingsausgangsgrößen der einzelnen Datensätze unterschiedlich sind, z.B. unterschiedliche Objekte charakterisieren. Zusätzlich oder alternativ können sich auch die Trainingseingangsgrößen voneinander unterscheiden, z.B. dass die Trainingseingangsgrößen der unterschiedlichen Datensätze unterschiedliche Objekte darstellen. Unter einem eindeutigen Index kann verstanden werden, dass jeder Wert der Indexe einmal existiert und damit jeder Datensatz einen anderen Indexwert aufweist. Vorzugsweise werden als Indexe eine Folge von unmittelbar aufeinanderfolgender Zahlen verwendet.
Daraufhin kann die zu parametrisierende Funktion bereitgestellt werden und vorzugweise initial zufällig parametrisiert sein.
Daraufhin folgt ein mehrfaches Wiederhohlen der nachfolgenden Abfolge von Schritten i. - iv.:

i. Zufälliges Ziehen eines Indexes (k ∈ 1 <= k <= n) aus der Mehrzahl der Indexe, die den Trainingsdatensätze zugeordnet sind;
ii. Erstes Anlernen eines maschinellen Lernsystems, wobei das maschinelle Lernsystem nacheinander anhand der einzelnen Datensätzen mit ihrem Index kleiner gleich dem gezogenen Index angelernt wird. Unter dem Begriff Anlernen kann im Allgemeinen verstanden werden, dass die Parameter des maschinellen Lernsystems optimiert werden, sodass das maschinelle Lernsystem die Zusammenhänge innerhalb des jeweiligen Datensatzes zum Ausgeben der Trainingsausgangsgrößen des Datensatzes lernt. Das Anlernen kann mit einem Gradientenabstiegsverfahren ausgeführt werden. Beim ersten Anlernen werden für die einzelnen in Schritt ii. verwendeten Datensätze die hierfür vorliegenden optimierten Parametrisierungen des maschinellen Lernsystems (w_kcl) gespeichert. In anderen Worten, beim ersten Anlernen wird ein sogenanntes kontinuierliches Lernen auf den Datensätzen (T₁, ...,T_k) ausgeführt.
iii. Zweites Anlernen des maschinellen Lernsystems anhand allen Datensätzen mit Index kleiner gleich dem gezogenen Index. Die hierbei erhaltene optimale Parametrisierung des maschinellen Lernsystem wird gespeichert. In anderen Worten, es wird hier ein Multitasking Lernen auf den Datensätzen (T₁, ...,T_k) ausgeführt, um ein geeignet Parametrisierung des maschinellen Lernsystemes (w_kmt) auf allen gezogenen Trainingsdatensätzen zu erzielen. Das erste Anlernen unterscheidet sich demnach vom zweiten Anlernen darin, dass beim ersten Anlernen das Anlernen auf den einzelnen Datensätzen nacheinander erfolgt, während beim zweiten Anlernen die Datensätze gleichzeitig verwendet werden.
iv. Daraufhin werden die die Parametrisierungen des ersten Anlernens zu der Parametrisierung des zweiten Anlernens zugeordnet. Es werden also die Parametrisierungen des kontinuierlichen Lernens der Parametrisierung des Multitask Lernens zugeordnet.

Daraufhin folgt ein Optimieren der Parametrisierung (θ) der Funktion (H) derart, dass gegeben einer Parametrisierung des ersten Anlernens die zugeordnete Parametrisierung des zweiten Anlernens durch die Funktion (H) ausgegeben wird.
Es wird vorgeschlagen, dass das Optimieren der Parametrisierung (θ) der Funktion (H) derart erfolgt, dass eine Kostenfunktion minimiert wird, wobei die Kostenfunktion eine Differenz zwischen den ausgegebenen Parametrisierungen durch die Funktion zu den ermittelten Parametrisierungen beim zweiten Anlernen und/oder eine Differenz zwischen einer Vorhersagegenauigkeit des maschinellen Lernsystems anhand der ausgegebenen Parametrisierungen durch die Funktion zu der Vorhersagegenauigkeit des maschinellen Lernsystems anhand ermittelten Parametrisierungen beim zweiten Anlernen charakterisiert.
Formalistisch kann die Optimierung der Parameter (θ) der Funktion wie folgt gegeben sein: θ = argmin_θ L(H(w_kcl|θ),w_kmt). Vorzugweise ist die Kostenfunktion (L) eine Regressionskostenfunktion. Eine Alternative ist, dass die Kostenfunktion nicht im „Parameter Raum“ minimiert wird, sondern im „Funktionen Raum“. D.h. wenn N das maschinelle Lernsystem ist (bspw. ein neuronales Netz aber auch jedes andere Modell) parametrisiert durch w, dann könnte die Optimierung wie folgt lauten: argmin_θ L( N( H(w_kcl|θ)) ,N(w_kmt)). Diese Alternative hat den Vorteil, dass eine Anzahl der Parameter w nicht zwangsläufig identisch sein muss, wohl aber die Ausgaben, die das maschinelle Lernsystem mit seinen Parameter erzielt. In diesem Fall kann die Kostenfunktion L eine typische Kostenfunktion für Klassifikationsprobleme sein, bspw. eine Kreuzentropie.
Neben dem Vorteil, dass über diese Alternative maschinelle Lernsysteme mit unterschiedlicher Größe und damit unterschiedlicher Anzahl von Parametern bereitgestellt werden können, können hiermit auch maschinelle Lernsysteme mit quantisierten Gewichten bereitgestellt werden.
Ferner wird vorgeschlagen, dass beim ersten Anlernen das maschinelle Lernsystem nacheinander auf den Datensätzen angelernt wird, wobei eine Reihenfolge der Verwendung der Datensätze für das nacheinander Anlernen auf den Datensätze abhängig vom Index der Datensätze erfolgt. Vorzugweise wird zusätzlich das erste Anlernen erneut auf einer permutierten Reihenfolge der Datensätze ausgeführt, wobei die hierbei erhaltenen optimierten Parametrisierungen des maschinellen Lernsystems auch der Parametrisierung aus dem zweiten Anlernen zugeordnet wird. Damit wir der Trainingsdatensatz zum Optimieren der Funktion vergrößert und folglich eine Generalisierung der Funktion (H) verbessert.
Ferner wird vorgeschlagen, dass das maschinelle Lernsystem für das zweite Anlernen eine kleinere Architektur als beim ersten Anlernen aufweist oder das maschinelle Lernsystem nach dem zweiten Anlernen hinsichtlich seiner Architektur komprimiert wird, wobei die Funktion (H) derart parametrisiert wird, dass die Funktion (H) die Parametrisierung des ersten Anlernens auf die Parametrisierung des zweiten Anlernens im Wesentlichen abbildet. Dies hat den Vorteil, dass komprimierte maschinelle Lernsysteme erzeugt werden, die auch auf Systemen mit besonders limitierten Computerressourcen ausgeführt werden können.
Ferner wird vorgeschlagen, dass das maschinelle Lernsystem für das zweite Anlernen quantisierte Parameter aufweist oder Parameter des maschinellen Lernsystems nach dem zweiten Anlernen quantisiert werden (z.B. mit bekannten Quantisierungsmethoden), wobei die Funktion (H) derart parametrisiert wird, dass die Funktion (H) die Parametrisierung des ersten Anlernens auf die quantisierte Parametrisierung abbildet. Dieses Vorgehen hat den Vorteil, dass durch die quantisierte Parametrisierung besonders speichereffiziente maschinelle Lernsystem erzielt werden.
Ferner wird vorgeschlagen, dass die Funktion eine lineare Funktion oder ein neuronales Netz ist. Besonders bevorzugt ist die Funktion ein Hypernetwork siehe: https://arxiv.org/pdf/1609.09106.pdf.
Die Funktion (H) kann zusätzlich auch abhängig von einer Architektur des maschinellen Lernsystems sein, d.h. die Funktion erhält zusätzlich als Eingangsgröße eine Größe, die die Architektur des maschinellen Lernsystems charakterisiert. Vorzugsweise ist dann die Funktion (H) ein Graph Neural Network.
In einem zweiten Aspekt der Erfindung wird ein computerimplementiertes Verfahren zum Nachanlernen eines maschinellen Lernsystems vorgeschlagen, sodass das maschinelle Lernsystem seine vorherigen Eigenschaften beibehält. D.h. auf den Datensätzen, auf welchen es zuvor angelernt wurde, seine gute Performance im Wesentlichen beibehält. Eigenschaften können also eine Klassifikationsgenauigkeit, eine Fehlerrate o.ä. sein.
Das Verfahren des zweiten Aspektes beginnt mit einem Bereitstellen der aktuellen Parametrisierung (w) des maschinellen Lernsystems und der Funktion (H), die gemäß dem ersten Aspekt der Erfindung erstellt wurde. Daraufhin folgt ein Bereitstellen eines neuen Datensatzes (T_j+1) und ein Anlernen des maschinellen Lernsystems anhand des neuen Datensatzes, um eine optimale Parametrisierung (w_j+1cl) zu erhalten. Daraufhin folgt ein Anpassen der Parametrisierung des maschinellen Lernsystems durch Verwenden der ermittelten Parametrisierung mittels der Funktion abhängig von der optimalen Parametrisierung (w_neu = H(w_j+1cl|θ)).
In einem weiteren Aspekt der Erfindung wird ein computer-implementiertes Verfahren zur Verwendung des nachangelernten maschinellen Lernsystems gemäß dem zweiten Aspekt der Erfindung als Klassifikator zur Klassifizierung von Sensorsignalen vorgeschlagen. Der Klassifikator wird mit dem Verfahren nach einem der vorangehenden Aspekte der Erfindung übernommen, mit den Schritten: Empfangen eines Sensorsignals, das Daten von dem Bildsensor umfasst, Bestimmen eines Eingangssignals, das von dem Sensorsignal abhängt, und Einspeisen des Eingangssignals in den Klassifikator, um ein Ausgangssignal zu erhalten, das eine Klassifizierung des Eingangssignals charakterisiert.
Ferner wird für alle Aspekte der Erfindung vorgeschlagen, dass die Eingangsgrößen des maschinellen Lernsystems Bilder sind und das maschinelle Lernsystem ein Bildklassifikator ist.
Der Bildklassifikator ordnet ein Eingabebild einer oder mehreren Klassen einer vorgegebenen Klassifikation zu. Als Eingabebilder können beispielsweise Bilder von in Serie gefertigten, nominell identischen Produkten verwendet werden. Der Bildklassifikator kann beispielsweise darauf trainiert sein, die Eingabebilder einer oder mehreren von mindestens zwei möglichen Klassen zuzuordnen, die eine Qualitätsbeurteilung des jeweiligen Produkts repräsentieren.
Der Bildklassifikator, z. B. ein neuronales Netz, kann mit einer solchen Struktur ausgestattet sein, dass er trainierbar ist, um z. B. Fußgänger und/oder Fahrzeuge und/oder Verkehrszeichen und/oder Ampeln und/oder Straßenoberflächen und/oder menschliche Gesichter und/oder medizinische Anomalien in bildgebenden Sensorbildern zu identifizieren und zu unterscheiden. Alternativ kann der Klassifikator, z. B. ein neuronales Netz, mit einer solchen Struktur ausgestattet sein, die trainierbar ist, um gesprochene Befehle in Audiosensorsignalen zu identifizieren.
Der Begriff des Bildes umfasst grundsätzlich jede in einem zwei- oder mehrdimensionalen Raster angeordnete Verteilung von Informationen. Diese Informationen können beispielsweise Intensitätswerte von Bildpixeln sein, die mit einer beliebigen Abbildungsmodalität, wie etwa mit einer optischen Kamera, mit einer Wärmebildkamera oder mit Ultraschall, aufgenommen wurden. Es können jedoch auch beliebige andere Daten, wie beispielsweise Audiodaten, Radardaten oder LIDAR-Daten, in Bilder übersetzt und dann gleichermaßen klassifiziert werden.
Weiterhin wird vorgeschlagen, dass das maschinelle Lernsystem mit einer Parametrisierung gemäß den vorhergehenden Aspekten der Erfindung, für computerbasiertes Sehen (engl. computer vision), insbesondere für Bildklassifikationen, verwendet wird.
Weiterhin wird vorgeschlagen, dass das diese maschinelle Lernsystem abhängig von einer erfassten Sensorgröße eines Sensors eine Ausgangsgröße ermittelt, abhängig von welcher daraufhin eine Steuergröße mittels z.B. einer Steuereinheit ermittelt werden kann.
Die Steuergröße kann zum Steuern eines Aktors eines technischen Systems verwendet werden. Das technische System kann zum Beispiel eine zumindest teilautonome Maschine, ein zumindest teilautonomes Fahrzeug, ein Roboter, ein Werkzeug, eine Werkmaschine oder ein Flugobjekt wie eine Drohne sein. Die Eingangsgröße kann bspw. abhängig von erfassten Sensordaten ermittelt und dem maschinellen Lernsystem bereitgestellt werden. Die Sensordaten können von einem Sensor, wie z.B. einer Kamera, des technischen Systems erfasst oder alternativ von extern empfangen werden.
In weiteren Aspekten betrifft die Erfindung eine Vorrichtung sowie ein Computerprogramm, die jeweils eingerichtet sind, die obigen Verfahren auszuführen und ein maschinenlesbares Speichermedium, auf dem dieses Computerprogramm gespeichert ist.
Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert. In den Zeichnungen zeigen:

1 schematisch ein Flussdiagramm einer Ausführungsform der Erfindung;
2 schematisch ein Ausführungsbeispiel zur Steuerung eines wenigstens teilautonomen Roboters;
3 schematisch ein Ausführungsbeispiel zur Steuerung eines Fertigungssystems;
4 schematisch ein Ausführungsbeispiel zur Steuerung eines Zugangssystems;
5 schematisch ein Ausführungsbeispiel zur Steuerung eines Überwachungssystems;
6 schematisch ein Ausführungsbeispiel zur Steuerung eines persönlichen Assistenten;
7 schematisch ein Ausführungsbeispiel zur Steuerung eines medizinisch bildgebenden Systems;
8 schematisch eine Trainingsvorrichtung.

Beschreibung der Ausführungsbeispiele
Im Folgenden wird ein kontinuierliches Lernproblem angenommen. Das bedeutet, dass ein maschinelles Lernsystem (z. B. ein neuronales Netz) nacheinander auf verschiedenen Datensätze (in diesem Zusammenhang auch als verschiedene Aufgaben bezeichnet) trainiert wird. D.h. bei gegebenen Aufgaben T₁,...,T_n wird ein neuronales Netz N sequenziell auf diesen Aufgaben trainiert.
Dies kann wie folgt durch einen Pseudo-Algorithmus durchgeführt werden:

1) Trainiere N auf T₁, um T₁ zu lösen, was zu einer optimalen Parametrisierung w_1cl des maschinellen Lernsystems hinsichtlich T₁ führt;
2) Trainiere N auf T₂ (ausgehend von w_1cl) auf T₂, um T₂ zu lösen, was zu optimalen Parametrisierung w_2cl hinsichtlich T₂ führt;
3) Wiederhohle die Schritte bis T_n.

Unglücklicherweise leidet dieses Verfahren unter katastrophalem Vergessen, was bedeutet, dass die Performance von dem maschinellen Lernsystem N mit Gewichten w_icl bei allen Aufgaben T_j mit i ≠ j schlecht ist.
Auf der anderen Seite wurde gezeigt, dass in einer anderen Umgebung (der Multitasking-Umgebung), in der das maschinelle Lernsystem N gemeinsam auf allen vorherigen Aufgaben trainiert wird, die Performance bei allen Aufgaben stark ist.
Das Multitasking-Setting kann wie folgt durch einen Pseudo-Algorithmus durchgeführt werden:

1) Trainiere N auf T₁, um T₁ zu lösen, was zu einer optimalen Parametrisierung w_1mt führt;
2) Trainiere N auf T₂ und auf T₁, um T₂ und T₁ zu lösen, was zu einer optimalen Parametrisierung w_2mt führt;
3) Wiederhohle Schritt 2) bis T_n.

In diesem Fall ist die Performance von N mit der Parametrisierung w_imt bei allen Aufgaben T_j mit j <= i stark, setzt jedoch voraus, dass beim Training auf T_i Zugang zu T_j mit <= i gegeben ist.
Es wird eine Offline-Meta-Learning-Phase vorgeschlagen, in der ein Projektionsoperator H mit Parameter θ angelernt wird, mit dem Ziel, die kontinuierliche Lernlösung w_icl auf die Multi-Task-Lösung w_imt zu projizieren, ohne Zugriff auf T_j,j <= i: H(w_icl|θ) = w_imt zu benötigen. Der Parameter θ der Projektion H wird in einer Offline-Phase mittels Meta-Learning gelernt und kann dann in einer Online-/Test-Zeit-Phase wiederverwendet werden.
Der Pseudocode hierzu kann wie folgt aussehen:

Phase I [Meta-Learning-Phase zum Lernen des Parameters θ - offline Phase]:
- Bereitstellen der Aufgaben T₁, ..., T_n; Initialisierung von θ;
Schleife mit folgenden Schritten:
1. 1) Ziehe Aufgabenindex k: 1 <= k <= n;
2. 2) Ausführen von CL mit T₁, ...,T_k um die Parametrisierung w_kcl zu erhalten, wobei vorzugsweise k zufällige Tasks gezogen werden und besonders bevorzugt die Reihenfolge der Tasks variieren;
3. 3) Ausführen von Multitasking Lernen mit T₁, ...,T_k um w_kmt zu erhalten;
4. 4) Optimieren von θ durch θ = argmin_θ Loss( H(w_kcl |θ),w_kmt);
Phase II [meta testing - online phase]:
- Bereitstellen der aktuellen Parametrisierung w des maschinellen Lernsystems N; Wenn eine neue Aufgabe T_j+1 vorliegt:
  1. 1) Anlernen des maschinellen Lernsystems N(w) für T_j+1, um eine optimale Parametrisierung w_j+1cl zu erhalten;
  2. 2) Anpassen der Parametrisierung des maschinellen Lernsystems auf w = H(w_j+1cl |θ);

Die Projektion H kann hier durch jede parametrierbare Funktion gegeben sein, z.B. ein lineares Mapping oder durch ein neuronales Netzwerk. Die Kostenfunktion (engl. loss function) in Phase I, Zeile 4) kann ein beliebiges Maß für eine Differenz sein, z.B. ein Regressionsverlust oder eine beliebige Norm.
1 zeigt schematisch ein Flussdiagramm (20) eines Verfahren zum Parametrisieren der Funktion (H), welche eine ideale Parametrisierung eines maschinellen Lernsystems für eine Vielzahl von unterschiedlichen Datensätzen ausgibt.
Im ersten Schritt erfolgt ein Bereitstellen (S11) einer Mehrzahl von Trainingsdatensätze (T₁, ..., T_n), wobei jedem Trainingsdatensatz ein Index (k) zugeordnet ist.
Daraufhin werden die nachfolgenden Schritte mehrfach wiederholt:

Zufälliges Ziehen (S12) eines Indexes (k ∈ 1 <= k <= n). Erstes Anlernen (S13) eines maschinellen Lernsystems nacheinander auf den Trainingsdatensätzen mit einem zugeordneten Index kleiner gleich dem gezogenen Index, wobei die einzelnen optimierten Parametrisierungen (w_kcl) des maschinellen Lernsystems für jeden der Trainingsdatensätze gespeichert wird. Zweites Anlernen (S14) des maschinellen Lernsystems gleichzeitig auf allen Datensätzen mit einem zugeordneten Index kleiner gleich dem gezogenen Index, wobei die optimale Parametrisierung (w_kmt) des maschinellen Lernsystems gespeichert wird. Zuordnen der Parametrisierungen des ersten Anlernens (S13) zu der Parametrisierung des zweiten Anlernens (S14).

Nachdem die Schritte (S12-S14) häufig genug wiederholt wurden, z.B. bis ein Abbruchkriterium erfüllt wurde, folgt ein Optimieren (S15) der Parametrisierung (θ) der Funktion (H) derart, sodass gegeben einer Parametrisierung (w_kcl) des erstens Anlernens die Funktion die zugeordnete Parametrisierung (w_kmt) des zweiten Anlernens ausgibt. Für das Optimieren (S15) können bekannte Trainingsalgorithmen wie SGD oder Backpropagation verwendet werden.
Nach Beendigung von Schritt S15 kann das Verfahren beendet werden und die parametrisierte Funktion kann ausgegeben werden.
Es ist denkbar, dass nach Schritt S15 noch weitere Schritte ausgeführt werden können, z.B. wenn ein neuer Trainingsdatensatz vorliegt, für welchen das maschinelle Lernsystem auch eine gute Vorhersagegenauigkeit aufweisen soll, wobei eine Performance des maschinellen Lernsystems für die vorherig verwendeten Datensätze nicht verschlechtert werden soll. Dann können die nachfolgenden Schritte ausgeführt werden.
Bereitstellen (S16) der aktuellen Parametrisierung (w) des maschinellen Lernsystems und der Funktion (H) nach Schritt S15.
Bereitstellen (S16) eines neuen Datensatzes (T_j+1).
Anlernen (S17) des maschinellen Lernsystems anhand des neuen Datensatzes (T_j+1), um eine neue, optimale Parametrisierung (w_j+1cl) für den neuen Datensatz zu erhalten.
Ermitteln mittels Funktion (H) abhängig von der neuen, optimalen Parametrisierung (w_j+1cl) eine Parametrisierung, welche eine gute Performance auf allen Datensätzen erzielt und Anpassen (S18) der Parametrisierung des maschinellen Lernsystems mit der ausgegeben Parametrisierung der Funktion (H).
Das erhaltene maschinelle Lernsystem nach Schritt S18 kann wie nachfolgenden erläutert verwendet werden.
2 zeigt schematisch einen Aktor mit einem Steuerungssystem 40. In vorzugsweise regelmäßigen zeitlichen Abständen wird eine Umgebung 20 des Aktors 10 mit einem Sensor 30, insbesondere einem bildgebenden Sensor wie einem Videosensor, erfasst, der auch durch eine Mehrzahl von Sensoren gegeben sein kann, beispielsweise eine Stereokamera. Auch andere bildgebende Sensoren sind denkbar, wie beispielsweise Radar, Ultraschall oder Lidar. Auch eine Wärmebildkamera ist denkbar. Das Sensorsignal S - bzw. im Fall mehrerer Sensoren je ein Sensorsignal S - des Sensors 30 wird an das Steuerungssystem 40 übermittelt. Das Steuerungssystem 40 empfängt somit eine Folge von Sensorsignalen S. Das Steuerungssystem 40 ermittelt hieraus Ansteuersignale A, welche an einen Aktuator 10 übertragen werden. Der Aktuator 10 kann empfangene Steuerbefehle in mechanische Bewegungen oder Änderungen von physikalischen Größen umsetzt. Der Aktuator 10 kann z. B. den Steuerbefehl A in eine elektrische, hydraulische, pneumatische, thermische, magnetische und/oder mechanische Bewegung umsetzen oder Veränderung hervorrufen. Spezifische, aber nicht einschränkende Beispiele sind Elektromotoren, elektroaktive Polymere, Hydraulikzylinder, piezoelektrische Aktoren, pneumatische Aktoren, Servomechanismen, Solenoide, Schrittmotoren usw.
Das Steuerungssystem 40 empfängt die Folge von Sensorsignalen S des Sensors 30 in einer optionalen Empfangseinheit 50, die die Folge von Sensorsignalen S in eine Folge von Eingangsbildern x umwandelt (alternativ kann auch unmittelbar je das Sensorsignal S als Eingangsbild x übernommen werden). Das Eingangsbild x kann beispielsweise ein Ausschnitt oder eine Weiterverarbeitung des Sensorsignals S sein. Das Eingangsbild x umfasst einzelne Frames einer Videoaufzeichnung. Mit anderen Worten wird Eingangsbild x abhängig von Sensorsignal S ermittelt. Die Folge von Eingangsbildern x wird dem maschinellen Lernsystem aus Schritt S18, im Ausführungsbeispiel einem künstlichen neuronalen Netz 60, zugeführt.
Das künstliche neuronale Netz 60 wird vorzugsweise parametriert durch Parameter, die in einem Parameterspeicher hinterlegt sind und von diesem bereitgestellt werden.
Das künstliche neuronale Netz 60 ermittelt aus den Eingangsbildern x Ausgangsgrößen y. Diese Ausgangsgrößen y können insbesondere eine Klassifikation und/oder semantische Segmentierung der Eingangsbilder x umfassen. Ausgangsgrößen y werden einer optionalen Umformeinheit 80 zugeführt, die hieraus Ansteuersignale A ermittelt, welche dem Aktuator 10 zugeführt werden, um den Aktuator 10 entsprechend anzusteuern. Ausgangsgröße y umfasst Informationen über Objekte, die der Sensor 30 erfasst hat.
Der Aktuator 10 empfängt die Ansteuersignale A, wird entsprechend angesteuert und führt eine entsprechende Aktion aus. Der Aktuator 10 kann hierbei eine (nicht notwendigerweise baulich integrierte) Ansteuerlogik umfassen, welches aus dem Ansteuersignal A ein zweites Ansteuersignal ermittelt, mit dem dann der Aktuator 10 angesteuert wird.
In weiteren Ausführungsformen umfasst das Steuerungssystem 40 den Sensor 30. In noch weiteren Ausführungsformen umfasst das Steuerungssystem 40 alternativ oder zusätzlich auch den Aktuator 10.
In weiteren bevorzugten Ausführungsformen umfasst das Steuerungssystem 40 eine Ein- oder Mehrzahl von Prozessoren 45 und wenigstens ein maschinenlesbares Speichermedium 46, auf dem Anweisungen gespeichert sind, die dann, wenn sie auf den Prozessoren 45 ausgeführt werden, das Steuerungssystem 40 veranlassen, das erfindungsgemäße Verfahren auszuführen.
In alternativen Ausführungsformen ist alternativ oder zusätzlich zum Aktuator 10 eine Anzeigeeinheit 10a vorgesehen, welche eine Ausgangsgröße des Steuerungssystems 40 anzeigen kann.
In anderen Ausführungsformen kann die Anzeigeeinheit 10a eine Ausgabeschnittstelle zu einer Wiedergabevorrichtung sein, wie z. B. ein Display, eine Lichtquelle, ein Lautsprecher, ein Vibrationsmotor usw., die zur Erzeugung eines sensorisch wahrnehmbaren Ausgangssignals verwendet werden kann.
In einer bevorzugten Ausführungsform der 2 wird das Steuerungssystem 40 zur Steuerung des Aktors, welcher hier ein eines wenigstens teilautonomen Roboters, hier eines wenigstens teilautonomen Kraftfahrzeugs 100, ist, eingesetzt. Bei dem Sensor 30 kann es sich beispielsweise um einen vorzugsweise im Kraftfahrzeug 100 angeordneten Videosensor handeln.
Bei dem vorzugsweise im Kraftfahrzeug 100 angeordneten Aktuator 10 kann es sich beispielsweise um eine Bremse, einen Antrieb oder eine Lenkung des Kraftfahrzeugs 100 handeln. Das Ansteuersignal A kann dann derart ermittelt werden, dass der Aktor oder die Aktoren 10 derart angesteuert wird, dass das Kraftfahrzeug 100 beispielsweise eine Kollision mit den vom künstlichen neuronalen Netz 60 sicher identifizierten Objekte verhindert, insbesondere, wenn es sich um Objekte bestimmter Klassen, z.B. um Fußgänger, handelt.
Alternativ kann es sich bei dem wenigstens teilautonomen Roboter auch um einen anderen mobilen Roboter (nicht abgebildet) handeln, beispielsweise um einen solchen, der sich durch Fliegen, Schwimmen, Tauchen oder Schreiten fortbewegt. Bei dem mobilen Roboter kann es sich beispielsweise auch um einen wenigstens teilautonomen Rasenmäher oder einen wenigstens teilautonomen Putzroboter handeln. Auch in diesen Fällen kann das Ansteuersignal A derart ermittelt werden, dass Antrieb und/oder Lenkung des mobilen Roboters derart angesteuert werden, dass der wenigstens teilautonome Roboter beispielsweise eine Kollision mit vom künstlichen neuronalen Netz 60 identifizierten Objekten verhindert.
3 zeigt ein Ausführungsbeispiel, in dem das Steuerungssystem 40 zur Ansteuerung einer Fertigungsmaschine 11 eines Fertigungssystems 200 verwendet wird, indem ein diese Fertigungsmaschine 11 steuernder Aktuator 10 angesteuert wird. Bei der Fertigungsmaschine 11 kann es sich beispielsweise um eine Maschine zum Stanzen, Sägen, Bohren, Fräßen und/oder Schneiden handeln.
Bei dem Sensor 30 kann es sich dann beispielsweise um einen optischen Sensor handeln, der z.B. Eigenschaften von Fertigungserzeugnissen 12a, 12b erfasst. Es ist möglich, dass diese Fertigungserzeugnisse 12a, 12b beweglich sind. Es ist möglich, dass der die Fertigungsmaschine 11 steuernde Aktuator 10 abhängig von einer Zuordnung der erfassten Fertigungserzeugnisse 12a, 12b angesteuert wird, damit die Fertigungsmaschine 11 entsprechend einen nachfolgenden Bearbeitungsschritt des richtigen der Fertigungserzeugnisses 12a, 12b ausführt. Es ist auch möglich, dass durch Identifikation der richtigen Eigenschaften desselben der Fertigungserzeugnisse 12a, 12b (d.h. ohne eine Fehlzuordnung) die Fertigungsmaschine 11 entsprechend den gleichen Fertigungsschritt für eine Bearbeitung eines nachfolgenden Fertigungserzeugnisses anpasst.
4 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines Zugangssystems 300 eingesetzt wird. Das Zugangssystem 300 kann eine physische Zugangskontrolle, beispielsweise eine Tür 401 umfassen. Videosensor 30 ist eingerichtet ist, eine Person zu erfassen. Mittels des Objektidentifikationssystem 60 kann dieses erfasste Bild interpretiert werden. Sind mehrere Personen gleichzeitig erfasst, kann durch eine Zuordnung der Personen (also der Objekte) zueinander beispielweise die Identität der Personen besonders zuverlässig ermittelt werden, beispielsweise durch eine Analyse ihrer Bewegungen. Der Aktuator 10 kann ein Schloss sein, dass abhängig vom Ansteuersignal A die Zugangskontrolle freigibt, oder nicht, beispielsweise die Tür 401 öffnet, oder nicht. Hierzu kann das Ansteuersignal A abhängig von der der Interpretation des Objektidentifikationssystem 60 gewählt werden, beispielsweise abhängig von der ermittelten Identität der Person. Anstelle der physischen Zugangskontrolle kann auch eine logische Zugangskontrolle vorgesehen sein.
5 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines Überwachungssystems 400 verwendet wird. Von dem in 5 dargestellten Ausführungsbeispiel unterscheidet sich dieses Ausführungsbeispiel dadurch, dass an Stelle des Aktors 10 die Anzeigeeinheit 10a vorgesehen ist, die vom Steuerungssystem 40 angesteuert wird. Beispielsweise kann vom künstlichen neuronalen Netz 60 zuverlässig eine Identität der vom Videosensor 30 aufgenommenen Gegenstände ermittelt werden, um abhängig davon z.B. darauf zu schließen, welche verdächtig werden, und das Ansteuersignal A dann derart gewählt werden, dass dieser Gegenstand von der Anzeigeeinheit 10a farblich hervorgehoben dargestellt wird.
6 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines persönlichen Assistenten 250 eingesetzt wird. Der Sensor 30 ist bevorzugt ein optischer Sensor, der Bilder einer Geste eines Nutzers 249 empfängt.
Abhängig von den Signalen des Sensors 30 ermittelt das Steuerungssystem 40 ein Ansteuersignal A des persönlichen Assistenten 250, beispielsweise, indem das neuronale Netz eine Gestenerkennung durchführt. Dem persönlichen Assistenten 250 wird dann dieses ermittelte Ansteuersignal A übermittelt und er somit entsprechend angesteuert. Dieses ermittelte Ansteuersignal A ist kann insbesondere derart gewählt werden, dass es einer vermuteten gewünschten Ansteuerung durch den Nutzer 249 entspricht. Diese vermutete gewünschte Ansteuerung kann abhängig von der vom künstlichen neuronalen Netz 60 erkannten Geste ermittelt werden. Das Steuerungssystem 40 kann dann abhängig von der vermuteten gewünschten Ansteuerung das Ansteuersignal A zur Übermittlung an den persönlichen Assistenten 250 wählen und/oder das Ansteuersignal A zur Übermittlung an den persönlichen Assistenten entsprechend der vermuteten gewünschten Ansteuerung 250 wählen.
Diese entsprechende Ansteuerung kann beispielsweise beinhalten, dass der persönliche Assistent 250 Informationen aus einer Datenbank abruft und sie für den Nutzer 249 rezipierbar wiedergibt.
Anstelle des persönlichen Assistenten 250 kann auch ein Haushaltsgerät (nicht abgebildet), insbesondere eine Waschmaschine, ein Herd, ein Backofen, eine Mikrowelle oder eine Spülmaschine vorgesehen sein, um entsprechend angesteuert zu werden.
7 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines medizinischen bildgebenden System 500, beispielsweise eines MRT-, Röntgen- oder Ultraschallgeräts, verwendet wird. Der Sensor 30 kann beispielsweise durch einen bildgebenden Sensor gegeben sein, durch das Steuerungssystem 40 wird die Anzeigeeinheit 10a angesteuert. Beispielsweise kann vom neuronalen Netz 60 ermittelt werden, ob ein vom bildgebenden Sensor aufgenommener Bereich auffällig ist, und das Ansteuersignal A dann derart gewählt werden, dass dieser Bereich von der Anzeigeeinheit 10a farblich hervorgehoben dargestellt wird.
8 zeigt schematisch eine Trainingsvorrichtung 500 umfasst einen Bereitsteller 51, der aus einem Trainingsdatensatz Eingangsbilder bereitstellt. Eingangsbilder werden dem zu trainierenden neuronalen Netz 52 zugeführt, das hieraus Ausgangsgrößen ermittelt. Ausgangsgrößen und Eingangsbilder werden einem Beurteiler 53 zugeführt, der hieraus aktualisierte Hyper-/Parameter ermittelt, die dem Parameterspeicher P übermittelt werden und dort die gegenwärtigen Parameter ersetzen. Der Beurteiler 53 ist z.B. eingerichtet, die Schritte S13 und S14 und S17 des Verfahren nach 1 auszuführen.
Die vom Trainingsvorrichtung 500 ausgeführten Verfahren können als Computerprogramm implementiert auf einem maschinenlesbaren Speichermedium 54 hinterlegt sein und von einem Prozessor 55 ausgeführt werden.
Der Begriff „Computer“ umfasst beliebige Geräte zur Abarbeitung vorgebbarer Rechenvorschriften. Diese Rechenvorschriften können in Form von Software vorliegen, oder in Form von Hardware, oder auch in einer Mischform aus Software und Hardware.

Claims

Verfahren zum Parametrisieren einer Funktion (H), welche eine Parametrisierung eines maschinellen Lernsystems für eine Vielzahl von unterschiedlichen Datensätzen ausgibt, umfassend folgende Schritte: Bereitstellen (S11) einer Mehrzahl von Trainingsdatensätze (T₁, ...,T_n), wobei jedem Trainingsdatensatz ein Index (k) zugeordnet ist; Mehrfaches Wiederhohlen der nachfolgenden Abfolge von Schritten i. - iv.: i. Zufälliges Ziehen (S12) eines Indexes (k ∈ 1 <= k <= n); ii. Erstes Anlernen (S13) des maschinellen Lernsystems nacheinander auf den Trainingsdatensätzen mit einem zugeordneten Index kleiner gleich dem gezogenen Index, wobei die einzelnen optimierten Parametrisierungen (w_kcl) des maschinellen Lernsystems für jeden der Trainingsdatensätze gespeichert wird; iii. Zweites Anlernen (S14) des maschinellen Lernsystems auf allen Datensätzen mit einem zugeordneten Index kleiner gleich dem gezogenen Index, wobei die optimale Parametrisierung (w_kmt) des maschinellen Lernsystems gespeichert wird; iv. Zuordnen der optimalen Parametrisierungen des ersten Anlernens (S13) zu der Parametrisierung des zweiten Anlernens (S14); Optimieren (S15) einer Parametrisierung (θ) der Funktion (H) derart, sodass gegeben einer optimalen Parametrisierung (w_kcl) des erstens Anlernens die Funktion (H) die zugeordnete optimale Parametrisierung (w_kmt) des zweiten Anlernens ausgibt.
Verfahren nach Anspruch 1, wobei das Optimieren der Parametrisierung (θ) der Funktion (H) derart erfolgt, dass eine Kostenfunktion minimiert wird, wobei die Kostenfunktion eine Differenz zwischen den ausgegebenen Parametrisierungen durch die Funktion (H) zu den ermittelten Parametrisierungen beim zweiten Anlernen und/oder eine Differenz zwischen einer Vorhersagegenauigkeit des maschinellen Lernsystems anhand der ausgegebenen Parametrisierungen durch die Funktion (H) zu der Vorhersagegenauigkeit des maschinellen Lernsystems anhand der Parametrisierung (w_kmt) des zweiten Anlernens charakterisiert.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das maschinelle Lernsystem für das zweite Anlernen (S14) eine kleinere Architektur als beim ersten Anlernen (S13) aufweist und/oder das maschinelle Lernsystem nach dem zweiten Anlernen hinsichtlich seiner Architektur komprimiert wird, wobei die Funktion (H) derart parametrisiert wird, dass die Funktion (H) die Parametrisierung des ersten Anlernens auf die Parametrisierung des zweiten Anlernens im Wesentlichen abbildet.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das maschinelle Lernsystem für das zweite Anlernen (S14) quantisierte Parameter aufweist oder Parameter das maschinelle Lernsystem nach dem zweiten Anlernen (S14) quantisiert werden, wobei die Funktion (H) derart parametrisiert wird, dass die Funktion (H) die Parametrisierung des ersten Anlernens auf die zugeordnete quantisierte Parametrisierung des zweiten Anlernens abbildet.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Funktion (H) eine lineare Funktion oder ein neuronales Netz ist.
Verfahren zum Nachanlernen des maschinellen Lernsystems, sodass es seine vorherigen erlernten Eigenschaften beibehält, umfassend folgende Schritte: Bereitstellen (S16) der aktuellen Parametrisierung (w) des maschinellen Lernsystems und der Funktion (H) nach einem der vorhergehenden Ansprüche; Bereitstellen (S16) eines neuen Datensatzes (T_j+1); Anlernen (S17) des maschinellen Lernsystems anhand des neuen Datensatzes (T_j+1), um eine neue, optimale Parametrisierung (w_j+1cl) für den neuen Datensatz zu erhalten; Anpassen (S18) der Parametrisierung des maschinellen Lernsystems mittels der Funktion (H) abhängig von der neuen, optimalen Parametrisierung (w_j+1cl).
Verfahren nach Anspruch 6, wobei das maschinelle Lernsystem mit angepassten Parametern abhängig von einer ersten Größe eine zweite Größe ermittelt, wobei die erste Größe einen Betriebszustand eines technischen Systems oder einen Zustand einer Umgebung des technischen Systems charakterisiert, und wobei die zweite Größe einen Betriebszustand des technischen Systems, eine Ansteuerungsgröße zur Ansteuerung des technische System oder eine Sollgröße zur Regelung des technische Systems charakterisiert.
Vorrichtung, welche eingerichtet ist, das Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 7 auszuführen.
Maschinenlesbares Speichermedium (146, 148), auf dem das Computerprogramm nach Anspruch 9 gespeichert ist.