DE202020105509U1

DE202020105509U1 - Vorrichtung zum Anlernen eines maschinellen Lernsystems

Info

Publication number: DE202020105509U1
Application number: DE202020105509.7U
Authority: DE
Original assignee: Robert Bosch GmbH; Albert Ludwigs Universitaet Freiburg
Current assignee: Robert Bosch GmbH; Albert Ludwigs Universitaet Freiburg
Priority date: 2020-09-25
Filing date: 2020-09-25
Publication date: 2020-10-16
Anticipated expiration: 2030-09-26

Abstract

Vorrichtung (01) zum Anlernen eines maschinellen Lernsystems (60), wobei die Vorrichtung ein maschinenlesbares Speichermedium umfasst, auf dem Befehle gespeichert sind, die beim Ausführen durch einen Computer bewirkten, dass der Computer ein Verfahren mit folgenden Schritte ausführt:
Bestimmen (S21) einer Mehrzahl von Regularisierungsmethoden, welche zum Anlernen des maschinellen Lernsystems (60) verwendet werden können;
Definieren (S22) von ersten Hyperparametern, welche ein Anlernverfahren für das maschinelle Lernsystem parametrisieren, und zweite Hyperparameter, welche jeweils einer der Mehrzahl der Regularisierungsmethoden zugeordnet sind,
wobei die zweiten Hyperparameter charakterisieren, ob ihre zugeordnete Regularisierungsmethode beim Anlernen des maschinellen Lernsystems (60) verwendet wird oder nicht;
Optimieren (S23) der Hyperparameter mittels eines Hyperparameteroptimierers,
wobei beim Optimieren der Hyperparameter mehrmals ein Anlernen des maschinellen Lernsystems (60) mittels des Anlernverfahrens, welches jeweils mit unterschiedlichen Werten der ersten Hyperparameter parametrisiert ist, unter Verwendung der Regularisierungsmethoden abhängig von den zweiten Hyperparametern, durchgeführt wird und jeweils eine Leistungsfähigkeit des unterschiedlich angelernten maschinellen Lernsystems (60) ermittelt wird,
wobei dann abhängig von den ermittelten Leistungsfähigkeiten mittels des Hyperparameteroptimierers optimierte Werte der ersten und zweiten Hyperparameter ermittelt werden; und
Anlernen (S24) des maschinellen Lernsystems (60) mittels des Anlernverfahrens, welches mit den optimierten Werten der ersten Hyperparameter parametrisiert ist, unter Verwendung der Regularisierungsmethoden abhängig von den zweiten Hyperparametern.

Description

Die Erfindung betrifft eine Vorrichtung zum Anlernen eines maschinellen Lernsystems.
Stand der Technik
In den letzten Jahren hat maschinelles Lernen, insbesondere Deep Learning, dazu beigetragen, die technischen Grenzen in vielen Bereichen voranzubringen. Neue Architekturen von neuronalen Netzen und Regularisierungsmethoden entwickeln sich in rasantem Tempo und tragen zu immer besseren Ergebnissen auf vielen unterschiedlichen technischen Gebieten, wie der Bildklassifikation oder Objektdetektion, bei.
Ein Problem bei maschinellem Lernen, insbesondere Deep Learning, ist, dass diese Verfahren große Trainingsdatensätze benötigen, um ihre Lernaufgabe, z.B. Klassifikation von Bildern, zuverlässig zu lösen und nicht einfach die Trainingsdaten auswendig zu lernen.
Regularisierungsmethoden sind Verfahren, die die Überanpassung reduzieren und die Generalisierung von maschinellen Lernsystemen, insbesondere neuronalen Netzen, verbessern.
Vorteile der Erfindung
Die Erfindung mit den Merkmalen des unabhängigen Anspruchs 1 hat den Vorteil, dass beim Anlernen des maschinellen Lernsystems eine Kombination von Regularisierungsmethoden automatisch optimiert wird, um eine besonders gute Leistungsfähigkeit des maschinellen Lernsystems, insbesondere mit kleinen Trainingsdatensätzen, zu erreichen, da eine besonders gute Generalisierung erzielt werden kann. Folglich können die maschinellen Lernsysteme mit kleineren Trainingsdatensätzen angelernt oder bei Verwendung mit großen Trainingsdatensätzen noch bessere Leistungsfähigkeiten erzielt werden. Folglich werden beim Ausführen der Erfindung auf einem Computer gegeben den eingeschränkten Ressourcen des Computers, weniger Ressourcen wie Speicher/Energieverbrauch/Rechenleistung verbraucht. Darüber hinaus lässt sich somit der CO2 Ausstoß reduzieren, um maschinelle Lernsysteme zu erhalten, die eine hohe Generalisierung aufweisen aber mit weniger Trainingsdaten angelernt wurden.
Offenbarung der Erfindung
In einem ersten Aspekt betrifft die Erfindung ein computerimplementiertes Verfahren zum Anlernen eines maschinellen Lernsystems.
Das Verfahren beginnt mit einem Bestimmen, insbesondere Auswählen, einer Mehrzahl von Regularisierungsmethoden, welche zum Anlernen des maschinellen Lernsystems verwendet werden können.
Daraufhin folgt ein Definieren von ersten Hyperparametern, welche ein Anlernverfahren für das maschinelle Lernsystem parametrisieren, und zweiten Hyperparameter, welche jeweils einer der Mehrzahl der Regularisierungsmethoden zugeordnet ist. Die zweiten Hyperparameter charakterisieren, ob ihre jeweils zugeordnete Regularisierungsmethode beim Anlernen des maschinellen Lernsystems verwendet wird oder nicht.
Daraufhin folgt ein Optimieren der Hyperparameter mittels eines Hyperparameteroptimierers, insbesondere auf einem bereitgestellten Trainingsdatensatz unter Verwendung des Anlernverfahrens. Hierfür wird mehrmals ein Anlernen des maschinellen Lernsystems mittels des Anlernverfahrens, welches jeweils mit unterschiedlichen Werten die Hyperparameter parametrisiert ist unter Verwendung der Regularisierungsmethoden abhängig von den zweiten Hyperparametern, durchgeführt und jeweils eine Leistungsfähigkeit des unterschiedlich angelernten maschinellen Lernsystems ermittelt. Dann wird abhängig von den ermittelten Leistungsfähigkeiten mittels des Hyperparameteroptimierers optimierte Werte der Hyperparameter ermittelt.
Daraufhin folgt ein Anlernen des maschinellen Lernsystems mittels des Anlernverfahrens, welches mit den optimierten Werten der Hyperparameter parametrisiert ist.
Im Allgemeinen kann gesagt werden, dass durch Verwenden einer Regularisierungsmethode beim Anlernen des maschinellen Lernsystems eine künstliche Verkomplizierung der Lernaufgabe des maschinellen Lernsystems durchgeführt wird. Die Verkomplizierung kann darin liegen, dass z.B. Teile des maschinellen Lernsystems zeitweise zufällig entfernt werden oder die Verkomplizierung kann darin liegen, dass die Lernaufgabe künstlich erschwert wird, indem z.B. die Trainingsdaten augmentiert werden, wodurch beides Mal das maschinelle Lernsystem weniger dazu neigt, die Trainingsdaten auswendig zu lernen. Folglich besser generalisiert.
Die Regularisierungsmethoden können das maschinelle Lernsystem betreffen und/oder die Trainingsdaten und/oder das Anlernverfahren. Wenn die Regularisierungsmethode das Anlernverfahren betrifft, dann können diese z.B. eine Kostenfunktion (engl. loss function) des Anlernverfahrens modifizieren, bspw. durch Hinzufügen eines Regularisierungsterms. Wenn die Regularisierungsmethode das maschinelle Lernsystem betrifft, dann kann die Regularisierungsmethode gezielt eine Architektur des maschinellen Lernsystems modifizieren, bspw. durch Entfernen von Teilen des maschinellen Lernsystems. Wenn die Regularisierungsmethode die Trainingsdaten betrifft, dann kann diese Regularisierungsmethode die Trainingsdaten modifizieren, bspw. durch Hinzufügen von rotierten, verzerrten, interpolierten und/oder skalierten Trainingsdaten, die aus bereits vorhandenen Trainingsdaten erstellt werden.
Da durch eine Regularisierung eine verbesserte Generalisierung des maschinellen Lernsystem erzielt werden kann, hat die Erfindung den Vorteil, dass durch die automatische Auswahl, insbesondere Optimierung einer Kombination aus mehreren Regularisierungsmethoden, eine besonders gute Kombination der Regularisierungsmethoden gefunden und schlussendlich eine besonders gute Generalisierung erreicht wird.
Unter einer Leistungsfähigkeit (engl. performance) eines maschinellen Lernsystemes kann eine Abweichung der ermittelten Ausgangsgrößen des maschinellen Lernsystems zu Trainingsausgangsgrößen, die im Trainingsdatensatz enthalten sind, verstanden werden. Wenn das maschinelle Lernsystem ein Bildklassifikator ist, ist vorzugsweise die Leistungsfähigkeit eine Bildklassifikationsgenauigkeit.
Es wird vorgeschlagen, dass mehrmals nacheinander die Schritte des Optimierens der Werte der Hyperparameter und Anlernen des maschinellen Lernsystems mit den optimierten Hyperparametern ausgeführt wird, bis eine Veränderung der Leistungsfähigkeit kleiner als ein vorgebbarer Wert oder ein Budget aufgebraucht ist. Der Vorteil hierbei ist, dass der Hyperparameteroptimierer abhängig von Erfahrungen die neuen Werte vorschlägt und damit iterativ eine Verbesserung der Leistungsfähigkeit erzielt. Das Budget kann ein Rechenleistungs- oder Zeitbudget sein.
Es wird weiterhin vorgeschlagen, dass der Hyperparameteroptimierer BOHB (Bayesian Optimization and Hyperband) ist. Für mehr Details, siehe Falkner et al. BOHB: Robust and Efficient Hyperparameter Optimization at Scale, online abrufbar: https://arxiv.org/pd1/1807.01774.pdf. Alternativ zu BOHB kann auch ,Grid Search` oder,Random Search‘ oder andere Hyperparameteroptimierer verwendet werden. BOBH hat den Vorteil, dass mit wenigen Stichproben eine Konvergenz eintritt, wodurch das Verfahren besonders computerressourceneffizient wird.
Es wird weiterhin vorgeschlagen, dass die Regularisierungsmethoden wiederum parametrisierbar sind, wobei zu den zweiten Hyperparametern jeweils weitere Hyperparameter zugeordnet sind, die dem jeweiligen zweiten Hyperparameter zugeordnete Regularisierungsmethode parametrisieren. Der Vorteil hierbei ist, dass neben der Optimierung über die Regularisierungsmethoden auch die Regularisierungsmethoden als solche optimiert werden.
Es wird weiterhin vorgeschlagen, dass die Mehrzahl der Regularisierungsmethoden aus einer Liste umfassend die folgenden Regularisierungsmethoden ausgewählt werden: Dropout, Weight Decay, Batch Normalization, Mixup, Shake-Shake und ähnlichem Methoden.
Besonderes bevorzugt wird zumindest Weight Decay und Batch Normalization als Regularisierungsmethoden verwendet. Denn es hat sich herausgestellt, dass diese Kombination aus Regularisierungsmethoden besonders zuverlässig gute Ergebnisse bei Anwendung auf unterschiedlichste Trainingsdatensätze geliefert hat.
Es wird weiterhin vorgeschlagen, dass das maschinelle Lernsystem ein neuronales Netz, insbesondere residuales neuronales Netz (engl. residual neural network) ist.
Vorteilhaft hierbei ist, dass anhand dieses Verfahrens es erstmals ermöglicht wird, dass eine Generalisierung auf kleinen Trainingsdatensätzen für neuronale Netze zu erreichen. Denn üblicherweise benötigen neuronale Netze sehr große Datensätze.
Weiterhin wird vorgeschlagen, dass das angelernte maschinelle Lernsystem nach dem ersten Aspekt für computerbasiertes Sehen (engl. computer vision), insbesondere für Bildklassifikationen, verwendet wird
Weiterhin wird vorgeschlagen, dass das angelernte maschinelle Lernsystem abhängig von einer erfassten Sensorgröße eines Sensors eine Ausgangsgröße ermittelt, die daraufhin zum Ermitteln einer Steuergröße mittels einer Steuereinheit verwendet werden kann.
Die Steuergröße kann zum Steuern eines Aktors eines technischen Systems verwendet werden. Das technische System kann zum Beispiel eine zumindest teilautonome Maschine, ein zumindest teilautonomes Fahrzeug, ein Roboter, ein Werkzeug, eine Werkmaschine oder ein Flugobjekt wie eine Drohne sein. Die Eingangsgröße kann bspw. abhängig von erfassten Sensordaten ermittelt und dem maschinellen Lernsystem bereitgestellt werden. Die Sensordaten können von einem Sensor, wie z.B. einer Kamera, des technischen Systems erfasst oder alternativ von extern empfangen werden.
In weiteren Aspekten betrifft die Erfindung eine Vorrichtung sowie ein Computerprogramm, die jeweils eingerichtet sind, die obigen Verfahren auszuführen und ein maschinenlesbares Speichermedium, auf dem dieses Computerprogramm gespeichert ist.
Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert. In den Zeichnungen zeigen:

1 schematisch ein Flussdiagramm einer Ausführungsform der Erfindung;
2 schematisch ein Ausführungsbeispiel zur Steuerung eines wenigstens teilautonomen Roboters;
3 schematisch ein Ausführungsbeispiel zur Steuerung eines Fertigungssystems;
4 schematisch ein Ausführungsbeispiel zur Steuerung eines Zugangssystems;
5 schematisch ein Ausführungsbeispiel zur Steuerung eines Überwachungssystems;
6 schematisch ein Ausführungsbeispiel zur Steuerung eines persönlichen Assistenten;
7 schematisch ein Ausführungsbeispiel zur Steuerung eines medizinisch bildgebenden Systems;

Beschreibung der Ausführungsbeispiele
Aus dem Stand der Technik sind folgende Regularisierungsmethoden bekannt:

- Dropout: Hierbei werden Teile des maschinellen Lernsystems, z.B. bei einem neuronalen Netz seine Neuronen, zufällig deaktiviert. Es hilft bei der Reduzierung der Überanpassung durch zufälliges Aussetzen von z.B. Neuronen mit einer Aussetzwahrscheinlichkeit p_l.
- Weight Decay: Hierbei wird eine Skalierung von Parametern des maschinellen Lernsystems skaliert. Für ein neuronales Netz können dessen Gewichte W wie folgt angepasst werden: $W_{t + 1} (1 - λ) W_{t} - a g r a d (f_{t} (θ_{t}))$
wobei λ eine Abfallrate pro Anlernschritt t ist und grad(f_t(0_t)) ist der batch-Gradient mit Lernrate α.

Weight Decay benachteiligt damit effektiv Parameter mit großen Werten und zwingt damit das neuronale Netz zur Verwendung von kleinen Werten für seine Parameter.
- Batch Normalization: hierfür werden mehrere Trainingseingangsgrößen zusammengefasst und innerhalb des maschinellen Lernsystems werden abhängig von diesen mehr Trainingseingangsgrößen statistische Verschiebungen der Zwischenergebnisse des maschinellen Lernsystems durchgeführt.
- Mixup: hierbei werden die Trainingsdaten interpoliert. Diese Regularisierungsmethode basiert darauf, dass linear zwischen einzelnen Trainingseingangsdaten sowie deren zugeordneten Trainingsausgangsdaten interpoliert wird: $x_{n e w} = λ x_{i} + (1 - λ) x_{j}$
$y_{n e w} = λ y_{i} + (1 - λ) y_{j}$
wobei (x_i; x_j) sind jeweils Trainingseingangsdaten welche zufällig aus den Trainingsdaten gezogen wurden, sowie deren zugeordneten Trainingsausgangsdaten (y_i; y_j), welche zum Beispiel in einem One-Hot Encoding vorliegen können, und λ ∈ [0; 1], einem Interpolationskoeffizienten.
- Shake-shake: Diese Regularisierungsmethode erweitert die internen Darstellungen des maschinellen Lernsystems mit mehreren Verzweigungen, z.B. residuale neurale Netze. Es ersetzt die Standardsummierung paralleler Zweige durch eine stochastische affine Kombination wie folgt: $x_{i + 1} = x_{I} + a_{i} F (x_{i}, W_{1}^{1}) + (1 - a_{i}) F (x_{i}, W_{1}^{2})$
wobei x_i ist die Eingangsgröße eines Residual-Block i, F ist die Residuum-Funktion, α_i ist der ‚shake‘-Koeffizient für den Residual-Block i and W_j ist der Parameter, insbesondere Gewicht, dass Residual-Blocks.
Shake-Shake kann als eine Methode zur Datenvergrößerung aufgefasst werden, die verkleinerte interne Darstellungen kombiniert.
Ferner sind aus dem Stand der Technik Hyperparameteroptimierer für maschinelles Lernen bekannt. Hyperparameter können sein: eine Lernrate α, Batch-Größe, Optimizer (SGD, ADAM, usw.). Im nachfolgenden wird vorgeschlagen, dass jeweils die einzelnen Regularisierungsmethoden sowie deren Parameter jeweils auch als Hyperparameter definiert werden. Die Hyperparameter für die Regularisierungstechniken sind vorzugsweise binär.
Um eine gute Hyperparameterkonfiguration zu finden, müssen die Hyperparameter optimiert werden. Die Hyperparameter-Optimierung kann unter Verwendung verschiedener Verfahren durchgeführt werden, die als Hyperparameter-Optimierungsalgorithmen, kurz: Hyperparameteroptimierer, bezeichnet werden. Die einfachsten Verfahren unter allen sind ,Grid Search‘ und ,Random Search‘, wobei letztere den Suchraum effizienter erkundet. Darüber hinaus hat sich gezeigt, dass Bayes'sche Optimierungsansätze wie SMAC und Spearmint bei Hyperparameter-Konfigurations-Benchmarks bessere Ergebnisse erzielen. Schließlich hat eine von Falkner et al. vorgeschlagene Kombination von Hyperband- und Bayes'scher Optimierung zu signifikanten Verbesserungen und guten Ergebnissen zu jeder Zeit geführt. Für diese Erfindung wird vorzugsweise BOHB verwendet. Für mehr Details zu BOBH, siehe Publikation von Stefan Falkner, Aaron Klein und Frank Hutter. BOBH: Robuste und effiziente Hyperparameter-Optimierung, arXiv preprint arXiv:1807.01774, 2018.
Im Folgenden wird nun ein Verfahren vorgeschlagen, bei welchem die Regularisierungsmethode automatisiert mittels des Hyperparameteroptimierers ausgewählt werden, um effizient eine Überanpassung des maschinellen Lernsystems auf seine Trainingsdaten zu vermeiden und damit eine besonders gute Generalisierung zu erzielen.
Wie bereits erwähnt, werden die Regularisierungsmethoden jeweils als Hyperparameter beim Anlernen dargestellt. Vorzugsweise sind diese Hyperparameter binär und geben an, ob die jeweilige Regelarisierungsmethode verwendet oder nicht verwendet wird.
Dieses Verfahren (20) ist schematisch in 1 gezeigt.
Das Verfahren beginnt mit Schritt S21. In diesem Schritt wird eine Mehrzahl von Regularisierungsmethoden bestimmt, welche zum Anlernen des maschinellen Lernsystems verwendet werden können.
Daraufhin folgt Schritt S21. Hierin werden erste Hyperparameter definiert, welche ein Anlernverfahren für das maschinelle Lernsystem parametrisieren, und zweite Hyperparameter definiert, welche jeweils einer der Mehrzahl der Regularisierungsmethoden zugeordnet sind. Die zweiten Hyperparameter charakterisieren, ob ihre jeweils zugeordnete Regularisierungsmethode beim Anlernen des maschinellen Lernsystems verwendet wird oder nicht und sind wie bereits erwähnt vorzugsweise binär.
Daraufhin folgt Schritt S22. Hierin werden die Hyperparameter mittels eines Hyperparameteroptimierers optimiert.
In Schritt S22 kann zuerst mehrmals ein Anlernen des maschinellen Lernsystems mittels des Anlernverfahrens, welches jeweils mit unterschiedlichen Werten für die Hyperparameter parametrisiert ist, unter Verwendung der Regularisierungsmethoden abhängig von den zweiten Hyperparametern, durchgeführt werden und jeweils eine Leistungsfähigkeit des unterschiedlich angelernten maschinellen Lernsystems ermittelt werden. Dann kann abhängig von den ermittelten Leistungsfähigkeiten mittels des Hyperparameteroptimierers optimierte Werte der ersten und zweiten Hyperparameter ermittelt werden. Vorzugsweise wird das mehrmalige Anlernen mit unterschiedlichen Hyperparameter nacheinander oder parallel ausgeführt, wobei das gleiche maschinelle Lernsystem angelernt wird, ggf. jedes Mal neu initialisiert.
Für das Anlernen kann ein Lernraten-Scheduler verwendet werden, wobei ein zusätzlicher Hyperparameter hinzugefügt werden kann, der den Lernraten-Scheduler charakterisiert. Für den Fall, dass ein Kosinusabfall mit/ohne Neustarts und exponentiellen Zerfall für den Lernraten-Scheduler verwendet wird, kann der Kosinusabfall als zusätzlicher Hyperparameter herangezogen werden.
Daraufhin folgt Schritt S23. In diesem Schritt wird das maschinelle Lernsystem abschließend angelernt, vorzugsweise wird das Anlernen des maschinellen Lernsystems mittels des Anlernverfahrens, welches mit den optimierten Werten der Hyperparametern parametrisiert ist, unter Verwendung der Regularisierungsmethoden abhängig von den zweiten Hyperparametern durchgeführt.
Nachdem Schritt S22 oder S23 beendet wurde, kann das angelernte maschinelle Lernsystem beispielsweise zum Steuern eines Aktors eines technischen Systems verwendet werden. Der Aktor kann dann abhängig von einer ermittelten Ausgangsgröße des angelernten maschinellen Lernsystem gesteuert werden. Hierfür kann das maschinelle Lernsystem Sensorsignale als Eingangsgröße erhalten. Hierfür wird vorzugsweise in regelmäßigen zeitlichen Abständen eine Umgebung mit einem Sensor, insbesondere einem bildgebenden Sensor wie einem Videosensor, erfasst, der auch durch eine Mehrzahl von Sensoren gegeben sein kann, beispielsweise eine Stereokamera. Auch andere bildgebende Sensoren sind denkbar, wie beispielsweise Radar, Ultraschall oder Lidar. Auch eine Wärmebildkamera ist denkbar. Das Sensorsignal S - bzw. im Fall mehrerer Sensoren je ein Sensorsignal S - des Sensors (in 2: Sensor 30), wird an ein Steuerungssystem (in 2: Steuerungssystem 40) übermittelt. Das Steuerungssystem empfängt somit eine Folge von Sensorsignalen. Das Steuerungssystem ermittelt abhängig von der ermittelten Ausgangsgröße des maschinellen Lernsystems (in 2: maschinelle Lernsystem 60) hieraus Ansteuersignale, welche an den Aktor (in 2: Aktor 10) übertragen werden.
Hierfür kann das maschinelle Lernsystem aus den Eingangsbildern x Ausgangsgrößen y ermitteln. Diese Ausgangsgrößen y können insbesondere eine Klassifikation und/oder semantische Segmentierung der Eingangsbilder x umfassen. Ausgangsgrößen y werden einer optionalen Umformeinheit zugeführt, die hieraus Ansteuersignale ermittelt, welche dem Aktor zugeführt werden, um den Aktor 10 entsprechend anzusteuern. Ausgangsgröße y umfasst Informationen über Objekte, die der Sensor 30 erfasst hat.
Der Aktor empfängt die Ansteuersignale, wird entsprechend angesteuert und führt eine entsprechende Aktion aus. Der Aktor kann hierbei eine (nicht notwendigerweise baulich integrierte) Ansteuerlogik umfassen, welches aus dem Ansteuersignal A ein zweites Ansteuersignal ermittelt, mit dem dann der Aktor angesteuert wird.
In weiteren Ausführungsformen umfasst das Steuerungssystem den Sensor. In noch weiteren Ausführungsformen umfasst das Steuerungssystem alternativ oder zusätzlich auch den Aktor.
2 zeigt, wie das Steuerungssystem 40 zur Steuerung eines wenigstens teilautonomen Roboters, hier eines wenigstens teilautonomen Kraftfahrzeugs 100, eingesetzt werden kann.
Bei dem Sensor 30 kann es sich beispielsweise um einen vorzugsweise im Kraftfahrzeug 100 angeordneten Videosensor handeln.
Das maschinelle Lernsystem 60 ist eingerichtet, aus den Eingangsbildern x Objekte sicher zu identifizieren.
Bei dem vorzugsweise im Kraftfahrzeug 100 angeordneten Aktor 10 kann es sich beispielsweise um eine Bremse, einen Antrieb oder eine Lenkung des Kraftfahrzeugs 100 handeln. Das Ansteuersignal kann dann derart ermittelt werden, dass der Aktor oder die Aktoren 10 derart angesteuert wird, dass das Kraftfahrzeug 100 beispielsweise eine Kollision mit den vom maschinellen Lernsystem 60 sicher identifizierten Objekte verhindert, insbesondere, wenn es sich um Objekte bestimmter Klassen, z.B. um Fußgänger, handelt.
Alternativ kann es sich bei dem wenigstens teilautonomen Roboter auch um einen anderen mobilen Roboter (nicht abgebildet) handeln, beispielsweise um einen solchen, der sich durch Fliegen, Schwimmen, Tauchen oder Schreiten fortbewegt. Bei dem mobilen Roboter kann es sich beispielsweise auch um einen wenigstens teilautonomen Rasenmäher oder einen wenigstens teilautonomen Putzroboter handeln. Auch in diesen Fällen kann das Ansteuersignal A derart ermittelt werden, dass Antrieb und/oder Lenkung des mobilen Roboters derart angesteuert werden, dass der wenigstens teilautonome Roboter beispielsweise eine Kollision mit vom maschinellen Lernsystem 60 identifizierten Objekten verhindert.
Alternativ oder zusätzlich kann mit dem Ansteuersignal A die Anzeigeeinheit 10a angesteuert werden, und beispielsweise die ermittelten sicheren Bereiche dargestellt werden. Auch ist es beispielsweise beim einem Kraftfahrzeug 100 mit nicht automatisierter Lenkung möglich, dass die Anzeigeeinheit 10a mit dem Ansteuersignal A derart angesteuert wird, dass sie ein optisches oder akustisches Warnsignal ausgibt, wenn ermittelt wird, dass das Kraftfahrzeug 100 droht, mit einem der sicher identifizierten Objekte zu kollidieren.
In weiteren bevorzugten Ausführungsformen umfasst das Steuerungssystem 40 eine Ein- oder Mehrzahl von Prozessoren 45 und wenigstens ein maschinenlesbares Speichermedium 46, auf dem Anweisungen gespeichert sind, die dann, wenn sie auf den Prozessoren 45 ausgeführt werden, das Steuerungssystem 40 veranlassen, das erfindungsgemäße Verfahren auszuführen.
In alternativen Ausführungsformen ist alternativ oder zusätzlich zum Aktor 10 eine Anzeigeeinheit 10a vorgesehen.
3 zeigt ein Ausführungsbeispiel, in dem das Steuerungssystem 40 zur Ansteuerung einer Fertigungsmaschine 11 eines Fertigungssystems 200 verwendet wird, indem ein diese Fertigungsmaschine 11 steuernder Aktor 10 angesteuert wird. Bei der Fertigungsmaschine 11 kann es sich beispielsweise um eine Maschine zum Stanzen, Sägen, Bohren und/oder Schneiden handeln.
Bei dem Sensor 30 kann es sich dann beispielsweise um einen optischen Sensor handeln, der z.B. Eigenschaften von Fertigungserzeugnissen 12a, 12b erfasst. Es ist möglich, dass diese Fertigungserzeugnisse 12a, 12b beweglich sind. Es ist möglich, dass der die Fertigungsmaschine 11 steuernde Aktor 10 abhängig von einer Zuordnung der erfassten Fertigungserzeugnisse 12a, 12b angesteuert wird, damit die Fertigungsmaschine 11 entsprechend einen nachfolgenden Bearbeitungsschritt des richtigen der Fertigungserzeugnisses 12a, 12b ausführt. Es ist auch möglich, dass durch Identifikation der richtigen Eigenschaften desselben der Fertigungserzeugnisse 12a, 12b (d.h. ohne eine Fehlzuordnung) die Fertigungsmaschine 11 entsprechend den gleichen Fertigungsschritt für eine Bearbeitung eines nachfolgenden Fertigungserzeugnisses anpasst.
4 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines Zugangssystems 300 eingesetzt wird. Das Zugangssystem 300 kann eine physische Zugangskontrolle, beispielsweise eine Tür 401 umfassen. Videosensor 30 ist eingerichtet ist, eine Person zu erfassen. Mittels des Objektidentifikationssystem 60 kann dieses erfasste Bild interpretiert werden. Sind mehrere Personen gleichzeitig erfasst, kann durch eine Zuordnung der Personen (also der Objekte) zueinander beispielweise die Identität der Personen besonders zuverlässig ermittelt werden, beispielsweise durch eine Analyse ihrer Bewegungen. Der Aktor 10 kann ein Schloss sein, dass abhängig vom Ansteuersignal A die Zugangskontrolle freigibt, oder nicht, beispielsweise die Tür 401 öffnet, oder nicht. Hierzu kann das Ansteuersignal A abhängig von der der Interpretation des Objektidentifikationssystem 60 gewählt werden, beispielsweise abhängig von der ermittelten Identität der Person. An Stelle der physischen Zugangskontrolle kann auch eine logische Zugangskontrolle vorgesehen sein.
5 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines Überwachungssystems 400 verwendet wird. Von dem in 5 dargestellten Ausführungsbeispiel unterscheidet sich dieses Ausführungsbeispiel dadurch, dass an Stelle des Aktors 10 die Anzeigeeinheit 10a vorgesehen ist, die vom Steuerungssystem 40 angesteuert wird. Beispielsweise kann vom künstlichen neuronalen Netz 60 zuverlässig eine Identität der vom Videosensor 30 aufgenommenen Gegenstände ermittelt werden, um abhängig davon z.B. darauf zu schließen, welche verdächtig werden, und das Ansteuersignal A dann derart gewählt werden, dass dieser Gegenstand von der Anzeigeeinheit 10a farblich hervorgehoben dargestellt wird.
6 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines persönlichen Assistenten 250 eingesetzt wird. Der Sensor 30 ist bevorzugt ein optischer Sensor, der Bilder einer Geste eines Nutzers 249 empfängt.
Abhängig von den Signalen des Sensors 30 ermittelt das Steuerungssystem 40 ein Ansteuersignal A des persönlichen Assistenten 250, beispielsweise, indem das neuronale Netz eine Gestenerkennung durchführt. Dem persönlichen Assistenten 250 wird dann dieses ermittelte Ansteuersignal A übermittelt und er somit entsprechend angesteuert. Dieses ermittelte Ansteuersignal A ist kann insbesondere derart gewählt werden, dass es einer vermuteten gewünschten Ansteuerung durch den Nutzer 249 entspricht. Diese vermutete gewünschte Ansteuerung kann abhängig von der vom künstlichen neuronalen Netz 60 erkannten Geste ermittelt werden. Das Steuerungssystem 40 kann dann abhängig von der vermuteten gewünschten Ansteuerung das Ansteuersignal A zur Übermittlung an den persönlichen Assistenten 250 wählen und/oder das Ansteuersignal A zur Übermittlung an den persönlichen Assistenten entsprechend der vermuteten gewünschten Ansteuerung 250 wählen.
Diese entsprechende Ansteuerung kann beispielsweise beinhalten, dass der persönliche Assistent 250 Informationen aus einer Datenbank abruft und sie für den Nutzer 249 rezipierbar wiedergibt.
Anstelle des persönlichen Assistenten 250 kann auch ein Haushaltsgerät (nicht abgebildet), insbesondere eine Waschmaschine, ein Herd, ein Backofen, eine Mikrowelle oder eine Spülmaschine vorgesehen sein, um entsprechend angesteuert zu werden.
7 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines medizinischen bildgebenden System 500, beispielsweise eines MRT-, Röntgen- oder Ultraschallgeräts, verwendet wird. Der Sensor 30 kann beispielsweise durch einen bildgebenden Sensor gegeben sein, durch das Steuerungssystem 40 wird die Anzeigeeinheit 10a angesteuert. Beispielsweise kann vom neuronalen Netz 60 ermittelt werden, ob ein vom bildgebenden Sensor aufgenommener Bereich auffällig ist, und das Ansteuersignal A dann derart gewählt werden, dass dieser Bereich von der Anzeigeeinheit 10a farblich hervorgehoben dargestellt wird.

Claims

Vorrichtung (01) zum Anlernen eines maschinellen Lernsystems (60), wobei die Vorrichtung ein maschinenlesbares Speichermedium umfasst, auf dem Befehle gespeichert sind, die beim Ausführen durch einen Computer bewirkten, dass der Computer ein Verfahren mit folgenden Schritte ausführt: Bestimmen (S21) einer Mehrzahl von Regularisierungsmethoden, welche zum Anlernen des maschinellen Lernsystems (60) verwendet werden können; Definieren (S22) von ersten Hyperparametern, welche ein Anlernverfahren für das maschinelle Lernsystem parametrisieren, und zweite Hyperparameter, welche jeweils einer der Mehrzahl der Regularisierungsmethoden zugeordnet sind, wobei die zweiten Hyperparameter charakterisieren, ob ihre zugeordnete Regularisierungsmethode beim Anlernen des maschinellen Lernsystems (60) verwendet wird oder nicht; Optimieren (S23) der Hyperparameter mittels eines Hyperparameteroptimierers, wobei beim Optimieren der Hyperparameter mehrmals ein Anlernen des maschinellen Lernsystems (60) mittels des Anlernverfahrens, welches jeweils mit unterschiedlichen Werten der ersten Hyperparameter parametrisiert ist, unter Verwendung der Regularisierungsmethoden abhängig von den zweiten Hyperparametern, durchgeführt wird und jeweils eine Leistungsfähigkeit des unterschiedlich angelernten maschinellen Lernsystems (60) ermittelt wird, wobei dann abhängig von den ermittelten Leistungsfähigkeiten mittels des Hyperparameteroptimierers optimierte Werte der ersten und zweiten Hyperparameter ermittelt werden; und Anlernen (S24) des maschinellen Lernsystems (60) mittels des Anlernverfahrens, welches mit den optimierten Werten der ersten Hyperparameter parametrisiert ist, unter Verwendung der Regularisierungsmethoden abhängig von den zweiten Hyperparametern.
Vorrichtung (01) nach Anspruch 1, wobei die gespeicherten Befehle derart ausgebildet sind, dass das Verfahren, das der Computer ausführt, wenn diese Befehle auf dem Computer ausgeführt werden, derart abläuft, dass mehrmals nacheinander die Schritte des Optimierens der Werte der Hyperparameter und des Anlernens des maschinellen Lernsystem mit den optimierten ersten und zweiten Hyperparametern ausgeführt wird, bis eine Veränderung der Leistungsfähigkeit kleiner als ein vorgebbarer Wert oder ein Budget aufgebraucht ist.
Vorrichtung (01) nach einem der vorhergehenden Ansprüche, wobei der Hyperparameteroptimierer BOHB (Bayesian Optimization and Hyperband) ist.
Vorrichtung (01) nach einem der vorhergehenden Ansprüche, wobei die Regularisierungsmethoden parametrisiert sind, wobei zu den zweiten Hyperparametern jeweils weitere Hyperparameter zugeordnet sind, die dem jeweiligen zweiten Hyperparameter zugeordnete Regularisierungsmethode parametrisieren.
Vorrichtung (01) nach einem der vorhergehenden Ansprüche, wobei die gespeicherten Befehle derart ausgebildet sind, dass das Verfahren, das der Computer ausführt, wenn diese Befehle auf dem Computer ausgeführt werden, derart abläuft, dass die Mehrzahl der Regularisierungsmethoden aus einer Liste von Regularisierungsmethoden bestimmt wird: Dropout, Weight Decay, Batch Normalization, Mixup, Shake-Shake, L₁/L₂-Regularisierung.
Vorrichtung (01) nach Anspruch 5, wobei die gespeicherten Befehle derart ausgebildet sind, dass das Verfahren, das der Computer ausführt, wenn diese Befehle auf dem Computer ausgeführt werden, derart abläuft, dass zumindest Weight Decay, Batch Normalization als Regularisierungsmethoden bestimmt werden.
Vorrichtung (01) nach einem der vorhergehenden Ansprüche, wobei das maschinelle Lernsystem ein neuronales Netz.
Vorrichtung (01) nach einem der vorhergehenden Ansprüche, wobei das neuronale Netz ein insbesondere residuales neurales Netz ist.
Vorrichtung (01) nach einem der vorhergehenden Ansprüche, wobei das maschinelle Lernsystem ein Bildklassifikator ist.
Vorrichtung (01) nach einem der vorhergehenden Ansprüche, wobei die gespeicherten Befehle derart ausgebildet sind, dass das Verfahren, das der Computer ausführt, wenn diese Befehle auf dem Computer ausgeführt werden, derart abläuft, dass das Anlernverfahren zum Ermitteln einer Kostenfunktion (engl. loss function) entweder eine One-Hot Kodierung oder ein Embedding der ermittelten Ausgangsgrößen des maschinellen Lernsystems (60) verwendet.