DE102022212902A1

DE102022212902A1 - Verfahren zum Trainieren eines künstlichen neuronalen Netzes

Info

Publication number: DE102022212902A1
Application number: DE102022212902.4A
Authority: DE
Inventors: Lukas Enderich
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-11-30
Filing date: 2022-11-30
Publication date: 2024-06-06
Also published as: US20240177004A1

Abstract

Die Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes, wobei das Verfahren (1) folgende Schritte aufweist: Bereitstellen von Trainingsdaten zum Trainieren des künstlichen neuronalen Netzes (2), Erfassen von wenigstens einer Vorgabe bezüglich zur Verfügung stehender Ressourcen (3), Ermitteln einer Kostenfunktion, welche neben einer eigentlichen Lernaufgabe auch die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen berücksichtigt (4) und Trainieren des künstlichen neuronalen Netzes basierend auf den bereitgestellten Trainingsdaten durch Verwendung der ermittelten Kostenfunktion (5).

Description

Die Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes, welches derart ausgebildet ist, dass, zusätzlich zur eigentlichen Lernaufgabe, während des Trainierens gleichzeitig auch eine Komplexität des künstlichen neuronalen Netzes auf eine gewünschte Zielgröße reduziert werden kann.
Algorithmen des maschinellen Lernens basieren darauf, dass Verfahren der Statistik verwendet werden, um eine Datenverarbeitungsanlage derart zu trainieren, dass diese eine bestimmte Aufgabe ausführen kann, ohne dass diese ursprünglich explizit hierzu programmiert wurde. Das Ziel des maschinellen Lernens besteht dabei darin, Algorithmen zu konstruieren, die aus Daten lernen und Vorhersagen treffen können. Diese Algorithmen erstellen mathematische Modelle, mit denen beispielsweise Daten klassifiziert werden können.
Ein Beispiel derartiger Algorithmen des maschinellen Lernens sind dabei künstliche neuronale Netze. Künstliche neuronale Netze orientieren sich an biologischen Neuronen und erlauben es, ein unbekanntes Systemverhalten aus vorhandenen Trainingsdaten anzulernen und anschließend das angelernte Systemverhalten auch auf unbekannte Eingangsgrößen anzuwenden. Dabei besteht das neuronale Netz aus Schichten mit idealisierten Neuronen, welche gemäß einer Topologie des Netzes in unterschiedlicher Weise miteinander verbunden sind. Die erste Schicht, welche auch als Eingangsschicht bezeichnet wird, erfasst und überträgt dabei Eingangswerte, wobei die Anzahl der Neuronen in der Eingangsschicht der Anzahl an Eingangssignalen, welche verarbeitet werden sollen, entspricht. Die letzte Schicht wird auch als Ausgangsschicht bezeichnet und weist genauso viele Neuronen auf, wie Ausgaben beziehungsweise Ausgabewerte bereitgestellt werden sollen. Zwischen der Eingangsschicht und der Ausgangsschicht befindet sich zudem wenigstens eine Zwischenschicht, welche oftmals auch als verborgene Schicht bezeichnet wird, wobei die Anzahl der Zwischenschichten und die Anzahl der Neuronen in diesen Schichten für gewöhnlich abhängig von der konkreten Aufgabe, welche durch das neuronale Netz gelöst werden soll, ist. Anwendung finden derartige künstliche neuronale Netze insbesondere im Bereich der Bildverarbeitung, beispielsweise zur Verarbeitung von Bilddaten beim Steuern von autonom fahrenden Kraftfahrzeugen.
Als nachteilig erweist sich hierbei jedoch, dass, beispielsweise aus Sicherheitsgründen, möglichst große künstliche neuronale Netze trainiert, beziehungsweise möglichst viele unterschiedliche Trainingsdaten und/oder Rechenoperationen beim Trainieren eines entsprechenden künstlichen neuronalen Netzes berücksichtigt werden sollen, wohingegen gewöhnliche Datenverarbeitungsanlagen, beispielsweise mobile Geräte oder eingebettete Systeme, zunehmend nur noch begrenzte Ressourcen, beispielsweise Speicher- und/oder Rechenkapazitäten , aufweisen. Diese begrenzten Ressourcen führen insbesondere dazu, dass die Komplexität, das heißt die die Tiefe beziehungsweise Fähigkeit, Probleme und Fragestellungen genau zu lösen, eines künstlichen neuronalen Netzes, welches auf der entsprechenden Datenverarbeitungsanlage ausgeführt werden soll, entsprechend begrenzt werden muss.
Aus der Druckschrift WO 2020/193481 A1 ist ein Verfahren zur Herstellung einer Vielzahl gerätespezifischer künstlicher neuronaler Netzwerke bekannt, wobei in einer ersten Iteration abhängig von einer allgemeinen Netzwerkarchitektur, die eine Vielzahl Neuronen umfasst, Neuronen einer gerätespezifischen Netzwerkarchitektur für eines der Vielzahl gerätespezifischer künstlicher neuronaler Netzwerke stochastisch bestimmt werden, wobei ein Trainingsdatenpunkt für eine Ausgabe des künstlichen neuronalen Netzwerks durch die Neuronen der gerätespezifischen Netzwerkarchitektur vorwärts propagiert wird, wobei für eine zweite Iteration die Gewichte der Neuronen der gerätespezifischen Netzwerkarchitektur durch Backpropagation abhängig von der Ausgabe bestimmt werden, und wobei die Gewichte der anderen Neuronen für die zweite Iteration erhalten bleiben.
Der Erfindung liegt somit die Aufgabe zugrunde, ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes anzugeben, welches Vorgaben hinsichtlich zur Verfügung stehender Ressourcen berücksichtigt, mit welchem gleichzeitig jedoch auch ein künstliches neuronales Netz mit optimaler Performanz beziehungsweise Leistungsfähigkeit trainiert werden kann.
Die Aufgabe wird gelöst durch ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes gemäß den Merkmalen des Patentanspruchs 1.
Die Aufgabe wird zudem auch gelöst durch ein System zum Trainieren eines künstlichen neuronalen Netzes gemäß den Merkmalen des Patentanspruchs 6.
Offenbarung der Erfindung
Gemäß einer Ausführungsform der Erfindung wird diese Aufgabe gelöst durch ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes, wobei das Verfahren ein Bereitstellen von Trainingsdaten zum Trainieren des künstlichen neuronalen Netzes, ein Erfassen von wenigstens einer Vorgabe bezüglich zur Verfügung stehender Ressourcen, ein Ermitteln einer Kostenfunktion, welche neben einer eigentlichen Lernaufgabe auch die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen berücksichtigt, und ein Trainieren des künstlichen neuronalen Netzes basierend auf den bereitgestellten Trainingsdaten durch Verwendung der ermittelten Kostenfunktion.
Unter Vorgabe bezüglich zur Verfügung stehender Ressourcen beziehungsweise Komplexitätsmetriken werden dabei Vorgaben bezüglich auf einem Zielgerät, auf welchem das trainierte künstliche neuronale Netz nach dem Training ausgeführt werden soll, zur Verfügung stehender Hardwarekapazitäten, beispielsweise Speicher- und/oder Prozessorkapazitäten, verstanden.
Unter Kostenfunktion beziehungsweise Loss wird weiter ein Verlust beziehungsweise ein Fehler zwischen ermittelten Ausgabewerten des künstlichen neuronalen Netzes und Referenzwerten beziehungsweise gelabelten Vergleichswerten, beispielsweise entsprechenden tatsächlichen Gegebenheiten beziehungsweise tatsächlich gemessenen Daten verstanden.
Unter Kostenfunktion, welche neben einer eigentlichen Lernaufgabe, das heißt den entsprechenden Anwendungsfall betreffenden Vorgaben auch die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen berücksichtigt, wird dabei eine Kostenfunktion verstanden, welche neben der eigentlichen Lernaufgabe beziehungsweise Fehlern zwischen ermittelten Ausgabewerten des künstlichen neuronalen Netzes und Referenzwerten auch Abweichungen zwischen aktuellen Modellkomplexitäten, beziehungsweise einer aktuellen Komplexität des künstlichen neuronalen Netzes und einer gewünschten Zielkomplexität beschreibt.
Somit wird ein künstliches neuronales Netz trainiert, welches eine hohe Performanz aufweist, da weiterhin auch eine zugrundeliegende Lernaufgabe berücksichtigt wird, wobei gleichzeitig jedoch auch die Komplexität des trainierten künstlichen neuronalen Netzes soweit reduziert wird, dass auf entsprechenden Hardwarekapazitäten beruhende Obergrenzen für Komplexitätsmetriken eingehalten werden können. Zudem kann das Verfahren auf einfache Art und Weise auf weitere Vorgaben beziehungsweise weitere Komplexitätsmetriken erweitert werden sowie auf einfache Art und Weise in gewöhnliche Trainingsverfahren zum Trainieren eines künstlichen neuronalen Netzes integriert werden.
Insgesamt wird somit ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes angegeben, welches Vorgaben hinsichtlich zur Verfügung stehender Ressourcen berücksichtigt, mit welchem gleichzeitig jedoch auch ein künstliches neuronales Netz mit optimaler Performanz beziehungsweise Leistungsfähigkeit trainiert werden kann.
In einer Ausführungsform weist der Schritt des Trainierens des künstlichen neuronalen Netzes ein Anwenden eines Pruning-Verfahrens und/oder eines Quantisierungs-Verfahrens während des Trainierens des künstlichen neuronalen Netzes auf.
Unter einem Pruning-Verfahren wird dabei ein Verfahren zum Ausdünnen eines neuronalen Netzes, beziehungsweise ein Verfahren zum Reduzieren einer Anzahl an Verbindungen, Neuronen und/oder Filtern eines künstlichen neuronale Netzes verstanden.
Unter Quantisierungs-Verfahren wird weiter ein Verfahren zum Reduzieren einer Auflösung beziehungsweise Schrittgröße oder Bitgröße eines künstlichen neuronalen Netzes verstanden.
Die Anwendung eines Pruning-Verfahren und/oder eines Quantisierungsverfahrens hat dabei den Vorteil, dass die auf dem Zielgerät zur Verfügung stehenden Ressourcen automatisch auf die einzelnen Schichten des künstlichen neuronalen Netzes verteilt werden können, so dass eine entsprechende gewünschte Zielkomplexität erreicht werden kann. Zudem sind Pruning-Verfahren und Quantisierungs-Verfahren bekannt, so dass diese hier implementiert beziehungsweise angewendet werden können, ohne das aufwendige und ressourcenintensive Anpassungen vonnöten wären.
Die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen kann ferner eine oder mehrere von einer Vorgabe bezüglich zur Verfügung stehender Speicherkapazitäten, einer Vorgabe bezüglich einer zur Verfügung stehenden Bandbreite, oder einer Vorgabe bezüglich einer möglichen Anzahl an Bitoperationen aufweisen.
Unter Vorgaben bezüglich zur Verfügung stehender Speicherkapazitäten werden dabei Vorgaben beziehungsweise Informationen über eine maximale Datenmenge, welche auf einem entsprechenden Zielgerät gespeichert werden kann, verstanden.
Unter Vorgaben bezüglich einer zur Verfügung stehenden Bandbreite werden weiter Vorgaben beziehungsweise Informationen über eine auf einem entsprechenden Zielgerät zur Verfügung stehende maximale Datenübertragungsrate verstanden.
Unter Vorgaben bezüglich einer möglichen Anzahl an Bitoperationen werden weiter Vorgaben beziehungsweise Informationen über eine Anzahl von auf einem entsprechenden Zielgerät ausführbaren Operationen beziehungsweise Zuordnungen verstanden.
Insgesamt kann die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen somit Vorgaben beziehungsweise Informationen über sämtliche auf einem entsprechenden Zielgerät, auf welchem das trainierte künstliche neuronale Netz ausgeführt werden soll, zur Verfügung stehende, die Architektur beziehungsweise Ausführung des künstlichen neuronalen Netzes betreffende Ressourcen aufweisen.
Dabei, dass die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen eine oder mehrere von einer Vorgabe bezüglich zur Verfügung stehender Speicherkapazitäten, einer Vorgabe bezüglich einer zur Verfügung stehenden Bandbreite, oder einer Vorgabe bezüglich einer möglichen Anzahl an Bitoperationen aufweist, handelt es sich jedoch nur um eine mögliche Ausführungsform. Vielmehr kann die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen auch Vorgaben beziehungsweise Informationen bezüglich weiterer Ressourcen eines entsprechenden Zielgerätes aufweisen, beispielsweise allgemeine Informationen über weitere auf dem Zielgerät zur Verfügung stehende Module beziehungsweise Hardwarekomponenten, beispielsweise Informationen über eine Art einer verwendeten Festplatte.
Die Trainingsdaten können ferner Sensordaten aufweisen, insbesondere in Zusammenhang mit der entsprechenden Lernaufgabe beziehungsweise im Hinblick auf die entsprechende Lernaufgabe erfasste Sensordaten.
Ein Sensor, welcher auch als (Mess-)Fühler bezeichnet wird, ist ein technisches Bauteil, das bestimmte physikalische oder chemische Eigenschaften und/oder die stoffliche Beschaffenheit seiner Umgebung qualitativ oder als Messgröße quantitativ erfassen kann.
Somit können auf einfache Art und Weise Gegebenheiten außerhalb der eigentlichen Datenverarbeitungsanlage, auf welcher das künstliche neuronale Netz trainiert wird, erfasst und beim Trainieren des künstlichen neuronalen Netzes berücksichtigt werden.
Mit einer weiteren Ausführungsform der Erfindung wird auch ein Verfahren zum Klassifizieren von Bilddaten angegeben, wobei Bilddaten unter Verwendung eines künstlichen neuronalen Netzes, welches trainiert ist, Bilddaten zu klassifizieren, klassifiziert werden, und wobei das künstliche neuronale Netz unter Verwendung eines obenstehend beschriebenen Verfahrens zum Trainieren eines künstlichen neuronalen Netzes trainiert wurde.
Insbesondere kann das Verfahren dabei verwendet werden, Bilddaten, insbesondere digitale Bilddaten auf der Grundlage von Low-level-Merkmalen, beispielsweise Kanten oder Pixelattributen, zu klassifizieren. Dabei kann weiter ein Bildverarbeitungsalgorithmus verwendet werden, um ein Klassifizierungsergebnis, welches sich auf entsprechende Low-level Merkmale konzentriert, zu analysieren.
Somit wird ein Verfahren zum Klassifizieren von Bilddaten angegeben, welches auf einem durch ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes, welches Vorgaben hinsichtlich zur Verfügung stehender Ressourcen berücksichtigt, mit welchem gleichzeitig jedoch auch ein künstliches neuronales Netz mit optimaler Performanz beziehungsweise Leistungsfähigkeit trainiert werden kann, trainierten künstlichen neuronalen Netz basiert. Dabei wird ein künstliches neuronales Netz trainiert, welches eine hohe Performanz aufweist, da weiterhin auch eine zugrundeliegende Lernaufgabe berücksichtigt wird, wobei gleichzeitig jedoch auch die Komplexität des trainierten künstlichen neuronalen Netzes soweit reduziert wird, dass auf entsprechenden Hardwarekapazitäten beruhende Obergrenzen für Komplexitätsmetriken eingehalten werden können. Zudem kann das Verfahren zum Trainieren des künstlichen neuronalen Netzes auf einfache Art und Weise auf weitere Vorgaben beziehungsweise weitere Komplexitätsmetriken erweitert werden sowie auf einfache Art und Weise in gewöhnliche Trainingsverfahren zum Trainieren eines künstlichen neuronalen Netzes integriert werden.
Mit einer weiteren Ausführungsform der Erfindung wird weiter auch ein System zum Trainieren eines künstlichen neuronalen Netzes angegeben, wobei das System eine Bereitstellungseinheit, welche ausgebildet ist, Trainingsdaten zum Trainieren des künstlichen neuronalen Netzes bereitzustellen, eine Erfassungseinheit, welche ausgebildet ist, wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen zu erfassen, eine Ermittlungseinheit, welche ausgebildet ist, eine Kostenfunktion, welche neben einer eigentlichen Lernaufgabe auch die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen berücksichtigt, zu ermitteln, und eine Trainingseinheit, welche ausgebildet ist, das künstliche neuronale Netz basierend auf den bereitgestellten Trainingsdaten durch Verwendung der ermittelten Kostenfunktion zu trainieren, aufweist.
Somit wird ein System zum Trainieren eines künstlichen neuronalen Netzes, welches Vorgaben hinsichtlich zur Verfügung stehender Ressourcen berücksichtigt, mit welchem gleichzeitig jedoch auch ein künstliches neuronales Netz mit optimaler Performanz beziehungsweise Leistungsfähigkeit trainiert werden kann, angegeben. Dabei wird ein künstliches neuronales Netz trainiert, welches eine hohe Performanz aufweist, da weiterhin auch eine zugrundeliegende Lernaufgabe berücksichtigt wird, wobei gleichzeitig jedoch auch die Komplexität des trainierten künstlichen neuronalen Netzes soweit reduziert wird, dass auf entsprechenden Hardwarekapazitäten beruhende Obergrenzen für Komplexitätsmetriken eingehalten werden können. Zudem kann das System auf einfache Art und Weise auf weitere Vorgaben beziehungsweise weitere Komplexitätsmetriken erweitert werden sowie auf einfache Art und Weise in gewöhnliche Trainingsverfahren zum Trainieren eines künstlichen neuronalen Netzes integriert werden.
In einer Ausführungsform ist die Trainingseinheit weiter ausgebildet, während des Trainierens des künstlichen neuronalen Netzes ein Pruning-Verfahren und/oder ein Quantisierungs-Verfahren anzuwenden. Die Anwendung eines Pruning-Verfahren und/oder eines Quantisierungsverfahrens hat dabei den Vorteil, dass die auf einem entsprechenden Zielgerät zur Verfügung stehenden Ressourcen automatisch auf die einzelnen Schichten des künstlichen neuronalen Netzes verteilt werden können, so dass eine entsprechende gewünschte Zielkomplexität erreicht werden kann. Zudem sind Pruning-Verfahren und Quantisierungs-Verfahren bekannt, so dass diese hier implementiert beziehungsweise angewendet werden können, ohne das aufwendige und ressourcenintensive Anpassungen vonnöten wären.
Die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen kann ferner wiederum eine oder mehrere von einer Vorgabe bezüglich zur Verfügung stehender Speicherkapazitäten, einer Vorgabe bezüglich einer zur Verfügung stehenden Bandbreite, oder einer Vorgabe bezüglich einer möglichen Anzahl an Bitoperationen aufweisen. Insgesamt kann die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen somit Vorgaben beziehungsweise Informationen über sämtliche auf einem entsprechenden Zielgerät, auf welchem das trainierte künstliche neuronale Netz ausgeführt werden soll, zur Verfügung stehende, die Architektur beziehungsweise Ausführung des künstlichen neuronalen Netzes betreffende Ressourcen aufweisen.
Dabei, dass die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen eine oder mehrere von einer Vorgabe bezüglich zur Verfügung stehender Speicherkapazitäten, einer Vorgabe bezüglich einer zur Verfügung stehenden Bandbreite, oder einer Vorgabe bezüglich einer möglichen Anzahl an Bitoperationen aufweist, handelt es sich jedoch nur um eine mögliche Ausführungsform. Vielmehr kann die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen auch Vorgaben beziehungsweise Informationen bezüglich weiterer Ressourcen eines entsprechenden Zielgerätes aufweisen, beispielsweise allgemeine Informationen über weitere auf dem Zielgerät zur Verfügung stehende Module beziehungsweise Hardwarekomponenten, beispielsweise Informationen über eine Art einer verwendeten Festplatte.
Die Trainingsdaten können ferner wiederum Sensordaten aufweisen, insbesondere in Zusammenhang mit der entsprechenden Lernaufgabe beziehungsweise im Hinblick auf die entsprechende Lernaufgabe erfasste Sensordaten. Somit können auf einfache Art und Weise Gegebenheiten außerhalb der eigentlichen Datenverarbeitungsanlage, auf welcher das künstliche neuronale Netz trainiert wird, erfasst und beim Trainieren des künstlichen neuronalen Netzes berücksichtigt werden.
Mit einer weiteren Ausführungsform der Erfindung wird zudem auch ein System zum Klassifizieren von Bilddaten angegeben, wobei das System ausgebildet ist, Bilddaten unter Verwendung eines künstlichen neuronalen Netzes, welches trainiert ist, Bilddaten zu klassifizieren, zu klassifizieren, und wobei das künstliche neuronale Netz unter Verwendung eines obenstehend beschriebenen Systems zum Trainieren eines künstlichen neuronalen Netzes trainiert wurde.
Insbesondere kann das System dabei verwendet werden, Bilddaten, insbesondere digitale Bilddaten auf der Grundlage von Low-level-Merkmalen, beispielsweise Kanten oder Pixelattributen, zu klassifizieren. Dabei kann weiter ein Bildverarbeitungsalgorithmus verwendet werden, um ein Klassifizierungsergebnis, welches sich auf entsprechende Low-level Merkmale konzentriert, zu analysieren.
Somit wird ein System zum Klassifizieren von Bilddaten angegeben, welches auf einem durch ein System zum Trainieren eines künstlichen neuronalen Netzes, welches Vorgaben hinsichtlich zur Verfügung stehender Ressourcen berücksichtigt, mit welchem gleichzeitig jedoch auch ein künstliches neuronales Netz mit optimaler Performanz beziehungsweise Leistungsfähigkeit trainiert werden kann, trainierten künstlichen neuronalen Netz basiert. Dabei wird ein künstliches neuronales Netz trainiert, welches eine hohe Performanz aufweist, da weiterhin auch eine zugrundeliegende Lernaufgabe berücksichtigt wird, wobei gleichzeitig jedoch auch die Komplexität des trainierten künstlichen neuronalen Netzes soweit reduziert wird, dass auf entsprechenden Hardwarekapazitäten beruhende Obergrenzen für Komplexitätsmetriken eingehalten werden können. Zudem kann das System zum Trainieren des künstlichen neuronalen Netzes auf einfache Art und Weise auf weitere Vorgaben beziehungsweise weitere Komplexitätsmetriken erweitert werden sowie auf einfache Art und Weise in gewöhnliche Trainingsverfahren zum Trainieren eines künstlichen neuronalen Netzes integriert werden.
Mit einer weiteren Ausführungsform der Erfindung wird außerdem auch ein Computerprogramm mit Programmcode, um ein obenstehend beschriebenes Verfahren zum Trainieren eines künstlichen neuronalen Netzes auszuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird, angegeben.
Mit einer weiteren Ausführungsform der Erfindung wird außerdem auch ein computerlesbarer Datenträger mit Programmcode eines Computerprogramms, um ein obenstehend beschriebenes Verfahren zum Trainieren eines künstlichen neuronalen Netzes auszuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird, angegeben.
Das Computerprogramm und der computerlesbare Datenträger haben dabei jeweils den Vorteil, dass diese ausgebildet sind, ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes, welches Vorgaben hinsichtlich zur Verfügung stehender Ressourcen berücksichtigt, mit welchem gleichzeitig jedoch auch ein künstliches neuronales Netz mit optimaler Performanz beziehungsweise Leistungsfähigkeit trainiert werden kann, auszuführen. Dabei wird ein künstliches neuronales Netz trainiert, welches eine hohe Performanz aufweist, da weiterhin auch eine zugrundeliegende Lernaufgabe berücksichtigt wird, wobei gleichzeitig jedoch auch die Komplexität des trainierten künstlichen neuronalen Netzes soweit reduziert wird, dass auf entsprechenden Hardwarekapazitäten beruhende Obergrenzen für Komplexitätsmetriken eingehalten werden können. Zudem kann das Verfahren auf einfache Art und Weise auf weitere Vorgaben beziehungsweise weitere Komplexitätsmetriken erweitert werden sowie auf einfache Art und Weise in gewöhnliche Trainingsverfahren zum Trainieren eines künstlichen neuronalen Netzes integriert werden.
Zusammenfassend ist festzustellen, dass mit der vorliegenden Erfindung ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes angegeben wird, welches derart ausgebildet ist, dass, zusätzlich zur eigentlichen Lernaufgabe, während des Trainierens gleichzeitig auch eine Komplexität des künstlichen neuronalen Netzes auf eine gewünschte Zielgröße reduziert werden kann.
Die beschriebenen Ausgestaltungen und Weiterbildungen lassen sich beliebig miteinander kombinieren.
Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmalen der Erfindung.
Kurze Beschreibung der Zeichnungen
Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung.
Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die dargestellten Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.
Es zeigen:

1 ein Flussdiagramm eines Verfahrens zum Trainieren eines künstlichen neuronalen Netzes gemäß Ausführungsformen der Erfindung; und
2 ein schematisches Blockschaltbild eines Systems zum Trainieren eines künstlichen neuronalen Netzes gemäß Ausführungsformen der Erfindung.

In den Figuren der Zeichnungen bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile oder Komponenten, soweit nichts Gegenteiliges angegeben ist.
1 zeigt ein Flussdiagramm eines Verfahrens zum Trainieren eines künstlichen neuronalen Netzes 1 gemäß Ausführungsformen der Erfindung.
Künstliche neuronale Netze finden insbesondere im Bereich der Bildverarbeitung Anwendung, beispielsweise zur Verarbeitung von Bilddaten beim Steuern von autonom fahrenden Kraftfahrzeugen.
Als nachteilig erweist sich hierbei jedoch, dass, beispielsweise aus Sicherheitsgründen, möglichst große künstliche neuronale Netze trainiert, beziehungsweise möglichst viele unterschiedliche Trainingsdaten und/oder Rechenoperationen beim Trainieren eines entsprechenden künstlichen neuronalen Netzes berücksichtigt werden sollen, wohingegen gewöhnliche Datenverarbeitungsanlagen, beispielsweise mobile Geräte oder eingebettete Systeme, zunehmend nur noch begrenzte Ressourcen, beispielsweise Speicher- und/oder Rechenkapazitäten , aufweisen. Diese begrenzten Ressourcen führen insbesondere dazu, dass die Komplexität, das heißt die die Tiefe beziehungsweise Fähigkeit, Probleme und Fragestellungen genau zu lösen, eines künstlichen neuronalen Netzes, welches auf der entsprechenden Datenverarbeitungsanlage ausgeführt werden soll, entsprechend begrenzt werden muss.
1 zeigt dabei ein Verfahren 1, welches einen Schritt 2 eines Bereitstellens von Trainingsdaten zum Trainieren des künstlichen neuronalen Netzes, einen Schritt 3 eines Erfassens von wenigstens einer Vorgabe bezüglich zur Verfügung stehender Ressourcen, einen Schritt 4 eines Ermittelns einer Kostenfunktion, welche neben einer eigentlichen Lernaufgabe auch die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen berücksichtigt, und einen Schritt 5 eines Trainierens des künstlichen neuronalen Netzes basierend auf den bereitgestellten Trainingsdaten durch Verwendung der ermittelten Kostenfunktion aufweist.
Somit wird ein künstliches neuronales Netz trainiert, welches eine hohe Performanz aufweist, da weiterhin auch eine zugrundeliegende Lernaufgabe berücksichtigt wird, wobei gleichzeitig jedoch auch die Komplexität des trainierten künstlichen neuronalen Netzes soweit reduziert wird, dass auf entsprechenden Hardwarekapazitäten beruhende Obergrenzen für Komplexitätsmetriken eingehalten werden können. Zudem kann das Verfahren 1 auf einfache Art und Weise auf weitere Vorgaben beziehungsweise weitere Komplexitätsmetriken erweitert werden sowie auf einfache Art und Weise in gewöhnliche Trainingsverfahren zum Trainieren eines künstlichen neuronalen Netzes integriert werden.
Insgesamt wird somit ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes 1 angegeben, welches Vorgaben hinsichtlich zur Verfügung stehender Ressourcen berücksichtigt, mit welchem gleichzeitig jedoch auch ein künstliches neuronales Netz mit optimaler Performanz beziehungsweise Leistungsfähigkeit trainiert werden kann.
Insbesondere wird ein ganzeinheitlicher Rahmen für die Reduktion eines künstlichen neuronalen Netzes basierend auf Zielvorgaben bereitgestellt, wobei die Zielvorgaben auf einem Zielgerät, auf welchem das künstliche neuronale Netz nach dem Trainieren ausgeführt werden soll, insbesondere einem mobilen Gerät oder einem eingebetteten System, zur Verfügung stehende Ressourcen repräsentieren.
Bei dem künstlichen neuronalen Netz kann es sich dabei insbesondere um ein durch ein Deep-Learning Verfahren trainiertes künstliches neuronales Netz handeln.
Die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen kann dabei zudem automatisch aus einem Speicher oder einem entsprechenden Steuergerät ausgelesen werden. Ferner kann die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen aber auch durch einen Nutzer über entsprechende Eingabeeinheiten vorgegeben werden.
Die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen beziehungsweise die wenigstens eine entsprechende Komplexitätsmetrik dabei ferner insbesondere in Form eines variablen Parameters dargestellt werden, welcher die Grundlage eines weiteren beziehungsweise zusätzlichen Kostenterms in einer zum Trainieren des künstlichen neuronalen Netzes verwendeten Kostenfunktion bildet.
Gemäß den Ausführungsformen der 1 weist der Schritt 5 des Trainierens des künstlichen neuronalen Netzes ein Anwenden eines Pruning-Verfahrens und eines Quantisierungs-Verfahrens während des Trainierens des künstlichen neuronalen Netzes auf.
Insbesondere können dabei weitere, Pruning-Parameter betreffende Schichten und weitere, Quantisierungs-Parameter betreffende Schichten in ein bereits vortrainiertes künstliches neuronales Netz eingefügt beziehungsweise zu diesem hinzugefügt werden.
Das Verfahren 1 gemäß den Ausführungsformen der 1 basiert dabei insbesondere auf einer Kombination aus Filter-Pruning und Festkomma-Quantisierung, wobei durch das Filter-Pruning Filter und Neuronen aus der entsprechenden Netzarchitektur entfernt werden können, und wobei durch die Festkomma-Quantisierung Bitgrößen von Parametern des künstlichen neuronalen Netzes und von Aktivierungen, reduziert werden können.
Gemäß den Ausführungsformen der 1 wird dabei insbesondere eine Architektur des künstlichen neuronalen Netzes während des Trainings zunächst derart erweitert, dass hinter jeder Faltungs- und vollvernetzten Schicht eine Pruningschicht eingeführt wird, wobei, falls das künstliche neuronale Netz über Normalisierungsschichten verfügt, jeweils im Anschluss an eine Normalisierungsschicht eine Pruningschicht eingeführt wird. Jede Pruningschicht weist dabei jeweils einen trainierbaren Parameter für jeden Kanal in der jeweiligen Schicht auf. Dabei wird ein Kanal deaktiviert, falls ein entsprechender Parameter kleiner als Null ist. Alle anderen Kanäle bleiben unverändert. Die trainierbaren Parameter werden dabei ferner in der Kostenfunktion verwendet, um die aktuellen Werte der entsprechenden Komplexitätsmetriken zu berechnen. Hierdurch kann für jeden der Parameter ein Gradient berechnet werden und die Netzwerkkomplexität über ein Optimierungsverfahren, beispielsweise ein Gradienten-Abstiegs-Verfahren, verringert werden. Im Anschluss an das Trainieren des künstlichen neuronalen Netzes können die Pruningschichten ferner jeweils in die vorherigen beziehungsweise vorangegangenen Schichten gefaltet werden, wodurch die entsprechenden Filter und Neuronen gelöscht werden.
Gemäß den Ausführungsformen der 1 werden zudem alle Recitified Linear Unit (ReLU) Aktivierungsfunktionen durch Quantisierungsschichten ersetzt, welche jeweils die entsprechenden Aktivierungen auf eine nicht-negative Festkommazahl mit einer bestimmten Bitgröße quantisieren. Zudem werden alle Faltungs- und vollvernetzten Schichten mit einer Quantisierungsfunktion ausgestattet, welche die entsprechenden Parameter während jeder Berechnung zu Festkommazahlen quantisieren. Die Bitgrößen der Parameter und Aktivierungen sind dabei wiederum trainierbare Parameter, welche jeweils in der Kostenfunktion verwendet und durch ein Optimierungsverfahren, beispielsweise ein Gradienten-Abstiegs-Verfahren, reduziert werden können.
Insgesamt zeigt 1 somit ein Verfahren 1, bei welchem eine Architektur des künstlichen neuronalen Netzes und eine Bitgröße während dem Trainieren des künstlichen neuronalen Netzes basierend auf dynamischen Abhängigkeiten solange reduziert werden können, bis eine gewünschte Zielkapazität erreicht ist.
Gemäß den Ausführungsformen der 1 weist die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen weiter eine Vorgabe bezüglich zur Verfügung stehender Speicherkapazitäten, eine Vorgabe bezüglich einer zur Verfügung stehenden Bandbreite und eine Vorgabe bezüglich einer möglichen Anzahl an Bitoperationen auf.
Dabei enthält die Vorgabe bezüglich zur Verfügung stehender Speicherkapazitäten zudem eine Vorgabe bezüglich eines maximalen Speicherbedarfs der Aktivierungen beziehungsweise Aktivierungsfunktionen des künstlichen neuronalen Netzes.
Die Trainingsdaten weisen ferner Sensordaten auf, insbesondere in Zusammenhang mit der entsprechenden Lernaufgabe beziehungsweise im Hinblick auf die entsprechende Lernaufgabe erfasste Sensordaten.
Ein entsprechendes, durch das Verfahren 1 trainiertes künstliches neuronales Netz kann dabei beispielsweise zum Klassifizieren von Bilddaten trainiert werden, beispielsweise im Rahmen der Steuerung eines autonom fahrenden Kraftfahrzeuges basierend auf in Bilddaten über eine Umgebung eines Kraftfahrzeuges detektierten Objekten.
2 zeigt ein schematisches Blockschaltbild eines Systems zum Trainieren eines künstlichen neuronalen Netzes 10 gemäß Ausführungsformen der Erfindung.
Wie 2 zeigt, weist das System 10 dabei eine Bereitstellungseinheit 11, welche ausgebildet ist, Trainingsdaten zum Trainieren des künstlichen neuronalen Netzes bereitzustellen, eine Erfassungseinheit 12, welche ausgebildet ist, wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen zu erfassen, eine Ermittlungseinheit 13, welche ausgebildet ist, eine Kostenfunktion, welche neben einer eigentlichen Lernaufgabe auch die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen berücksichtigt, zu ermitteln, und eine Trainingseinheit 14, welche ausgebildet ist, das künstliche neuronale Netz basierend auf den bereitgestellten Trainingsdaten durch Verwendung der ermittelten Kostenfunktion zu trainieren, auf.
Bei der Bereitstellungseinheit kann es sich dabei insbesondere um einen Empfänger handeln, welcher ausgebildet ist, entsprechende Daten, beispielsweise Sensordaten zu empfangen. Bei der Erfassungseinheit kann es sich ferner insbesondere ebenfalls um einen Empfänger handeln, welcher ausgebildet ist, entsprechende Vorgaben aus einem Speicher und/oder einem Steuergerät auszulesen, beziehungsweise entsprechende Nutzervorgaben zu empfangen. Die Ermittlungseinheit und die Trainingseinheit können ferner jeweils beispielsweise basierend auf einem in einem Speicher hinterlegten und durch einen Prozessor ausführbaren Code realisiert werden.
Gemäß den Ausführungsformen der 2 ist die Trainingseinheit 14 dabei ausgebildet, während des Trainierens des künstlichen neuronalen Netzes ein Pruning-Verfahren und/oder ein Quantisierungs-Verfahren anzuwenden.
Zudem weist die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen wiederum eine Vorgabe bezüglich zur Verfügung stehender Speicherkapazitäten, eine Vorgabe bezüglich einer zur Verfügung stehenden Bandbreite und eine Vorgabe bezüglich einer möglichen Anzahl an Bitoperationen auf.
Dabei enthält die Vorgabe bezüglich zur Verfügung stehender Speicherkapazitäten wiederum auch eine Vorgabe bezüglich eines maximalen Speicherbedarfs der Aktivierungen des künstlichen neuronalen Netzes.
Die Trainingsdaten weisen ferner wiederum Sensordaten auf, insbesondere in Zusammenhang mit der entsprechenden Lernaufgabe beziehungsweise im Hinblick auf die entsprechende Lernaufgabe erfasste Sensordaten.
Das dargestellte System 10 ist zudem ausgebildet, ein obenstehend beschriebenes Verfahren zum Trainieren eines künstlichen neuronalen Netzes auszuführen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2020193481 A1 [0005]

Claims

Verfahren zum Trainieren eines künstlichen neuronalen Netzes, wobei das Verfahren (1) folgende Schritte aufweist: - Bereitstellen von Trainingsdaten zum Trainieren des künstlichen neuronalen Netzes (2); - Erfassen von wenigstens einer Vorgabe bezüglich zur Verfügung stehender Ressourcen (3); - Ermitteln einer Kostenfunktion, welche neben einer eigentlichen Lernaufgabe auch die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen berücksichtigt (4); und - Trainieren des künstlichen neuronalen Netzes basierend auf den bereitgestellten Trainingsdaten durch Verwendung der ermittelten Kostenfunktion (5).
Verfahren (1) nach Anspruch 1, wobei der Schritt des Trainierens des künstlichen neuronalen Netzes (5) ein Anwenden eines Pruning-Verfahrens und/oder eines Quantisierungs-Verfahrens während des Trainierens des künstlichen neuronalen Netzes aufweist.
Verfahren (1) nach Anspruch 1 oder 2, wobei die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen eine oder mehrere von einer Vorgabe bezüglich zur Verfügung stehender Speicherkapazitäten, einer Vorgabe bezüglich einer zur Verfügung stehenden Bandbreite, oder einer Vorgabe bezüglich einer möglichen Anzahl an Bitoperationen aufweist.
Verfahren (1) nach einem der Ansprüche 1 bis 3, wobei die Trainingsdaten Sensordaten aufweisen.
Verfahren zum Klassifizieren von Bilddaten, wobei Bilddaten unter Verwendung eines künstlichen neuronalen Netzes, welches trainiert ist, Bilddaten zu klassifizieren, klassifiziert werden, und wobei das künstliche neuronale Netz unter Verwendung eines Verfahrens zum Trainieren eines künstlichen neuronalen Netzes nach einem der Ansprüche 1 bis 4 trainiert wurde.
System zum Trainieren eines künstlichen neuronalen Netzes, wobei das System (10) eine Bereitstellungseinheit (11), welche ausgebildet ist, Trainingsdaten zum Trainieren des künstlichen neuronalen Netzes bereitzustellen, eine Erfassungseinheit (12), welche ausgebildet ist, wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen zu erfassen, eine Ermittlungseinheit (13), welche ausgebildet ist, eine Kostenfunktion, welche neben einer eigentlichen Lernaufgabe auch die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen berücksichtigt, zu ermitteln, und eine Trainingseinheit (15), welche ausgebildet ist, das künstliche neuronale Netz basierend auf den bereitgestellten Trainingsdaten durch Verwendung der ermittelten Kostenfunktion zu trainieren, aufweist.
System (10) nach Anspruch 6, wobei die Trainingseinheit (15) ausgebildet ist, während des Trainierens des künstlichen neuronalen Netzes ein Pruning-Verfahren und/oder ein Quantisierungs-Verfahren anzuwenden.
System (10) nach Anspruch 6 oder 7, wobei die wenigstens eine Vorgabe bezüglich zur Verfügung stehender Ressourcen eine oder mehrere von einer Vorgabe bezüglich zur Verfügung stehender Speicherkapazitäten, einer Vorgabe bezüglich einer zur Verfügung stehenden Bandbreite, oder einer Vorgabe bezüglich einer möglichen Anzahl an Bitoperationen aufweist.
System nach einem der Ansprüche 6 bis 8, wobei die Trainingsdaten Sensordaten aufweisen.
System zum Klassifizieren von Bilddaten, wobei das System ausgebildet ist, Bilddaten unter Verwendung eines künstlichen neuronalen Netzes, welches trainiert ist, Bilddaten zu klassifizieren, zu klassifizieren, und wobei das künstliche neuronale Netz unter Verwendung eines Systems zum Trainieren eines künstlichen neuronalen Netzes nach einem der Ansprüche 6 bis 9 trainiert wurde.
Computerprogramm mit Programmcode, um ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes nach einem der Ansprüche 1 bis 5 auszuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird.
Computerlesbarer Datenträger mit Programmcode eines Computerprogramms, um ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes nach einem der Ansprüche 1 bis 5 auszuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird.