-
Die Erfindung betrifft ein Verfahren zum Erzeugen eines künstlichen neuronalen Netzes, mit welchem ein künstliches neuronales Netz mit erhöhter Performanz erzeugt beziehungsweise trainiert werden kann und mit welchem gleichzeitig Computerressourcen beim Erzeugen beziehungsweise Trainieren des künstlichen neuronalen Netzes eingespart werden können.
-
Algorithmen zum maschinellen Lernen basieren darauf, dass Verfahren der Statistik verwendet werden, um eine Datenverarbeitungsanlage derart zu trainieren, dass diese eine bestimmte Aufgabe ausführen kann, ohne dass diese ursprünglich explizit hierzu programmiert wurde. Das Ziel des maschinellen Lernens besteht dabei darin, Algorithmen zu konstruieren, die aus Daten lernen und Vorhersagen treffen können. Diese Algorithmen erstellen mathematische Modelle, mit denen beispielsweise Daten klassifiziert werden können.
-
Ein Beispiel für derartige Algorithmen des maschinellen Lernens sind künstliche neuronale Netze. Derartige künstliche neuronale Netze orientieren sich an biologischen Neuronen und erlauben es, ein unbekanntes Systemverhalten aus vorhandenen Trainingsdaten anzulernen und anschließend das angelernte Systemverhalten auch auf unbekannte Eingangsgrößen anzuwenden. Dabei besteht das neuronale Netz aus Schichten mit idealisierten Neuronen, welche gemäß einer Topologie des Netzes in unterschiedlicher Weise miteinander verbunden sind. Die erste Schicht, welche auch als Eingangsschicht bezeichnet wird, erfasst und überträgt dabei die Eingangswerte, wobei die Anzahl der Neuronen in der Eingangsschicht der Anzahl an Eingangssignalen, welche verarbeitet werden sollen, entspricht. Die letzte Schicht wird auch als Ausgangsschicht bezeichnet und weist genauso viele Neuronen auf, wie Ausgabewerte bereitgestellt werden sollen. Zwischen der Eingangsschicht und der Ausgangsschicht befindet sich zudem wenigstens eine Zwischenschicht, welche oftmals auch als verborgene Schicht bezeichnet wird, wobei die Anzahl der Zwischenschichten und die Anzahl und/oder der Typ der Neuronen in diesen Schichten abhängig von der konkreten Aufgabe, welche durch das neuronale Netz gelöst werden soll, ist.
-
Die Entwicklung der Architektur des künstlichen neuronalen Netzes, das heißt die Bestimmung des Erscheinungsbildes des Netzes beziehungsweise der Anzahl der Schichten in dem Netz sowie die Bestimmung der Anzahl und/oder des Typs der Neuronen in den einzelnen Schichten ist dabei für gewöhnlich jedoch sehr aufwendig, insbesondere im Hinblick auf den Ressourcenverbrauch. Um die Entwicklung der Architektur zu optimieren, wurde dabei die Neural Architektur Search (NAS) entwickelt, welche automatisiert optimale Architekturen für spezifische Problemstellungen entwickelt. Der NAS-Algorithmus stellt dabei zunächst aus verschiedenen Bausteinen und Konfigurationen eine Architektur für das künstliche neuronale Netz zusammen, welche anschließend mit einem Satz Trainingsdaten trainiert wird, und wobei erhaltene Ergebnisse anschließend im Hinblick auf die Performanz evaluiert werden. Basierend auf dieser Bewertung kann anschließend eine neue, im Hinblick auf die Performanz voraussichtlich optimalere Architektur ermittelt werden, welche anschließend wiederum basierend auf den Trainingsdaten trainiert wird, und wobei die erhaltenen Ergebnisse anschließend wiederum im Hinblick auf die Performanz evaluiert werden. Diese Schritte können dabei so oft wiederholt werden, bis keine Verbesserung mehr durch Veränderungen der Architektur erzielbar ist.
-
Einen weiteren Optimierungsansatz für neuronale Netze stellt die Hyperparameteroptimierung dar. Als Hyperparameter wird dabei ein Parameter bezeichnet, der zur Steuerung des Trainingsalgorithmus verwendet wird und dessen Wert im Gegensatz zu anderen Parametern vor dem eigentlichen Training des Modells festgelegt werden muss. Durch eine derartige Hyperparameteroptimierung kann die Genauigkeit des künstlichen neuronalen Netzes optimiert werden. Da derartige Hyperparameteroptimierungen jedoch wiederum sehr aufwendig sind, insbesondere im Hinblick auf den Ressourcenverbrauch, wurden wiederum Verfahren zur automatisierten Optimierung der Hyperparameter entwickelt. Dabei werden Trainingsprozess und Modellarchitektur als Black Box angesehen, die mit einer spezifischen Hyperparameter-Konfiguration ausgeführt wird und die resultierende Modellgenauigkeit ausgibt. Um die Anzahl der Trainingsdurchläufe zu minimieren, werden typischerweise stochastische Methoden verwendet, welche versuchen, gleichzeitig den Parameterraum zu erkunden und sich iterativ einem Optimum zu nähern.
-
Insbesondere die Performance eines Deep Learning Netzwerkes hängt dabei sowohl von der gewählten Architektur als auch den entsprechenden Hyperparametern ab. Als nachteilig erweist sich hierbei jedoch, dass bei Verfahren zum Erzeugen beziehungsweise Optimieren von künstlichen neuronalen Netzen für gewöhnlich nicht gleichzeitig der NAS-Algorithmus und die Hyperparameteroptimierung in einem Verfahren berücksichtigt werden.
-
Aus der Druckschrift
DE 10 2019 214 625 A1 ist ein Verfahren zum Erstellen eines künstlichen neuronalen Netzes bekannt. Das Verfahren umfasst dabei ein Bereitstellen einer Mehrzahl von unterschiedlichen Datensätzen, ein Initialisieren einer Mehrzahl von Hyperparametern, ein Anlernen des künstlichen neuronalen Netzes, ein Auswerten des angelernten künstlichen neuronalen Netzes, ein Optimieren der Hyperparameter abhängig von der Auswertung und ein erneutes Anlernen des künstlichen neuronalen Netzes unter Verwendung der optimierten Hyperparameter.
-
Der Erfindung liegt somit die Aufgabe zugrunde, ein verbessertes Verfahren zum Erzeugen eines künstlichen neuronalen Netzes anzugeben.
-
Diese Aufgabe wird mit einem Verfahren zum Erzeugen eines künstlichen neuronalen Netzes gemäß den Merkmalen des Patentanspruchs 1 gelöst.
-
Weiter wird diese Aufgabe gelöst durch ein Steuergerät zum Erzeugen eines künstlichen neuronalen Netzes mit den Merkmalen des Anspruchs 7.
-
Vorteilhafte Ausführungsformen und Weiterbildungen ergeben sich aus den Unteransprüchen sowie aus der Beschreibung unter Bezugnahme auf die Figuren.
-
Offenbarung der Erfindung
-
Gemäß einer Ausführungsform der Erfindung wird diese Aufgabe gelöst durch ein Verfahren zum Erzeugen eines künstlichen neuronalen Netzes, wobei, für eine erste Anzahl an Paaren von jeweils einer Architektur und einem Hyperparameteraus einer Menge an möglichen Architektur-Hyperparameter-Paaren, jeweils ein künstliches neuronales Netz basierend auf der entsprechenden Architektur, dem entsprechenden Hyperparameter und basierend auf Trainingsdaten trainiert wird, wobei, für jedes Paar der ersten Anzahl an Architektur-Hyperparameter-Paaren, jeweils eine Performanz des entsprechenden künstlichen neuronalen Netzes evaluiert wird, wobei basierend auf den Performanzen der künstlichen neuronalen Netze der ersten Anzahl an Architektur-Hyperparameter-Paarem, einem Kern für die Architektursuche und einem Kern für die Hyperparameteroptimierung ein weiteres Paar von einer Architektur und einem Hyperparameter aus der Menge an möglichen Architektur-Hyperparameter-Paaren ausgewählt wird, für welche bisher noch kein künstliches neuronales Netz trainiert wurde, und welche in Bezug auf die Performanz als optimaler als die basierend auf den Paaren von jeweils einer Architektur und einem Hyperparameter der ersten Anzahl an Architektur-Hyperparameter-Paaren trainierten künstlichen neuronalen Netze erscheint, und wobei ein künstliches neuronales Netz basierend auf dem weiteren Paar von einer Architektur und einem Hyperparameter und den Trainingsdaten trainiert wird.
-
Unter Menge an möglichen Architektur-Hyperparameter-Parametern wird hierbei die Gesamtheit aller möglichen Kombinationen von je einer Architektur und einem Hyperparameter verstanden. Die erste Anzahl an Architektur-Hyperparameter-Paaren kann dabei größer oder gleich eins sein.
-
Unter Performanz wird hierbei weiter die Leistungsfähigkeit des entsprechenden künstlichen neuronalen Netzes verstanden.
-
Als Kern für die Architektursuche wird weiter ein mathematisches Maß verstanden, welches die Ähnlichkeit zwischen einzelnen Architekturen beschreibt. Dieser Kern kann dabei insbesondere dazu genutzt werden, um basierend auf bereits bekannten Architekturen und deren Performanz abzuschätzen, wie gut noch nicht evaluierte Architekturen sind.
-
Als Kern für die Hyperparameteroptimierung wird zudem ein mathematisches Verfahren verstanden, welches die Ähnlichkeit zwischen zwei Hyperparametern beschreibt. Dieser Kern kann dabei insbesondere dazu genutzt werden, um basierend auf bereits bekannten Hyperparametern und deren Performanz abzuschätzen, wie gut noch nicht evaluierte Hyperparameter sind.
-
Insgesamt wird somit ein verbessertes Verfahren zum Erzeugen eines künstlichen neuronalen Netzes angegeben, bei welchem gleichzeitig der NAS-Algorithmus und die Hyperparameteroptimierung berücksichtigt wird. Folglich kann der Zeitraum bis hin zur Entwicklung des schlussendlich optimalen künstlichen neuronalen Netzes verkürzt werden und gleichzeitig der hierzu nötige Ressourcenverbrauch erheblich verringert werden, so dass das schlussendlich optimale künstliche neuronale Netz auch auf Steuergeräten mit vergleichsweise geringen Speicher- und Rechenkapazitäten entwickelt werden kann.
-
Das Verfahren kann dabei ferner beispielsweise so oft wiederholt ausgeführt werden, bis keine Verbesserung mehr durch Veränderungen der Architektur und/oder der Hyperparameter erzielbar ist.
-
Das Auswählen eines weiteren Paares von einer Architektur und einem Hyperparameter kann dabei zusätzlich auch basierend auf einem Vorhersagemodell erfolgen. Insbesondere kann dabei basierend auf bereits bekannten und evaluierten Architekturen und Hyperparametern ein probabilistisches Modell beziehungsweise ein Algorithmus des maschinellen Lernens trainiert werden, welcher ausgibt, wie gut noch nicht evaluierte Architekturen und Hyperparameter sind. Hierdurch kann der Ressourcenverbrauch bei der Auswahl des weiteren Paares von einer Architektur und einem Hyperparameter weiter verkleinert werden bei gleichzeitig hoher Genauigkeit bei der Auswahl des Weiteren, nützlichen Paares von einer Architektur und einem Hyperparameter.
-
In einer Ausführungsform weist das Verfahren weiter ein Auswählen wenigstens einer Fidelity, welche zum Optimieren eines trainierten künstlichen neuronalen Netzes verwendet werden soll, aus einer Menge an Fidelitys beziehungsweise eines Wertes für die wenigstens eine Fidelity derart, dass beim Optimieren der Nutzen optimiert und gleichzeitig die Kosten minimiert werden, und ein Optimieren des trainierten künstlichen neuronalen Netzes basierend auf einem Algorithmus, welcher die wenigstens eine ausgewählte Fidelity nutzt, auf.
-
Unter Fidelity werden hierbei Parameter beziehungsweise Prozesse verstanden, basierend auf welchen ein künstliches neuronales Netz mit geringen Computerressourcen schnell optimiert werden kann, wobei derartige Prozesse jedoch auch die Ungenauigkeit des künstlichen neuronalen Netzes beeinflussen. Bei einem trainierten künstlichen neuronalen Netz handelt es sich dabei insbesondere um ein, wie obenstehend angegeben, auf Basis eines Paares von einer Architektur und einem Hyperparameter aus der Menge an möglichen Architektur-Hyperparameter-Paaren trainiertem künstlichen neuronalen Netz, beispielsweise um ein in Hinblick auf die Performanz optimales künstliches neuronales Netz.
-
Bei dem Algorithmus, welcher die wenigstens eine Fidelity nutzt, handelt es sich ferner um einen Algorithmus, welcher mehrere Fidelity-Parameter nutzen kann, um das künstliche neuronale Netz weiter zu optimieren.
-
Somit können auf das trainierte künstliche neuronale Netz mehrere Fidelity-Parameter gleichzeitig angewendet und die Vorteile der einzelnen Fidelitys gleichzeitig ausgenutzt werden und kann insbesondere der Ressourcenverbrauch beim Optimieren des künstlichen neuronalen Netzes weiter minimiert werden. Dabei können die einzelnen ausgenutzten Fidelitys insbesondere derart ausgewählt werden, dass die basierend auf den einzelnen Fidelitys jeweils erzielten kleinen Genauigkeiten in einer guten Genauigkeit des insgesamt optimierten künstlichen neuronalen Netzes resultieren, wobei Ungenauigkeiten kaum noch ins Gewicht fallen, bei gleichzeitig geringen Kosten beziehungsweise einem geringen Ressourcenverbrauch.
-
Dabei kann die Menge an Fidelitys eine Trainingszeitoptimierung, eine Optimierung einer sich immer wiederholenden Subkomponente und eine Architektursuche beziehungsweise Architekturoptimierung umfassen.
-
Unter Trainingszeitoptimierung wird hierbei verstanden, dass die Zeit beziehungsweise Epochen, während welcher das künstliche neuronale Netz trainiert wird, optimiert, insbesondere verkürzt wird, wodurch der Ressourcenverbrauch beim Trainieren des künstlichen neuronalen Netzes minimiert wird und gleichzeitig vergleichsweise schnell ein trainiertes künstliches neuronales Netz zur Verfügung steht.
-
Unter einer sich wiederholenden Subkomponente wird hierbei eine Komponente beziehungsweise Zelle des künstlichen neuronalen Netzes verstanden, welche sich mehrmals wiederholt und welche insbesondere immer wieder verwendet werden kann. Die Subkomponente kann dabei beispielsweise mehrmals übereinander gestapelt werden um ein ganzes neuronales Netz zu ergeben. Dabei ist es einfacher, einzelne Komponenten beziehungsweise Zellen eines künstlichen neuronalen Netzes zu optimieren, als das komplette künstliche neuronale Netz. Zudem kann dies wiederum mit einem vergleichsweise geringen Ressourcenverbrauch erfolgen.
-
Insgesamt kann ein basierend auf einem Architektur-Hyperparameter-Paar trainiertes künstliches neuronales Netzes basierend auf einer oder mehreren Fidelitys weiter optimiert werden, wobei die einzelnen Fidelitys derart ausgewählt werden können, dass der Nutzen optimiert und gleichzeitig die Kosten minimiert werden, und wobei es sich bei einer angewendeten Fidelity auch um eine Architektursuche beziehungsweise Architekturoptimierung, das heißt dem Auswählen beziehungsweise dem Ermitteln einer für die Performanz optimaleren Architektur handeln kann.
-
Dabei, dass die Menge an Fidelitys eine Trainingszeitoptimierung, eine Optimierung einer sich wiederholenden Subkomponente und eine Architektursuche umfasst, handelt es sich jedoch nur um eine beispielhafte Ausführungsform. Vielmehr kann die Menge an Fidelitys auch andere Fidelity-Parameter beziehungsweise Prozesse umfassen.
-
Die Trainingsdaten können ferner Sensordaten aufweisen, so dass auch Gegebenheiten außerhalb einer die entsprechenden Trainingsprozesse ausführenden Datenverarbeitungsanlage berücksichtigt werden. Bei den Sensoren kann es sich dabei insbesondere um in ein autonom fahrendes Kraftfahrzeug integrierte Sensoren handeln und/oder um an einem autonom fahrenden Kraftfahrzeug angebrachte Sensoren.
-
Mit einer weiteren Ausführungsform der Erfindung wird ferner auch ein Verfahren zum Klassifizieren von Bilddaten angegeben, wobei Bilddaten unter Verwendung eines künstlichen neuronalen Netzes klassifiziert werden, und wobei das künstliche neuronale Netz unter Verwendung eines obenstehend beschriebenen Verfahrens erzeugt wurde.
-
Insbesondere kann das Verfahren dabei verwendet werden, um Bilddaten, insbesondere digitale Bilddaten auf der Grundlage von Low-level-Merkmalen, beispielsweise Kanten oder Pixelattributen, zu klassifizieren. Dabei kann weiter ein Bildverarbeitungsalgorithmus verwendet werden, um ein Klassifizierungsergebnis, welches sich auf entsprechende Low-level Merkmale konzentriert, zu analysieren.
-
Insgesamt wird somit ein Verfahren zum Klassifizieren von Bilddaten angegeben, welches auf einem verbesserten Verfahren zum Erzeugen eines künstlichen neuronalen Netzes basiert, bei welchem gleichzeitig der NAS-Algorithmus und die Hyperparameteroptimierung berücksichtigt wird. Folglich kann der Zeitraum bis hin zur Entwicklung des schlussendlich optimalen künstlichen neuronalen Netzes verkürzt werden und der hierzu nötige Ressourcenverbrauch erheblich verringert werden, so dass das schlussendlich optimale künstliche neuronale Netz auch auf Steuergeräten mit vergleichsweise geringen Speicher- und Rechenkapazitäten entwickelt werden kann.
-
Mit einer weiteren Ausführungsform der Erfindung wird weiter auch ein Steuergerät zum Erzeugen eines künstlichen neuronalen Netzes angegeben, wobei das Steuergerät eine erste Trainingseinheit, welche ausgebildet ist, für eine erste Anzahl an Paaren von je einer Architektur und einem Hyperparameter aus einer Menge an möglichen Architektur-Hyperparameter-Paaren jeweils ein künstliches neuronales Netz basierend auf der entsprechenden Architektur, dem entsprechenden Hyperparameter und Trainingsdaten zu trainieren, eine Evaluierungseinheit, welche ausgebildet ist, für jedes Paar von je einer Architektur und einem Hyperparameter der ersten Anzahl an Architektur-Hyperparameter-Paaren, jeweils eine Performanz des entsprechenden künstlichen neuronalen Netzes zu evaluieren, eine Auswahleinheit, welche ausgebildet ist, ein weiteres Paar von einer Architektur und einem Hyperparameter aus der Menge an möglichen Architektur-Hyperparameter-Paaren, für welche bisher noch kein künstliches neuronales Netz trainiert wurde, und welche in Bezug auf die Performanz als optimaler als die basierend auf den Architektur-Hyperparameter-Paaren der ersten Anzahl an Architektur-Hyperparameter-Paaren trainierten künstlichen neuronalen Netze erscheint, basierend auf den Performanzen der künstlichen neuronalen Netze der ersten Anzahl an Architektur-Hyperparameter-Paaren, einem Kern für die Architektursuche und einem Kern für die Hyperparameteroptimierung auszuwählen, und eine zweite Trainingseinheit, welche ausgebildet ist, ein künstliches neuronales Netz basierend auf dem weiteren Paar von einer Architektur und einem Hyperparameter und den Trainingsdaten zu trainieren, aufweist.
-
Insgesamt wird somit ein verbessertes Steuergerät zum Erzeugen eines künstlichen neuronalen Netzes angegeben, welches ausgebildet ist, gleichzeitig den NAS-Algorithmus und die Hyperparameteroptimierung zu berücksichtigen. Folglich kann der Zeitraum bis hin zur Entwicklung des schlussendlich optimalen künstlichen neuronalen Netzes verkürzt werden und gleichzeitig der hierzu nötige Ressourcenverbrauch erheblich verringert werden, so dass es sich bei dem Steuergerät auch um ein Steuergerät mit vergleichsweise geringen Speicher- und Rechenkapazitäten handeln kann.
-
Das Steuergerät kann dabei wiederum derart ausgebildet sein, dass die entsprechende Optimierung derart oft wiederholt wird, bis keine Verbesserung mehr durch Veränderungen der Architektur und/oder der Hyperparameter erzielbar ist.
-
Weiter kann die die Auswahleinheit ausgebildet sein, die weitere Architektur basierend auf den Performanzen der künstlichen neuronalen Netze der ersten Anzahl an Architekturen, einem Kern für die Architektursuche, einem Kern für die Hyperparameteroptimierung unter Verwendung eines Vorhersagemodells auszuwählen. Hierdurch kann der Ressourcenverbrauch bei der Auswahl des weiteren Paares von einer Architektur und einem Hyperparameter weiter verkleinert werden bei gleichzeitig hoher Genauigkeit bei der Auswahl des Weiteren, nützlichen Paares von einer Architektur und einem Hyperparameter.
-
In einer Ausführungsform weist das Steuergerät weiter eine zweite Auswahleinheit, welche ausgebildet ist, wenigstens eine Fidelity, welche zum Optimieren eines trainierten künstlichen neuronalen Netzes verwendet werden soll, aus einer Menge an Fidelitys beziehungsweise eines Wertes für die wenigstens eine Fidelity derart auszuwählen, dass beim beziehungsweise während der Optimierung der Nutzen optimiert und gleichzeitig die Kosten minimiert werden, und eine Optimierungseinheit, welche ausgebildet ist, das trainierte künstliche neuronale Netz basierend auf einem Algorithmus, welcher die wenigstens eine ausgewählten Fidelity nutzt, zu optimieren.
-
Das Steuergerät kann zudem auch derart ausgebildet sein, dass ein basierend auf einem Architektur-Hyperparameter-Paar trainiertes künstliches neuronales Netz basierend auf einer oder mehreren Fidelitys weiter optimiert werden kann, wobei die einzelnen Fidelitys derart ausgewählt werden können, dass der Nutzen optimiert und gleichzeitig die Kosten minimiert werden.
-
Die Menge an Fidelitys kann dabei wiederum eine Trainingszeitoptimierung, eine Optimierung einer sich immer wiederholenden Subkomponente und eine Architektursuche beziehungsweise Architekturoptimierung umfassen.
-
Dabei, dass die Menge an Fidelitys eine Trainingszeitoptimierung, eine Optimierung einer sich wiederholenden Subkomponente und eine Architektursuche umfasst, handelt es sich jedoch nur um eine beispielhafte Ausführungsform. Vielmehr kann die Menge an Fidelitys auch andere Fidelity-Parameter beziehungsweise Prozesse umfassen.
-
Auch können die die Trainingsdaten wiederum Sensordaten aufweisen, so dass auch Gegebenheiten außerhalb des Steuergerätes berücksichtigt werden. Bei den Sensoren kann es sich dabei insbesondere um in ein autonom fahrendes Kraftfahrzeug integrierte Sensoren handeln und/oder um an einem autonom fahrenden Kraftfahrzeug angebrachte Sensoren.
-
Mit einer weiteren Ausführungsform der Erfindung wird zudem auch ein Steuergerät zum Klassifizieren von Bilddaten angegeben, wobei das Steuergerät eine Empfangseinheit, welche ausgebildet ist, ein durch ein obenstehend beschriebenes Steuergerät bereitgestelltes künstliches neuronales Netz zu empfangen, und eine Steuereinheit, welche ausgebildet ist, Bilddaten basierend auf dem künstlichen neuronalen Netz zu klassifizieren, aufweist.
-
Somit wird ein verbessertes Steuergerät zum Klassifizieren von Bilddaten angegeben, welches auf einem verbesserten Steuergerät zum Erzeugen eines künstlichen neuronalen Netzes basiert, welches ausgebildet ist, gleichzeitig den NAS-Algorithmus und die Hyperparameteroptimierung zu berücksichtigen. Folglich kann der Zeitraum bis hin zur Entwicklung des schlussendlich optimalen künstlichen neuronalen Netzes verkürzt werden und gleichzeitig der hierzu nötige Ressourcenverbrauch erheblich verringert werden, so dass das schlussendlich optimale künstliche neuronale Netz auch auf Steuergeräten mit vergleichsweise geringen Speicher- und Rechenkapazitäten entwickelt werden kann.
-
Mit einer weiteren Ausführungsform der Erfindung wird außerdem auch ein System zum Klassifizieren von Bilddaten angegeben, wobei das System ein obenstehend beschriebenes Steuergerät zum Erzeugen eines künstlichen neuronalen Netzes und ein obenstehend beschriebenes Steuergerät zum Klassifizieren von Bilddaten aufweist, wobei das Steuergerät zum Klassifizieren von Bilddaten ausgebildet ist, Bilddaten basierend auf einem durch das Steuergerät zum Erzeugen eines künstlichen neuronalen Netzes erzeugten künstlichen neuronalen Netz zu klassifizieren.
-
Somit wird ein verbessertes System zum Klassifizieren von Bilddaten angegeben, welches ein verbessertes Steuergerät zum Erzeugen eines künstlichen neuronalen Netzes aufweist, welches ausgebildet ist, gleichzeitig den NAS-Algorithmus und die Hyperparameteroptimierung zu berücksichtigen. Folglich kann der Zeitraum bis hin zur Entwicklung des schlussendlich optimalen künstlichen neuronalen Netzes verkürzt werden und gleichzeitig der hierzu nötige Ressourcenverbrauch erheblich verringert werden, so dass das schlussendlich optimale künstliche neuronale Netz auch auf Steuergeräten mit vergleichsweise geringen Speicher- und Rechenkapazitäten entwickelt werden kann.
-
Mit einer weiteren Ausführungsform der Erfindung wird ferner auch ein Kraftfahrzeug angegeben, welches ein derartiges verbessertes System aufweist.
-
Somit wird ein Kraftfahrzeug mit einem verbesserten System zum Klassifizieren von Bilddaten angegeben, welches ein verbessertes Steuergerät zum Erzeugen eines künstlichen neuronalen Netzes aufweist, das ausgebildet ist, gleichzeitig den NAS-Algorithmus und die Hyperparameteroptimierung zu berücksichtigen. Folglich kann der Zeitraum bis hin zur Entwicklung des schlussendlich optimalen künstlichen neuronalen Netzes verkürzt werden und gleichzeitig der hierzu nötige Ressourcenverbrauch erheblich verringert werden, so dass das schlussendlich optimale künstliche neuronale Netz auch auf Steuergeräten mit vergleichsweise geringen Speicher- und Rechenkapazitäten entwickelt werden kann.
-
Bei dem Kraftfahrzeug kann es sich dabei insbesondere um ein autonom fahrendes Kraftfahrzeug handeln, wobei beispielsweise Helligkeitsbeziehungsweise Farbinformationen über Fahrzeugleuchten von sich in einer Umgebung des autonom fahrenden Kraftfahrzeuges befindlichen weiteren Kraftfahrzeugen erfasst werden, die erfassten Informationen unter Verwendung eines basierend auf während zurückliegender Fahrten mit dem autonom fahrenden Kraftfahrzeug gesammelten Helligkeits- beziehungsweise Farbinformationen über Fahrzeugleuchten von weiteren Kraftfahrzeugen trainierten künstlichen neuronalen Netzes ausgewertet werden und basierend auf der Auswertung entsprechende Aktionen, beispielsweise sicherheitsgerichtete Aktionen initiiert werden können.
-
Zusammenfassend ist festzustellen, dass mit der vorliegenden Erfindung ein verbessertes Verfahren zum Erzeugen eines künstlichen neuronalen Netzes angegeben wird.
-
Die beschriebenen Ausgestaltungen und Weiterbildungen lassen sich beliebig miteinander kombinieren.
-
Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale der Erfindung.
-
Figurenliste
-
Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung.
-
Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die dargestellten Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.
-
Es zeigen:
- 1 ein Flussdiagramm eines Verfahrens zum Erzeugen eines künstlichen neuronalen Netzes gemäß Ausführungsformen der Erfindung; und
- 2 ein Blockschaltbild eines Systems zum Klassifizieren von Bilddaten gemäß Ausführungsformen der Erfindung.
-
In den Figuren der Zeichnungen bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile oder Komponenten, soweit nichts Gegenteiliges angegeben ist.
-
1 zeigt ein Flussdiagramm eines Verfahrens 1 zum Erzeugen eines künstlichen neuronalen Netzes gemäß Ausführungsformen der Erfindung
-
Algorithmen zum maschinellen Lernen basieren darauf, dass Verfahren der Statistik verwendet werden, um eine Datenverarbeitungsanlage derart zu trainieren, dass diese eine bestimmte Aufgabe ausführen kann, ohne dass diese ursprünglich explizit hierzu programmiert wurde. Das Ziel des maschinellen Lernens besteht dabei darin, Algorithmen zu konstruieren, die aus Daten lernen und Vorhersagen treffen können. Diese Algorithmen erstellen mathematische Modelle, mit denen beispielsweise Daten klassifiziert werden können.
-
Ein Beispiel für derartige Algorithmen des maschinellen Lernens sind künstliche neuronale Netze. Ein künstliches neuronales Netz ist in der Lage, Korrelationen zwischen Eingangsgrößen und Ausgangsgrößen auch bei Vorliegen von Nichtlinearitäten verbessert zu modellieren und gleichzeitig den notwenigen Rechenaufwand gering zu halten. Zudem muss im System selber kein besonderes Modellwissen vorhanden sein und kann trotzdem eine zuverlässige Bestimmung der Ausgangsgröße erfolgen, da sämtliche Korrelationen im Rahmen einer Trainingsphase angelernt werden können.
-
Ein derartiges künstliches neuronales Netz orientiert sich dabei an biologischen neuronalen Netzen und erlaubt es, ein unbekanntes Systemverhalten aus vorhandenen Trainingsdaten anzulernen und anschließend das angelernte Systemverhalten auch auf unbekannte Eingangsgrößen anzuwenden. Dabei besteht das neuronale Netz aus Schichten mit idealisierten Neuronen, welche gemäß einer Topologie des Netzes in unterschiedlicher Weise miteinander verbunden sind. Die erste Schicht, welche auch als Eingangsschicht bezeichnet wird, erfasst und überträgt dabei die Eingangswerte, wobei die Anzahl der Neuronen in der Eingangsschicht der Anzahl an Eingangssignalen, welche verarbeitet werden sollen, entspricht. Die letzte Schicht wird auch als Ausgangsschicht bezeichnet und weist genauso viele Neuronen auf, wie Ausgabewerte bereitgestellt werden sollen. Zwischen der Eingangsschicht und der Ausgangsschicht befindet sich zudem wenigstens eine Zwischenschicht, welche oftmals auch als verborgene Schicht bezeichnet wird, wobei die Anzahl der Zwischenschichten und die Anzahl der Neuronen in diesen Schichten abhängig von der konkreten Aufgabe, welche durch das neuronale Netz gelöst werden soll, ist.
-
Die Entwicklung der Architektur des künstlichen neuronalen Netzes, das heißt die Bestimmung des Erscheinungsbildes des Netzes beziehungsweise der Anzahl der Schichten in dem Netz sowie die Bestimmung der Anzahl und/oder des Typs der Neuronen in den einzelnen Schichten ist dabei für gewöhnlich jedoch sehr aufwendig, insbesondere im Hinblick auf den Ressourcenverbrauch. Um die Entwicklung der Architektur zu optimieren, wurde dabei die Neural Architektur Search (NAS) entwickelt, welche automatisiert optimale Architekturen für spezifische Problemstellungen entwickelt. Der NAS-Algorithmus stellt dabei zunächst aus verschiedenen Bausteinen und Konfigurationen eine Architektur für das künstliche neuronale Netz zusammen, welche anschließend mit einem Satz Trainingsdaten trainiert wird, und wobei erhaltene Ergebnisse anschließend im Hinblick auf die Performanz evaluiert werden. Basierend auf dieser Bewertung kann anschließend eine neue, im Hinblick auf die Performanz voraussichtlich optimalere Architektur ermittelt werden, welche anschließend wiederum basierend auf den Trainingsdaten trainiert wird, und wobei die erhaltenen Ergebnisse anschließend wiederum im Hinblick auf die Performanz evaluiert werden. Diese Schritte können dabei so oft wiederholt werden, bis keine Verbesserung mehr durch Veränderungen der Architektur erzielbar ist.
-
Einen weiteren Optimierungsansatz für neuronale Netze stellt die Hyperparameteroptimierung dar. Als Hyperparameter wird dabei ein Parameter bezeichnet, der zur Steuerung des Trainingsalgorithmus verwendet wird und dessen Wert im Gegensatz zu anderen Parametern vor dem eigentlichen Training des Modells festgelegt werden muss. Die Hyperparameter können dabei zum Beispiel eine Stapelgröße, eine Kostenfunktion, beispielsweise eine Kreuzentropie, charakterisieren, eine Anzahl von Epochen und/oder eine Lernrate umfassen. Durch eine derartige Hyperparameteroptimierung kann die Genauigkeit des künstlichen neuronalen Netzes optimiert werden. Da derartige Hyperparameteroptimierungen jedoch wiederum sehr aufwendig sind, insbesondere im Hinblick auf den Ressourcenverbrauch, wurden wiederum Verfahren zur automatisierten Optimierung der Hyperparameter entwickelt. Dabei werden Trainingsprozess und Modellarchitektur als Black Box angesehen, die mit einer spezifischen Hyperparameter-Konfiguration ausgeführt wird und die resultierende Modellgenauigkeit ausgibt. Um die Anzahl der Trainingsdurchläufe zu minimieren, werden typischerweise stochastische Methoden verwendet, welche versuchen, gleichzeitig den Parameterraum zu erkunden und sich iterativ einem Optimum zu nähern.
-
Als nachteilig erweist sich hierbei jedoch, dass bei derartigen Verfahren für gewöhnlich nicht gleichzeitig der NAS-Algorithmus und die Hyperparameteroptimierung in einem Verfahren berücksichtigt werden.
-
Gemäß den Ausführungsformen der 1 weist das Verfahren 1 dabei einen Schritt 2 eines Trainierens jeweils eines künstliches neuronalen Netzes für eine erste Anzahl an Paaren von je einer Architektur und einem Hyperparameter aus einer Menge an möglichen Architektur-Hyperparameter-Paaren basierend auf der entsprechenden Architektur, dem entsprechenden Hyperparameter und basierend auf Trainingsdaten und einen Schritt 3 eines Evaluierens jeweils eine Performanz des entsprechenden künstlichen neuronalen Netzes für jedes Paar von je einer Architektur und einem Hyperparameter der ersten Anzahl an Architektur-Hyperparameter-Paaren auf, wobei basierend auf den Performanzen der künstlichen neuronalen Netze der ersten Anzahl an Architektur-Hyperparameter-Paaren, einem Kern für die Architektursuche und einem Kern für die Hyperparameteroptimierung in einem Schritt 4 eine weiteres Paar von einer Architektur und einem Hyperparameter aus der Menge an möglichen Architektur-Hyperparameter-Paaren ausgewählt wird, für welche bisher noch kein künstliches neuronales Netz trainiert wurde, und welche in Bezug auf die Performanz als optimaler als die basierend auf den Paaren von je einer Architektur und einem Hyperparameter der ersten Anzahl an Architektur-Hyperparameter-Paaren trainierten künstlichen neuronalen Netze erscheint, und wobei in einem Schritt 5 ein künstliches neuronales Netz basierend auf der Architektur und dem Hyperparameter des weiteren Paares von einer Architektur und einem Hyperparameter und den Trainingsdaten trainiert wird.
-
Somit wird ein verbessertes Verfahren zum Erzeugen eines künstlichen neuronalen Netzes angegeben, bei welchem gleichzeitig der NAS-Algorithmus und die Hyperparameteroptimierung berücksichtigt wird. Folglich kann der Zeitraum bis hin zur Entwicklung des schlussendlich optimalen künstlichen neuronalen Netzes verkürzt werden und gleichzeitig der hierzu nötige Ressourcenverbrauch erheblich verringert werden, so dass das schlussendlich optimale künstliche neuronale Netz auch auf Steuergeräten mit vergleichsweise geringen Speicher- und Rechenkapazitäten entwickelt werden kann.
-
Bei dem für die Architektursuche kann es sich dabei beispielsweise um einen Weisfeiler-Lehmann Kernel und bei dem Kern für die Hyperparameteroptimierung beispielsweise um einen Matern- Kernel handeln. Dabei können die beiden kerne multipliziert werden, um ein gemeinsames Kernel zu bilden, das heißt einen verbesserten Prädiktor für die Architektursuche.
-
Gemäß den Ausführungsformen der 1 erfolgt das das Auswählen eines weiteren Paares von einer Architektur und einem Hyperparameter weiter basierend auf einem Vorhersagemodell. Beispielsweise kann mittels Bayesian Optimization die Architektur optimiert werden, wobei basierend auf bereits gemessenen Architekturen vorhergesagt werden kann, welche Performanzen noch nicht evaluierte Architekturen haben, und wobei ein probabilistisches Modell gebildet wird, welches angibt, wie gut noch nicht evaluierte Architekturen sind.
-
Wie 1 zeigt, weist das Verfahren 1 weiter einen Schritt 6 eines Auswählens wenigstens einer Fidelity, welche zum Optimieren eines trainierten künstlichen neuronalen Netzes verwendet werden soll, aus einer Menge an Fidelitys beziehungsweise eines Wertes für die wenigstens eine Fidelity derart, dass beim Optimieren der Nutzen optimiert und gleichzeitig die Kosten minimiert werden, und einen Schritt 7 eines Optimierens des trainierten künstlichen neuronalen Netzes basierend auf einem Algorithmus, welcher die wenigstens eine ausgewählten Fidelity nutzt, auf.
-
Bei dem Algorithmus kann es sich dabei beispielsweise um einen Bi-Objective Cultural Algorithm (BOCA) handeln, welcher mehrere Fidelity-Parameter gleichzeitig ausnutzen und den gesamten Ressourcenverbrauch minimieren kann. Der Algorithmus kann dabei weiter derart ausgewählt sein, dass Fidelitys, welche eine zu große Ungenauigkeit aufweisen, unberücksichtigt bleiben.
-
Gemäß den Ausführungsformen der 1 umfasst die Menge an Fidelitys dabei eine Trainingszeitoptimierung, eine Optimierung einer sich immer wiederholenden Subkomponente und eine Architektursuche beziehungsweise Architekturoptimierung. Insbesondere kann hierbei BOCA mit dem Weisfeiler-Lehmann Kernel kombiniert werden.
-
Zudem handelt es sich bei den Trainingsdaten um Sensordaten und insbesondere um von Sensoren eines autonom fahrenden Kraftfahrzeuges erfassten Daten.
-
2 zeigt ein Blockschaltbild eines Systems 10 zum Klassifizieren von Bilddaten gemäß Ausführungsformen der Erfindung.
-
Wie 2 zeigt, weist das System 10 dabei ein Steuergerät 11 zum Erzeugen eines künstlichen neuronalen Netzes und ein Steuergerät 12 zum Klassifizieren von Bilddaten auf, wobei das Steuergerät 12 zum Klassifizieren von Bilddaten ausgebildet ist, Bilddaten basierend auf einem durch das Steuergerät 11 zum Erzeugen eines künstlichen neuronalen Netzes erzeugten künstlichen neuronalen Netz zu klassifizieren. Das erzeugte künstliche neuronale Netz kann dabei drahtgebunden oder drahtlos an das Steuergerät 12 zum Klassifizieren von Bilddaten übermittelt werden.
-
Wie weiter zu erkennen ist, weist das Steuergerät 11 zum Trainieren eines künstlichen Netzes dabei eine Empfangseinheit 13 zum Empfangen von Trainingsdaten, beispielsweise von durch Sensoren eines autonom fahrenden Kraftfahrzeuges erfasste Daten, eine erste Trainingseinheit 14, welche ausgebildet ist, für eine erste Anzahl an Paaren von je einer Architektur und einem Hyperparameter aus einer Menge an möglichen Architektur-Hyperparameter-Paaren jeweils ein künstliches neuronales Netz basierend auf der entsprechenden Architektur, dem entsprechenden Hyperparameter und den Trainingsdaten zu trainieren, eine Evaluierungseinheit 15, welche ausgebildet ist, für jedes Paar von einem Architektur und einem Hyperparameter der ersten Anzahl an Paaren von je einer Architektur und einem Hyperparameter, jeweils eine Performanz des entsprechenden künstlichen neuronalen Netzes zu evaluieren, eine Auswahleinheit 16, welche ausgebildet ist, ein weiteres Paar von einer Architektur und einem Hyperparameter aus der Menge an möglichen Architektur-Hyperparameter-Paaren, für welche bisher noch kein künstliches neuronales Netz trainiert wurde, und welche in Bezug auf die Performanz als optimaler als die basierend auf den Paaren von einer Architektur und einem Hyperparameter der ersten Anzahl an Paaren von je einer Architektur und einem Hyperparameter trainierten künstlichen neuronalen Netze erscheint, basierend auf den Performanzen der künstlichen neuronalen Netze der ersten Anzahl an Paaren von je einer Architektur und einem Hyperparameter, einem Kern für die Architektursuche und einem Kern für die Hyperparameteroptimierung auszuwählen, und eine zweite Trainingseinheit 17, welche ausgebildet ist, ein künstliches neuronales Netz basierend auf der Architektur und dem Hyperparameter des weiteren Paares von einer Architektur und einem Hyperparameter und den Trainingsdaten zu trainieren, aufweist.
-
Bei der Empfangseinheit kann es sich dabei beispielsweise um einen Receiver, welcher ausgebildet ist, durch einen Sensor erfasste Daten zu empfangen, handeln. Die erste Trainingseinheit, die Evaluierungseinheit, die Auswahleinheit und die zweite Trainingseinheit können ferner jeweils beispielsweise basierend auf in einem Speicher hinterlegten und durch einen Prozessor ausführbaren Code realisiert werden.
-
Ferner kann die zweite Trainingseinheit auch in die erste Trainingseinheit integriert sein.
-
Gemäß den Ausführungsformen der 2 weist das Steuergerät 21 zum Trainieren eines künstlichen neuronalen Netzes weiter eine zweite Auswahleinheit 18, welche ausgebildet ist, wenigstens eine Fidelity, welche zum Optimieren eines trainierten neuronalen Netzes verwendet werden soll, aus einer Menge an Fidelitys beziehungsweise einen Wert für die wenigstens eine Fidelity derart auszuwählen, dass beim Optimieren der Nutzen optimiert und gleichzeitig die Kosten minimiert werden, und eine Optimierungseinheit 19, welche ausgebildet ist, das trainierte neuronale Netz basierend auf einem Algorithmus, welcher die wenigstens eine ausgewählten Fidelity nutzt, zu optimieren.
-
Die zweite Auswahleinheit und die Optimierungseinheit können dabei wiederum jeweils beispielsweise basierend auf in einem Speicher hinterlegten und durch einen Prozessor ausführbaren Code realisiert werden.
-
Das Steuergerät 12 zum Klassifizieren von Bilddaten weist zudem eine Empfangseinheit 20 zum Empfangen eines durch das Steuergerät 11 zum Erzeugen eines künstlichen neuronalen Netzes erzeugtes künstlichen neuronalen Netzes, insbesondere eines in Hinblick auf die Performance optimalen künstlichen neuronalen Netzes auf, sowie eine Steuereinheit 21, welche ausgebildet ist, Bilddaten basierend auf dem künstlichen neuronalen Netz zu klassifizieren, auf.
-
Die Steuereinheit kann dabei wiederum beispielsweise basierend auf in einem Speicher hinterlegten und durch einen Prozessor ausführbaren Code realisiert werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102019214625 A1 [0007]
