-
Die Erfindung betrifft eine Vorrichtung zum Trainieren eines neuronalen Netz-Ensembles, mit welchem ein neuronales Netz-Ensemble mit einer verbesserten Kalibrierung bereitgestellt werden kann, und wobei Computerressourcen während des Trainierens des neuronalen Netz-Ensembles eingespart werden können.
-
Algorithmen zum maschinellen Lernen basieren darauf, dass Verfahren der Statistik verwendet werden, um eine Datenverarbeitungsanlage derart zu trainieren, dass diese eine bestimmte Aufgabe ausführen kann, ohne dass diese ursprünglich explizit hierzu programmiert wurde. Das Ziel des maschinellen Lernens besteht dabei darin, Algorithmen zu konstruieren, die aus Daten lernen und Vorhersagen treffen können. Diese Algorithmen erstellen mathematische Modelle, mit denen beispielsweise Daten klassifiziert werden können.
-
Ein Beispiel für derartige Algorithmen des maschinellen Lernens sind künstliche neuronale Netze. Derartige künstliche neuronale Netze orientieren sich an biologischen Neuronen und erlauben es, ein unbekanntes Systemverhalten aus vorhandenen Trainingsdaten anzulernen und anschließend das angelernte Systemverhalten auch auf unbekannte Eingangsgrößen anzuwenden. Dabei besteht das neuronale Netz aus Schichten mit idealisierten Neuronen, welche gemäß einer Topologie des Netzes in unterschiedlicher Weise miteinander verbunden sind. Die erste Schicht, welche auch als Eingangsschicht bezeichnet wird, erfasst und überträgt dabei die Eingangswerte, wobei die Anzahl der Neuronen in der Eingangsschicht der Anzahl an Eingangssignalen, welche verarbeitet werden sollen, entspricht. Die letzte Schicht wird auch als Ausgangsschicht bezeichnet und weist genauso viele Neuronen auf, wie Ausgabewerte bereitgestellt werden sollen. Zwischen der Eingangsschicht und der Ausgangsschicht befindet sich zudem wenigstens eine Zwischenschicht, welche oftmals auch als verborgene Schicht bezeichnet wird, wobei die Anzahl der Zwischenschichten und die Anzahl der Neuronen in diesen Schichten abhängig von der konkreten Aufgabe, welche durch das neuronale Netz gelöst werden soll, ist.
-
Bei derartigen künstlichen neuronalen Netzen handelt es sich um Unsicherheiten aufweisende Vorhersagemodelle. Um die Genauigkeit derartiger künstlicher neuronaler Netze zu erhöhen, können dabei neuronale Netz-Ensembles verwendet werden, das heißt einzelne neuronale Netze miteinander kombiniert werden. Derartige neuronale Netz-Ensembles haben den Vorteil, dass mögliche Fehler in dem Algorithmus durch den kombinierten Ansatz herauskorrigiert werden können. Dabei weisen alle künstlichen neuronalen Netze innerhalb eines derartigen neuronalen Netz-Ensembles für gewöhnlich dieselbe Architektur auf.
-
Aus der Druckschrift
DE 60 223 007 T2 ist ein Verfahren zum automatischen Extrahieren von Charakteristika aus Bildern bekannt, wobei ein neuronales System trainiert wird, um bei einem Satz von vordefinierten Bildern eine niedrige Klassifizierungsfehlerrate zu erreichen, wobei das neuronale System aus einem Ensemble von neuronalen Netzen, die mehrschichtige Netze aufweisen, besteht, wobei das Trainieren in einem verschiedenartigen neuronalen Netz-Ensemble mit sich unterscheidenden versteckten Knoten der mehrschichtigen Netze resultiert, die versteckten Knoten aus allen versteckten Schichten der trainierten mehrschichtigen Netze extrahiert werden, um Charakteristika der Bilder darzustellen, und ein statistischer Klassifizierer auf diesen Satz von extrahierten Charakteristika angewendet wird, um die Bilder korrekt zu klassifizieren.
-
Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zum Trainieren eines neuronalen Netz-Ensembles vorzusehen.
-
Die Aufgabe wird mit einem Verfahren gemäß den Merkmalen des Patentanspruchs 1 gelöst.
-
Die Aufgabe wird darüber hinaus durch ein Steuergerät mit den Merkmalen des Patentanspruchs 6 gelöst.
-
Ferner wird die Aufgabe mit einem Computerprogramm gemäß Patentanspruchs 11 und einem computerlesbaren Datenträger gemäß Patentanspruch 12 gelöst.
-
Vorteilhafte Ausführungsformen und Weiterbildungen ergeben sich aus den Unteransprüchen sowie aus der Beschreibung unter Bezugnahme auf die Figuren.
-
Offenbarung der Erfindung
-
Gemäß einer Ausführungsform der Erfindung wird diese Aufgabe gelöst durch ein Verfahren zum Trainieren eines neuronalen Netz-Ensembles, wobei das neuronale Netz-Ensemble eine Vielzahl von künstlichen neuronalen Netzen aufweist, und wobei das Verfahren für jedes der Vielzahl von künstlichen neuronalen Netzen ein separates Ermitteln einer optimalen Architektur von zumindest einem Teil des entsprechenden künstlichen Neuronalen Netzes und ein jeweiliges Trainieren der einzelnen künstlichen neuronalen Netze basierend auf Trainingsdaten und der entsprechenden optimalen Architektur aufweist.
-
Künstliche neuronale Netze orientieren sich an biologischen Neuronen und erlauben es, ein unbekanntes Systemverhalten aus vorhandenen Trainingsdaten anzulernen und anschließend das angelernte Systemverhalten auch auf unbekannte Eingangsgrößen anzuwenden. Dabei besteht das neuronale Netz aus Schichten mit idealisierten Neuronen, welche gemäß einer Topologie des Netzes in unterschiedlicher Weise miteinander verbunden sind. Die erste Schicht, welche auch als Eingangsschicht bezeichnet wird, erfasst und überträgt dabei die Eingangswerte, wobei die Anzahl der Neuronen in der Eingangsschicht der Anzahl an Eingangssignalen, welche verarbeitet werden sollen, entspricht. Die letzte Schicht wird auch als Ausgangsschicht bezeichnet und weist genauso viele Neuronen auf, wie Ausgabewerte bereitgestellt werden sollen. Zwischen der Eingangsschicht und der Ausgangsschicht befindet sich zudem wenigstens eine Zwischenschicht, welche oftmals auch als verborgene Schicht bezeichnet wird, wobei die Anzahl der Zwischenschichten und die Anzahl der Neuronen in diesen Schichten abhängig von der konkreten Aufgabe, welche durch das neuronale Netz gelöst werden soll, ist.
-
Durch separates Entwickeln einer optimalen Architektur für jedes der künstlichen neuronalen Netze, beziehungsweise eines optimalen Erscheinungsbildes des entsprechenden künstlichen neuronalen Netzes beziehungsweise der Anzahl der Schichten in dem Netz sowie die Bestimmung der Anzahl und/oder des Typs der Neuronen, kann somit die Performanz der einzelnen künstlichen neuronalen Netze verbessert werden und somit auch die Performanz des gesamten neuronalen Netz-Ensembles, was sich insbesondere bei der Steuerung von sicherheitsgerichteten Systemen, beispielsweise steuerbaren Systemen eines autonom fahrenden Kraftfahrzeuges basierend auf dem neuronalen Netz-Ensemble als vorteilhaft erweist. Insgesamt wird somit ein verbessertes Verfahren zum Trainieren eines neuronalen Netz-Ensembles angegeben, mit welchem ein neuronales Netz-Ensemble mit einer verbesserten Kalibrierung trainiert werden kann.
-
In einer Ausführungsform weist das separate Ermitteln einer optimalen Architektur für den zumindest einen Teil des entsprechenden künstlichen neuronalen Netzes für jedes der Vielzahl von künstlichen neuronalen Netzen dabei jeweils ein Anwenden eines Neural Architecture Search Prozesses auf. Die Entwicklung der Architektur eines künstlichen neuronalen Netzes ist für gewöhnlich ein sehr aufwendiger Prozess, insbesondere im Hinblick auf den Ressourcenverbrauch, beispielsweise Speicher- und Rechenkapazitäten. Um die Entwicklung der Architektur zu optimieren, wurde dabei die Neural Architektur Search (NAS) entwickelt, welche automatisiert optimale Architekturen für spezifische Problemstellungen entwickelt.
-
Der NAS-Algorithmus stellt dabei zunächst aus verschiedenen Bausteinen und Konfigurationen eine Architektur für das künstliche neuronale Netz zusammen, welche anschließend mit einem Satz Trainingsdaten, beispielsweise Sensordaten, trainiert wird, und wobei erhaltene Ergebnisse anschließend im Hinblick auf die Performanz evaluiert werden. Basierend auf dieser Bewertung kann anschließend eine neue, im Hinblick auf die Performanz voraussichtlich optimalere Architektur ermittelt werden, welche anschließend wiederum basierend auf den Trainingsdaten trainiert wird, und wobei die erhaltenen Ergebnisse anschließend wiederum im Hinblick auf die Performanz evaluiert werden. Diese Schritte können dabei so oft wiederholt werden, bis keine Verbesserung mehr durch Veränderungen der Architektur erzielbar ist. Ein derartiges Verfahren hat somit den Vorteil, dass Computerressourcen eingespart werden können und das Verfahren auch auf Steuergeräten mit vergleichsweise geringen Ressourcen, beispielsweise Speicher- oder Rechenkapazitäten, ausgeführt werden kann.
-
Auch kann, für jedes der Vielzahl von künstlichen neuronalen Netzen, der wenigstens eine Teil des entsprechenden künstlichen neuronalen Netzes jeweils aus Wiederholungen einer jeweiligen beziehungsweise entsprechenden Subkomponente zusammengesetzt werden, wobei das separate Ermitteln einer optimalen Architektur für den zumindest einen Teil des entsprechenden künstlichen neuronalen Netzes für jedes der Vielzahl von künstlichen neuronalen Netzen jeweils ein Ermitteln einer optimalen Architektur für die jeweilige Subkomponente aufweist.
-
Unter einer sich wiederholenden Subkomponente wird hierbei eine Komponente beziehungsweise Zelle des entsprechenden künstlichen neuronalen Netzes verstanden, welche sich mehrmals wiederholt und welche insbesondere immer wieder verwendet werden kann. Die Subkomponente kann dabei beispielsweise mehrmals übereinander gestapelt werden um ein ganzes neuronales Netz zu ergeben.
-
Dabei ist es einfacher, einzelne Komponenten beziehungsweise Zellen eines künstlichen neuronalen Netzes zu optimieren, als das komplette künstliche neuronale Netz. Zudem kann dies wiederum mit einem vergleichsweise geringen Ressourcenverbrauch erfolgen.
-
Dabei können die einzelnen Subkomponenten jeweils eine Vielzahl von Knoten und gerichteten Kanten aufweisen, wobei jede Kante jeweils zwei Knoten miteinander verbindet, und wobei jede Kante eine Transferfunktion zwischen den entsprechenden Knoten symbolisiert, und wobei das Ermitteln einer optimalen Architektur für die jeweilige Subkomponente für jeden der Vielzahl von Klassifizieren ein Bestimmen einer optimalen Transferfunktion zwischen je zwei Knoten der Subkomponente aufweist.
-
Unter Verwendung eines Graphen können die Neuronen innerhalb eines künstlichen neuronalen Netzes als Knoten dargestellt werden und die Verbindungen zwischen den einzelnen Neuronen als Kanten. Die Kanten repräsentieren dabei weiter Transferfunktionen zwischen den einzelnen Knoten, das heißt Funktionen basierend auf welchen entsprechende Daten zwischen den einzelnen Knoten umgewandelt werden. Unter optimaler Transferfunktion wird dabei die Transferfunktion aus der Menge von allen möglichen Transferfunktionen, welche am effektivsten für die Architektur beziehungsweise das Ensemble ist, beziehungsweise mit welcher die beste Performanz erzielt werden kann.
-
Basierend auf entsprechenden optimalen Transferfunktionen kann dann jeweils auf einfache Art und Weise ein relativ einfacher Aufbau der Subkomponenten und damit auch der einzelnen künstlichen neuronalen Netze beziehungsweise des neuronalen Netz-Ensembles realisiert werden, bei gleichzeitig geringem Ressourcenverbrauch, beispielsweise von Speicher- und Rechenkapazitäten.
-
Die Trainingsdaten können ferner Sensordaten aufweisen, so dass auch Gegebenheiten außerhalb einer die entsprechenden Trainingsprozesse ausführenden Datenverarbeitungsanlage berücksichtigt werden. Bei den Sensoren kann es sich dabei insbesondere um in ein autonom fahrendes Kraftfahrzeug integrierte Sensoren handeln und/oder um an einem autonom fahrenden Kraftfahrzeug angebrachte Sensoren.
-
Mit einer weiteren Ausführungsform der Erfindung wird ferner auch ein Verfahren zum Klassifizieren von Bilddaten angegeben, wobei Bilddaten unter Verwendung eines neuronalen Netz-Ensembles klassifiziert werden, und wobei das neuronale Netz-Ensemble unter Verwendung eines obenstehend beschriebenen Verfahrens trainiert wurde.
-
Insbesondere kann das Verfahren dabei verwendet werden, um Bilddaten, insbesondere digitale Bilddaten auf der Grundlage von Low-level-Merkmalen, beispielsweise Kanten oder Pixelattributen, zu klassifizieren. Dabei kann weiter ein Bildverarbeitungsalgorithmus verwendet werden, um ein Klassifizierungsergebnis, welches sich auf entsprechende Low-Ievel Merkmale konzentriert, zu analysieren.
-
Insgesamt wird somit ein Verfahren zum Klassifizieren von Bilddaten angegeben, welches auf einem verbesserten Verfahren zum Trainieren eines neuronalen Netz-Ensembles basiert. Durch separates Entwickeln einer optimalen Architektur für jedes der künstlichen neuronalen Netze, beziehungsweise eines optimalen Erscheinungsbildes des entsprechenden künstlichen neuronalen Netzes beziehungsweise der Anzahl der Schichten in dem Netz sowie die Bestimmung der Anzahl und/oder des Typs der Neuronen, kann dabei die Performanz der einzelnen künstlichen neuronalen Netze verbessert werden und somit auch die Performanz des gesamten neuronalen Netz-Ensembles.
-
Mit einer weiteren Ausführungsform der Erfindung wird weiter auch ein Steuergerät zum Trainieren eines neuronalen Netz-Ensembles angegeben, welches ausgebildet ist, ein obenstehend beschriebenes Verfahren zum Trainieren eines neuronalen Netz-Ensembles auszuführen.
-
Ein derartiges Steuergerät hat den Vorteil, dass dieses ausgebildet ist, ein verbessertes Verfahren zum Trainieren eines neuronalen Netz-Ensembles auszuführen und insbesondere ein Verfahren, bei welchem durch separates Entwickeln einer optimalen Architektur für jedes der künstlichen neuronalen Netze, beziehungsweise eines optimalen Erscheinungsbildes des entsprechenden künstlichen neuronalen Netzes beziehungsweise der Anzahl der Schichten in dem Netz sowie die Bestimmung der Anzahl und/oder des Typs der Neuronen, die Performanz der einzelnen künstlichen neuronalen Netze verbessert werden kann und somit auch die Performanz des gesamten neuronalen Netz-Ensembles, was sich insbesondere bei der Steuerung von sicherheitsgerichteten Systemen, beispielsweise steuerbaren Systemen eines autonom fahrenden Kraftfahrzeuges basierend auf dem neuronalen Netz-Ensemble als vorteilhaft erweist.
-
Mit einer weiteren Ausführungsform der Erfindung wird auch ein Steuergerät zum Klassifizieren von Bilddaten angegeben, wobei das Steuergerät eine Empfangseinheit, welche ausgebildet ist, ein durch ein obenstehend beschriebenes Steuergerät zum Trainieren eines neuronalen Netz-Ensembles bereitgestelltes trainiertes neuronales Netz-Ensemble zu empfangen, und eine Steuereinheit, welche ausgebildet ist, Bilddaten basierend auf dem neuronalen Netz-Ensemble zu klassifizieren, aufweist.
-
Insbesondere kann das Steuergerät dabei wiederum verwendet werden, um Bilddaten, insbesondere digitale Bilddaten auf der Grundlage von Low-Ievel-Merkmalen, beispielsweise Kanten oder Pixelattributen, zu klassifizieren. Dabei kann weiter ein Bildverarbeitungsalgorithmus verwendet werden, um ein Klassifizierungsergebnis, welches sich auf entsprechende Low-Ievel Merkmale konzentriert, zu analysieren.
-
Insgesamt wird somit ein Steuergerät zum Klassifizieren von Bilddaten angegeben, welches auf einem verbesserten Verfahren zum Trainieren eines neuronalen Netz-Ensembles basiert. Durch separates Entwickeln einer optimalen Architektur für jedes der künstlichen neuronalen Netze, beziehungsweise eines optimalen Erscheinungsbildes des entsprechenden künstlichen neuronalen Netzes beziehungsweise der Anzahl der Schichten in dem Netz sowie die Bestimmung der Anzahl der Neuronen, kann dabei die Performanz der einzelnen künstlichen neuronalen Netze verbessert werden und somit auch die Performanz des gesamten neuronalen Netz-Ensembles.
-
Mit einer weiteren Ausführungsform der Erfindung wird auch ein System zum Klassifizieren von Bilddaten angegeben, wobei das System ein obenstehend beschriebenes Steuergerät zum Trainieren eines neuronalen Netz-Ensembles und ein obenstehend beschriebenes Steuergerät zum Klassifizieren von Bilddaten aufweist, wobei das Steuergerät zum Klassifizieren von Bilddaten ausgebildet ist, Bilddaten basierend auf einem durch das Steuergerät zum Trainieren eines neuronalen Netz-Ensembles trainierten neuronalen Netz-Ensemble zu klassifizieren.
-
Insgesamt wird somit ein System zum Klassifizieren von Bilddaten angegeben, welches auf einem verbesserten Verfahren zum Trainieren eines neuronalen Netz-Ensembles basiert. Durch separates Entwickeln einer optimalen Architektur für jedes der künstlichen neuronalen Netze, beziehungsweise eines optimalen Erscheinungsbildes des entsprechenden künstlichen neuronalen Netzes beziehungsweise der Anzahl der Schichten in dem Netz sowie die Bestimmung der Anzahl der Neuronen, kann dabei die Performanz der einzelnen künstlichen neuronalen Netze verbessert werden und somit auch die Performanz des gesamten neuronalen Netz-Ensembles.
-
Mit einer weiteren Ausführungsform der Erfindung wird weiter auch Kraftfahrzeug angegeben, wobei das Kraftfahrzeug ein obenstehend beschriebenes System zum Klassifizieren von Bilddaten aufweist.
-
Somit wird ein Kraftfahrzeug angegeben, welches ein System zum Klassifizieren von Bilddaten aufweist, welches auf einem verbesserten Verfahren zum Trainieren eines neuronalen Netz-Ensembles basiert. Durch separates Entwickeln einer optimalen Architektur für jedes der künstlichen neuronalen Netze, beziehungsweise eines optimalen Erscheinungsbildes des entsprechenden künstlichen neuronalen Netzes beziehungsweise der Anzahl der Schichten in dem Netz sowie die Bestimmung der Anzahl und/oder des Typs der Neuronen, kann dabei die Performanz der einzelnen künstlichen neuronalen Netze verbessert werden und somit auch die Performanz des gesamten neuronalen Netz-Ensembles.
-
Bei dem Kraftfahrzeug kann es sich dabei insbesondere um ein autonom fahrendes Kraftfahrzeug handeln, wobei beispielsweise Helligkeitsbeziehungsweise Farbinformationen über Fahrzeugleuchten von sich in einer Umgebung des autonom fahrenden Kraftfahrzeuges befindlichen weiteren Kraftfahrzeugen erfasst werden, die erfassten Informationen unter Verwendung eines basierend auf während zurückliegender Fahrten mit dem autonom fahrenden Kraftfahrzeug gesammelten Helligkeits- beziehungsweise Farbinformationen über Fahrzeugleuchten von weiteren Kraftfahrzeugen trainierten neuronalen Netz-Ensembles ausgewertet werden und basierend auf der Auswertung entsprechende Aktionen, beispielsweise sicherheitsgerichtete Aktionen initiiert werden können.
-
Mit einer weiteren Ausführungsform der Erfindung wird zudem auch Computerprogramm mit Programmcode, um ein obenstehend beschriebenes Verfahren zum Trainieren eines neuronalen Netz-Ensembles auszuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird, angegeben.
-
Mit einer weiteren Ausführungsform der Erfindung wird ferner auch ein computerlesbarer Datenträger Programmcode eines Computerprogramms, um ein obenstehend beschriebenes Verfahren zum Trainieren eines neuronalen Netz-Ensembles auszuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird, angegeben.
-
Ein derartiges Computerprogramm beziehungsweise ein derartiger computerlesbarer Datenträger haben den Vorteil, dass mit diesen jeweils ein verbessertes Verfahren zum Trainieren eines neuronalen Netz-Ensembles ausgeführt werden kann und insbesondere ein Verfahren, bei welchem durch separates Entwickeln einer optimalen Architektur für jedes der künstlichen neuronalen Netze, beziehungsweise eines optimalen Erscheinungsbildes des entsprechenden künstlichen neuronalen Netzes beziehungsweise der Anzahl der Schichten in dem Netz sowie die Bestimmung der Anzahl der Neuronen, die Performanz der einzelnen künstlichen neuronalen Netze verbessert werden kann und somit auch die Performanz des gesamten neuronalen Netz-Ensembles, was sich insbesondere bei der Steuerung von sicherheitsgerichteten Systemen, beispielsweise steuerbaren Systemen eines autonom fahrenden Kraftfahrzeuges basierend auf dem neuronalen Netz-Ensemble als vorteilhaft erweist.
-
Zusammenfassend ist festzustellen, dass mit der vorliegenden Erfindung ein verbessertes Verfahren zum Trainieren eines neuronalen Netz-Ensembles angegeben wird. Die beschriebenen Ausgestaltungen und Weiterbildungen lassen sich beliebig miteinander kombinieren.
-
Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale der Erfindung.
-
Kurze Beschreibung der Zeichnungen
-
Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung.
-
Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die dargestellten Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.
-
Es zeigen:
- 1 ein Beispiel eines neuronalen Netz-Ensembles;
- 2 ein Flussdiagramm eines Verfahrens zum Trainieren eines neuronalen Netz-Ensembles gemäß Ausführungsformen der Erfindung;
- 3 ein Blockschaltbild eines Systems zum Klassifizieren von Bilddaten gemäß Ausführungsformen der Erfindung.
-
In den Figuren der Zeichnungen bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile oder Komponenten, soweit nichts Gegenteiliges angegeben ist.
-
1 zeigt ein Beispiel eines neuronalen Netz-Ensembles 1. Um die Genauigkeit von künstlichen neuronalen Netzen zu erhöhen, können neuronale Netz-Ensembles verwendet werden, das heißt einzelne neuronale Netze miteinander kombiniert werden.
-
In dem gezeigten Beispiel sind dabei drei Klassifizierer 2 zusammengefasst, wobei jeder der Klassifizierer 2 ein mehrschichtiges künstliches neuronales Netz 3 aufweist.
-
Gemäß dem Beispiel der 1 weisen die einzelnen künstlichen neuronalen Netze 3 dabei jeweils einen ersten Teil 4, welcher für alle künstlichen neuronalen Netze gleich ist und einen an den ersten Teil 4 anschließenden zweiten Teil 5 auf, welche für alle künstlichen neuronalen Netze 3 unterschiedlich sein kann. Der erste Teil kann dabei beispielsweise jeweils zwei Drittel des gesamten künstlichen neuronalen Netzes 3 ausmachen.
-
Dabei werden die Ergebnisse der Klassifizierung durch die einzelnen Klassifizierer, welche entsprechende Wahrscheinlichkeiten aufweisen können, weiter zusammengefasst, um einen Durchschnitt aus diesen Ergebnissen zu bilden. Durch diese Durchschnittsbildung sollen die Ergebnisse der Klassifizierung sowie der Performanz der einzelnen künstlichen neuronalen Netze verbessert werden und können mögliche Fehler in dem Algorithmus des maschinellen Lernens durch den kombinierten Ansatz beziehungsweise die Kombination einzelner Klassifizierer herausgefiltert werden.
-
Dabei weisen alle künstlichen neuronalen Netze 3 und insbesondere auch die zweiten Teile 5 der einzelnen künstlichen neuronalen Netze 3 für gewöhnlich jeweils dieselbe Architektur auf.
-
2 zeigt ein Flussdiagramm eines Verfahrens 10 zum Trainieren eines neuronalen Netz-Ensembles gemäß Ausführungsformen der Erfindung.
-
Insbesondere zeigt 2 ein Flussdiagramm eines Verfahrens 10 zum Trainieren eines neuronalen Netz-Ensembles, wobei das neuronale Netz-Ensemble eine Vielzahl von künstlichen neuronalen Netzen aufweist.
-
Wie 2 zeigt, weist das Verfahren 10 dabei einen Schritt 11 eines separaten Ermittelns einer optimalen Architektur von zumindest einem Teil des entsprechenden künstlichen neuronalen Netzes für jedes der Vielzahl von künstlichen neuronalen Netzen auf, wobei die einzelnen künstlichen neuronalen Netze anschließend in einem Schritt 12 basierend auf der ermittelten jeweiligen optimalen Architektur und Trainingsdaten trainiert werden.
-
Durch separates Entwickeln einer optimalen Architektur für jedes der künstlichen neuronalen Netze, beziehungsweise eines optimalen Erscheinungsbildes des entsprechenden künstlichen neuronalen Netzes beziehungsweise der Anzahl der Schichten in dem Netz sowie die Bestimmung der Anzahl und/oder des Typs der Neuronen, kann dabei die Performanz der einzelnen künstlichen neuronalen Netze verbessert werden und somit auch die Performanz des gesamten neuronalen Netz-Ensembles, was sich insbesondere bei der Steuerung von sicherheitsgerichteten Systemen, beispielsweise steuerbaren Systemen eines autonom fahrenden Kraftfahrzeuges basierend auf dem neuronalen Netz-Ensemble als vorteilhaft erweist. Insgesamt wird somit ein verbessertes Verfahren 10 zum Trainieren eines neuronalen Netz-Ensembles angegeben.
-
Gemäß den Ausführungsformen der 2 weist der Schritt 11 des separaten Ermittelns einer optimalen Architektur für den zumindest einen Teil des entsprechenden künstlichen neuronalen Netzes für jedes der Vielzahl von künstlichen neuronalen Netzen jeweils ein Anwenden eines Neural Architecture Search Prozesses auf. Hierdurch können Ressourcen bei der Ermittlung der einzelnen optimalen Architekturen, beispielsweise Speicher- und Rechenkapazität, eingespart werden, so dass das Verfahren auch auf Steuergeräten mit vergleichsweise geringen Speicher- und Rechenkapazitäten ausgeführt werden kann.
-
Beispielsweise kann dabei ein Forward Architecture Search Prozess, oder ein Differentiable Search Prozess wie PC-Darts oder Dirichlet NAS angewendet werden.
-
Insbesondere wird dabei, gemäß den Ausführungsformen der 2, für jedes der Vielzahl von künstlichen neuronalen Netzen der wenigstens eine Teil des entsprechenden künstlichen neuronalen Netzes jeweils aus Wiederholungen einer jeweiligen beziehungsweise entsprechenden Subkomponente zusammengesetzt, wobei das separate Ermitteln einer optimalen Architektur für den zumindest einen Teil des entsprechenden künstlichen neuronalen Netzes für jedes der Vielzahl von künstlichen neuronalen Netzen jeweils ein Ermitteln einer optimalen Architektur für die jeweilige Subkomponente aufweist.
-
Dabei können anfangs mehrere, auf jeweils unterschiedlichen Transferfunktionen basierenden Verbindungen zwischen je zwei Knoten vorgesehen sein, wobei alle Transferfunktionen zunächst alle die gleiche Auswahlwahrscheinlichkeit aufweisen. Während des Trainierens beziehungsweise des Optimierens der Subkomponente kristallisiert sich dann heraus, welche dieser Transferfunktionen mit einer größeren Wahrscheinlichkeit als andere Transferfunktionen zwischen den beiden Knoten angewendet werden, wobei schlussendlich die Transferfunktion, welche die höchste Auswahlwahrscheinlichkeit aufweist, ausgewählt wird und in der optimierten Subkomponente die einzige Verbindung zwischen den beiden Knoten darstellt.
-
Basierend auf entsprechenden optimalen Transferfunktionen kann dann jeweils auf einfache Art und Weise ein relativ einfacher Aufbau der Subkomponenten und damit auch der einzelnen künstlichen neuronalen Netze beziehungsweise des neuronalen Netz-Ensembles realisiert werden, bei gleichzeitig geringem Ressourcenverbrauch, beispielsweise von Speicher- und Rechenkapazitäten.
-
Bei den Trainingsdaten handelt es sich dabei ferner wiederum um Sensordaten.
-
3 zeigt ein Blockschaltbild eines Systems 20 zum Klassifizieren von Bilddaten gemäß Ausführungsformen der Erfindung.
-
Wie 3 zeigt, weist das System 20 dabei ein Steuergerät 21 zum Trainieren eines neuronalen Netz-Ensembles und ein Steuergerät 22 zum Klassifizieren von Bilddaten auf, wobei das Steuergerät 22 zum Klassifizieren von Bilddaten ausgebildet ist, Bilddaten basierend auf einem durch das Steuergerät 21 zum Trainieren eines neuronalen Netz-Ensembles trainierten neuronalen Netz-Ensembles zu klassifizieren. Das trainierte neuronale Netz-Ensemble kann dabei drahtgebunden oder drahtlos an das Steuergerät 22 zum Klassifizieren von Bilddaten übermittelt werden.
-
Gemäß den Ausführungsformen der 3 weist das Steuergerät 21 zum Trainieren eines neuronalen Netz-Ensembles dabei eine Ermittlungseinheit 23, welche ausgebildet ist, für jedes künstliche Netz einer Vielzahl von künstlichen neuronalen Netzen in dem neuronalen Netz-Ensemble separat eine optimale Architektur von zumindest einem Teil des entsprechenden künstlichen Neuronalen Netzes zu ermitteln und eine Trainingseinheit 24, welche ausgebildet ist, die einzelnen künstlichen neuronalen Netze innerhalb des neuronalen Netz-Ensembles basierend auf Trainingsdaten, beispielsweise Sensordaten, und der entsprechenden ermittelten Architektur zu trainieren.
-
Die Ermittlungseinheit und die Trainingseinheit können ferner jeweils beispielsweise basierend auf in einem Speicher hinterlegten und durch einen Prozessor ausführbaren Code realisiert werden.
-
Das Steuergerät 22 zum Klassifizieren von Bilddaten weist zudem eine Empfangseinheit 25 zum Empfangen eines durch das Steuergerät 21 zum Trainieren eines neuronalen Netz-Ensembles trainierten künstlichen neuronalen Netzes auf, sowie eine Steuereinheit 26, welche ausgebildet ist, Bilddaten basierend auf dem empfangenen neuronalen Netz-Ensemble zu klassifizieren, auf.
-
Bei der Empfangseinheit kann es sich dabei beispielsweise um einen Receiver, welcher ausgebildet ist, entsprechende Informationen zu empfangen, handeln. Die Steuereinheit kann dabei wiederum beispielsweise basierend auf in einem Speicher hinterlegten und durch einen Prozessor ausführbaren Code realisiert werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
