-
Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zum Bereitstellen eines Bit-Flip-fehlerrobusten, perturbationsrobsten und komprimierten neuronalen Netzes zur Steuerung einer zumindest teilautomatisierten Fahrfunktion eines Fahrzeugs. Darüber hinaus betrifft die vorliegende Erfindung ein Computerprogramm zur Bereitstellung eines derartigen neuronalen Netzes. Schließlich betrifft die Erfindung auch ein Fahrerassistenzsystem für ein Fahrzeug zur Steuerung einer zumindest teilautomatisierten Fahrfunktion des Fahrzeugs mittels eines derartigen neuronalen Netzes.
-
Künstliche neuronale Netze weisen großes Potenzial für Anwendungen und Verbesserungen in vielfältigen technischen Bereichen auf. Beispielsweise kommen in modernen Algorithmen der Objekterkennung und -klassifizierung innerhalb von Bilddaten vermehrt künstliche neuronale Netze zum Einsatz. Darüber hinaus sind aber zahlreiche weitere Anwendungen künstlicher neuronaler Netze bekannt. Im Allgemeinen kann eine Verwendung von künstlichen neuronalen Netzen immer dann vorteilhaft sein, wenn eine Fragestellung derart komplex ist, dass eine Schrittweise Lösung mittels vorgegebenen Entscheidungsregeln nahezu nicht möglich ist. Insbesondere also, wenn es sich um große Datenmengen handelt. So zum Beispiel auch bei einer Fusion automobiler Sensordaten. In der Praxis steht man jedoch oftmals vor dem Problem, dass diejenigen neuronalen Netze, die die dem neuronalen Netz zugrundeliegende Aufgabe am besten Lösen, typischerweise auch den größten Bedarf an Rechenressourcen, also an eine Kapazität einer zur Ausführung oder Anwendung verwendeten Hardware, aufweisen. Diese Ressourcen bzw. Kapazitäten sind jedoch nicht in allen Situationen, insbesondere für mobile Anwendungen oder im Automobilbereich, verfügbar.
-
Um diesem Problem zu begegnen, wurden bereits in der Vergangenheit Komprimierungsverfahren vorgeschlagen, bei denen ein jeweiliges neuronales Netz durch Entfernen von Elementen verkleinert, also gestutzt bzw. beschnitten wird (englisch: pruning). Auf diese Weise kann entsprechend ein zum Ausführen des neuronalen Netzes notwendiger Rechenaufwand, also die für das neuronale Netz benötigten Rechenressourcen und/oder Hardwarekapazitäten, reduziert werden. Problematisch in diesem Zusammenhang ist jedoch, dass das Beschneiden des neuronalen Netzes typischerweise zu einer Verringerung der Genauigkeit und/oder einer geringeren Robustheit des neuronalen Netzes gegenüber Angriffen und/oder Manipulationen bzw. Perturbationen führen kann.
-
Dabei ist unter einem Angriff und/oder einer Manipulation (engl., fachsprachlich: adversarial attack) die Verwendung von perturbierten Eingangsdaten zur Manipulation der Klassifikationsergebnisse des neuronalen Netzes zu verstehen. Perturbierte Eingangsdaten wiederum sind speziell manipulierte Eingangsdaten des neuronalen Netzes, welche dieses absichtlich zu einer Fehlklassifikationen verleiten. Die Manipulation wird dabei so vorgenommen, dass ein menschlicher Beobachter diese nicht bemerkt oder nicht als solche erkennt. Beispielsweise bei einem zur Objekterkennung trainierten neuronalen Netzwerk können die Pixel eines Bildes leicht verändert werden, sodass diese Veränderungen für einen Menschen nicht sichtbar sind, das neuronale Netz die Objekte auf dem Bild jedoch falsch zuordnet.
-
Zusätzlich zur Robustheit gegenüber einem Angriff und/oder einer Manipulation muss auch die Ausfallsicherheit gegenüber Hardwarefehler bedacht werden, bevor neuronale Netze im Rahmen sicherheitskritischer Anwendungen eingesetzt werden können. Hardwarefehler können beispielsweise zu sogenannten Bit-Flip-Fehlern führen. Dabei werden als Bit-Flip-Fehler jene Fehler bezeichnet, welcher auf eine Änderung des Werts eines Gewichts, einer Aktivierung oder einer Operation des neuronalen Netzes infolge einer Veränderung (Flip oder Drehung) eines einzelnen Bits, welches zur Darstellung des Werts des Gewichts, der Aktivierung oder der Operation des neuronalen Netzes innerhalb einer Recheneinrichtung oder eines (Speicher)Mediums verwendet wird, zurückzuführen ist. Eine mögliche Ursache hierfür kann beispielsweise ein erhöhter Einfluss elektromagnetischer Strahlung auf die das neuronale Netz ausführende Hardware (Recheneinrichtung und/oder (Speicher)Medium) sein.
-
Die Druckschrift
US 2020/234110 A1 offenbart ein System, ein Verfahren und ein nichttransitorisches computerlesbares Medium zum Bereitstellen von trainierten neuronalen Netzen mit erhöhter Robustheit gegen Angriffe und Manipulationen durch die Verwendung einer dynamischen Dropout-Routine und/oder einer zyklischen Lernraten-Routine. Zum Beispiel können die offengelegten Systeme eine dynamische Dropout-Wahrscheinlichkeitsverteilung bestimmen, die mit Neuronen eines neuronalen Netzwerks verbunden ist. Das offenbarte System kann weiterhin Neuronen aus einem neuronalen Netz basierend auf der dynamischen Dropout-Wahrscheinlichkeitsverteilung entfernen, um den Neuronen zu helfen, unterscheidbare Merkmale zu lernen. Darüber hinaus kann das offenbarte System eine zyklische Lernraten-Routine verwenden, um die kopierten Gewichte eines kopierten neuronalen Netzes von den Gewichten eines ursprünglichen neuronalen Netzes zu entfernen, ohne die Genauigkeit zu verringern, um sicherzustellen, dass die gelernten Entscheidungsgrenzen unterschiedlich sind.
-
Die Druckschrift
US 2018/0114114 A1 offenbart ein Verfahren, ein computerlesbares Medium und ein System zum Prunen eines neuronalen Netzes. Das Verfahren umfasst die Schritte des Empfangens von Gradienten erster Ordnung einer Kostenfunktion relativ zu Schichtparametern für ein trainiertes neuronales Netz und des Berechnens eines Pruningkriteriums für jeden Schichtparameter basierend auf dem Gradienten erster Ordnung, der dem Schichtparameter entspricht, wobei das Pruningkriterium eine Wichtigkeit jedes Neurons angibt, das in dem trainierten neuronalen Netz enthalten ist und dem Schichtparameter zugeordnet ist. Das Verfahren umfasst die zusätzlichen Schritte des Identifizierens mindestens eines Neurons mit der geringsten Wichtigkeit und des Entfernens des mindestens einen Neurons aus dem trainierten neuronalen Netz, um ein gepruntes neuronales Netz zu erzeugen.
-
Die Druckschrift
DE 10 2019 214 546 A1 offenbart eine Vorrichtung und computerimplementiertes Verfahren zur Optimierung einer Architektur eines künstlichen neuronalen Netzwerks, wobei eine Architektur des künstlichen neuronalen Netzwerks vorgegeben wird, in der Rechenoperationen des künstlichen neuronalen Netzwerks in Funktions-Schichten zusammengefasst sind, wobei abhängig von der Architektur ein Kehrwert einer Anzahl von Neuronen des künstlichen neuronalen Netzwerks in einer Ausgangs-Schicht einer der Funktions-Schichten bestimmt wird, wobei für diese Funktions-Schicht abhängig von der Architektur ein Faktor abhängig von einer Fenstergröße eines Max-Pooling Fensters in einer der Funktions-Schicht nachfolgenden anderen der Funktions-Schichten bestimmt wird, wobei ein Maß für eine Empfindlichkeit der Architektur gegenüber Hardware-Speicherfehlern abhängig von einem Produkt des Kehrwerts mit dem Faktor bestimmt wird, wobei überprüft wird, ob das Maß einen Schwellwert unterschreitet und wobei ein Hardware-Beschleuniger mit Neuronen, Verbindungen zwischen Neuronen, Gewichten und/oder Aktivierungsfunktionen konfiguriert wird, die von der Architektur vorgegeben sind, wenn das Maß den Schwellwert unterschreitet und wobei anderenfalls das Maß für eine andere Architektur bestimmt wird. Dadurch soll damit ein künstliches neuronales Netz bereitgestellt werden, das gegenüber zufälligen Hardware-Speicherfehlern - insbesondere Bit-Flip-Fehlern - robust sind.
-
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie das Bereitstellen eines komprimierten neuronalen Netzes zur Steuerung einer zumindest teilautomatisierten Fahrfunktion eines Fahrzeugs verbessert werden kann und wie das komprimierte neuronale Netz dabei gegenüber perturbierten Eingangsdaten sowie gegenüber Hardware-Fehlern robust ausgelegt werden kann ohne einen erhöhten Hardware-Ressourcenverbrauch aufzuweisen.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Computerprogramm, durch Recheneinrichtung sowie durch Fahrerassistenzsystem für ein Fahrzeug mit den Merkmalen gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Ansprüchen angegeben.
-
Ein erfindungsgemäßes computerimplementiertes Verfahren zum Bereitstellen eines Bit-Flip-fehlerrobusten, perturbationsrobsten und komprimierten neuronalen Netzes zur Steuerung einer zumindest teilautomatisierten Fahrfunktion eines Fahrzeugs umfasst ein Bereitstellen eines neuronalen Netzes, welches zur Steuerung einer zumindest teilautomatisierten Fahrfunktion eines Fahrzeugs basierend auf Eingangsdaten bestimmt ist. Das Verfahren umfasst auch ein Bereitstellen eines Trainingsdatensatzes, welcher reale Eingangsdaten und perturbierte Eingangsdaten umfasst. Zudem umfasst das Verfahren ein Trainieren des neuronalen Netzes mit dem Trainingsdatensatz, wobei ein Trainingsschritt des Trainierens dabei entweder mit einem Stapel realer Eingangsdaten oder mit einem Stapel perturbierter Eingangsdaten erfolgt. Ferner umfasst das Verfahren ein Auswerten einer Fehlerfunktion im Rahmen eines jeden Trainingsschrittes des Trainierens, wobei die Fehlerfunktion eine additives Regularisierungsmaß umfasst und das Regularisierungsmaß mit einem Regularisierungsfaktor gewichtet wird. Dabei wird während des Trainierens eine Adaption der Fehlerfunktion und/oder des Regularisierungsfaktors und/oder eines Gradienten der Fehlerfunktion durchgeführt wird.
-
Der Begriff des „zumindest teilautomatisierten“ Fahrens bzw. Manövrierens umfasst dabei automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind assistiertes, teilautomatisiertes, hochautomatisiertes, vollautomatisiertes und autonomes Fahren (mit jeweils zunehmendem Automatisierungsgrad).
-
Ein Training des neuronalen Netzes ist also im Rahmen des erfindungsgemäßen computerimplementierten Verfahrens so ausgelegt, dass die Fehlerfunktion ein mit einem Regularisierungsfaktor gewichtetes additives Regularisierungsmaß umfasst, und die Fehlerfunktion während des Trainierens adaptiert wird. Die Adaption kann dabei insbesondere eine Veränderung des Regularisierungsfaktors umfassen. Das Regularisierungsmaß kann beispielsweise so beschaffen sein, dass sich ein zu starkes Wachstum und/oder ein zu Hoher Absolutwert der Gewichte des neuronalen Netzes nachteilteilig auf einen Erfolg des Trainierens auswirken würde.
-
Die Verwendung perturbierter Eingangsdaten kann sicherstellen, dass im Rahmen des Trainierens des neuronalen Netzes eine verallgemeinerter Trainingserfolg erzielt wird. Beispielsweise kann, wenn als die realen und perturbierten Eingangsdaten Bilddaten verwendet werden, ein den einzelnen Pixeln der Trainingsdaten zugrundeliegende Pixel-Verteilung verallgemeinert werden. Mit anderen Worten kann beispielsweise eine Varianz der zugrundeliegende Pixel-Verteilung vergrößert werden. Mittels einer Adaption des Regularisierungsmaßes während des Trainierens kann eine Anpassung an die zugrundeliegende Pixel-Verteilung erzielt werden.
-
Es ist auch vorteilhaft, wenn die Adaption der Fehlerfunktion und/oder des Regularisierungsfaktors und/oder des Gradienten der Fehlerfunktion in Abhängigkeit einer Bit-Flip-Robustheitsüberprüfung erfolgt, wobei im Rahmen der Bit-Flip-Robustheitsüberprüfung zufällig einzelne Bits des neuronalen Netzes verändert werden. Mit Hilfe einer Bit-Flip-Robustheitsprüfung kann eine Fehlerrobustheit gegenüber zufälligen Bit-Flips - und folglich gegenüber einer Form von Hardwarefehlern - erhöht werden. Die Adaption der Fehlerfunktion und/oder des Regularisierungsfaktors und/oder des Gradienten der Fehlerfunktion in Kombination mit der Bit-Flip-Robustheitsprüfung erzielt dabei einen synergetischen Effekt. So kann zum einen die Robustheit des neuronalen Netzes gegenüber Hardware-Fehlern bereits während des Trainierens bestimmt werden und zum anderen kann dabei Einfluss auf das Training und insbesondere auf Gewichte, Aktivierungen und/oder Operationen des neuronalen Netzes genommen werden. Insgesamt können dabei während des Trainierens beispielsweise in eine restriktivere Verteilung gezwungen werden, sodass auch eine Komprimierung des neuronalen Netzes verbessert werden kann.
-
Eine besonders vorteilhafte Ausgestaltungsform sieht vor, dass die Bit-Flip-Robustheitsüberprüfung des neuronalen Netzes mit einer komprimierten Version des neuronalen Netzes erfolgt und die komprimierte Version des neuronalen Netzes mittels einer Rundungs- und/oder Stutzungsoperation in Abhängigkeit eines Komprimierungsparameters berechnet wird. Letztendlich dient das erfindungsgemäße computerimplementierte Verfahren dazu, ein Bit-Flip-fehlerrobusten, perturbationsrobsten und komprimierten neuronalen Netzes zur Steuerung der zumindest teilautomatisierten Fahrfunktion des Fahrzeugs bereitzustellen. Wird die die Bit-Flip-Robustheitsüberprüfung des neuronalen Netzes mit einer komprimierten Version des neuronalen Netzes durchgeführt, so kann bereits während des Trainierens eine Robustheit gegenüber Bit-Flip-Fehlern - und damit auch eine Robustheit gegenüber Hardware-Fehlern - bestimmt werden, wobei sich die Robustheit gegenüber Bit-Flip-Fehlern dabei direkt auf das bereitgestellte Bit-Flip-fehlerrobuste, perturbationsrobste und komprimierte neuronale Netz bezieht. Folglich werden mehrere Schritte zusammengefasst, wodurch das Trainieren des neuronalen Netzes gesamtheitlich verbessert werden kann.
-
Dabei ist es von Vorteil, wenn die Bit-Flip-Robustheitsüberprüfung des neuronalen Netzes auf Basis einer Simulation von Bit-Flips und/oder auf Basis eines programmierbaren integrierten Schaltkreises (FPGA), welcher ein Modul zur Injektion von Bit-Flips bereitstellt, und/oder mittels einer Zielhardware des neuronalen Netzes, wobei die Zielhardware zur Generierung von Bit-Flips einer erhöhten Strahlung ausgesetzt wird, erfolgt. Besonders einfach gestaltet sich die Bit-Flip-Robustheitsüberprüfung auf Basis einer Simulation der Bit-Flips. Dabei können zufällige Bit-Flips, also Änderungen des Werts eines Gewichts, einer Aktivierung oder einer Operation des neuronalen Netzes mittels einer Veränderung (Flip oder Drehung) eines einzelnen Bits, welches zur Darstellung des Werts des Gewichts, der Aktivierung oder der Operation des neuronalen Netzes innerhalb einer Recheneinrichtung oder eines (Speicher)Mediums verwendet wird, rein computerimplementiert bzw. softwarebasiert durchgeführt werden. Dieses Vorgehen kann beispielsweise in einem frühen Trainings- und/oder einem frühen Entwicklungsstadiums des neuronalen Netzes oder aber im Rahmen von experimentellen Tests von großem Vorteil sein.
-
Darüber hinaus ist es auch möglich, das neuronale Netz, bzw. eine komprimierte Version des neuronalen Netzes auf einem programmierbaren integrierten Schaltkreis (FPGA) auszuführen, wobei der FPGA zusätzlich ein Modul zur Injektion von Bit-Flips aufweist. So kann eine beispielsweise ein verbesserter hardware-bezug und damit ein höherer Grad an Realismus einzelner Bit-Flips erreicht werden. Schließlich ist es auch möglich die Bit-Flip-Robustheitsüberprüfung auf der Zielhardware auszuführen (fachsprachlich „deployen“, aus dem Englischen von „to deploy software“) und zur Generierung von Bit-Flips die Zielhardware einer erhöhten Strahlung, insbesondere einem Neutrinostrom, aussetzen. So kann ein bestmöglicher Grad an Realismus bei der Generierung einzelner Bit-Flips sichergestellt werden.
-
Besonders vorteilhaft ist es, wenn der Komprimierungsparameter zur Berechnung der komprimierten Version des neuronalen Netzes während des Trainierens ein trainierbarer Parameter ist. Dadurch kann eine Komprimierung des bereitgestellten Bit-Flip-fehlerrobusten, perturbationsrobsten und komprimierten neuronalen Netzes zur Steuerung der zumindest teilautomatisierten Fahrfunktion des Fahrzeugs verbessert werden.
-
Eine vorteilhafte Ausgestaltungsform sieht vor, dass die Adaption des Gradienten der Fehlerfunktion mittels einer Stutzungsoperationen durchgeführt wird. Dadurch kann ein Trainingsschritt des erneuten Trainierens im Falle perturbierter Eingangsdaten stabilisiert werden, sodass das Trainieren des neuronalen Netzes gesamthaft verbessert wird.
-
Zudem ist es von Vorteil, wenn das neuronale Netz eine Normalisierungs-Schicht umfasst, wobei ein Parameter der Normalisierungs-Schicht während des Trainierens konstant bleibt. Zahlreiche neuronale Netze weisen beispielsweise sogenannte Stapel-Normalisierungs-Schichten (engl., fachsprachlich „Batch-Normalization-Layer“) auf. Wird während des Trainierens sichergestellt, dass die Parameter der Stapel-Normalisierungs-Schichten (ggf. ab einem vordefinierten Zeitpunkt des Trainierens, also nach einer bestimmten Anzahl an Trainingsschritten, und/oder im Falle perturbierter Eingangsdaten) konstant bleibt, so kann beispielsweise eine Anpassung der Parameter an die perturbierten Eingangsdaten unterbunden werden. So ist es möglich, dass Normalisierungs-Schichten des neuronalen Netzes nur an die realen Eingangsdaten bzw. deren Verteilung angepasst werden und das neuronale Netz schließlich eine höhere Genauigkeit im Falle realer Eingangsdaten erreicht.
-
Darüber hinaus kann es von Vorteil sein, wenn das Regularisierungsmaß der Fehlerfunktion derart bestimmt wird, dass ein Wachstum der Gewichte des neuronalen Netzes während des Trainierens einen Fehlerwert der Fehlerfunktion erhöht und/oder dass ein unbegrenztes Wachstum der Gewichte des neuronalen Netzes unterbunden wird. So kann das Trainieren im Falle perturbierter Eingangsdaten stabilisiert werden.
-
Schließlich kann es auch vorteilhaft sein, wenn die Fehlerfunktion ein Aktivierungsmaß für eine Schicht des neuronalen Netzes umfasst, wobei mittels des Aktivierungsmaßes ein Wert für eine Aktivierung des neuronalen Netzes bestimmt wird. Mit Hilfe eines Aktivierungsmaßes kann während des Trainierens des neuronalen Netzes gezielt auf trainierbare Parameter einzelner Schichten des neuronalen Netzes Einfluss genommen werden. Umfasst das Aktivierungsmaß beispielsweise einen Absolutwert einer bestimmten Schicht und wirkt sich dieser Absolutwert negativ auf die Fehlerfunktion aus, so können gezielt Gewichte der vorhergehenden Schicht(en) in Ihrem Absolutwert reduziert werden. Insgesamt kann dadurch eine Komprimierung des neuronalen Netzes verbessert werden.
-
Ein weiterer Aspekt der Erfindung betrifft ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch eine Recheneinrichtung diese veranlassen, ein Bit-Flip-fehlerrobustes, perturbationsrobustes und komprimiertes neuronales Netz zur Steuerung einer zumindest teilautomatisierten Fahrfunktion eines Fahrzeugs gemäß dem erfindungsgemäßen computerimplementierten Verfahren bereitzustellen.
-
Des Weiteren betrifft die Erfindung ein computerlesbares (Speicher)Medium, umfassend Befehle, die bei der Ausführung des Programms durch eine Recheneinrichtung diese veranlassen, ein Bit-Flip-fehlerrobustes, perturbationsrobustes und komprimiertes neuronales Netz zur Steuerung einer zumindest teilautomatisierten Fahrfunktion eines Fahrzeugs gemäß dem erfindungsgemäßen computerimplementierten Verfahren bereitzustellen.
-
Ferner betrifft die Erfindung ein Fahrerassistenzsystem für ein Fahrzeug, umfassend eine Recheneinrichtung, welche mittels eines gemäß dem erfindungsgemäßen computerimplementierten Verfahren bereitgestellten Bit-Flip-fehlerrobusten, perturbationsrobusten und komprimierten neuronalen Netzes zur Steuerung einer zumindest teilautomatisierten Fahrfunktion des Fahrzeugs eingerichtet ist.
-
Ein erfindungsgemäßes Fahrzeug umfasst ein erfindungsgemäßes Fahrerassistenzsystem. Das Fahrzeug kann insbesondere als Personenkraftwagen ausgebildet sein.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Recheneinrichtung, für das erfindungsgemäße Assistenzsystem, für das erfindungsgemäße Fahrzeug, für das erfindungsgemäße Computerprogramm sowie für das erfindungsgemäße computerlesbares (Speicher)Medium.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, der Figur und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in der Figur allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügte Zeichnung näher erläutert. Dabei zeigt:
- 1 ein Ablaufdiagramm eines Verfahrens zum Bereitstellen eines Bit-Flip-fehlerrobusten, perturbationsrobsten und komprimierten neuronalen Netzes
-
1 zeigt ein Ablaufdiagramm eines Verfahrens 1 zum Bereitstellen eines Bit-Flip-fehlerrobusten, perturbationsrobsten und komprimierten neuronalen Netzes. Im Verfahrensschritt S1 wird zunächst ein neuronalen Netz, welches zur Steuerung einer zumindest teilautomatisierten Fahrfunktion eines Fahrzeugs basierend auf Eingangsdaten bestimmt ist, bereitgestellt. Im Schritt S2 wird zusätzlich ein Trainingsdatensatz, welcher reale Eingangsdaten und perturbierte Eingangsdaten umfasst, bereitgestellt.
-
Die perturbierten Eingangsdaten können mittels Manipulation der realen Eingangsdaten (engl., fachsprachlich „adversarial attack“) generiert werden. Im Verfahrensschritt S3 erfolgt ein Trainieren des neuronalen Netzes mit dem Trainingsdatensatz. Das Trainieren des neuronalen Netzes umfasst dabei einzelne Trainingsschritte, wobei in einem jeden Trainingsschritt dem neuronalen Netz ein Stapel (engl., fachsprachlich „batch“) realer Eingangsdaten oder ein Stapel perturbierter Eingangsdaten zugeführt wird. Zudem ist es denkbar, dass auch gemischte Stapel, also eine Mischung aus realen Eingangsdaten und perturbierten Eingangsdaten, dem neuronalen Netz zugeführt wird.
-
Beim Zuführen eines Stapels spricht man im Englischen bzw. im Fachsprachlichen auch von einem sogenannten „forward pass“, in 1 dargestellt durch den Verfahrensschritt S31. Im Verfahrensschritt S32 kann eine Fehlerfunktion ausgewertet werden. Die Fehlerfunktion kann ein additives Regularisierungsmaß umfassen, welches mit einem Regularisierungsfaktor gewichtet wird. Die Verfahrensschritte S31 und S32 bilden dabei einen Trainingsschritt.
-
Im Verfahrensschritt S33 kann mittels einer Rundungs- und/oder Stutzungsoperation in Abhängigkeit eines Komprimierungsparameters eine komprimierte Version des neuronalen Netzes bestimmt werden. Dabei kann der Komprimierungsparameter während des Trainierens ein trainierbarer Parameter sein. Dadurch kann die Komprimierung des neuronalen Netzes zusätzlich verbessert werden.
-
Im Verfahrensschritt S34 wird eine Bit-Flip-Robustheitsüberprüfung der komprimierten Version des neuronalen Netzes durchgeführt. Dabei werden im Rahmen der Bit-Flip-Robustheitsüberprüfung zufällig einzelne Bits der komprimierten Version des neuronalen Netzes verändert. Die Bit-Flip-Robustheitsüberprüfung der komprimierten Version des neuronalen Netzes kann dabei auf Basis einer Simulation von Bit-Flips, auf Basis eines programmierbaren integrierten Schaltkreises (FPGA), welcher ein Modul zur Injektion von Bit-Flips bereitstellt, und/oder mittels einer Zielhardware zur Ausführung des neuronalen Netzes, welche zur Generierung von Bit-Flips einer erhöhten Strahlung ausgesetzt wird, durchgeführt werden.
-
Die Bit-Flip- Robustheitsüberprüfung kann dazu verwendet werden, eine Adaption der Fehlerfunktion, des Regularisierungsfaktors und/oder eines Gradienten der Fehlerfunktion in Abhängigkeit der Bit-Flip- Robustheitsüberprüfung durchzuführen. Die Adaption ist dabei durch die pfeilartige Verbindung 2 von Verfahrensschritt S34 und Verfahrensschritt S32 gekennzeichnet. Ist das Trainieren des neuronalen Netzes abgeschlossen, so kann ein Bit-Flip-fehlerrobustes, perturbationsrobstes und komprimiertes neuronalen Netz zur Steuerung einer zumindest teilautomatisierten Fahrfunktion eines Fahrzeugs im Verfahrensschritt S4 ausgegeben werden. Dabei kann eine komprimierte Version des neuronalen Netzes aus Verfahrensschritt S33 verwendet werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2020234110 A1 [0006]
- US 2018/0114114 A1 [0007]
- DE 102019214546 A1 [0008]
