DE102020213814A1

DE102020213814A1 - Verfahren und Vorrichtung zum Ermitteln einer Abdeckung eines neuronalen Netzes

Info

Publication number: DE102020213814A1
Application number: DE102020213814.1A
Authority: DE
Inventors: Konrad Groh; Matthias Woehrle
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-11-03
Filing date: 2020-11-03
Publication date: 2022-05-05

Abstract

Computerimplementiertes Verfahren (1) zum Bereitstellen einer Abdeckung eines neuronalen Netzes (60), wobei das neuronale Netz (60) ausgebildet ist, zu einem Eingabesignal (x) ein Ausgabesignal (y) zu ermitteln, wobei das Ausgabesignal (y) eine Klassifikation des Eingabesignals (x) charakterisiert, wobei das Verfahren zum Ermitteln der Abdeckung die folgenden Schritte umfasst:• Ermitteln einer Schichteingabe basierend auf dem Eingabesignal (x);• Ermitteln einer Schichtausgabe basierend auf der Schichteingabe mittels einer ersten Schicht des neuronalen Netzes (60), wobei die erste Schicht eine Mehrzahl von Neuronen umfasst, wobei jeweils ein Neuron zumindest einen ersten Wert basierend auf der Schichteingabe ermittelt, wobei der erste Wert als zumindest Teil der Schichtausgabe bereitgestellt wird;• Ermitteln des Ausgabesignals (y) basierend auf der Schichtausgabe;• Für jedes Neuron der Mehrzahl von Neuronen:- Ermitteln eines Gradienten eines Verlustwertes bezüglich des durch das Neuron ermittelten ersten Wertes, wobei der Verlustwert eine Differenz zwischen dem ermittelten Ausgabesignal (y) und einem gewünschten Ausgabesignal charakterisiert;- Zuordnen des Neurons zu einer ersten Klasse, falls das Neuron durch die Schichteingabe hinreichend aktiviert ist und eine Norm des Gradienten einen vordefinierten ersten Schwellenwert erreicht oder überschreitet;• Ermitteln einer Abdeckung der ersten Schicht, wobei die Abdeckung der ersten Schicht einen Anteil der zur ersten Klasse zugeordneten Neuronen gegenüber allen Neuronen der ersten Schicht charakterisiert;• Bereitstellen der Abdeckung des neuronalen Netzes (60) basierend auf der Abdeckung der ersten Schicht.

Description

Technisches Gebiet
Die Erfindung betrifft ein Verfahren zum Bereitstellen einer Abdeckung eines neuronalen Netzes, ein Verfahren zum nachtrainieren des neuronalen Netzes, ein Verfahren zum Ansteuern einer Vorrichtung mittels des neuronalen Netzes, einer Vorrichtung zum Ermitteln der Abdeckung des neuronalen Netzes, ein Computerprogramm und ein computerlesbares Speichermedium.
Stand der Technik
Aus Lei Ma et al., „DeepGauge: Multi-Granularity Testing Criteria for Deep Learning Systems“, 14.08.2018, https://arxiv.org/pdf/1803.07519.pdf ist ein Verfahren zur Ermittlung einer Abdeckung eines neuronalen Netzes bekannt.
Vorteile der Erfindung
Neuronale Netze, insbesondere tiefe neuronale Netze, können in verschiedenen technischen Systemen verwendet werden, um eine Umgebung oder einen internen Zustand des entsprechenden Systems zu klassifizieren. Während neuronale Netze hierbei zu beachtenswerten Leistungen in der Lage sind, klassifizieren sie die Daten im Allgemeinen nicht fehlerfrei. Daher ist es während der Entwicklung eines neuronalen Netzes zum Einsatz in einem technischen System wichtig, das neuronale Netz auf mögliche Fehlerursachen zu testen.
Eine bekannte Möglichkeit zum Testen von neuronalen Netzen ist die sogenannte (Neuronen-)Abdeckung eines neuronalen Netzes (engl. Neuron Coverage oder Coverage) zu bestimmen. Hierfür wird für die Neuronen eines neuronalen Netzes mittels eines Test- oder Validierungsdatensatzes ermittelt, ob die Neuronen aktiviert werden. Aktivierung kann hier derart verstanden werden, dass bezüglich eines dem neuronalen Netz übermittelten Eingabesignals ein Neuron aktiviert wird, falls der Betrag der Ausgabe des Neurons größer ist als ein vordefinierter Schwellenwert.
Das Ermitteln einer Abdeckung ist wichtig, da so ermittelt werden kann, welche Neuronen einen bedeutsamen Beitrag zur Ausgabe des neuronalen Netzes liefern und welche nicht. Falls zum Beispiel für ein Neuron auf Basis eines Test- oder Validierungsdatensatzes keine Aktivierung festgestellt werden kann, ist unklar, wie das Neuron zur Ausgabe des neuronalen Netzes beiträgt. Im ungünstigsten Fall wird das Neuron während des Betriebs des neuronalen Netzes bei Eingabesignalen aktiv, die so oder in ähnlicher Form nicht im Test- oder Validierungsdatensatz auftreten, wobei die Aktivierung des Neurons einen negativen Einfluss auf die Ausgabe des neuronalen Netzes haben kann, zum Beispiel eine Fehlklassifikation verursachen kann. Durch die Ermittlung der Abdeckung können solche Neuronen, die keinen bedeutsamen Beitrag zur Ausgabe des neuronalen Netzes leisten, identifiziert werden und entsprechende Maßnahmen eingeleitet werden. Zum Beispiel kann das neuronale Netz derart nachtrainiert werden, dass ein vor dem nachtrainieren nicht aktives Neuron für den Test- oder Validierungsdatensatz aktiviert wird. Alternativ ist auch möglich, dass das Neuron aus dem neuronalen Netz entfernt wird, vorzugsweise mit einem anschließenden nachtrainieren des neuronalen Netzes ohne das entsprechend entfernte Neuron.
Die Bestimmung einer Abdeckung erlaubt daher dem Fachmann ein potentiell fehlerhaftes Verhalten des neuronalen Netzes auszumachen und das potentiell fehlerhafte Verhalten zu mitigieren. Dem Fachmann wird durch die Information der Abdeckung eines neuronalen Netzes so eine Information über den inneren Zustand des neuronalen Netzes gegeben, die den Fachmann anleitet das neuronale Netz zu verändern, zum Beispiel das neuronale Netz weiter zu trainieren oder die Architektur des neuronalen Netzes zu verändern. Mit anderen Worten, das Verfahren erlaubt die Funktionsweise des Systems, nämlich des neuronalen Netzes, das der Bereitstellung der Abdeckung dient, zu beeinflussen.
Die Erfinder haben herausgefunden, dass bekannte Verfahren zum Ermitteln einer Abdeckung eines neuronalen Netzes jedoch nicht alle Gegebenheiten eines neuronalen Netzes berücksichtigen und so ermittelte Abdeckungen daher nicht zwangsläufig korrekt anzeigen, welche Neuronen einen belegbaren Beitrag zur Ausgabe des neuronalen Netzes liefern und welche nicht.
Das Verfahren mit Merkmalen des unabhängig Anspruchs 1 erlaubt vorteilhafterweise das korrekte Ermitteln einer Abdeckung eines neuronalen Netzes, welches zur Klassifikation verwendet wird. Das Verfahren erlangt diese Eigenschaft durch das Einbeziehen von Informationen eines Gradienten des neuronalen Netzes in die Entscheidung, ob ein Neuron einen Beitrag zur Ausgabe des neuronalen Netzes liefert oder nicht. Die so ermittelte Abdeckung identifiziert daher vorteilhafterweise auch solche Neuronen, die zwar aktiviert wurden, die aber trotzdem keinen belegbaren Beitrag zur Ausgabe des neuronalen Netzes liefern.
Offenbarung der Erfindung
In einem ersten Aspekt betrifft die Erfindung ein computerimplementiertes Verfahren zum Bereitstellen einer Abdeckung eines neuronalen Netzes, wobei das neuronale Netz ausgebildet ist, zu einem Eingabesignal ein Ausgabesignal zu ermitteln, wobei das Ausgabesignal eine Klassifikation des Eingabesignals charakterisiert, wobei das Verfahren zum Ermitteln der Abdeckung die folgenden Schritte umfasst:

• Ermitteln einer Schichteingabe basierend auf dem Eingabesignal;
• Ermitteln einer Schichtausgabe basierend auf der Schichteingabe mittels einer ersten Schicht des neuronalen Netzes, wobei die erste Schicht eine Mehrzahl von Neuronen umfasst, wobei jeweils ein Neuron zumindest einen ersten Wert basierend auf der Schichteingabe ermittelt, wobei der erste Wert als zumindest Teil der Schichtausgabe bereitgestellt wird;
• Ermitteln des Ausgabesignals basierend auf der Schichtausgabe;
• Für jedes Neuron der Mehrzahl von Neuronen:
- - Ermitteln eines Gradienten eines Verlustwertes bezüglich des durch das Neuron ermittelten ersten Wertes, wobei der Verlustwert eine Differenz zwischen dem ermittelten Ausgabesignal und einem gewünschten Ausgabesignal charakterisiert;
- - Zuordnen des Neurons zu einer ersten Klasse, falls das Neuron durch die Schichteingabe hinreichend aktiviert ist und eine Norm des Gradienten einen vordefinierten ersten Schwellenwert erreicht oder überschreitet;
• Ermitteln einer Abdeckung der ersten Schicht, wobei die Abdeckung der ersten Schicht einen Anteil der zur ersten Klasse zugeordneten Neuronen gegenüber allen Neuronen der ersten Schicht charakterisiert;
• Bereitstellen der Abdeckung des neuronalen Netzes basierend auf der Abdeckung der ersten Schicht.

Im Verfahren kann das neuronale Netz als ein Klassifikator verstanden werden, welcher ein ihm übergebenes Eingabesignal klassifiziert. Das neuronale Netz kann derart ausgebildet sein, dass es verschiedene Typen von Eingabesignalen entgegennimmt. Beispielsweise ist möglich, dass das Eingabesignal zumindest ein Bild umfasst, welches vom neuronalen Netz klassifiziert wird. Das Bild kann insbesondere von einem Sensor ermittelt werden, beispielsweise einem Kamerasensor, einem LIDAR-Sensor, einem Radarsensor, einem Ultraschallsensor oder einer Thermalkamera. Auch ist möglich, dass das Bild synthetisch erzeugt wird, zum Beispiel mittels einer Computersimulation oder eines maschinellen Lernverfahrens (z.B. mittels eines generativen adverseriellen Netzwerks, engl. Generative Adversarial Network, GAN).
Zusätzlich oder alternativ ist möglich, dass das Eingabesignal zumindest ein Audiosignal umfasst, welches vom neuronalen Netz klassifiziert wird. Insbesondere kann das Audiosignal durch einen Sensor ermittelt werden, zum Beispiel durch ein Mikrofon. Auch ist möglich, dass das Audiosignal synthetisch erzeugt wird, zum Beispiel mittels einer Computersimulation oder eines maschinellen Lernverfahrens (z.B. mittels eines Wellennetzes, engl. WaveNet).
Das Ausgabesignal des neuronalen Netzes kann eine Klassifikation des Eingabesignals in mindestens eine Klasse charakterisieren. Alternativ oder zusätzlich kann das Ausgabesignal auch eine Klassifikation von Objekten im Eingabesignal und eine entsprechende Position der Objekte innerhalb des Eingabesignals charakterisieren. Zum Beispiel kann das Eingabesignal ein Bild umfassen und das Ausgabesignal kann eine Klassifikation der Objekte im Bild und die Position der Objekte im Bild charakterisieren. Alternativ oder zusätzlich kann das Ausgabesignal auch mehrere Klassifikationen des Eingabesignals charakterisieren, z.B. eine semantische Segmentierung.
Das neuronale Netz ist im Verfahren ein vorzugsweise trainiertes neuronales Netz.
Das neuronale Netz empfängt das Eingabesignal, verarbeitet es basierend auf der zumindest einen ersten Schicht, vorzugsweise mit einer Mehrzahl von ersten Schichten oder einer Mehrzahl von ersten und zweiten Schicht, und gibt anschließend das Ausgabesignal aus. Ein Informationsfluss der Schichten bestimmt hierbei eine Ordnung der Schichten des neuronalen Netzes. Falls eine Schicht L₁ eine Schichtausgabe an eine andere Schicht L₂ übermittelt, so geht die Schicht L₁ der Schicht L₂ voraus und die Schicht L₂ folgt der Schicht L₁.
Der zumindest einen ersten Schicht des neuronalen Netzes wird im Laufe der Verarbeitung die Schichteingabe bereitgestellt. Falls der ersten Schicht keine andere Schicht vorausgeht, kann das Eingabesignal direkt als Schichteingabe verwendet werden. Auch ist möglich, dass das Eingabesignal zunächst eine Vorverarbeitung (engl. pre-processing) unterläuft und anschließend der ersten Schicht bereitgestellt wird. Falls der ersten Schicht eine andere Schicht vorausgeht, empfängt die erste Schicht eine Schichtausgabe der anderen Schicht als Schichteingabe.
Zur Ermittlung der Schichtausgabe umfasst die erste Schicht eine Mehrzahl von Neuronen. Die Neuronen können auch als Neuronen der Schicht verstanden werden. Als Neuronen kann die Schicht insbesondere entweder Faltungsneuronen (engl. Convolutional) und/oder vollverbundene Neuronen (engl. Fully Connected) umfassen.
Falls ein Neuron ein Faltungsneuron ist, kann das Neuron basierend auf einer Faltung der Schichteingabe mittels eines Faltungskerns (engl. filter kernel) eine Mehrzahl von ersten Werten ermitteln, die in Form einer Merkmalskarte (engl. Feature Map) in der Schichtausgabe bereitgestellt werden können. Dabei können die durch die Faltung ermittelten Werte direkt als erste Werte in der Schichtausgabe bereitgestellt werden. Alternativ ist auch vorstellbar, dass die durch die Faltung ermittelten Werte einer vom Faltungsneuron umfassten Aktivierungsfunktion, zum Beispiel einer Rektifizierungseinheit (engl. rectified linear unit, ReLU), zugeführt werden und die durch die Aktivierungsfunktion ermittelten Werte als erste Werte in der Schichtausgabe bereitgestellt werden.
Falls ein Neuron ein vollverbundenes Neuron ist, kann das Neuron den ersten Wert basierend auf einer gewichteten Summe einer Mehrzahl von Elementen der Schichteingabe ermitteln und in der Schichtausgabe zur Verfügung stellen. Dabei kann der durch die gewichtete Summe ermittelten Werte direkt als erster Wert in der Schichtausgabe bereitgestellt werden. Alternativ ist auch vorstellbar, dass der durch die gewichtete Summe ermittelte Wert einer vom vollverbundenen Neuron umfassten Aktivierungsfunktion, zum Beispiel einer ReLU, zugeführt wird und der durch die Aktivierungsfunktion ermittelte Wert als erster Wert in der Schichtausgabe bereitgestellt werden.
Ein Neuron umfasst zur Ermittlung des ersten Wertes vorzugsweise Gewichte, auf deren Basis der erste Wert ermittelt werden kann. Die Gewichte können insbesondere als Gewichte einer gewichteten Summe oder einer diskreten Faltung verwendet werden. Da die erste Schicht eine Mehrzahl von Neuronen umfasst, kann die Schichtausgabe eine Mehrzahl von Merkmalskarten oder eine Mehrzahl von ersten Werten umfassen.
Die Art der Neuronen der ersten Schicht kann als die Art der ersten Schicht definierend verstanden werden. Umfasst die erste Schicht ausschließlich eine Mehrzahl von Faltungsneuronen, so kann die erste Schicht als Faltungsschicht (engl. Convolutional Layer) verstanden werden. Umfasst die erste Schicht ausschließlich eine Mehrzahl von vollverbundenen Neuronen, kann die erste Schicht als vollverbundene Schicht (engl. Fully Connected Layer) verstanden werden.
Die erste Schicht oder die ersten Schichten der Mehrzahl von ersten Schichten können als parametrierbare Schichten des neuronalen Netzes verstanden werden, wobei die Gewichte der Neuronen der ersten Schichten des neuronalen Netzes die Parameter des neuronalen Netzes darstellen. Das neuronale Netz kann darüber hinaus zumindest eine zweite Schicht, vorzugsweise eine Mehrzahl von zweiten Schichten, umfassen, die insbesondere eine nichtlineare Funktion darstellen kann bzw. können. Insbesondere können zweite Schichten Aktivierungsfunktionen (z.B. Sigmoid-Einheiten oder Rektifizierungseinheiten, engl. Rectified Linear Units, ReLU), Normalisierungsfunktionen (z.B. Stapelnormalisierung, engl. Batch Norm, oder Gruppennormalisierung, engl. Group Norm) oder Bündelungsfunktionen (engl. Pooling Layer) charakterisieren. Die ersten und zweiten Schichten können im neuronalen Netz beliebig angeordnet werden. Insbesondere kann die Anordnung der Schichten während der Entwicklung des neuronalen Netzes optimiert werden, beispielsweise über eine Hyperparametersuche oder über Methoden für neuronale Architektursuchen (engl. Neural Architecture Search, NAS).
Die Schichtausgabe der ersten Schicht kann einer anderen Schicht des neuronalen Netzes als Schichteingabe zur Verfügung gestellt werden. Alternativ ist auch möglich, dass die Schichtausgabe als zumindest Teil des Ausgabesignals des neuronalen Netzes bereitgestellt wird. Vor der Bereitstellung als zumindest Teil des Ausgabesignals ist auch möglich, dass die Schichtausgabe nachverarbeitet wird (engl. post-processing).
Durch seinen Aufbau kann das neuronalen Netzes als ein Graph verstanden werden, in dem Informationen vom Eingabesignal über verschiedene Pfade ins Ausgabesignal fließen, wobei die Neuronen als die Knoten des Graphen verstanden werden können. Das Verfahren zur Ermittlung der Abdeckung kann derart verstanden werden, dass in dem Graph Pfade aufgefunden werden können, auf denen keine Information ins Ausgabesignal fließt. Falls für zumindest ein Eingabesignal, vorzugsweise aber eine Mehrzahl von Eingabesignalen, nicht festgestellt werden kann, dass ein Pfad einen bedeutsamen Beitrag zum Ausgabesignal leistet, kann dies bedeuten, dass unklar ist, unter welchen Bedingungen Informationen auf diesem Pfad das Ausgabesignal beeinflussen. Insbesondere ist unklar, ob der Pfad das Ausgabesignal negativ beeinflussen kann, also der Pfad für andere Eingabesignale eventuell einen bedeutsamen Beitrag zum Ausgabesignal liefert und so eine Fehlklassifikation verursachen kann.
Vorteilhafterweise ermöglicht das Verfahren Knoten des Graphen, also Neuronen des neuronalen Netzes, zu erkennen, ab denen keine bedeutsamen Informationen mehr in das Ausgabesignal einfließen. Dies kann derart verstanden werden, als dass durch das Verfahren Neuronen ermitteln werden können, die keinen bedeutsamen Einfluss auf das Ausgabesignal haben. Dies ist von Vorteil, da so erkannte Neuronen während einer Entwicklung des neuronalen Netzes erkannt werden können und entsprechende Maßnahmen vorgenommen werden können, um das neuronale Netz gegen eine Fehlklassifikation des neuronalen Netzes abzusichern. Mit anderen Worten, das Verfahren erlaubt die Funktionsweise des Klassifikationssystems positiv zu beeinflussen.
Das Verfahren kann derart verstanden werden, dass zur Bestimmung, ob ein Neuron einer Schicht einen bedeutsamen Einfluss auf das Ausgabesignal hat oder nicht, zwei Kriterien an das Neuron angelegt werden, die mit zumindest einem aber vorzugsweise einer Mehrzahl von Eingabesignalen eines Test- oder Validierungsdatensatzes überprüft werden können.
Das erste Kriterium kann derart verstanden werden, dass untersucht wird, ob das Neuron durch zumindest ein Eingabesignal des Test- oder Validierungsdatensatzes aktiviert wird. Ein Neuron kann als aktiviert verstanden werden, falls ein Betrag des durch das Neuron ermittelten ersten Werts einen vordefinierten zweiten Schwellenwert erreicht oder übersteigt. Falls das Neuron ein Faltungsneuron ist, kann das Neuron als aktiviert verstanden werden, falls ein Betrag zumindest eines des durch das Neuron ermittelten ersten Wertes den zweiten Schwellenwert erreicht oder übersteigt. Alternativ kann auch zu einer Mehrzahl von Eingabesignalen jeweils der erste Wert des Neurons ermittelt werden und das Neuron als aktiviert erachtet werden, wenn die Varianz der so ermittelten ersten Werte den zweiten Schwellenwert erreicht oder übersteigt. Alternativ ist auch möglich, dass für alle Neuronen einer Schicht der Betrag des jeweiligen ersten Wertes für die jeweiligen Eingabesignale ermittelt wird und ein Neuron als aktiviert erachtet wird, falls der Betrag des durch das Neuron ermittelten ersten Werts für zumindest ein Eingabesignal der größte Betrag unter allen Beträgen der ersten Werte der Schichtausgabe der ersten Schicht ist, die das Neuron umfasst, oder der Betrag zu einer vordefinierten ersten Anzahl von größten Beträgen aller Beträge gehört, zum Beispiel zu den fünf größten Beträgen, die für ein Eingabesignal ermittelt wurden.
Generell kann das erste Kriterium daher derart verstanden werden, dass an Hand des durch ein Neuron ermittelten ersten Wertes ermittelt wird, ob der erste Wert aus numerischer Sicht in der Lage ist, einen bedeutsamen Beitrag zum Ausgabesignal beizusteuern. Es ist auch möglich, dass für unterschiedliche Neuronen unterschiedliche Schwellenwerte angelegt werden, ab denen ein entsprechendes Neuron als aktiviert erachtet wird. So ist möglich, dass abhängig von einer Position der Schicht, die das Neuron beinhaltet, im neuronalen Netz ein Schwellenwert gewählt wird, wonach bemessen wird, wann das Neuron als aktiviert erachtet wird. Gleichsam ist möglich, dass die erste Anzahl von größten Beträgen abhängig von der Position gewählt wird.
Das zweite Kriterium kann derart verstanden werden, dass ermittelt wird, ob eine Änderung des ersten Wertes eine bedeutsame Änderung des Ausgabesignals nach sich ziehen würde. Zu diesem Zweck wird der Gradient des Verlustwertes bezüglich des ersten Wertes ermittelt und überprüft, ob die Magnitude des Gradienten hinreichend unterschiedlich von Null ist, also den ersten Schwellenwert erreicht oder überschreitet.
Falls beide Kriterien erfüllt sind, kann dies derart verstanden werden, als dass bekannt ist, dass das Neuron einen bedeutsamen Beitrag zum Ausgabesignal leistet. Ob der Beitrag an sich eine Fehlklassifikation verursachen kann, kann mit weiteren Prüfverfahren ermittelt werden. Zum Beispiel kann mit Verfahren der erklärbaren künstlichen Intelligenz (engl. Explainable AI) ermittelt werden, ob der Beitrag eine Fehlklassifikation verursachen kann oder nicht.
Eine Abdeckung einer Schicht kann als ein Wert verstanden werden, der den prozentualen Anteil der abgedeckten Neuronen der Schicht charakterisiert. Ein Neuron kann als abgedeckt verstanden werden, falls es der ersten Klasse zugewiesen wurde, andernfalls kann es als nicht abgedeckt verstanden werden.
Zur Ermittlung des Verlustwertes kann dem neuronalen Netz zur Entwicklungszeit für das Eingabesignal ein gewünschtes Ausgabesignal übermittelt werden, auf dessen Basis zusammen mit dem ermittelten Ausgabesignal dann der Verlustwert ermittelt werden kann.
Es ist jedoch auch möglich, dass Verfahren zur Ermittlung der Abdeckung in einem Feldtest durchzuführen. Beispielsweise kann das neuronale Netz in einem Schattenmodus (engl. Shadow Mode oder Dark Launch) in einer Vorrichtung betrieben werden, in der es später zum Einsatz kommen soll. Während des Feldtests sind verschiedene Herangehensweisen zur Ermittlung des gewünschten Ausgabesignals möglich. Beispielsweise kann ein Testingenieur ein gewünschtes Ausgabesignal während des Feldtests übermitteln. Alternativ ist möglich, dass das gewünschte Ausgabesignal derart ermittelt wird, dass das Eingabesignal augmentiert wird und das gewünschte Ausgabesignal das Ausgabesignal des neuronalen Netzes für das augmentierte Eingabesignal ist. Alternativ ist auch möglich, dass eine Zeitreihe von Eingabesignalen aufgenommen wird und als gewünschte Ausgabe eines Eingabesignals das Ausgabesignal des neuronalen Netzes für ein dem Eingabesignal vorgehenden oder nachfolgenden Eingabesignal der Zeitreihe verwendet wird.
Unabhängig von der gewählten Art des gewünschten Ausgabesignals, kann der Verlustwert derart ermittelt werden, dass er eine Differenz zwischen dem für das Eingabesignal ermittelten Ausgabesignal und dem gewünschten Ausgabesignal charakterisiert. Vorzugsweise kann der Verlustwert hierfür mittels einer Verlustfunktion ermittelt werden. Die Verlustfunktion kann insbesondere eine negative logarithmierte Mutmaßlichkeitsfunktion sein (engl. negative log-likelihood function).
In einer bevorzugten Ausführungsform des Verfahrens ist möglich, dass das neuronale Netz eine Mehrzahl von ersten Schichten umfasst, wobei für jede erste Schicht eine Abdeckung der ersten Schicht ermittelt wird und die Abdeckung des neuronalen Netzes einen Durchschnitt der Abdeckungen der ersten Schichten, ein Maximum der Abdeckungen der ersten Schichten oder ein Minimum der Abdeckungen der ersten Schichten charakterisiert.
Die unterschiedlichen Arten der Ermittlung einer Abdeckung können beispielsweise als automatisierte Indikatoren vorgesehen werden, ab wann das neuronale Netz durch das Verfahren erfolgreich geprüft wurde. Für nicht sicherheitskritische Anwendungen kann z.B. vorgesehen sein, dass das neuronale Netz nur minimal getestet wird, bevor es im Betrieb verwendet wird. In diesem Fall kann beispielsweise das Maximum der Abdeckungen der Schichten verwendet werden, um zu bestimmen, wann das neuronale Netz das Prüfungsverfahren bestanden hat. Für sicherheitskritische Anwendungen können beispielsweise die anderen beiden Berechnungsmethoden der Abdeckung ermittelt werden. Der Durchschnitt der Abdeckungen kann als mittlere Hürde zum Bestehen der Prüfung erachtet werden, während ein Minimum der Abdeckungen eine am schwierigsten zu bestehende Prüfung charakterisiert. Vorteilhafterweise kann das Verfahren zum Ermitteln der Abdeckung daher an die Anforderungen, die im Betrieb an das neuronale Netz gestellt werden, angepasst werden.
Weiterhin ist möglich, dass, falls die Abdeckung des neuronalen Netzes nicht ausreichend ist, dem Eingabesignal ein gewünschtes Ausgabesignal zugeordnet wird und das neuronales Netz basierend auf dem Eingabesignal und dem Ausgabesignal nachtrainiert wird.
Ob die Abdeckung des neuronalen Netzes ausreichend ist oder nicht kann beispielsweise über einen Schwellenwert ermittelt werden. Da das Eingabesignal im beschriebenen Fall eine nicht ausreichende Abdeckung erzielt hat, kann durch das nachtrainieren des neuronalen Netzes mittels des annotierten Eingabesignals überprüft werden, ob durch die Erweiterung des Trainingsdatensatzes das neuronale Netz derart Trainiert wird, dass ein vorher nicht abgedecktes Neuron anschließend abgedeckt ist.
Weiterhin ist möglich, dass, falls die Abdeckung des neuronalen Netzes nicht ausreichend ist, zumindest ein Neuron des neuronalen Netzes, welches nicht der ersten Klasse zugeordnet wurde, entfernt wird.
Das Entfernen des Neurons kann als ein Reduzieren (engl. pruning) des neuronalen Netzes verstanden werden, bei dem Neuronen mit einem unbekannten aber potentiell negativen Einfluss auf die Klassifikationsgenauigkeit des neuronalen Netzes vorteilhafterweise entfernt werden können.
Darüber hinaus ist auch möglich, dass basierend auf einer Ermittlung einer Abdeckung ein Datensatz definiert wird. Insbesondere ist in einer vorteilhaften Ausführungsform des Verfahrens möglich, dass zu einer Mehrzahl von Eingabesignalen jeweils eine korrespondierende Abdeckung des neuronalen Netzes ermittelt wird und zumindest eine Untermenge der Mehrzahl von Eingabesignalen annotiert wird, wobei zum Ermitteln der Untermenge die Eingabesignale gewählt werden, die zu einer vordefinierten Anzahl von kleinsten Abdeckungen oder zu einer vordefinierten Anzahl von größten Abdeckungen korrespondieren.
Die Untermenge kann als Datensatz verstanden werden, der basierend auf dem neuronalen Netz ermittelt wird. Zu jedem Eingabesignal der Mehrzahl von Eingabesignalen kann durch das neuronale Netz eine Abdeckung ermittelt werden, die mit dem jeweiligen Eingabesignal erreicht wird. Die Abdeckung korrespondiert daher mit dem Eingabesignal. Anschließend können die Eingabesignale gemäß ihrer korrespondierenden Abdeckung sortiert werden. Die Untermenge kann dann so gewählt werden, dass die zu den N kleinsten ermittelten Abdeckungen korrespondierenden Eingabesignale ausgewählt werden, wobei N eine vordefinierte Zahl ist, über die bestimmt werden kann, wie groß die Untermenge sein soll. Alternativ ist auch möglich, dass anstelle der kleinsten Abdeckungen die größten Abdeckungen als Auswahlkriterium verwendet werden.
Durch das auswählen der kleinsten Abdeckungen können durch die Untermenge besonders wichtige Pfade durch das neuronale Netz ermittelt werden, auf denen Informationen mit potentiell wenig Redundanz vom Eingabesignal zum Ausgabesignal gelangen. Dies ist insbesondere bei sicherheitskritischen Anwendungen von Vorteil, da so untersucht werden kann, welcher Teil des neuronalen Netzes besonders gegen Attacken geschützt werden soll. Als Attacken gegen das neuronale Netz können solche Methoden oder Verfahren verstanden werden, die eine bewusste und intendierte Fehlklassifikation des neuronalen Netzes hervorrufen, typischerweise für sonst korrekt klassifizierte Eingabesignale. Hierunter fallen zum Beispiel Angriffe mittels feindlicher Beispiele (engl. Adversarial Examples).
Ein anderes Beispiel sind Angriffe auf die Hardware, die das neuronale Netz ausführt. Es ist beispielsweise bekannt, dass eingebettete Hardware zur Berechnung der Ausgabe von neuronalen Netzen über sogenannte Reihenhammerattacken (engl. Row Hammer Attacks) angegriffen werden kann. Über die ermittelte Untermenge können die Neuronen des neuronalen Netzes ermittelt werden, die zur Sicherheit in einem Teil der Hardware untergebracht werden sollte, der weniger oder nicht anfällig gegenüber Reihenhammerattacken ist. Ein Fachmann kann daher vorteilhafterweise mittels des Verfahrens zur Ermittlung der Abdeckung zumindest ein Neuron des neuronalen Netzes ermitteln, welches besonders gegen mögliche Angriffe gegen das neuronale Netz geschützt werden sollte.
Durch das Auswählen der größten Abdeckungen kann ein Datensatz ermittelt werden, der eine möglichst hohe Abdeckung des neuronalen Netzes ermöglicht, während trotzdem nicht alle Eingabesignale der Mehrzahl von Eingabesignalen verwendet werden müssen. Hierdurch kann vorteilhafterweise die Annotation von Eingabesignalen erspart werden, die keine zusätzliche Information bezüglich des Testens des neuronalen Netzes liefern. Als Annotation von Eingabesignalen kann hierbei das zuordnen von gewünschten Ausgabesignalen zu Eingabesignalen verstanden werden. Der Vorgang der Annotation ist im Allgemeinen äußerst zeitaufwändig. Daher kann vorteilhafterweise durch das beschriebe Verfahren der Datensatz so gestaltet werden, dass nur wirklich notwendige Eingabesignale annotiert werden müssen.
In einer weiteren Ausführungsform ist möglich, dass das neuronale Netz basierend auf den annotierten Eingabesignalen der Untermenge trainiert wird.
Je nach Auswahlkriterium für die Untermenge, kann durch das Training entweder der Einfluss von besonders wichtigen Pfaden im neuronalen Netz weiter gestärkt werden (bei Auswahl der kleinsten Abdeckungen) oder die Abdeckung des neuronalen Netzes weiter erhöht werden (bei Auswahl der größten Abdeckungen). Die Ausführungsform kann daher als eine Möglichkeit zum aktiven Lernen (engl. active learning) verstanden werden.
Weiterhin ist möglich, dass zum Ermitteln der Abdeckung der ersten Schicht oder der Mehrzahl von ersten Schichten eine Mehrzahl von Eingabesignalen verwendet wird, wobei zu jedem Eingabesignal der Mehrzahl von Eingabesignalen jeweils die Abdeckung der ersten Schicht oder die Abdeckungen der ersten Schichten ermittelt wird und die Abdeckung des neuronalen Netzes basierend auf den Abdeckungen der ersten Schicht für alle Eingabesignale oder den Abdeckungen der ersten Schichten für alle Eingabesignale ermittelt wird.
Beispielsweise ist möglich, dass im Schritt des Zuordnens des Neurons das Neuron als hinreichend aktiviert erachtet wird, falls ein Betrag des durch das Neuron ermittelten ersten Wertes bezüglich zumindest eines Eingabesignals der Mehrzahl von Eingabesignalen einen vordefinierten zweiten Schwellenwert erreicht oder übersteigt.
Es ist auch möglich, dass gefordert wird, dass der erste Wert für eine Mindestanzahl von Eingabesignalen den zweiten Schwellenwert übersteigt, damit das Neuron als hinreichend aktiviert erachtet wird.
Alternativ ist möglich, dass im Schritt des Zuordnens des Neurons das Neuron als hinreichend aktiviert erachtet wird, falls eine Varianz der durch das Neuron ermittelten erste Werte bezüglich der Mehrzahl von Eingabesignalen einen vordefinierten dritten Schwellenwert erreicht oder übersteigt.
Die Varianz kann derart verstanden werden, als das für jeweils ein Neuron der erste Wert für jedes Eingabebild ermittelt wird und anschließend die Varianz der so ermittelten ersten Werte bestimmt wird. Falls ein Neuron ein Faltungsneuron darstellt, kann für jeden durch das Neuron ermittelten ersten Wert jeweils eine Varianz geschätzt werden und die größte so ermittelte Varianz als Varianz im Verfahren verwendet werden.
Alternativ ist möglich, dass im Schritt des Zuordnens des Neurons das Neuron als hinreichend aktiviert erachtet wird, falls ein Betrag des durch das Neuron ermittelten ersten Werts bezüglich zumindest eines Eingabesignals der Mehrzahl von Eingabesignalen der größte Betrag unter allen Beträgen der ersten Werte der Schichtausgabe der ersten Schicht, die das Neuron umfasst, bezüglich des Eingabesignals ist oder der Betrag zu einer vordefinierten ersten Anzahl von größten Beträgen aller Beträge gehört.
Auch beim Verwenden von mehreren Eingabesignalen zur Ermittlung der Abdeckung des neuronalen Netzes ist möglich, dass, falls die Abdeckung des neuronalen Netzes nicht ausreichend ist, zumindest ein Neuron des neuronalen Netzes, welches nicht der ersten Klasse zugeordnet wurde, entfernt wird.
Unabhängig davon, wie die genaue Bestimmung der Abdeckung geschieht, kann im Verfahren weiterhin vorgesehen sein, dass das neuronale Netz (60) zur zumindest teilweisen automatisierten Steuerung einer Vorrichtung, verwendet wird, falls die Abdeckung des neuronalen Netzes ausreichend ist.
Ob die Abdeckung ausreichend ist kann, wie oben beschrieben, mittels eines Schwellenwertes ermittelt werden. Es ist beispielsweise denkbar, dass das neuronale Netz iterativ durch das Verfahren zur Ermittlung der Abdeckung geprüft wird, bis die Abdeckung einen ausreichenden Wert erreicht. Der Vorteil dieser Ausführungsform ist, dass das neuronale Netz durch die Ermittlung der Abdeckung getestet wurde und so der Betrieb der Vorrichtung sicherer ist bzw. durch die höhere Abdeckung eine höhere Klassifikationsgenauigkeit des neuronalen Netzes erreicht wird, die sich in einer besseren Ansteuerung der Vorrichtung niederschlägt.
Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert. In den Zeichnungen zeigen:

1 schematisch ein Verfahren zum Bereitstellen einer Abdeckung eines neuronalen Netzes;
2 schematisch ein Verfahren zum Prüfen und Freigeben des neuronalen Netzes;
3 schematisch einen Aufbau eines Steuerungssystems zur Ansteuerung eines Aktors mittels des neuronalen Netzes;
4 schematisch ein Ausführungsbeispiel zur Steuerung eines wenigstens teilautonomen Roboters;
5 schematisch ein Ausführungsbeispiel zur Steuerung eines Fertigungssystems;
6 schematisch ein Ausführungsbeispiel zur Steuerung eines Zugangssystems;
7 schematisch ein Ausführungsbeispiel zur Steuerung eines Überwachungssystems;
8 schematisch ein Ausführungsbeispiel zur Steuerung eines persönlichen Assistenten;
9 schematisch ein Ausführungsbeispiel zur Steuerung eines medizinisch bildgebenden Systems;
10 schematisch ein Ausführungsbeispiel einer medizinischen Analysevorrichtung.

Beschreibung der Ausführungsbeispiele
1 zeigt schematisch die Schritte eines Verfahrens (1) zum Bereitstellen einer Abdeckung eines neuronalen Netzes. Das neuronale Netz umfasst im Ausführungsbeispiel eine Mehrzahl von ersten Schichten, die wiederum jeweils eine Mehrzahl von Neuronen umfassen. Im einem ersten Schritt (S1) wird das neuronale Netz zunächst mit einem Verfahren des maschinellen Lernens trainiert. Hierfür können bekannte Verfahren zum Trainieren eines neuronalen Netzes verwendet werden.
In einem zweiten Schritt (S2) wird eine Mehrzahl von Eingabesignalen ermittelt, auf Basis derer die Abdeckung des neuronalen Netzes ermittelt werden kann. Zum Ermitteln der Eingabesignale können die Eingabesignale vorzugsweise mittels zumindest einem Sensor in einem Feldversuch aufgezeichnet werden. Je nach späterer Anwendung des neuronalen Netzes können beispielsweise Bilddaten mittels eines entsprechenden Sensors aufgezeichnet werden oder Audiodaten mittels eines Mikrofons aufgezeichnet werden. Die aufgezeichneten Eingabesignale können vorzugsweise auch weitere Vorverarbeitungsschritte durchlaufen, zum Beispiel können in den Eingabesignalen enthaltene Werte derart transformiert werden, dass ihr Durchschnittswert Null ist und ihre Standardabweichung 1 ist, zum Beispiel durch eine Weißfärbungstransformation (engl. Whitening-Transformation). Die ermittelten Eingabesignale können dann jeweils mit einem gewünschten Ausgabesignal annotiert werden, wobei das gewünschte Ausgabesignal eine Klassifikation charakterisiert, die vom neuronalen Netz für das entsprechende Eingabesignal ermittelt werden soll. Die genaue Art des gewünschten Ausgabesignals hängt von der späteren Anwendung des neuronalen Netzes ab. Das Ausgabesignal kann beispielsweise eine Klassifikation in eine oder mehrere Klassen charakterisieren, Klassifikationen von im entsprechenden Eingabesignal zu erkennenden Objekten und deren Position im Eingabesignal charakterisieren oder eine semantische Segmentierung des Eingabesignals charakterisieren.
In einem dritten Schritt (S3) wird für die Eingabesignale der Mehrzahl von Eingabesignalen jeweils ein Ausgabesignal ermittelt. Für jedes Neuron der ersten Schichten des neuronalen Netzes wird für jedes Eingabesignal entsprechend ermittelt, ob das Neuron hinreichend aktiviert wurde und ob ein Gradient eines Verlustwertes bezüglich eines durch das Neuron ermittelten ersten Werts größer ist als ein vordefinierter erster Schwellenwert. Falls beide Kriterien erfüllt sind, wird das Neuron einer ersten Klasse zugeordnet. Falls zumindest eine der beiden Konditionen nicht erfüllt ist, wird das Neuron einer zweiten Klasse zugeordnet. Zur Ermittlung, ob das Neuron hinreichend aktiviert wurde oder nicht, kann zum Beispiel untersucht werden, ob der Betrag des ersten Wertes einen vordefinierten zweiten Schwellenwert überschreitet.
In einem vierten Schritt (S4) wird eine Abdeckung des neuronalen Netzes ermittelt. Hierfür wird zunächst für jede erste Schicht eine Abdeckung ermittelt, wobei die Abdeckung der Schicht ein Wert ist, der durch eine Division der Anzahl von Neuronen der Schicht, die der ersten Klasse zugeordnet wurden, durch die Anzahl aller Neuronen der Schicht ermittelt wird. Die so ermittelte kleinste Abdeckung der ersten Schicht kann dann vorzugsweise als Abdeckung des neuronalen Netzes bereitgestellt werden. Alternativ kann auch die größte Abdeckung der ersten Schicht als Abdeckung des neuronalen Netzes bereitgestellt werden. Weiterhin ist auch möglich, dass der Durchschnitt aller Abdeckungen der ersten Schichten als Abdeckung des neuronalen Netzes bereitgestellt wird.
2 zeigt ein Verfahren (2) zur Prüfung und Freigabe des neuronalen Netzes (60). Im Verfahren (2) zur Prüfung und Freigabe wird zunächst das Verfahren (1) zum Bereitstellen der Abdeckung des neuronalen Netzes (60) durchgeführt.
In einem zweiten Schritt (P2) des Verfahrens (2) wird dann zunächst überprüft, ob die Abdeckung einen vordefinierten dritten Schwellenwert überschreitet. Falls die Abdeckung den Schwellenwert überschreitet, wird das neuronale Netz (60) als geprüft und freigegeben zur Verfügung gestellt.
Für den Fall, dass die Abdeckung des neuronalen Netzes nicht ausreichend ist, wird in einem dritten Schritt (P3) des Verfahrens das neuronale Netz angepasst. Es ist zum Beispiel möglich ein Neuron oder mehrere Neuronen des neuronalen Netzes zu entfernen, das bzw. die nicht zur ersten Klasse gehören. Vorzugsweise können Neuronen nur aus der ersten Schicht entfernet werden, die die kleinste Abdeckung von allen ersten Schichten aufweist. Das so angepasste neuronale Netz (60) kann dann wieder dem Verfahren (1) zum Bereitstellen der Abdeckung zugeführt werden. Das Verfahren (2) zur Prüfung und Freigabe kann daher iterativ wiederholt werden.
3 zeigt einen Aktor (10) in seiner Umgebung (20) in Interaktion mit einem Steuerungssystem (40). In vorzugsweise regelmäßigen zeitlichen Abständen wird die Umgebung (20) in einem Sensor (30), insbesondere einem bildgebenden Sensor wie einem Kamerasensor, erfasst, der auch durch eine Mehrzahl von Sensoren gegeben sein kann, beispielsweise eine Stereokamera. Das Sensorsignal (S) - bzw. im Fall mehrerer Sensoren je ein Sensorsignal (S) - des Sensors (30) wird an das Steuerungssystem (40) übermittelt. Das Steuerungssystem (40) empfängt somit eine Folge von Sensorsignalen (S). Das Steuerungssystem (40) ermittelt hieraus Ansteuersignale (A), welche an den Aktor (10) übertragen werden.
Dem Steuerungssystem (40) wird zum Betrieb das neuronale Netz (60) zur Verfügung gestellt, welches durch das Verfahren (2) zur Prüfung und Freigabe geprüft und freigegeben wurde.
Das Steuerungssystem (40) empfängt die Folge von Sensorsignalen (S) des Sensors (30) in einer optionalen Empfangseinheit (50), die die Folge von Sensorsignalen (S) in eine Folge von Eingabesignalen (x) umwandelt (alternativ kann auch unmittelbar je das Sensorsignal (S) als Eingangssignal (x) übernommen werden). Das Eingabesignal (x) kann beispielsweise ein Ausschnitt oder eine Weiterverarbeitung des Sensorsignals (S) sein. Mit anderen Worten wird das Eingabesignal (x) abhängig von Sensorsignal (S) ermittelt. Die Folge von Eingabesignalen (x) wird dem neuronalen Netz (60) zugeführt.
Das neurales Netz (60) wird vorzugsweise parametriert durch Parameter (Φ), die in einem Parameterspeicher (P) hinterlegt sind und von diesem bereitgestellt werden.
Das neurales Netz (60) ermittelt aus den Eingangssignalen (x) Ausgabesignale (y). Die Ausgabesignale (y) werden einer optionalen Umformeinheit (80) zugeführt, die hieraus Ansteuersignale (A) ermittelt, welche dem Aktor (10) zugeführt werden, um den Aktor (10) entsprechend anzusteuern.
Der Aktor (10) empfängt die Ansteuersignale (A), wird entsprechend angesteuert und führt eine entsprechende Aktion aus. Der Aktor (10) kann hierbei eine (nicht notwendigerweise baulich integrierte) Ansteuerlogik umfassen, welches aus dem Ansteuersignal (A) ein zweites Ansteuersignal ermittelt, mit dem dann der Aktor (10) angesteuert wird.
In weiteren Ausführungsformen umfasst das Steuerungssystem (40) den Sensor (30). In noch weiteren Ausführungsformen umfasst das Steuerungssystem (40) alternativ oder zusätzlich auch den Aktor (10).
In weiteren bevorzugten Ausführungsformen umfasst das Steuerungssystem (40) zumindest einen Prozessor (45) und zumindest ein maschinenlesbares Speichermedium (46), auf dem Anweisungen gespeichert sind, die dann, wenn sie auf dem zumindest einen Prozessor (45) ausgeführt werden, das Steuerungssystem (40) veranlassen, das erfindungsgemäße Verfahren auszuführen.
In alternativen Ausführungsformen ist alternativ oder zusätzlich zum Aktor (10) eine Anzeigeeinheit (10a) vorgesehen.
4 zeigt, wie das Steuerungssystem (40) zur Steuerung eines wenigstens teilautonomen Roboters, hier eines wenigstens teilautonomen Kraftfahrzeugs (100), eingesetzt werden kann.
Bei dem Sensor (30) kann es sich beispielsweise um einen vorzugsweise im Kraftfahrzeug (100) angeordneten Videosensor handeln. Die Eingabesignale (x) können in diesem Fall als Eingabebilder verstanden werden und das neurale Netz (60) als Bildklassifikator.
Das neuronale Netz (60) ist eingerichtet, auf den Eingabebildern (x) erkennbare Objekte zu identifizieren.
Bei dem vorzugsweise im Kraftfahrzeug (100) angeordneten Aktor (10) kann es sich beispielsweise um eine Bremse, einen Antrieb oder eine Lenkung des Kraftfahrzeugs (100) handeln. Das Ansteuersignal (A) kann dann derart ermittelt werden, dass der Aktor oder die Aktoren (10) derart angesteuert wird, dass das Kraftfahrzeug (100) beispielsweise eine Kollision mit den vom Bildklassifikator (60) identifizierten Objekten verhindert, insbesondere, wenn es sich um Objekte bestimmter Klassen, z.B. um Fußgänger, handelt.
Alternativ ist möglich, dass es sich bei dem Sensor (30) um ein oder mehrere Mikrofone handelt, welches ein Audiosignal bzw. welche mehrere Audiosignale (S) der Umgebung (20) des Kraftfahrzeugs (100) aufzeichnen und dem neuronalen Netz (60) zumindest Teile der Audiosignale (S) als Eingabesignal (x) zur Verfügung gestellt werden. Das neuronale Netz (60) kann zum Beispiel derart eingerichtet sein, dass es auditive Events in der Umgebung (20) des Kraftfahrzeugs (100) klassifiziert. Insbesondere ist vorstellbar, dass das neuronale Netz (60) eingerichtet Sirenen von Einsatzfahrzeugen in den Audiosignalen (S) zu klassifizieren. Falls eine Sirene erkannt wurde, kann beispielweise das Ansteuersignal (A) derart gewählt werden, dass das Kraftfahrzeug (100) eine Rettungsgasse bildet.
Alternativ oder zusätzlich kann mit dem Ansteuersignal (A) die Anzeigeeinheit (10a) angesteuert werden, und beispielsweise die identifizierten Objekte dargestellt werden oder angezeigt wird, falls sich ein Einsatzfahrzeug nähert. Auch ist es denkbar, dass die Anzeigeeinheit (10a) mit dem Ansteuersignal (A) derart angesteuert wird, dass sie ein optisches oder akustisches Warnsignal ausgibt, wenn ermittelt wird, dass das Kraftfahrzeug (100) droht, mit einem der identifizierten Objekte zu kollidieren oder ein Einsatzfahrzeug in unmittelbarer Nähe des Kraftfahrzeugs ist. Das kann auch über ein haptisches Warnsignal erfolgen, beispielsweise über ein vibrieren eines Lenkrads des Kraftfahrzeugs (100).
Alternativ kann es sich bei dem wenigstens teilautonomen Roboter auch um einen anderen mobilen Roboter (nicht abgebildet) handeln, beispielsweise um einen solchen, der sich durch Fliegen, Schwimmen, Tauchen oder Schreiten fortbewegt. Bei dem mobilen Roboter kann es sich beispielsweise auch um einen wenigstens teilautonomen Rasenmäher oder einen wenigstens teilautonomen Putzroboter handeln. Auch in diesen Fällen kann das Ansteuersignal (A) derart ermittelt werden, dass Antrieb und/oder Lenkung des mobilen Roboters derart angesteuert werden, dass der wenigstens teilautonome Roboter beispielsweise eine Kollision mit vom Bildklassifikator (60) identifizierten Objekten verhindert.
5 zeigt ein Ausführungsbeispiel, in dem das Steuerungssystem (40) zur Ansteuerung einer Fertigungsmaschine (11) eines Fertigungssystems (200) verwendet wird, indem ein die Fertigungsmaschine (11) steuernder Aktor (10) angesteuert wird. Bei der Fertigungsmaschine (11) kann es sich beispielsweise um eine Maschine zum Stanzen, Sägen, Bohren und/oder Schneiden handeln. Weiterhin ist denkbar, dass die Fertigungsmaschine (11) ausgebildet ist mittels eines Greifers ein Fertigungserzeugnis (12a, 12b) zu greifen.
Bei dem Sensor (30) kann es sich dann beispielsweise um einen Videosensor handeln, der z.B. die Förderfläche eines Förderbandes (13) erfasst, wobei sich auf dem Förderband (13) Fertigungserzeugnissen (12a, 12b) befinden können. Die Eingabesignale (x) sind in diesem Fall Eingabebilder (x) und das neurales Netz (60) ein Bildklassifikator. Der Bildklassifikator (60) kann beispielsweise eingerichtet sein eine Position der Fertigungserzeugnisse (12a, 12b) auf dem Förderband zu ermitteln. Der die Fertigungsmaschine (11) steuernde Aktor (10) kann dann abhängig von den ermittelten Positionen der Fertigungserzeugnisse (12a, 12b) angesteuert werden. Beispielsweise kann der Aktor (10) derart angesteuert werden, dass er ein Fertigungserzeugnis (12a, 12b) an einer vorbestimmten Stelle des Fertigungserzeugnisses (12a, 12b) stanzt, sägt, bohrt und/oder schneidet.
Weiterhin ist denkbar, dass der Bildklassifikator (60) ausgebildet ist, alternativ oder zusätzlich zur Position weitere Eigenschaften eines Fertigungserzeugnisses (12a, 12b) zu ermitteln. Insbesondere ist vorstellbar, dass der Bildklassifikator (60) ermittelt, ob ein Fertigungserzeugnis (12a, 12b) defekt und/oder beschädigt ist. In diesem Fall kann der Aktor (10) derart angesteuert werden, dass die Fertigungsmaschine (11) ein defektes und/oder beschädigtes Fertigungserzeugnis (12a, 12b) aussortiert.
6 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem (40) zur Steuerung eines Zugangssystems (300) eingesetzt wird. Das Zugangssystem (300) kann eine physische Zugangskontrolle umfassen, beispielsweise eine Tür (401). Der Sensor (30) kann insbesondere ein Videosensor oder Wärmebildsensor sein, der eingerichtet ist, einen Bereich vor der Tür (401) zu erfassen. Das neurales Netz (60) kann daher als Bildklassifikator verstanden werden. Mittels des Bildklassifikators (60) kann ein erfasstes Bild interpretiert werden. Insbesondere kann der Bildklassifikators (60) Personen auf einem ihm übermittelten Eingabebild (x) detektieren. Sind mehrere Personen gleichzeitig detektiert worden, kann durch eine Zuordnung der Personen (also der Objekte) zueinander beispielweise die Identität der Personen besonders zuverlässig ermittelt werden, beispielsweise durch eine Analyse ihrer Bewegungen.
Der Aktor (10) kann ein Schloss sein, dass abhängig vom Ansteuersignal (A) die Zugangskontrolle freigibt, oder nicht, beispielsweise die Tür (401) öffnet, oder nicht. Hierzu kann das Ansteuersignal (A) abhängig vom mittels des Bildklassifikators (60) zum Eingabebild (x) ermittelten Ausgabesignal (y) gewählt werden. Beispielsweise ist denkbar, dass das Ausgabesignal (y) Informationen umfasst, die die Identität einer vom Bildklassifikator (60) detektierten Person charakterisiert, und das Ansteuersignal (A) basierend auf der Identität der Person gewählt wird.
An Stelle der physischen Zugangskontrolle kann auch eine logische Zugangskontrolle vorgesehen sein.
7 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem (40) zur Steuerung eines Überwachungssystems (400) verwendet wird. Von dem in 6 dargestellten Ausführungsbeispiel unterscheidet sich dieses Ausführungsbeispiel dadurch, dass an Stelle des Aktors (10) die Anzeigeeinheit (10a) vorgesehen ist, die vom Steuerungssystem (40) angesteuert wird. Beispielsweise kann der Sensor (30) ein Eingabebild (x) aufzeichnen, auf dem zumindest eine Person zu erkennen ist, und die Position der zumindest einen Person mittels des Bildklassifikators (60) detektiert werden. Das Eingabebild (x) kann dann auf der Anzeigeeinheit (10a) dargestellt werden, wobei die detektierten Personen farblich hervorgehoben dargestellt werden können.
8 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem (40) zur Steuerung eines persönlichen Assistenten (250) eingesetzt wird. Der Sensor (30) ist bevorzugt ein optischer Sensor, der Bilder einer Geste eines Nutzers (249) empfängt, beispielsweise ein Videosensor oder eine Wärmebildkamera. In diesem Fall ist das neurales Netz (60) ein Bildklassifikator.
Abhängig von den Signalen des Sensors (30) ermittelt das Steuerungssystem (40) ein Ansteuersignal (A) des persönlichen Assistenten (250), beispielsweise, indem der Bildklassifikator (60) eine Gestenerkennung durchführt. Dem persönlichen Assistenten (250) wird dann dieses ermittelte Ansteuersignal (A) übermittelt und er somit entsprechend angesteuert. Das ermittelte Ansteuersignal (A) kann insbesondere derart gewählt werden, dass es einer vermuteten gewünschten Ansteuerung durch den Nutzer (249) entspricht. Diese vermutete gewünschte Ansteuerung kann abhängig von der vom Bildklassifikator (60) erkannten Geste ermittelt werden. Das Steuerungssystem (40) kann dann abhängig von der vermuteten gewünschten Ansteuerung das Ansteuersignal (A) zur Übermittlung an den persönlichen Assistenten (250) wählen und/oder das Ansteuersignal (A) zur Übermittlung an den persönlichen Assistenten entsprechend der vermuteten gewünschten Ansteuerung (250) wählen.
Diese entsprechende Ansteuerung kann beispielsweise beinhalten, dass der persönliche Assistent (250) Informationen aus einer Datenbank abruft und sie für den Nutzer (249) rezipierbar wiedergibt.
Anstelle des persönlichen Assistenten (250) kann auch ein Haushaltsgerät (nicht abgebildet), insbesondere eine Waschmaschine, ein Herd, ein Backofen, eine Mikrowelle oder eine Spülmaschine vorgesehen sein, um entsprechend angesteuert zu werden.
9 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem (40) zur Steuerung eines medizinischen bildgebenden Systems (500), beispielsweise eines MRT-, Röntgen- oder Ultraschallgeräts, verwendet wird. Der Sensor (30) kann beispielsweise durch einen bildgebenden Sensor gegeben sein. Das neurales Netz (60) kann daher als Bildklassifikator verstanden werden. Durch das Steuerungssystem (40) wird die Anzeigeeinheit (10a) angesteuert.
Der Sensor (30) ist eingerichtet ein Bild eines Patienten zu ermitteln, beispielsweise ein Röntgenbild, ein MRT-Bild oder ein Ultraschallbild. Zumindest ein Teil des Bildes wird als Eingabebild (x) an den Bildklassifikator (60) übermittelt. Der Bildklassifikator (60) kann beispielsweise eingerichtet sein, unterschiedlicher Arten eines auf dem Eingabebild (x) zu erkennenden Gewebes zu klassifizieren, beispielsweise über eine semantische Segmentierung.
Das Ansteuersignal (A) kann dann derart gewählt werden, dass die ermittelten Arten von Gewebe auf der Anzeigeeinheit (10a) farblich hervorgehoben dargestellt werden.
In weiteren Ausführungsbeispielen (nicht gezeigt) kann das bildgebende System (500) auch für nicht medizinische Zwecke verwendet werden, zum Beispiel um Materialeigenschaften eines Werkstücks zu ermitteln. Zu diesem Zweck kann das bildgebende System (500) ein Bild eines Werkstücks aufzeichnen. Der Bildklassifikator (60) kann in diesem Fall derart eingerichtet sein, dass er zumindest einen Teil des Bildes als Eingabebild (x) entgegennimmt und bezüglich der Materialeigenschaften des Werkstücks klassifiziert. Dies kann beispielsweise über eine semantische Segmentierung des Eingabebildes (x) geschehen. Die so ermittelte Klassifikation kann beispielsweise zusammen mit dem Eingabebild auf der Anzeigevorrichtung (10a) dargestellt werden.
10 zeigt ein Ausführungsbeispiel, in dem das Steuerungssystem (40) eine medizinische Analysevorrichtung (600) steuert. Der Analysevorrichtung (600) wird eine Mikroreihe (601, engl. Microarray) zugeführt, welche eine Mehrzahl von Testfeldern (602) umfasst, wobei die Testfelder mit einer Probe bestrichen wurden. Die Probe kann beispielsweise einem Abstrich eines Patienten entstammen.
Das Microarray (601) kann ein DNA-Microarray oder ein Protein-Microarray sein.
Der Sensor (30) ist eingerichtet das Microarray (601) aufzuzeichnen. Als Sensor (30) kann insbesondere ein optischer Sensor verwendet werden, vorzugsweise ein Videosensor. Das neurales Netz (60) kann daher als Bildklassifikator verstanden werden.
Der Bildklassifikator (60) ist eingerichtet basierend auf einem Bild des Microarray (601) das Ergebnis einer Analyse der Probe zu bestimmen. Insbesondere kann der Bildklassifikator eingerichtet sein basierend auf dem Bild zu klassifizieren, ob das Microarray das Vorhandensein eines Virus innerhalb der Probe anzeigt.
Das Ansteuersignal (A) kann dann derart gewählt werden, dass das Ergebnis der Klassifikation auf der Anzeigevorrichtung (10a) dargestellt wird.
Der Begriff „Computer“ umfasst beliebige Geräte zur Abarbeitung vorgebbarer Rechenvorschriften. Diese Rechenvorschriften können in Form von Software vorliegen, oder in Form von Hardware, oder auch in einer Mischform aus Software und Hardware.
Im Allgemeinen kann eine Mehrzahl als indexiert verstanden werden, d.h. jedem Element der Mehrzahl wird ein eindeutiger Index zugewiesen, vorzugsweise durch Zuweisung aufeinanderfolgender Ganzzahlen an die in der Mehrzahl enthaltenen Elemente. Vorzugsweise, wenn eine Mehrzahl N Elemente umfasst, wobei N die Anzahl der Elemente in der Mehrzahl ist, werden den Elementen die ganzen Zahlen von 1 bis N zugewiesen.

Claims

Computerimplementiertes Verfahren (1) zum Bereitstellen einer Abdeckung eines neuronalen Netzes (60), wobei das neuronale Netz (60) ausgebildet ist, zu einem Eingabesignal (x) ein Ausgabesignal (y) zu ermitteln, wobei das Ausgabesignal (y) eine Klassifikation des Eingabesignals (x) charakterisiert, wobei das Verfahren zum Ermitteln der Abdeckung die folgenden Schritte umfasst: • Ermitteln einer Schichteingabe basierend auf dem Eingabesignal (x); • Ermitteln einer Schichtausgabe basierend auf der Schichteingabe mittels einer ersten Schicht des neuronalen Netzes (60), wobei die erste Schicht eine Mehrzahl von Neuronen umfasst, wobei jeweils ein Neuron zumindest einen ersten Wert basierend auf der Schichteingabe ermittelt, wobei der erste Wert als zumindest Teil der Schichtausgabe bereitgestellt wird; • Ermitteln des Ausgabesignals (y) basierend auf der Schichtausgabe; • Für jedes Neuron der Mehrzahl von Neuronen: - Ermitteln eines Gradienten eines Verlustwertes bezüglich des durch das Neuron ermittelten ersten Wertes, wobei der Verlustwert eine Differenz zwischen dem ermittelten Ausgabesignal (y) und einem gewünschten Ausgabesignal charakterisiert; - Zuordnen des Neurons zu einer ersten Klasse, falls das Neuron durch die Schichteingabe hinreichend aktiviert ist und eine Norm des Gradienten einen vordefinierten ersten Schwellenwert erreicht oder überschreitet; • Ermitteln einer Abdeckung der ersten Schicht, wobei die Abdeckung der ersten Schicht einen Anteil der zur ersten Klasse zugeordneten Neuronen gegenüber allen Neuronen der ersten Schicht charakterisiert; • Bereitstellen der Abdeckung des neuronalen Netzes (60) basierend auf der Abdeckung der ersten Schicht.
Verfahren (1) nach Anspruch 1, wobei das neuronale Netz (60) eine Mehrzahl von ersten Schichten umfasst, wobei für jede erste Schicht eine Abdeckung der ersten Schicht ermittelt wird und die Abdeckung des neuronalen Netzes (60) einen Durchschnitt der Abdeckungen der ersten Schichten, ein Maximum der Abdeckungen der ersten Schichten oder ein Minimum der Abdeckungen der ersten Schichten charakterisiert.
Verfahren (1) nach einem der Ansprüche 1 oder 2, wobei im Schritt des Zuordnens des Neurons das Neuron hinreichend aktiviert ist, falls ein Betrag des durch das Neuron ermittelten ersten Werts einen vordefinierten zweiten Schwellenwert erreicht oder übersteigt.
Verfahren (1) nach einem der Ansprüche 1 oder 2, wobei im Schritt des Zuordnens des Neurons das Neuron hinreichend aktiviert ist, falls ein Betrag des durch das Neuron ermittelten ersten Werts der größte Betrag unter allen Beträgen der ersten Werte der Schichtausgabe der ersten Schicht ist, die das Neuron umfasst, oder der Betrag zu einer vordefinierten ersten Anzahl von größten Beträgen aller Beträge gehört.
Verfahren (1) nach einem der Ansprüche 1 bis 4, wobei, falls die Abdeckung des neuronalen Netzes (60) nicht ausreichend ist, dem Eingabesignal (x) ein gewünschtes Ausgabesignal (c) zugeordnet wird und das neuronales Netz (60) basierend auf dem Eingabesignal (x) und dem Ausgabesignal (c) nachtrainiert wird.
Verfahren (1) nach einem der Ansprüche 1 bis 4, wobei, falls die Abdeckung des neuronalen Netzes (60) nicht ausreichend ist, zumindest ein Neuron des neuronalen Netzes (60), welches nicht der ersten Klasse zugeordnet wurde, entfernt wird.
Verfahren (1) nach einem der Ansprüche 1 bis 4, wobei zu einer Mehrzahl von Eingabesignalen jeweils eine korrespondierende Abdeckung des neuronalen Netzes (60) ermittelt wird und zumindest eine Untermenge der Mehrzahl von Eingabesignalen annotiert wird, wobei zum Ermitteln der Untermenge die Eingabesignale gewählt werden, die zu einer vordefinierten Anzahl von kleinsten Abdeckungen oder zu einer vordefinierten Anzahl von größten Abdeckungen korrespondieren.
Verfahren (1) nach Anspruch 7, wobei das neuronale Netz basierend auf den annotierten Eingabesignalen der Untermenge trainiert wird.
Verfahren (1) nach einem der Ansprüche 1 oder 2, wobei zum Ermitteln der Abdeckung der ersten Schicht oder der Mehrzahl von ersten Schichten eine Mehrzahl von Eingabesignalen verwendet wird, wobei zu jedem Eingabesignal (x) der Mehrzahl von Eingabesignalen jeweils die Abdeckung der ersten Schicht oder die Abdeckungen der ersten Schichten ermittelt wird und die Abdeckung des neuronalen Netzes (60) basierend auf den Abdeckungen der ersten Schicht für alle Eingabesignale (x) oder den Abdeckungen der ersten Schichten für alle Eingabesignale (x) ermittelt wird.
Verfahren (1) nach Anspruch 8, wobei im Schritt des Zuordnens des Neurons das Neuron hinreichend aktiviert ist, falls ein Betrag des durch das Neuron ermittelten ersten Werts bezüglich zumindest eines Eingabesignals (x) der Mehrzahl von Eingabesignalen einen vordefinierten zweiten Schwellenwert erreicht oder übersteigt.
Verfahren (1) nach Anspruch 8, wobei im Schritt des Zuordnens des Neurons das Neuron hinreichend aktiviert ist, falls eine Varianz der durch das Neuron ermittelten ersten Werte bezüglich der Mehrzahl von Eingabesignalen einen vordefinierten dritten Schwellenwert erreicht oder übersteigt.
Verfahren (1) nach Anspruch 8, wobei im Schritt des Zuordnens des Neurons das Neuron hinreichend aktiviert ist, falls ein Betrag des durch das Neuron ermittelten ersten Werts bezüglich zumindest eines Eingabesignals (x) der Mehrzahl von Eingabesignalen der größte Betrag unter allen Beträgen der ersten Werte der Schichtausgabe der ersten Schicht, die das Neuron umfasst, bezüglich des Eingabesignals (x) ist oder der Betrag zu einer vordefinierten ersten Anzahl von größten Beträgen aller Beträge der ersten Werte der Schichtausgabe der ersten Schicht gehört.
Verfahren (2) nach einem der Ansprüche 8 bis 11, wobei, falls die Abdeckung des neuronalen Netzes (60) nicht ausreichend ist, zumindest ein Neuron des neuronalen Netzes (60), welches nicht der ersten Klasse zugeordnet wurde, entfernt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das neuronale Netz (60) zur zumindest teilweisen automatisierten Steuerung einer Vorrichtung (100, 200, 250, 300, 400, 500, 600), verwendet wird, falls die Abdeckung des neuronalen Netzes (60) ausreichend ist.
Vorrichtung zur Datenverarbeitung, umfassend einen Prozessor (45), der so konfiguriert ist, dass er das Verfahren nach einem der Ansprüche 1 bis 14 ausführt.
Computerprogramm, welches eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 14 auszuführen, wenn es durch einen Prozessor (45) ausgeführt wird.
Maschinenlesbares Speichermedium (46), auf dem das Computerprogramm nach Anspruch 16 gespeichert ist.