EP4150458A1 - Automatisierte überwachung künstlicher intelligenz - Google Patents

Automatisierte überwachung künstlicher intelligenz

Info

Publication number
EP4150458A1
EP4150458A1 EP21739570.6A EP21739570A EP4150458A1 EP 4150458 A1 EP4150458 A1 EP 4150458A1 EP 21739570 A EP21739570 A EP 21739570A EP 4150458 A1 EP4150458 A1 EP 4150458A1
Authority
EP
European Patent Office
Prior art keywords
model
monitor
neural network
data
working model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21739570.6A
Other languages
English (en)
French (fr)
Inventor
Kai Höfig
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of EP4150458A1 publication Critical patent/EP4150458A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G06F18/2185—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor the supervisor being an automated module, e.g. intelligent oracle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Definitions

  • the invention relates to an automated method and a device for generating a monitor model of a monitor for monitoring a working model of an artificial intelligence.
  • the invention also relates to an associated computer program product and computer readable medium.
  • Neural networks are a popular technique from the field of artificial intelligence, in particular to efficiently process image data and to recognize certain things during the runtime of a system with the help of training data. There is an increasing desire to use this technology in safety-critical systems. In contrast to classic, rule-based algorithms, the output of a neural network does not correspond to a classic and precisely formulated requirement that was implemented in software by a developer, but was learned by a computer through test data held at the time of design.
  • the result should correspond to the training data.
  • the training data correspond to the classic requirements.
  • a popular technique for checking the limits of complex algorithms during runtime and ensuring that the parameters at runtime correspond to the operating parameters defined in the requirements is the monitor.
  • a monitor is a technical element, often an embedded system, which uses very simple rule-based algorithms to check certain runtime parameters of a complex system during the runtime. An example of this is an embedded system that checks whether another system is still active or has already crashed.
  • a monitor that works in a similar way for neural networks or artificial intelligence algorithms in general monitors compliance with the training data.
  • the main problem with this technology is its poor scalability.
  • the authors state that such a Hamming distance-based method with binary decision trees of 200 neurons is currently technically feasible.
  • the number of neurons is quickly exceeded.
  • AlexNet for example, has around 650,000 neurons.
  • slight deviations between the detected pattern and the stored pattern are permissible, but the adjustment, like that, is a manual task.
  • the object of the invention is to provide a solution for improved monitoring of the artificial intelligence algorithms, such as, for example, working models of the artificial neural networks.
  • the set of valid activation patterns or activation paths is no longer stored in the traditional way and adjusted manually, but learned automatically.
  • a first neural network uses a model to generate an output from a set of input values, which is referred to as a working model.
  • the monitor model which as input values te gets the output of the activation functions of all neurons of the working model of the first neural network.
  • any other representative amount of data from an AI-based algorithm can be selected that represents the classification of a given data set.
  • the monitor model is trained in that the working model runs through its training data again for analysis after it has been trained. During this cycle, the monitor model is trained and in this way learns all the "good patterns" that the working model can achieve. Tolerances for slight deviations result automatically with this method, since the trained second neural network also learns the variance of the activation pattern.
  • the invention claims an automated or computer-implemented method for generating a monitor model of a monitor for monitoring a working model of an artificial intelligence, the working model classifying input data and training the monitor model with a representative amount of data from the working model.
  • the monitor model can be viewed as the “superego” or “conscience” of the working model.
  • the invention offers the advantage that errors can be detected during the operation of the artificial intelligence.
  • the monitor has an artificial first neural network and the representative amount of data is used as input for the first neural network.
  • the artificial intelligence has an artificial second neural network, the representative amount of data being formed by the output of the activation functions of the neurons of the second neural network.
  • the monitor model can be trained in that the training data is again entered for analysis in the work model that has been fully trained with training data and the work model is run through Working model is learned.
  • the monitor model thus learns all of the “good samples” of the working model.
  • the invention also claims a device comprising an artificial intelligence and a monitor for monitoring a working model of the artificial intelligence, the artificial intelligence being set up to classify input data using the working model and a monitor model of the monitor using a representative amount of data from the working model is trained.
  • the device can for example be a computer.
  • the monitor has an artificial first neural network and the input for the first neural network is formed by the representative amount of data.
  • the artificial intelligence has an artificial second neural network, the representative amount of data being formed by the output of the activation functions of the neurons of the second neural network.
  • the device can be set up to train the monitor model in that the training data is again entered for analysis in the work model that has been fully trained with training data and the work model runs through a lot the valid activation patterns and / or activation paths that the working model can achieve.
  • the invention also claims a computer program product comprising a computer program, the computer program being loadable into a memory device of a device, the computer program being used to execute the steps of a method according to the invention when the computer program is executed on the device.
  • the invention finally claims a computer-readable medium on which a computer program is stored, where in the case of the computer program can be loaded into a storage device of a device, the steps of a method according to the invention being carried out with the computer program when the computer program is executed on the device.
  • FIG. 1 shows a block diagram of an embodiment with neural networks
  • FIG. 2 shows a flowchart of an automated method for generating a monitor model of a monitor for monitoring a working model of an artificial intelligence.
  • FIG. 1 shows the block diagram of an embodiment with neural networks and image recognition.
  • a second neural network 2 is made using, for example, 1,000 images trained by stop traffic signs 4.
  • a set of pixels 4.1 is typically taken as the input vector.
  • a probability is generated as a number between 1 and 0, which indicates how high the probability is assumed that a certain image (set of pixels 4.1) represents a stop traffic sign 4.
  • the training set of 1,000 images is now used to train the second neural network 2, that is, its working model.
  • the monitor model of the first neural network that is to say the monitor, is trained.
  • the system comprising the first neural network 1 and the second neural network 2, can be used to recognize stop signs 4. If an image that does not contain a stop sign 4 is incorrectly recognized as a stop sign 4 by the working model, the probability is high that this incorrect classification will be recognized by the monitor model of the first neural network 1 if the classification is based on an action previously learned from the monitor model diminuungsmuster 3 is classified as untypical and thus represents a deviation of the working model from its requirements.
  • the error message occurs through output 6 of the first neural network 1.
  • the monitor model can therefore also be described graphically as the “superego” or “conscience” of the working model.
  • FIG. 2 shows a flowchart of an automated method for generating a monitor model of a monitor for monitoring a working model of an artificial intelligence genz, using the example of a first neural network 1 as a monitor and a second neural network 2 as an artificial intelligence.
  • the second neural network 2 is trained with training data as input data, for example image data 4.1 of an object.
  • a representative data set of the training data is selected.
  • the second neural network 2 and will be with the representative data volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

Die Erfindung gibt ein automatisiertes Verfahren zur Erzeugung eines Monitormodells eines Monitors zur Überwachung eines Arbeitsmodells einer künstlichen Intelligenz, - wobei durch das Arbeitsmodell eine Klassifizierung von Eingabedaten durchführt wird und - wobei mit einer repräsentativen Datenmenge des Arbeitsmodells das Monitormodell trainiert wird. Die Erfindung gibt auch eine zugehörige Vorrichtung, ein zugehöriges Computerprogrammprodukt und ein zugehöriges computerlesbares Medium an.

Description

Beschreibung
Automatisierte Überwachung künstlicher Intelligenz
GEBIET DER ERFINDUNG
Die Erfindung betrifft ein automatisiertes Verfahren und eine Vorrichtung zur Erzeugung eines Monitormodells eines Monitors zur Überwachung eines Arbeitsmodells einer künstlichen Intel ligenz. Die Erfindung betrifft auch ein zugehöriges Computer programmprodukt und computerlesbares Medium.
HINTERGRUND DER ERFINDUNG
Neuronale Netze sind eine populäre Technik aus dem Bereich der künstlichen Intelligenz, um insbesondere Bilddaten effi zient zu verarbeiten und mit Hilfe von Trainingsdaten be stimmte Dinge zur Laufzeit eines Systems zu erkennen. Zuneh mens stärker wird der Wunsch, diese Technik auch in sicher- heitskritischen Systemen einzusetzen. Im Gegensatz zu klassi schen, regelbasierten Algorithmen, entspricht die Ausgabe ei nes neuronalen Netzes nicht einer klassischen und präzise formulierten Anforderung, die von einem Entwickler in Soft ware implementiert wurde, sondern wurde durch zur Design-Zeit vorgehaltenen Testdaten von einem Computer erlernt.
So wie bei klassischen Algorithmen die Lösung eines Programms den Anforderungen entsprechen soll, soll bei einem neuronalen Netz oder allgemein bei Algorithmen der künstlichen Intelli genz, das Ergebnis den Trainingsdaten entsprechen. Streng ge nommen entsprechen die Trainingsdaten den klassischen Anfor derungen. Eine populäre Technik, um die Grenzen komplexer Al gorithmen während der Laufzeit zu überprüfen und dafür zu sorgen, dass die Parameter zur Laufzeit den in den Anforde rungen definierten Betriebsparametern entsprechen, ist der Monitor. Ein Monitor ist ein technisches Element, häufig ein eingebet tetes System, welches mit Hilfe sehr einfacher regelbasierter Algorithmen bestimmte Laufzeitparameter eines komplexen Sys tems währen der Laufzeit überprüft. Ein Beispiel hierfür ist ein eingebettetes System, das überprüft, ob ein anderes Sys tem noch aktiv ist, oder bereits abgestürzt ist.
Ein Monitor, der auf ähnliche Weise für neuronale Netze oder Algorithmen der künstlichen Intelligenz im Allgemeinen arbei tet, überwacht also die Einhaltung der Trainingsdaten.
Bisher wurde eine klassische Monitortechnologie auch für die Verwendung in neuronalen Netzen oder anderen Algorithmen der künstlichen Intelligenz vorgeschlagen. Ähnlich wie bei klas sischen Algorithmen lassen sich auf die Laufzeitparameter auf die Einhaltung bestimmter Grenzen überprüfen, die von einem KI-Algorithmus berechnet wurden. Allerdings ist dieses Vorge hen nicht sonderlich hilfreich, da ein falsch erkanntes Stra ßenschild und die entsprechende Reaktion eines Systems durch einen solchen Ansatz kaum zu unterscheiden ist, wie die Reak tion auf ein richtig erkanntes Straßenschild.
Daher wurde bisher versucht, ein besonderes Augenmerk auf qualitativ hochwertige Trainingsdaten zu legen. Andere Ansät ze beschäftigen sich mit der formalen Verifikation von KI- basierten Algorithmen und wieder andere Ansätze versuchen Ma nipulationen an Bilddaten während der Laufzeit zu detektieren (engl, adversarial attacks).
Einen Monitor zu entwickeln, der überprüft, ob die Entschei dung eines neuronalen Netzes auf den Trainingsdaten beruht, ist außerdem in Runtime Monitoring Neuron Activation Patterns by Chih-Hong Cheng, Georg Nührenberg, Hirotoshi Yasuoka (https://arxiv.org/abs/1809.06573) zu finden. Bei dieser Technik werden allerdings Aktivierungsmuster aus einem neuro nalen Netz bei der erneut durchgeführten Analyse der Trai ningsdaten gesammelt und dann während der Laufzeit mittels Hamming Distanz der während der Laufzeit auftretenden Muster Abweichungen registriert. Tritt eine zu hohe Abweichung auf, meldet der Monitor dem System einen detektierten Fehler.
Problematisch bei dieser Technik ist vor allem die schlechte Skalierbarkeit . Die Autoren geben eine zurzeit technische Machbarkeit für ein solch Hamming -Distanz-basiertes Verfah ren mit binären Entscheidungsbäumen von 200 Neuronen an. Im Bereich Deep Learning, wo vor allem Bilddaten verarbeitet werden, wird die Anzahl der Neuronen schnell überschritten. AlexNet zum Beispiel hat rund 650.000 Neuronen. Hinzu kommt, dass leichte Abweichungen von detektierten Pattern zu gespei cherten Pattern zulässig sind, aber dass die Justierung wie der eine manuelle Aufgabe darstellt.
ZUSAMMENFASSUNG DER ERFINDUNG
Es ist Aufgabe der Erfindung, eine Lösung für eine verbesser te Überwachung der Algorithmen der künstlichen Intelligenz, wie beispielsweise Arbeitsmodelle der künstlichen neuronalen Netze, anzugeben.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung.
In einem Aspekt der Erfindung wird vorgeschlagen, einen Moni tor für künstliche neuronale Netze oder andere Algorithmen der künstlichen Intelligenz vollautomatisch zu generieren.
Bei einer derartigen Technik wird, anders als bei den zuvor genannten Verfahren, die Menge der gültigen Aktivierungsmus ter oder Aktivierungspfade nicht mehr klassisch gespeichert und manuell justiert, sondern automatisiert erlernt.
Ein erstes neuronales Netz erzeugt mittels eines Modells aus einer Menge von Eingabewerten eine Ausgabe, was als Arbeits modell bezeichnet wird. Zusätzlich ist ein zweites neuronales Netz eingerichtet, das Monitormodell, welches als Eingabewer te die Ausgabe der Aktivierungsfunktionen aller Neuronen des Arbeitsmodells des ersten neuronalen Netzes bekommt. Alterna tiv dazu kann auch jede andere repräsentative Datenmenge ei nes KI-basierten Algorithmus gewählt werden, welche die Klas sifizierung eines gegebenen Datensatzes darstellt.
Das Monitormodell wird dadurch trainiert, dass das Arbeitsmo dell seine Trainingsdaten, nachdem es fertig trainiert wurde, abermals zur Analyse durchläuft. Während diesem Durchlauf, wird das Monitormodell trainiert und erlernt auf diese Weise alle „Gutmuster", die das Arbeitsmodell erreichen kann. Tole ranzen für leichte Abweichungen ergeben sich bei diesem Ver fahren automatisch, da das trainierte zweite neuronale Netz die Varianz der Aktivierungsmuster mit erlernt.
Die Erfindung beansprucht ein automatisiertes bzw. computer implementiertes Verfahren zur Erzeugung eines Monitormodells eines Monitors zur Überwachung eines Arbeitsmodells einer künstlichen Intelligenz, wobei durch das Arbeitsmodell eine Klassifizierung von Eingabedaten durchführt wird und wobei mit einer repräsentativen Datenmenge des Arbeits modells das Monitormodell trainiert wird.
Das Monitormodell kann als „Über-Ich" bzw. als „Gewissen" des Arbeitsmodells angesehen werden. Die Erfindung bietet den Vorteil, dass Fehler während des Betriebs der künstlichen In telligenz erkannt werden können.
Der Monitor weist ein künstliches erstes neuronales Netz auf und die repräsentative Datenmenge wird als Eingabe für das erste neuronale Netz verwendet.
Die künstliche Intelligenz weist ein künstliches zweites neu ronales Netz auf, wobei die repräsentative Datenmenge durch die Ausgabe der Aktivierungsfunktionen der Neuronen des zwei ten neuronalen Netzes gebildet wird. In einer weiteren Ausprägung kann das Monitormodell dadurch trainiert werden, dass in das mit Trainingsdaten fertig trai nierte Arbeitsmodell die Trainingsdaten abermals zur Analyse eingegeben werden und das Arbeitsmodell durchlaufen wird, wo bei das Monitormodell eine Menge der gültigen Aktivierungs muster und/oder Aktivierungspfade, die das Arbeitsmodell er reichen kann, erlernt.
Somit lernt das Monitormodell alle „Gutmuster des Arbeitsmo dells.
Die Erfindung beansprucht auch eine Vorrichtung, aufweisend eine künstliche Intelligenz und einen Monitor zur Überwachung eines Arbeitsmodells der künstlichen Intelligenz, wobei die künstliche Intelligenz eingerichtet ist, durch das Arbeitsmodell eine Klassifizierung von Eingabedaten durchzuführen und wobei mit einer repräsentativen Datenmenge des Arbeits modells ein Monitormodell des Monitors trainiert wird.
Die Vorrichtung kann beispielsweise ein Computer sein.
Der Monitor weist ein künstliches erstes neuronales Netz auf und die Eingabe für das erste neuronale Netz wird durch die repräsentative Datenmenge gebildet.
Die künstliche Intelligenz weist ein künstliches zweites neu ronales Netz auf, wobei die repräsentative Datenmenge durch die Ausgabe der Aktivierungsfunktionen der Neuronen des zwei ten neuronalen Netzes gebildet ist.
In einer Weiterbildung kann die Vorrichtung eingerichtet sein, das Monitormodell dadurch zu trainieren, dass in das mit Trainingsdaten fertig trainierte Arbeitsmodell die Trai ningsdaten abermals zur Analyse eingegeben werden und das Ar beitsmodell durchläuft, wobei das Monitormodell eine Menge der gültigen Aktivierungsmuster und/oder Aktivierungspfade, die das Arbeitsmodell erreichen kann, erlernt.
Die Erfindung beansprucht außerdem ein Computerprogrammpro dukt, umfassend ein Computerprogramm, wobei das Computerpro gramm in eine Speichereinrichtung einer Einrichtung ladbar ist, wobei mit dem Computerprogramm die Schritte eines erfin dungsgemäßen Verfahrens ausgeführt werden, wenn das Computer programm auf der Einrichtung ausgeführt wird.
Die Erfindung beansprucht schließlich ein computerlesbares Medium, auf welchem ein Computerprogramm gespeichert ist, wo bei das Computerprogramm in eine Speichereinrichtung einer Einrichtung ladbar ist, wobei mit dem Computerprogramm die Schritte eines erfindungsgemäßen Verfahrens ausgeführt wer den, wenn das Computerprogramm auf der Einrichtung ausgeführt wird.
Weitere Besonderheiten und Vorteile der Erfindung werden aus den nachfolgenden Erläuterungen eines Ausführungsbeispiels anhand zweier schematischer Zeichnungen ersichtlich.
KURZE BESCHREIBUNG DER ZEICHNUNG
Es zeigen:
FIG. 1 ein Blockschaltbild eines Ausführungsbeispiels mit neuronalen Netzen und
FIG. 2 ein Ablaufdiagramm eines automatisierten Verfahrens zur Erzeugung eines Monitormodells eines Monitors zur Überwa chung eines Arbeitsmodells einer künstlichen Intelligenz.
DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
FIG. 1 zeigt das Blockschaltbild eines Ausführungsbeispiels mit neuronalen Netzen und Bilderkennung. Ein zweites neurona les Netz 2 wird mit Hilfe von beispielsweise 1.000 Bildern von Stopp-Verkehrsschildern 4 trainiert. Als Eingabevektor wird dabei typischerweise eine Menge von Bildpunkten 4.1 an genommen. Als Ausgabe 5 des zweiten neuronalen Netzes 2 wird eine Wahrscheinlichkeit als Zahl zwischen 1 und 0 erzeugt, die angibt, wie hoch die Wahrscheinlichkeit angenommen wird, dass ein bestimmtes Bild (Menge von Bildpunkten 4.1) ein Stopp-Verkehrsschild 4 darstellt.
Der Trainingssatz von 1.000 Bildern wird nun verwendet, um das zweite neuronale Netz 2, also dessen Arbeitsmodell, zu trainieren. Nachdem das Arbeitsmodell fertig trainiert ist, wird das Monitormodell des ersten neuronalen Netzes 1, also der Monitor, trainiert. Dabei werden die 1.000 Bilder 4.1 oder ein repräsentativer Teil davon, wieder vom Arbeitsmodell analysiert, und das Monitormodell lernt die Aktivierungsmus ter des zweiten neuronalen Netzes 2 (= Ausgabe der Aktivie rungsfunktionen der Neuronen des zweiten neuronalen Netzes 2).
Nachdem das Arbeitsmodell und das Monitormodell trainiert wurden, kann das System, aufweisend das erste neuronale Netz 1 und das zweite neuronale Netz 2, zur Erkennung von Stopp schildern 4 verwendet werden. Wird nun ein Bild, welches kein Stoppschild 4 enthält, fälschlicherweise als Stoppschild 4 vom Arbeitsmodell erkannt, ist die Wahrscheinlichkeit hoch, dass diese fehlerhafte Klassifikation vom Monotormodell des ersten neuronalen Netzes 1 erkannt wird, wenn die Klassifika tion auf Grund eines vorher vom Monitormodell erlernten Akti vierungsmusters 3 als untypisch klassifiziert wird und damit eine Abweichung des Arbeitsmodells von seinen Anforderungen darstellt. Die Fehlermeldung erfolgt durch die Ausgabe 6 des ersten neuronalen Netzes 1. Das Monitormodell lässt sich da her auch bildhaft als „Über-Ich" oder „Gewissen" des Arbeits modells beschreiben.
FIG. 2 zeigt ein Ablaufdiagramm eines automatisierten Verfah rens zur Erzeugung eines Monitormodells eines Monitors zur Überwachung eines Arbeitsmodells einer künstlichen Intelli- genz, am Beispiel eines ersten neuronalen Netztes 1 als Moni tor und eines zweiten neuronalen Netztes 2 als künstliche In telligenz. In einem ersten Schritt 101 wird mit Trainingsdaten als Ein gabedaten, beispielsweise Bilddaten4.1 eines Objekts, das zweite neuronale Netz 2 trainiert. In einem zweiten Schritt 102 wird eine repräsentative Datenmenge der Trainingsdaten ausgewählt. In einem dritten Schritt 103 wird mit der reprä- sentativen Datenmenge das zweite neuronale Netz 2 und sein
Arbeitsmodell noch einmal durchlaufen und mit der Ausgabe der Aktivierungsfunktionen (= Aktivierungsmuster und/oder Akti vierungspfade) der Neuronen des zweiten neuronalen Netzes 2 das Monitormodell des ersten neuronalen Netzes 1 trainiert. Dadurch wird das Monitormodell in die Lage versetzt, bei Be trieb des Arbeitsmodells das Arbeitsmodell zu überwachen und Fehler zu erkennen.
Obwohl die Erfindung im Detail durch die Ausführungsbeispiele näher illustriert und beschrieben wurde, ist die Erfindung durch die offenbarten Beispiele nicht eingeschränkt und ande re Variationen können vom Fachmann daraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
Bezugszeichenliste
1 erstes neuronales Netz (Monitor)
2 zweites neuronales Netz
3 Ausgabe der Aktivierungsfunktionen der Neuronen des zweiten neuronalen Netzes 2
4 Stoppschild
4.1 Menge von Bildpunkten
5 Ausgabe zweites neuronales Netz
6 Ausgabe erstes neuronales Netz
101 erster Schritt: Training des Arbeitsmodells
102 zweiter Schritt: Auswahl der repräsentativen Daten menge
103 dritter Schritt: Training des Monitormodells

Claims

Patentansprüche
1. Automatisiertes Verfahren zur Erzeugung eines Monitormo dells eines ein erstes neuronales Netz (1) aufweisenden Moni tors zur Überwachung eines Arbeitsmodells einer ein zweites neuronales Netz (2) aufweisenden künstlichen Intelligenz, wobei durch das Arbeitsmodell eine Klassifizierung von Eingabedaten durchführt wird, wobei mit einer repräsentativen Datenmenge des Arbeits modells das Monitormodell trainiert wird, wobei die repräsentative Datenmenge als Eingabe für das erste neuronale Netz (1) verwendet wird und wobei die repräsentative Datenmenge durch die Ausgabe (3) der Aktivierungsfunktionen der Neuronen des zweiten neu ronalen Netzes (2) gebildet wird.
2. Verfahren nach Anspruch 1, wobei das Monitormodell dadurch trainiert wird, dass in das mit Trainingsdaten (4.1) fertig trainierte Arbeitsmodell die Trainingsdaten (4.1) oder ein Teil der Trainingsdaten (4.1) abermals zur Analyse eingegeben werden und das Arbeitsmodell durchlaufen wird, wobei das Mo nitormodell eine Menge der gültigen Aktivierungsmuster und/oder Aktivierungspfade, die das Arbeitsmodell erreichen kann, erlernt.
3. Vorrichtung, aufweisend eine künstliche Intelligenz und einen Monitor zur Überwachung eines Arbeitsmodells der künst lichen Intelligenz, wobei die künstliche Intelligenz eingerichtet ist, durch das Arbeitsmodell eine Klassifizierung von Eingabedaten durchzuführen, wobei mit einer repräsentativen Datenmenge des Arbeits modells ein Monitormodell des Monitors trainiert wird. wobei der Monitor ein künstliches erstes neuronales Netz (1) aufweist und die Eingabe für das erste neuronale Netz (1) durch die repräsentative Datenmenge gebildet ist und wobei die künstliche Intelligenz ein künstliches zwei tes neuronales Netz (2) aufweist, wobei die repräsentative Datenmenge durch die Ausgabe (3) der Aktivierungsfunktionen der Neuronen des zweiten neuronalen Netzes (2) gebildet ist.
4. Vorrichtung nach Anspruch 3, wobei die Vorrichtung einge- richtet ist, das Monitormodell dadurch zu trainieren, dass in das mit Trainingsdaten (4.1) fertig trainierte Arbeitsmodell die Trainingsdaten (4.1) oder ein Teil der Trainingsdaten (4.1) abermals zur Analyse eingegeben werden und das Arbeits modell durchläuft, wobei das Monitormodell eine Menge der gültigen Aktivierungsmuster und/oder Aktivierungspfade, die das Arbeitsmodell erreichen kann, erlernt.
5. Computerprogrammprodukt, umfassend ein Computerprogramm, wobei das Computerprogramm in eine Speichereinrichtung einer Einrichtung ladbar ist, wobei mit dem Computerprogramm die Schritte eines Verfahrens nach einem der Ansprüche 1 oder 2 ausgeführt werden, wenn das Computerprogramm auf der Einrich tung ausgeführt wird.
6. Computerlesbares Medium, auf welchem ein Computerprogramm gespeichert ist, wobei das Computerprogramm in eine Speicher einrichtung einer Einrichtung ladbar ist, wobei mit dem Com puterprogramm die Schritte eines Verfahrens nach einem der Ansprüche 1 oder 2 ausgeführt werden, wenn das Computerpro- gramm auf der Einrichtung ausgeführt wird.
EP21739570.6A 2020-07-01 2021-06-21 Automatisierte überwachung künstlicher intelligenz Pending EP4150458A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20183413.2A EP3933595A1 (de) 2020-07-01 2020-07-01 Automatisierte überwachung künstlicher intelligenz
PCT/EP2021/066796 WO2022002661A1 (de) 2020-07-01 2021-06-21 Automatisierte überwachung künstlicher intelligenz

Publications (1)

Publication Number Publication Date
EP4150458A1 true EP4150458A1 (de) 2023-03-22

Family

ID=71409336

Family Applications (2)

Application Number Title Priority Date Filing Date
EP20183413.2A Withdrawn EP3933595A1 (de) 2020-07-01 2020-07-01 Automatisierte überwachung künstlicher intelligenz
EP21739570.6A Pending EP4150458A1 (de) 2020-07-01 2021-06-21 Automatisierte überwachung künstlicher intelligenz

Family Applications Before (1)

Application Number Title Priority Date Filing Date
EP20183413.2A Withdrawn EP3933595A1 (de) 2020-07-01 2020-07-01 Automatisierte überwachung künstlicher intelligenz

Country Status (4)

Country Link
US (1) US20230259764A1 (de)
EP (2) EP3933595A1 (de)
CN (1) CN115735195A (de)
WO (1) WO2022002661A1 (de)

Also Published As

Publication number Publication date
EP3933595A1 (de) 2022-01-05
WO2022002661A1 (de) 2022-01-06
CN115735195A (zh) 2023-03-03
US20230259764A1 (en) 2023-08-17

Similar Documents

Publication Publication Date Title
WO2020260020A1 (de) Verfahren und vorrichtung zum überprüfen der robustheit eines künstlichen neuronalen netzes
DE4436658B4 (de) Vorrichtung und Verfahren zur Störungsuntersuchung
DE102017223751A1 (de) Verfahren und Vorrichtung zur Erkennung von Anomalien in einem Datenstrom eines Kommunikationsnetzwerks
DE102018128289A1 (de) Verfahren und vorrichtung für eine autonome systemleistung und zur einstufung
EP3646184B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zum auflösen einer redundanz von zwei oder mehr redundanten modulen
EP3684015B1 (de) Vorrichtung und verfahren zur klassifizierung von daten insbesondere für ein controller area netzwerk oder ein automotive ethernet netzwerk
DE102019209462A1 (de) Verfahren zur Bestimmung eines Vertrauens-Wertes eines detektierten Objektes
DE102008013366A1 (de) Verfahren zur Bereitstellung von Information für Fahrerassistenzsysteme
DE102017210787A1 (de) Verfahren und Vorrichtung zum Ermitteln von Anomalien in einem Kommunikationsnetzwerk
DE112020003343T5 (de) System und verfahren mit einem robusten tiefen generativen modell
DE102019206720B4 (de) Überwachung eines KI-Moduls einer Fahrfunktion eines Fahrzeugs
EP3947100B1 (de) Verfahren und einrichtung zum erzeugen eines statussignals
EP4150458A1 (de) Automatisierte überwachung künstlicher intelligenz
DE102020211849A1 (de) Trainieren eines maschinellen lernmodells unter verwendung eines batch-basierten aktiven lernansatzes
EP3921658B1 (de) Verfahren und prüfvorrichtung
DE102019209463A1 (de) Verfahren zur Bestimmung eines Vertrauenswertes eines Objektes einer Klasse
DE102018207220A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Detektieren eines Berechnungsfehlers oder einer Fehlfunktion
DE102021201833A1 (de) Vorrichtung zur Verarbeitung von mindestens einem Eingangsdatensatz unter Verwendung eines neuronalen Netzes sowie Verfahren
DE102021204040A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Erstellung von Trainingsdaten im Fahrzeug
DE102021208349B3 (de) Verfahren und Sensorsystem zum Zusammenführen von Sensordaten sowie Fahrzeug mit einem Sensorsystem zum Zusammenführen von Sensordaten
WO2020260016A1 (de) Verfahren und vorrichtung zum trainieren eines maschinellen lernsystems
DE102018126078A1 (de) Verfahren zur Behandlung von Ausnahmezuständen eines Messsystems
WO2018091160A1 (de) Funktionsüberwachung einer sensoreinrichtung eines kraftfahrzeugs
DE102022205918A1 (de) Verfahren zum Durchführen einer Datenverarbeitung
AT502241B1 (de) Verfahren und anordnung zur feststellung der abweichung von ermittelten werten

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20221212

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)