EP3973458A1 - Verfahren zum betreiben eines tiefen neuronalen netzes - Google Patents

Verfahren zum betreiben eines tiefen neuronalen netzes

Info

Publication number
EP3973458A1
EP3973458A1 EP20724799.0A EP20724799A EP3973458A1 EP 3973458 A1 EP3973458 A1 EP 3973458A1 EP 20724799 A EP20724799 A EP 20724799A EP 3973458 A1 EP3973458 A1 EP 3973458A1
Authority
EP
European Patent Office
Prior art keywords
neural network
filter
deep neural
classic
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20724799.0A
Other languages
English (en)
French (fr)
Inventor
Peter Schlicht
Nico Maurice SCHMIDT
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP3973458A1 publication Critical patent/EP3973458A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the invention relates to a method for operating a deep neural network.
  • the invention also relates to a device for data processing, a computer program and a computer-readable storage medium.
  • Machine learning for example based on neural networks, has great potential for use in modern driver assistance systems and automated vehicles.
  • Functions based on deep neural networks process raw sensor data (e.g. from cameras, radar or lidar sensors) in order to derive relevant information from it.
  • This information includes, for example, a type and a position of objects in an environment of the motor vehicle, a behavior of the objects or a road geometry or topology.
  • convolutional neural networks in particular have proven to be particularly suitable for applications in image processing.
  • Convolution networks gradually extract various high-quality features from input data (e.g. image data) in an unmonitored form.
  • input data e.g. image data
  • the convolution network independently develops feature maps based on filter channels that use the
  • Feature cards are then processed again by further filter channels, which derive more valuable feature cards from them.
  • the deep neural network On the basis of this information compressed from the input data, the deep neural network finally derives its decision and makes it available as output data.
  • the invention is based on the object of creating a method and a device for operating a deep neural network, in which the deep neural network is more robust to interference.
  • a method for operating a deep neural network is made available, wherein the deep neural network with several layers between one
  • Input layer and an output layer is operated, and at least one classic filter is additionally used in the deep neural network between the input layer and the output layer.
  • a device for data processing comprising means for carrying out the method steps of the method according to the invention.
  • the means can in particular include a computing device and a memory.
  • a computer program comprising commands which, when the computer program is executed by a computer, cause the computer to carry out the method steps of the method according to the invention.
  • a computer-readable storage medium comprising instructions which, when executed by a computer, cause the computer to carry out the method steps of the method according to the invention.
  • the method and the device make it possible to increase the robustness of a neural network, in particular of a convolution network, with respect to interference. This is done by in addition to the usually randomly initialized filters for deep feature extraction
  • Neural network also uses at least one classic filter.
  • the at least one classic filter is in particular an integral part of a structure of the deep neural network.
  • filter parameters are in particular specified when the deep neural network is initialized, that is to say at the beginning of a training phase.
  • the specified filter parameters can be selected, for example, on the basis of estimates and / or empirical values.
  • Output data of the at least one classic filter are provided to the deep neural network in addition to the unfiltered input data that have not passed through the at least one classic filter and the input data filtered by means of the filter channels.
  • the features or features extracted by the at least one classic filter represent
  • Feature maps are a subset of all features or features used for inferring.
  • the invention is based on the knowledge that deep neural networks are usually not necessarily trained for discriminative features in the input data as part of the training phase, but that features to which the deep neural network reacts sensitively after training to infer the output data, often little
  • the invention makes it possible to achieve a more robust behavior of the deep neural network with regard to disturbance influences (e.g. in the form of adversarial disturbances) which only cause a semantically irrelevant change in the input data.
  • disturbance influences e.g. in the form of adversarial disturbances
  • the advantage of the method and the device is that a hybrid approach can be implemented in which both classic filters and trained filters or filter channels are integrated in the deep neural network. Overall, this can increase the robustness of the deep neural network with respect to interference.
  • a neural network is in particular an artificial neural network, in particular a convolutional neural network.
  • the neural network becomes or is
  • the input data of the deep neural network can be one-dimensional or
  • training data of the Training data set one-dimensional or multi-dimensional, with the training data being marked (“labeled”) with regard to semantically meaningful content.
  • the training data can be recorded and semantic with regard to one
  • the training data and the input data are two-dimensional data, that is to say image data captured by means of a camera.
  • a training phase and an inference phase of the deep neural network are otherwise carried out in a manner known per se.
  • the method is carried out in particular as a computer-implemented invention.
  • the method is carried out by means of a computing device that can access a memory.
  • the computing device can be designed as a combination of hardware and software, for example as program code that is based on a
  • Microcontroller or microprocessor is running.
  • a classic filter can in particular have a one-dimensional or multi-dimensional input and a one-dimensional or multi-dimensional output.
  • the classic filter is also permanently specified when the deep neural network is initialized
  • Filter parameters initialized In other words, a classic filter has a permanently predetermined filter function which can be parameterized with the aid of filter parameters; however, these filter parameters are fixedly predetermined during initialization and are not initialized randomly.
  • a classic filter should include a classic computer vision method.
  • such a method can be a method for image processing.
  • a classic filter can in particular be one of the following:
  • Filter parameters are parameters of the at least one classic filter. If, for example, it is an edge filter for image data, then a filter parameter is, for example, a sensitivity value or threshold value, which indicates the value from which a pixel or an area in an image is treated as an edge.
  • the deep neural network is a convolution network.
  • the at least one classic filter is arranged in front of or in a feature layer of the convolution network, that is to say in particular in front of a backpropagation network of the convolution network.
  • the output data of the at least one classic filter is
  • filter parameters of the at least one classic filter are kept constant during a training phase of the deep neural network. In this way, filter parameters of the at least one classic filter can be specified and also during the training phase and a subsequent one
  • Application of the trained deep neural network can be maintained in an inference phase.
  • this allows the at least one filter to be specifically set to particularly discriminative features in the input data. This is particularly advantageous if filter functions are known for input data for which optimal filter parameters for extracting particularly discriminative features are already known.
  • Basic truth (English ground truth or the labels of the training data) is determined and parameters of the deep neural network are determined in the context of a gradient descent during training depending on the derivation of these (for several training data)
  • Filter parameters is changed, while filter parameters of another part of the classic filter are kept constant at the filter parameters specified during initialization.
  • the filter parameters of the at least one classic filter are adapted with a lower learning rate than the rest of the deep neural network.
  • a compromise can be reached between a possibility of adapting filter parameters of the classic filters in the context of the training phase and a specification of filter parameters.
  • a function of the deep neural network can be traced in terms of its effect, at least in connection with the at least one classic filter, that is to say in relation to certain discriminative features.
  • the deep neural network can be made more robust due to a lower learning rate, since the classic filter reacts less sensitively to slightly changed input data and, as a result, the filter parameters are adjusted too much
  • the at least one classic filter is operated directly after the input layer and / or in the vicinity of the input layer of the deep neural network. This allows discriminative features to be extracted close to the input. This can have an advantageous effect on the robustness of the deep neural network.
  • the vicinity of the input layer means in particular that the at least one classic filter is arranged in the i-th layer after the input layer in the deep neural network, where i ⁇ 10, preferably i ⁇ 5, particularly preferably i ⁇ 3.
  • an output of the at least one classic filter is fed to several layers of the deep neural network. This helps while being able to locate features learned from the deep neural network relative to the original input data. In the case of image data, this enables, in particular, a robust and precise desolation of image features (for example edge lines, objects, etc.)
  • Pixel areas in the image data are used to robustly obliterate recognized image features relative to the classic filter cades.
  • Fig. 1 is a schematic representation of an embodiment of the device for
  • FIG. 2 shows a schematic representation of an embodiment of a deep neuronal
  • the device 1 shows a schematic representation of a device 1 for carrying out the method.
  • the device 1 comprises means 2 for carrying out the process.
  • the means 2 include a computing device 3 and a memory 4.
  • a structure and parameters of a deep neural network 5 are stored in the memory 4.
  • the computing device 3 can access the memory 4 and perform arithmetic operations to operate the deep neural network 5.
  • the computing device 3 can be designed as a combination of hardware and software, for example as a computer program that is executed on a microcontroller or microprocessor.
  • marked (“labeled”) training data 6 and filter parameters 7 of at least one classic filter are stored in the memory 4 at least during a training phase.
  • Neural network 5 input data 10 supplied. This can be, for example
  • the deep neural network 5 executes a perception function. After a completed inference phase, the deep neural network 5 or the
  • Device 1 output data 11 which, for example, provided a classification result of the input data 10. If the perception function includes, for example, the recognition of pedestrians in the captured camera data, the output data are, for example Probability values for the presence of pedestrians are provided in the captured camera data.
  • FIG. 2 shows a schematic representation of an embodiment of a deep neural network 5 to illustrate the invention.
  • the deep neural network 5 has an input layer 20 and an output layer 21.
  • Initializing deep neural network 5 can be randomly initialized before a training phase and then learned step by step during training. Behind the filter channels 22 follow several layers 23 of the deep neural network 5, which are implemented in the context of
  • Training phase in particular by means of methods such as backpropagation, can be trained in a monitored manner on the basis of a training data set.
  • the input data and the output data filter channels 22 each include two dimensions.
  • the deep neural network 5 comprises, in addition to the filter channels 22 to be trained or trained, a plurality of classic filters 24, 25. In the case of those mentioned
  • the classic filters 24 can be, for example, image processing filters that each execute a computer vision method on the captured camera images.
  • the filter parameters of the classic filters 24, 24 are permanently specified when the deep neural network 5 is initialized, that is to say that the filter parameters are not randomly initialized as in the case of the filter channels 22.
  • the fixed predetermined filter parameters can be selected on the basis of empirical values, for example.
  • Input layer 20 of the deep neural network 5 operated.
  • the classic filter 25, on the other hand, is operated between layers 23 of the deep neural network 5.
  • the classic filter can do one of the following:
  • the deep neural network 5 can be designed as a convolution network, for example.
  • the at least one classic filter 24 is then arranged in particular in the area of feature layers of the convolution network, that is to say in front of a backpropagation network of the convolution network.
  • filter parameters of the classic filters 24, 25 are kept constant during a training phase of the deep neural network 5.
  • the filter parameters of the classic filters 24, 25 are changed during a training phase of the deep neural network 5.
  • the filter parameters are then learned together with the rest of the deep neural network 5.
  • the filter parameters of the classic filters 24, 25 are adapted with a lower learning rate than the rest of the deep neural network 5.
  • the training phase is changed by changing the associated filter parameters
  • Filter parameters of another part of the classic filters 24, 25, on the other hand can be kept constant at the filter parameters specified during initialization.
  • an output of a classic filter 25 is fed to several layers 23 of the deep neural network 5.
  • the result of the described method is that a deep neural network 5 is more robust with regard to interference, since highly discriminative features are specifically extracted using the classic filters 24, 25.

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines tiefen Neuronalen Netzes (5), wobei das tiefe Neuronale Netz (5) mit mehreren Schichten (22) zwischen einer Eingangsschicht (20) und einer Ausgangsschicht (21) betrieben wird, und wobei im tiefen Neuronalen Netz (5) zwischen der Eingangsschicht (20) und der Ausgangsschicht (21) zusätzlich mindestens ein klassisches Filter (24, 25) verwendet wird. Ferner betrifft die Erfindung eine Vorrichtung (1) zur Datenverarbeitung, ein Computerprogramm und ein computerlesbares Speichermedium.

Description

Beschreibung
Verfahren zum Betreiben eines tiefen Neuronalen Netzes
Die Erfindung betrifft ein Verfahren zum Betreiben eines tiefen Neuronalen Netzes. Ferner betrifft die Erfindung eine Vorrichtung zur Datenverarbeitung, ein Computerprogramm und ein computerlesbares Speichermedium.
Maschinelles Lernen, beispielsweise auf Grundlage von Neuronalen Netzen, hat großes Potenzial für eine Anwendung in modernen Fahrerassistenzsystemen und automatisiert fahrenden Kraftfahrzeugen. Auf tiefen Neuronalen Netzen basierende Funktionen verarbeiten hierbei Sensorrohdaten (zum Beispiel von Kameras, Radar- oder Lidarsensoren), um hieraus relevante Informationen abzuleiten. Diese Informationen umfassen zum Beispiel eine Art und eine Position von Objekten in einem Umfeld des Kraftfahrzeugs, ein Verhalten der Objekte oder eine Fahrbahngeometrie oder -topologie.
Unter den Neuronalen Netzen haben sich insbesondere Faltungsnetze (engl convolutional neural networks) als besonders geeignet für Anwendungen in der Bildverarbeitung erwiesen. Faltungsnetze extrahieren in unüberwachter Form stufenweise verschiedene hochwertige Merkmale aus Eingangsdaten (z.B. Bilddaten). Das Faltungsnetz entwickelt hierbei während einer Trainingsphase eigenständig Merkmalskarten basierend auf Filterkanälen, die die
Eingangsdaten lokal verarbeiten, um hierdurch lokale Eigenschaften abzuleiten. Diese
Merkmalskarten werden dann erneut von weiteren Filterkanälen verarbeitet, die daraus höherwertigere Merkmalskarten ableiten. Auf Grundlage dieser derart aus den Eingangsdaten verdichteten Informationen leitet das tiefe Neuronale Netz schließlich seine Entscheidung ab und stellt diese als Ausgangsdaten bereit.
Während Faltungsnetze klassische Ansätze an funktionaler Genauigkeit übertreffen, besitzen diese jedoch auch Nachteile. So können beispielsweise Störeinflüsse in erfassten Sensordaten oder auf adversarialen Störeinflüssen basierende Angriffe dazu führen, dass trotz eines semantisch nicht veränderten Inhalts in den erfassten Sensordaten eine Fehlklassifizierung bzw. falsche semantische Segmentierung erfolgt. Daher wird versucht, Neuronale Netze robust gegen diese Art von Störeinflüssen auszugestalten. Aus der US 2018/0144203 A1 ist ein Verfahren bekannt, bei dem mit Hilfe von Verfahren der Computer Vision eine Vorverarbeitung und eine Vorauswahl von Bildbereichen von erfassten Kameradaten erfolgt. Die vorverarbeiteten und vorausgewählten Bildbereiche werden dann exportiert und einem künstlichen Neuronalen Netz zur Klassifizierung zugeführt.
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zum Betreiben eines tiefen Neuronalen Netzes zu schaffen, bei denen das tiefe Neuronale Netz robuster gegen Störeinflüsse ist.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des
Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 8 gelöst. Ferner wird die Aufgabe erfindungsgemäß durch ein Computerprogramm mit den Merkmalen des Patentanspruchs 9 und ein computerlesbares Speichermedium mit den Merkmalen des Patentanspruchs 10 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Insbesondere wird ein Verfahren zum Betreiben eines tiefen Neuronalen Netzes zur Verfügung gestellt, wobei das tiefe Neuronale Netz mit mehreren Schichten zwischen einer
Eingangsschicht und einer Ausgangsschicht betrieben wird, und wobei im tiefen Neuronalen Netz zwischen der Eingangsschicht und der Ausgangsschicht zusätzlich mindestens ein klassisches Filter verwendet wird.
Ferner wird insbesondere eine Vorrichtung zur Datenverarbeitung geschaffen, umfassend Mittel zur Ausführung der Verfahrensschritte des erfindungsgemäßen Verfahrens. Die Mittel können hierbei insbesondere eine Recheneinrichtung und einen Speicher umfassen.
Weiter wird ein Computerprogramm geschaffen, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, die Verfahrensschritte des erfindungsgemäßen Verfahrens auszuführen.
Darüber hinaus wird ein computerlesbares Speichermedium geschaffen, umfassend Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, die Verfahrensschritte des erfindungsgemäßen Verfahrens auszuführen.
Das Verfahren und die Vorrichtung ermöglichen es, eine Robustheit eines Neuronales Netzes, insbesondere eines Faltungsnetzes, gegenüber Störeinflüssen zu erhöhen. Dies erfolgt, indem neben den üblicherweise zufällig initialisierten Filtern zur Merkmalsextraktion im tiefen
Neuronalen Netz zusätzlich mindestens ein klassisches Filter verwendet wird. Das mindestens eine klassische Filter ist hierbei insbesondere ein integraler Teil einer Struktur des tiefen Neuronalen Netzes. Bei diesem mindestens einen klassischen Filter werden Filterparameter beim Initialisieren des tiefen Neuronalen Netzes, das heißt zu Beginn einer Trainingsphase, insbesondere vorgegeben. Die vorgegebenen Filterparameter können beispielsweise auf Grundlage von Schätzungen und/oder von Erfahrungswerten gewählt werden. Ausgangsdaten des mindestens einen klassischen Filters werden dem tiefen Neuronalen Netz zusätzlich zu den ungefilterten Eingangsdaten, die nicht das mindestens eine klassische Filter durchlaufen haben, und den mittels der Filterkanäle gefilterten Eingangsdaten bereitgestellt. Anders ausgedrückt stellen die von dem mindestens einen klassischen Filter extrahierten Merkmale bzw.
Merkmalskarten eine Teilmenge aller zum Inferieren verwendeten Merkmale bzw.
Merkmalskarten dar. Hierdurch kann erreicht werden, dass das mindestens eine klassische Filter besonders diskriminative Merkmale aus an der Eingangsschicht bereitgestellten
Eingangsdaten extrahieren kann, welche den zufällig initialisierten Filtern bzw. Filterkanälen in der Regel entgehen. Der Erfindung liegt die Erkenntnis zugrunde, dass tiefe Neuronale Netze im Rahmen der Trainingsphase in der Regel nicht zwangsläufig auf diskriminative Merkmale in den Eingangsdaten trainiert werden, sondern dass Merkmale, auf die das tiefe Neuronale Netz nach dem Trainieren zum Inferieren der Ausgangsdaten sensitiv reagiert, oft wenig
aussagekräftig und daher anfälliger für Störeinflüsse sind. Insgesamt kann durch die Erfindung ein robusteres Verhalten des tiefen Neuronalen Netzes gegenüber Störeinflüssen (z.B. in Form von adversarialen Störungen) erreicht werden, die lediglich eine semantisch nicht relevante Veränderung der Eingangsdaten hervorrufen.
Der Vorteil des Verfahrens und der Vorrichtung ist, dass ein hybrider Ansatz umgesetzt werden kann, bei dem sowohl klassische Filter als auch angelernte Filter bzw. Filterkanäle im tiefen Neuronalen Netz integriert sind. Insgesamt kann dies die Robustheit des tiefen Neuronalen Netzes gegenüber Störeinflüssen erhöhen.
Ein Neuronales Netz ist insbesondere ein Künstliches Neuronales Netz, insbesondere ein Faltungsnetz (engl convolutional neural network). Das Neuronale Netz wird oder ist
insbesondere auf eine bestimmte Wahrnehmungsfunktion trainiert, beispielsweise eine
Wahrnehmung von Fußgängern oder anderen Objekten in erfassten Kamerabildern.
Die Eingangsdaten des tiefen Neuronalen Netzes können eindimensional oder
mehrdimensional sein. Entsprechend sind zum Trainieren verwendete Trainingsdaten des Trainingsdatensatzes eindimensional oder mehrdimensional, wobei die Trainingsdaten hinsichtlich eines semantisch bedeutungsvollen Inhalts markiert („gelabelt“) sind. Beispielsweise kann es sich bei den Trainingsdaten um erfasste und hinsichtlich eines semantisch
bedeutungsvollen Inhalts (z.B. Fußgänger) markierte Kamerabilder handeln. Insbesondere handelt es sich bei den Trainingsdaten und den Eingangsdaten um zweidimensionale Daten, das heißt mittels einer Kamera erfasste Bilddaten.
Eine Trainingsphase und eine Inferenzphase des tiefen Neuronalen Netzes werden ansonsten in an sich bekannter Weise ausgeführt.
Das Verfahren wird insbesondere als computerimplementierte Erfindung ausgeführt.
Insbesondere wird das Verfahren mittels einer Recheneinrichtung, die auf einen Speicher zugreifen kann, ausgeführt. Die Recheneinrichtung kann als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem
Mikrocontroller oder Mikroprozessor ausgeführt wird.
Ein klassisches Filter kann insbesondere einen ein- oder mehrdimensionalen Eingang und einen ein- bzw. mehrdimensionalen Ausgang aufweisen. Im Gegensatz zu einem in einem tiefen Neuronalen Netz üblicherweise verwendeten Filterkanal, bei dem der Filterkanal beim Initialisieren des tiefen Neuronalen Netzes mit zufälligen Parametern initialisiert wird, wird das klassische Filter beim Initialisieren des tiefen Neuronalen Netzes mit fest vorgegebenen
Filterparametern initialisiert. Anders ausgedrückt weist ein klassisches Filter eine fest vorgegebene Filterfunktion auf, welche mit Hilfe von Filterparametern parametriert werden kann, diese Filterparameter werden jedoch beim Initialisieren fest vorgegeben und nicht zufällig initialisiert.
Insbesondere bei einer Verarbeitung von Bilddaten durch das tiefe Neuronale Netz soll ein klassisches Filter ein klassisches Verfahren der Computer Vision umfassen. Insbesondere kann ein solches Verfahren ein Verfahren zur Bildbearbeitung sein.
Ein klassisches Filter kann hierbei insbesondere eines der folgenden sein:
- Center-Surround-Filter verschiedener Größe,
- Kantenfilter (z.B. mittels des Canny-Algorithmus),
- Konturfilter, - Eckfilter,
- Musterfilter (z.B. für ein Sechseck oder eine sonstige geometrische Figur etc.),
- Farbverlaufsfilter,
- Kontrastmusterfilter,
- Schriftfilter zum Identifizieren von Schrift,
- Ableiten einer positionsabhängigen Dichtekarte zur Festlegung eines
Aufmerksamkeitsfilters,
- Bildschärfe- / Bildunschärfefilter,
- usw.
Filterparameter sind Parameter des mindestens einen klassischen Filters. Handelt es sich beispielsweise um einen Kantenfilter für Bilddaten, so ist ein Filterparameter beispielsweise ein Empfindlichkeitswert bzw. Schwellenwert, der angibt, ab welchem Wert ein Pixel oder ein Bereich in einer Abbildung als Kante behandelt wird.
Es ist insbesondere vorgesehen, dass das tiefe Neuronale Netz ein Faltungsnetz ist. Das mindestens eine klassische Filter ist hierbei insbesondere vor oder in einer Merkmalsschicht des Faltungsnetzes angeordnet, das heißt insbesondere vor einem Backpropagation-Netz des Faltungsnetzes. Ausgangsdaten des mindestens einen klassischen Filters werden dem
Backpropagation-Netz hierbei zusätzlich zu den von den Filterkanälen extrahierten
Merkmalskarten zugeführt.
In einer Ausführungsform ist vorgesehen, dass Filterparameter des mindestens einen klassischen Filters während einer Trainingsphase des tiefen Neuronalen Netzes konstant gehalten werden. Hierdurch können Filterparameter des mindestens einen klassischen Filters vorgegeben werden und auch während der Trainingsphase und einer nachfolgenden
Anwendung des trainierten tiefen Neuronalen Netzes in einer Inferenzphase beibehalten werden. Insbesondere lässt sich der mindestens eine Filter hierdurch gezielt auf besonders diskriminative Merkmale in den Eingangsdaten einstellen. Dies ist insbesondere von Vorteil, wenn für Eingangsdaten Filterfunktionen bekannt sind, für die bereits optimale Filterparameter zum Extrahieren besonders diskriminativer Merkmale bekannt sind.
In einer alternativen Ausführungsform ist vorgegeben, dass zumindest ein Teil von
Filterparametern des mindestens einen klassischen Filters während einer Trainingsphase des tiefen Neuronalen Netzes verändert wird. Hierdurch können Filterparameter des mindestens einen klassischen Filters zusätzlich zu den Parametern des restlichen tiefen Neuronalen Netzes während der Trainingsphase angelernt werden. Da beim Trainieren des tiefen Neuronalen Netzes eine Abweichung (= Löss) einer Ausgabe an der Ausgabeschicht von einer
Grundwahrheit (engl ground truth bzw. die Labels der Trainingsdaten) bestimmt wird und im Rahmen eines Gradientenabstiegs während des Trainierens Parameter des tiefen Neuronalen Netzes in Abhängigkeit der Ableitung dieser (für mehrere Trainingsdaten) ermittelten
Abweichung angepasst werden, müssen die Filterparameter der klassischen Filter
insbesondere differenzierbar von einer zum Trainieren des tiefen Neuronalen Netzes
verwendeten Kostenfunktion (Lossfunktion) abhängen.
Sind mehrere klassische Filter vorhanden, kann auch vorgesehen sein, dass nur ein Teil der klassischen Filter während der Trainingsphase über das Verändern der zugehörigen
Filterparameter verändert wird, Filterparameter eines anderen T eils der klassischen Filter hingegen konstant auf den beim Initialisieren vorgegebenen Filterparameter gehalten werden.
In einer Weiterbildung ist vorgesehen, dass zumindest ein Teil der Filterparameter des mindestens einen klassischen Filters mit einer geringeren Lernrate angepasst wird als das restliche tiefe Neuronale Netz. Hierdurch kann ein Kompromiss erreicht werden zwischen einer Möglichkeit, Filterparameter der klassischen Filters im Rahmen der Trainingsphase anzupassen und einer Vorgabe von Filterparametern. Es kann weiter erreicht werden, dass eine Funktion des tiefen Neuronalen Netzes zumindest im Zusammenhang mit dem mindestens einen klassischen Filter der Wirkung nach, das heißt in Bezug auf bestimmte diskriminative Merkmale, nachvollziehbar ist. Insgesamt kann das tiefe Neuronale Netz durch eine geringere Lernrate robuster ausgebildet werden, da das klassische Filter weniger sensibel auf leicht geänderte Eingangsdaten reagiert und in der Folge ein zu starkes Anpassen der Filterparameter im
Rahmen der Trainingsphase verhindert werden kann.
In einer Ausführungsform ist vorgesehen, dass das mindestens eine klassische Filter direkt nach der Eingangsschicht und/oder in der Nähe der Eingangsschicht des tiefen Neuronalen Netzes betrieben wird. Hierdurch können diskriminative Merkmale eingangsnah extrahiert werden. Ein vorteilhafter Effekt auf die Robustheit des tiefen Neuronalen Netzes kann hierdurch erhöht werden. In der Nähe der Eingangsschicht bedeutet hierbei insbesondere, dass das mindestens eine klassische Filter in der i-ten Schicht nach der Eingangsschicht im tiefen Neuronalen Netz angeordnet ist, wobei i < 10, bevorzugt i < 5, besonders bevorzugt i < 3 ist.
In einer weiteren Ausführungsform ist vorgesehen, dass ein Ausgang des mindestens einen klassischen Filters mehreren Schichten des tiefen Neuronalen Netzes zugeführt wird. Dies hilft dabei, von dem tiefen Neuronalen Netz gelernte Merkmale relativ zu den ursprünglichen Eingangsdaten verorten zu können. Im Falle von Bilddaten ermöglicht dies insbesondere eine robuste Verödung von Bildmerkmalen (z.B. Kantenzüge, Objekte etc.) zu genauen
Pixelbereichen in den Bilddaten. Es kann hierüber insbesondere eine robuste Verödung von erkannten Bildmerkmalen relativ zu den klassischen Filterkaden erfolgen.
Nachfolgend wird die Edindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläuted. Hierbei zeigen:
Fig. 1 eine schematische Darstellung einer Ausführungsform der Vorrichtung zur
Datenverarbeitung zum Ausführen des Vedahrens;
Fig. 2 eine schematische Darstellung einer Ausführungsform eines tiefen Neuronalen
Netzes zur Verdeutlichung der Edindung.
In Fig. 1 ist eine schematische Darstellung einer Vorrichtung 1 zum Ausführen des Vedahrens gezeigt. Die Vorrichtung 1 umfasst Mittel 2 zum Ausführen des Vedahrens. Die Mittel 2 umfassen eine Recheneinrichtung 3 und einen Speicher 4. In dem Speicher 4 sind eine Struktur und Parameter eines tiefen Neuronalen Netzes 5 hinterlegt. Zum Durchführen des Vedahrens, insbesondere zum Trainieren des tiefen Neuronalen Netzes 5 und zum Anwenden des tiefen Neuronalen Netzes 5 während einer Inferenzphase, kann die Recheneinrichtung 3 auf den Speicher 4 zugreifen und zum Betreiben des tiefen Neuronalen Netzes 5 Rechenoperationen durchführen. Die Recheneinrichtung 3 kann als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Computerprogramm, das auf einem Mikrocontroller oder Mikroprozessor ausgefühd wird.
Ferner sind in dem Speicher 4 zumindest während einer Trainingsphase markiede („gelabelte“) Trainingsdaten 6 und Filterparameter 7 mindestens eines klassischen Filters hinterlegt.
Während einer Inferenzphase werden der Vorrichtung 1 bzw. dem (trainierten) tiefen
Neuronalen Netz 5 Eingangsdaten 10 zugefühd. Dies können beispielsweise edasste
Kameradaten sein, auf denen das tiefe Neuronale Netz 5 eine Wahrnehmungsfunktion ausfühd. Nach einer abgeschlossenen Inferenzphase liefed das tiefe Neuronale Netz 5 bzw. die
Vorrichtung 1 Ausgangsdaten 11 , welche beispielsweise ein Klassifizierungsergebnis der Eingangsdaten 10 liefed. Umfasst die Wahrnehmungsfunktion beispielsweise das Erkennen von Fußgängern in den erfassten Kameradaten, so werden als Ausgangsdaten beispielsweise Wahrscheinlichkeitswerte für das Vorhandensein von Fußgängern in den erfassten Kameradaten bereitgestellt.
In Fig. 2 ist eine schematische Darstellung einer Ausführungsform eines tiefen Neuronalen Netzes 5 zur Verdeutlichung der Erfindung gezeigt. Das tiefe Neuronale Netz 5 weist eine Eingangsschicht 20 und eine Ausgangsschicht 21 auf.
Nach der Eingangsschicht 20 folgen mehrere Filterkanäle 22, deren Parameter beim
Initialisieren tiefen Neuronalen Netzes 5 vor einer Trainingsphase zufällig initialisiert werden und anschließend beim Trainieren schrittweise angelernt werden. Hinter den Filterkanälen 22 folgen mehrere Schichten 23 des tiefen Neuronalen Netzes 5, welche im Rahmen der
Trainingsphase, insbesondere mittels Verfahren wie der Backpropagation, auf Grundlage eines Trainingsdatensatzes in überwachter Weise trainiert werden.
Führt das tiefe Neuronale Netz 5 beispielsweise eine Wahrnehmungsfunktion in erfassten Kameradaten aus, so umfassen die Eingangsdaten und die Ausgangsdaten Filterkanäle 22 jeweils zwei Dimensionen.
Ferner umfasst das tiefe Neuronale Netz 5 zusätzlich zu den anzulernenden bzw. angelernten Filterkanälen 22 mehrere klassische Filter 24, 25. Im Falle der genannten
Wahrnehmungsfunktion können die klassischen Filter 24 beispielsweise Bildbearbeitungsfilter sein, die jeweils ein Verfahren der Computer Vision auf den erfassten Kamerabildern ausführen. Um besonders diskriminativ zu sein, werden Filterparameter der klassischen Filter 24, 24 beim Initialisieren des tiefen Neuronalen Netzes 5 fest vorgegeben, das heißt es findet keine zufällige Initialisierung der Filterparameter wie bei den Filterkanälen 22 statt. Die fest vorgegebenen Filterparameter können hierbei beispielsweise auf Grundlage von Erfahrungswerten ausgewählt werden.
Wie in der Fig. 2 zu erkennen, werden die klassischen Filter 24 direkt nach der
Eingangsschicht 20 des tiefen Neuronalen Netzes 5 betrieben. Das klassische Filter 25 wird hingegen zwischen Schichten 23 des tiefen Neuronalen Netzes 5 betrieben.
Das klassische Filter kann beispielsweise eines der folgenden Verfahren ausführen:
- Center-Surround-Filter verschiedener Größe,
- Kantenfilter (z.B. mittels des Canny-Algorithmus), - Konturfilter,
- Eckfilter,
- Musterfilter (z.B. für ein Sechseck oder eine sonstige geometrische Figur etc.),
- Farbverlaufsfilter,
- Kontrastmusterfilter,
- Schriftfilter zum Identifizieren von Schrift,
- Ableiten einer positionsabhängigen Dichtekarte zur Festlegung eines
Aufmerksamkeitsfilters,
- Bildschärfe- / Bildunschärfefilter,
- usw.
Das tiefe Neuronale Netz 5 kann beispielsweise als Faltungsnetz ausgebildet sein. Das mindestens eine klassische Filter 24 ist dann insbesondere im Bereich von Merkmalsschichten des Faltungsnetzes, das heißt vor einem Backpropagation-Netz des Faltungsnetzes, angeordnet.
Es kann vorgesehen sein, dass Filterparameter der klassischen Filter 24, 25 während einer Trainingsphase des tiefen Neuronalen Netzes 5 konstant gehalten werden.
Alternativ kann vorgesehen sein, dass zumindest ein Teil der Filterparameter der klassischen Filter 24, 25 während einer Trainingsphase des tiefen Neuronalen Netzes 5 verändert wird. Die Filterparameter werden dann zusammen mit dem restlichen tiefen Neuronalen Netz 5 angelernt.
Weiterbildend kann vorgesehen sein, dass zumindest ein Teil der Filterparameter der klassischen Filter 24, 25 mit einer geringeren Lernrate angepasst wird als das restliche tiefe Neuronale Netz 5.
Es kann vorgesehen sein, dass nur ein Teil der klassischen Filter 24, 25 während der
Trainingsphase über das Verändern der zugehörigen Filterparameter verändert wird,
Filterparameter eines anderen Teils der klassischen Filter 24, 25 kann hingegen konstant auf den beim Initialisieren vorgegebenen Filterparametern gehalten werden.
Es kann ferner vorgesehen sein, dass ein Ausgang eines klassischen Filters 25 mehreren Schichten 23 des tiefen Neuronalen Netzes 5 zugeführt wird. Das beschriebene Verfahren führt dazu, dass ein tiefes Neuronales Netz 5 robuster gegenüber Störeinflüssen ist, da über die klassischen Filter 24, 25 gezielt stark diskriminative Merkmale extrahiert werden.
Bezugszeichenliste
Vorrichtung
Mittel
Recheneinrichtung
Speicher
tiefes Neuronales Netz
Trainingsdaten
Filterparameter
Eingangsdaten
Ausgangsdaten
Eingangsschicht
Ausgangsschicht
Filterkanal
Schicht
klassisches Filter
klassisches Filter

Claims

Patentansprüche
1. Verfahren zum Betreiben eines tiefen Neuronalen Netzes (5), wobei das tiefe Neuronale Netz (5) mit mehreren Schichten (22) zwischen einer Eingangsschicht (20) und einer Ausgangsschicht (21) betrieben wird, und wobei im tiefen Neuronalen Netz (5) zwischen der Eingangsschicht (20) und der Ausgangsschicht (21) zusätzlich mindestens ein klassisches Filter (24,25) verwendet wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass Filterparameter des
mindestens einen klassischen Filters (24,25) während einer Trainingsphase des tiefen Neuronalen Netzes (5) konstant gehalten werden.
3. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass zumindest ein Teil von
Filterparametern des mindestens einen klassischen Filters (24,25) während einer Trainingsphase des tiefen Neuronalen Netzes (5) verändert wird.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass zumindest ein Teil der
Filterparameter des mindestens einen klassischen Filters (24,25) mit einer geringeren Lernrate angepasst wird als das restliche tiefe Neuronale Netz (5).
5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das mindestens eine klassische Filter (24,25) direkt nach der Eingangsschicht (20) und/oder in der Nähe der Eingangsschicht (20) des tiefen Neuronalen Netzes (5) betrieben wird.
6. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass ein Ausgang des mindestens einen klassischen Filters mehreren Schichten (23) des tiefen Neuronalen Netzes (5) zugeführt wird.
7. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das tiefe Neuronale Netz (5) ein Faltungsnetz ist.
8. Vorrichtung (1) zur Datenverarbeitung, umfassend Mittel (2) zur Ausführung der
Verfahrensschritte des Verfahrens nach einem beliebigen der Ansprüche 1 bis 7.
9. Computerprogramm, umfassend Befehle, die bei der Ausführung des
Computerprogramms durch einen Computer diesen veranlassen, die Verfahrensschritte des Verfahrens nach einem beliebigen der Ansprüche 1 bis 7 auszuführen.
10. Computerlesbares Speichermedium, umfassend Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, die Verfahrensschritte des Verfahrens nach einem beliebigen der Ansprüche 1 bis 7 auszuführen.
EP20724799.0A 2019-05-23 2020-05-06 Verfahren zum betreiben eines tiefen neuronalen netzes Pending EP3973458A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019207580.0A DE102019207580A1 (de) 2019-05-23 2019-05-23 Verfahren zum Betreiben eines tiefen Neuronalen Netzes
PCT/EP2020/062636 WO2020233991A1 (de) 2019-05-23 2020-05-06 Verfahren zum betreiben eines tiefen neuronalen netzes

Publications (1)

Publication Number Publication Date
EP3973458A1 true EP3973458A1 (de) 2022-03-30

Family

ID=70617109

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20724799.0A Pending EP3973458A1 (de) 2019-05-23 2020-05-06 Verfahren zum betreiben eines tiefen neuronalen netzes

Country Status (5)

Country Link
US (1) US20220222537A1 (de)
EP (1) EP3973458A1 (de)
CN (1) CN113826121A (de)
DE (1) DE102019207580A1 (de)
WO (1) WO2020233991A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819141A (zh) * 2021-02-01 2021-05-18 浪达网络科技(浙江)有限公司 一种基于深度神经网络的信息处理系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10185881B2 (en) 2016-11-23 2019-01-22 Ford Global Technologies, Llc Traffic-light detection and classification using computer vision and deep learning

Also Published As

Publication number Publication date
US20220222537A1 (en) 2022-07-14
DE102019207580A1 (de) 2020-11-26
CN113826121A (zh) 2021-12-21
WO2020233991A1 (de) 2020-11-26

Similar Documents

Publication Publication Date Title
DE102019212020A1 (de) Verfahren zum Erkennen einer adversarialen Störung in Eingangsdaten eines Neuronalen Netzes
DE102018205561A1 (de) Vorrichtung zur Klassifizierung von Signalen
WO2020233991A1 (de) Verfahren zum betreiben eines tiefen neuronalen netzes
DE102021207505A1 (de) Verfahren zum Trainieren eines tiefen neuronalen Netzes
DE102019208735B4 (de) Verfahren zum Betreiben eines Fahrassistenzsystems eines Fahrzeugs und Fahrerassistenzsystem für ein Fahrzeug
DE102021200643B3 (de) Verfahren zur Umfelderkennung für teilautonome oder autonome Fahrfunktionen eines Kraftfahrzeugs mittels eines neuronalen Netzes
WO2021078512A1 (de) Verfahren zum robustifizieren eines neuronalen netzes gegen adversariale störungen
EP4078237A1 (de) Verfahren und vorrichtung zum erkennen einer entfremdung einer sensordatendomäne von einer referenzdatendomäne
WO2020233992A1 (de) Verfahren zum funktionsspezifischen robustifizieren eines neuronalen netzes
DE102021201833A1 (de) Vorrichtung zur Verarbeitung von mindestens einem Eingangsdatensatz unter Verwendung eines neuronalen Netzes sowie Verfahren
DE102021210417A1 (de) Systeme und Verfahren mit robusten Klassifikatoren zur Abwehr von Patch-Angriffen
EP3973455A1 (de) Verfahren zum beurteilen einer funktionsspezifischen robustheit eines neuronalen netzes
DE102020128952A1 (de) Verfahren und Assistenzeinrichtung zur zweistufigen bildbasierten Szenenerkennung und Kraftfahrzeug
EP2887264B1 (de) Kreissegment- und Formdetektion
DE102019219925A1 (de) Verfahren und Vorrichtung zum Robustifizieren eines Neuronalen Netzes gegen adversariale Störungen
DE102019127622A1 (de) Abwehrgenerator, Verfahren zur Verhinderung eines Angriffs auf eine KI-Einheit und computerlesbares-Speichermedium
DE102019202751A1 (de) Verfahren zur Objektdetektion mit zwei neuronalen Netzwerken
DE102019219924B4 (de) Verfahren und Vorrichtung zum Erzeugen und Bereitstellen einer Datenbank mit darin hinterlegten Sensordatenpatches zur Verwendung beim Quilting
EP4026063A1 (de) Verfahren zum komprimieren eines neuronalen netzes
DE102021121149A1 (de) Verfahren zur automatisierten Bestimmung einer Kopfpose eines Benutzers in einem Kraftfahrzeug
DE102019219926A1 (de) Verfahren und Vorrichtung zum Trainieren eines Neuronalen Netzes
DE102021211312A1 (de) Trainingsverfahren und System für neurales Faltungsnetzwerk
DE102021214552A1 (de) Verfahren zum Evaluieren eines trainierten tiefen neuronalen Netz
DE102021115879A1 (de) Verfahren zum Bereitstellen eines komprimierten neuronalen Netzes
DE102021103537A1 (de) Verfahren und Vorrichtung zur Rekonstruktion von Segmenten des Vordergrunds eines Bildes

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20211223

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)