DE102019207580A1 - Verfahren zum Betreiben eines tiefen Neuronalen Netzes - Google Patents

Verfahren zum Betreiben eines tiefen Neuronalen Netzes Download PDF

Info

Publication number
DE102019207580A1
DE102019207580A1 DE102019207580.0A DE102019207580A DE102019207580A1 DE 102019207580 A1 DE102019207580 A1 DE 102019207580A1 DE 102019207580 A DE102019207580 A DE 102019207580A DE 102019207580 A1 DE102019207580 A1 DE 102019207580A1
Authority
DE
Germany
Prior art keywords
neural network
filter
deep neural
classic
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019207580.0A
Other languages
English (en)
Inventor
Peter Schlicht
Nico Maurice Schmidt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102019207580.0A priority Critical patent/DE102019207580A1/de
Publication of DE102019207580A1 publication Critical patent/DE102019207580A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Computing arrangements based on biological models using neural network models
    • G06N3/08Learning methods
    • G06N3/084Back-propagation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Computing arrangements based on biological models using neural network models
    • G06N3/04Architectures, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Computing arrangements based on biological models using neural network models
    • G06N3/04Architectures, e.g. interconnection topology
    • G06N3/0454Architectures, e.g. interconnection topology using a combination of multiple neural nets

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines tiefen Neuronalen Netzes (5), wobei das tiefe Neuronale Netz (5) mit mehreren Schichten (22) zwischen einer Eingangsschicht (20) und einer Ausgangsschicht (21) betrieben wird, und wobei im tiefen Neuronalen Netz (5) zwischen der Eingangsschicht (20) und der Ausgangsschicht (21) zusätzlich mindestens ein klassisches Filter (24,25) verwendet wird. Ferner betrifft die Erfindung eine Vorrichtung (1) zur Datenverarbeitung, ein Computerprogramm und ein computerlesbares Speichermedium.

Description

  • Die Erfindung betrifft ein Verfahren zum Betreiben eines tiefen Neuronalen Netzes. Ferner betrifft die Erfindung eine Vorrichtung zur Datenverarbeitung, ein Computerprogramm und ein computerlesbares Speichermedium.
  • Maschinelles Lernen, beispielsweise auf Grundlage von Neuronalen Netzen, hat großes Potenzial für eine Anwendung in modernen Fahrerassistenzsystemen und automatisiert fahrenden Kraftfahrzeugen. Auf tiefen Neuronalen Netzen basierende Funktionen verarbeiten hierbei Sensorrohdaten (zum Beispiel von Kameras, Radar- oder Lidarsensoren), um hieraus relevante Informationen abzuleiten. Diese Informationen umfassen zum Beispiel eine Art und eine Position von Objekten in einem Umfeld des Kraftfahrzeugs, ein Verhalten der Objekte oder eine Fahrbahngeometrie oder -topologie.
  • Unter den Neuronalen Netzen haben sich insbesondere Faltungsnetze (engl. convolutional neural networks) als besonders geeignet für Anwendungen in der Bildverarbeitung erwiesen. Faltungsnetze extrahieren in unüberwachter Form stufenweise verschiedene hochwertige Merkmale aus Eingangsdaten (z.B. Bilddaten). Das Faltungsnetz entwickelt hierbei während einer Trainingsphase eigenständig Merkmalskarten basierend auf Filterkanälen, die die Eingangsdaten lokal verarbeiten, um hierdurch lokale Eigenschaften abzuleiten. Diese Merkmalskarten werden dann erneut von weiteren Filterkanälen verarbeitet, die daraus höherwertigere Merkmalskarten ableiten. Auf Grundlage dieser derart aus den Eingangsdaten verdichteten Informationen leitet das tiefe Neuronale Netz schließlich seine Entscheidung ab und stellt diese als Ausgangsdaten bereit.
  • Während Faltungsnetze klassische Ansätze an funktionaler Genauigkeit übertreffen, besitzen diese jedoch auch Nachteile. So können beispielsweise Störeinflüsse in erfassten Sensordaten oder auf adversarialen Störeinflüssen basierende Angriffe dazu führen, dass trotz eines semantisch nicht veränderten Inhalts in den erfassten Sensordaten eine Fehlklassifizierung bzw. falsche semantische Segmentierung erfolgt. Daher wird versucht, Neuronale Netze robust gegen diese Art von Störeinflüssen auszugestalten.
  • Aus der US 2018/0144203 A1 ist ein Verfahren bekannt, bei dem mit Hilfe von Verfahren der Computer Vision eine Vorverarbeitung und eine Vorauswahl von Bildbereichen von erfassten Kameradaten erfolgt. Die vorverarbeiteten und vorausgewählten Bildbereiche werden dann exportiert und einem künstlichen Neuronalen Netz zur Klassifizierung zugeführt.
  • Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zum Betreiben eines tiefen Neuronalen Netzes zu schaffen, bei denen das tiefe Neuronale Netz robuster gegen Störeinflüsse ist.
  • Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 8 gelöst. Ferner wird die Aufgabe erfindungsgemäß durch ein Computerprogramm mit den Merkmalen des Patentanspruchs 9 und ein computerlesbares Speichermedium mit den Merkmalen des Patentanspruchs 10 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
  • Insbesondere wird ein Verfahren zum Betreiben eines tiefen Neuronalen Netzes zur Verfügung gestellt, wobei das tiefe Neuronale Netz mit mehreren Schichten zwischen einer Eingangsschicht und einer Ausgangsschicht betrieben wird, und wobei im tiefen Neuronalen Netz zwischen der Eingangsschicht und der Ausgangsschicht zusätzlich mindestens ein klassisches Filter verwendet wird.
  • Ferner wird insbesondere eine Vorrichtung zur Datenverarbeitung geschaffen, umfassend Mittel zur Ausführung der Verfahrensschritte des erfindungsgemäßen Verfahrens. Die Mittel können hierbei insbesondere eine Recheneinrichtung und einen Speicher umfassen.
  • Weiter wird ein Computerprogramm geschaffen, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, die Verfahrensschritte des erfindungsgemäßen Verfahrens auszuführen.
  • Darüber hinaus wird ein computerlesbares Speichermedium geschaffen, umfassend Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, die Verfahrensschritte des erfindungsgemäßen Verfahrens auszuführen.
  • Das Verfahren und die Vorrichtung ermöglichen es, eine Robustheit eines Neuronales Netzes, insbesondere eines Faltungsnetzes, gegenüber Störeinflüssen zu erhöhen. Dies erfolgt, indem neben den üblicherweise zufällig initialisierten Filtern zur Merkmalsextraktion im tiefen Neuronalen Netz zusätzlich mindestens ein klassisches Filter verwendet wird. Das mindestens eine klassische Filter ist hierbei insbesondere ein integraler Teil einer Struktur des tiefen Neuronalen Netzes. Bei diesem mindestens einen klassischen Filter werden Filterparameter beim Initialisieren des tiefen Neuronalen Netzes, das heißt zu Beginn einer Trainingsphase, insbesondere vorgegeben. Die vorgegebenen Filterparameter können beispielsweise auf Grundlage von Schätzungen und/oder von Erfahrungswerten gewählt werden. Ausgangsdaten des mindestens einen klassischen Filters werden dem tiefen Neuronalen Netz zusätzlich zu den ungefilterten Eingangsdaten, die nicht das mindestens eine klassische Filter durchlaufen haben, und den mittels der Filterkanäle gefilterten Eingangsdaten bereitgestellt. Anders ausgedrückt stellen die von dem mindestens einen klassischen Filter extrahierten Merkmale bzw. Merkmalskarten eine Teilmenge aller zum Inferieren verwendeten Merkmale bzw. Merkmalskarten dar. Hierdurch kann erreicht werden, dass das mindestens eine klassische Filter besonders diskriminative Merkmale aus an der Eingangsschicht bereitgestellten Eingangsdaten extrahieren kann, welche den zufällig initialisierten Filtern bzw. Filterkanälen in der Regel entgehen. Der Erfindung liegt die Erkenntnis zugrunde, dass tiefe Neuronale Netze im Rahmen der Trainingsphase in der Regel nicht zwangsläufig auf diskriminative Merkmale in den Eingangsdaten trainiert werden, sondern dass Merkmale, auf die das tiefe Neuronale Netz nach dem Trainieren zum Inferieren der Ausgangsdaten sensitiv reagiert, oft wenig aussagekräftig und daher anfälliger für Störeinflüsse sind. Insgesamt kann durch die Erfindung ein robusteres Verhalten des tiefen Neuronalen Netzes gegenüber Störeinflüssen (z.B. in Form von adversarialen Störungen) erreicht werden, die lediglich eine semantisch nicht relevante Veränderung der Eingangsdaten hervorrufen.
  • Der Vorteil des Verfahrens und der Vorrichtung ist, dass ein hybrider Ansatz umgesetzt werden kann, bei dem sowohl klassische Filter als auch angelernte Filter bzw. Filterkanäle im tiefen Neuronalen Netz integriert sind. Insgesamt kann dies die Robustheit des tiefen Neuronalen Netzes gegenüber Störeinflüssen erhöhen.
  • Ein Neuronales Netz ist insbesondere ein Künstliches Neuronales Netz, insbesondere ein Faltungsnetz (engl. convolutional neural network). Das Neuronale Netz wird oder ist insbesondere auf eine bestimmte Wahrnehmungsfunktion trainiert, beispielsweise eine Wahrnehmung von Fußgängern oder anderen Objekten in erfassten Kamerabildern.
  • Die Eingangsdaten des tiefen Neuronalen Netzes können eindimensional oder mehrdimensional sein. Entsprechend sind zum Trainieren verwendete Trainingsdaten des Trainingsdatensatzes eindimensional oder mehrdimensional, wobei die Trainingsdaten hinsichtlich eines semantisch bedeutungsvollen Inhalts markiert („gelabelt“) sind. Beispielsweise kann es sich bei den Trainingsdaten um erfasste und hinsichtlich eines semantisch bedeutungsvollen Inhalts (z.B. Fußgänger) markierte Kamerabilder handeln. Insbesondere handelt es sich bei den Trainingsdaten und den Eingangsdaten um zweidimensionale Daten, das heißt mittels einer Kamera erfasste Bilddaten.
  • Eine Trainingsphase und eine Inferenzphase des tiefen Neuronalen Netzes werden ansonsten in an sich bekannter Weise ausgeführt.
  • Das Verfahren wird insbesondere als computerimplementierte Erfindung ausgeführt.
  • Insbesondere wird das Verfahren mittels einer Recheneinrichtung, die auf einen Speicher zugreifen kann, ausgeführt. Die Recheneinrichtung kann als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird.
  • Ein klassisches Filter kann insbesondere einen ein- oder mehrdimensionalen Eingang und einen ein- bzw. mehrdimensionalen Ausgang aufweisen. Im Gegensatz zu einem in einem tiefen Neuronalen Netz üblicherweise verwendeten Filterkanal, bei dem der Filterkanal beim Initialisieren des tiefen Neuronalen Netzes mit zufälligen Parametern initialisiert wird, wird das klassische Filter beim Initialisieren des tiefen Neuronalen Netzes mit fest vorgegebenen Filterparametern initialisiert. Anders ausgedrückt weist ein klassisches Filter eine fest vorgegebene Filterfunktion auf, welche mit Hilfe von Filterparametern parametriert werden kann, diese Filterparameter werden jedoch beim Initialisieren fest vorgegeben und nicht zufällig initialisiert.
  • Insbesondere bei einer Verarbeitung von Bilddaten durch das tiefe Neuronale Netz soll ein klassisches Filter ein klassisches Verfahren der Computer Vision umfassen. Insbesondere kann ein solches Verfahren ein Verfahren zur Bildbearbeitung sein.
  • Ein klassisches Filter kann hierbei insbesondere eines der folgenden sein:
    • - Center-Surround-Filter verschiedener Größe,
    • - Kantenfilter (z.B. mittels des Canny-Algorithmus),
    • - Konturfilter,
    • - Eckfilter,
    • - Musterfilter (z.B. für ein Sechseck oder eine sonstige geometrische Figur etc.),
    • - Farbverlaufsfilter,
    • - Kontrastmusterfilter,
    • - Schriftfilter zum Identifizieren von Schrift,
    • - Ableiten einer positionsabhängigen Dichtekarte zur Festlegung eines Aufmerksamkeitsfilters,
    • - Bildschärfe- / Bildunschärfefilter,
    • - usw.
  • Filterparameter sind Parameter des mindestens einen klassischen Filters. Handelt es sich beispielsweise um einen Kantenfilter für Bilddaten, so ist ein Filterparameter beispielsweise ein Empfindlichkeitswert bzw. Schwellenwert, der angibt, ab welchem Wert ein Pixel oder ein Bereich in einer Abbildung als Kante behandelt wird.
  • Es ist insbesondere vorgesehen, dass das tiefe Neuronale Netz ein Faltungsnetz ist. Das mindestens eine klassische Filter ist hierbei insbesondere vor oder in einer Merkmalsschicht des Faltungsnetzes angeordnet, das heißt insbesondere vor einem Backpropagation-Netz des Faltungsnetzes. Ausgangsdaten des mindestens einen klassischen Filters werden dem Backpropagation-Netz hierbei zusätzlich zu den von den Filterkanälen extrahierten Merkmalskarten zugeführt.
  • In einer Ausführungsform ist vorgesehen, dass Filterparameter des mindestens einen klassischen Filters während einer Trainingsphase des tiefen Neuronalen Netzes konstant gehalten werden. Hierdurch können Filterparameter des mindestens einen klassischen Filters vorgegeben werden und auch während der Trainingsphase und einer nachfolgenden Anwendung des trainierten tiefen Neuronalen Netzes in einer Inferenzphase beibehalten werden. Insbesondere lässt sich der mindestens eine Filter hierdurch gezielt auf besonders diskriminative Merkmale in den Eingangsdaten einstellen. Dies ist insbesondere von Vorteil, wenn für Eingangsdaten Filterfunktionen bekannt sind, für die bereits optimale Filterparameter zum Extrahieren besonders diskriminativer Merkmale bekannt sind.
  • In einer alternativen Ausführungsform ist vorgegeben, dass zumindest ein Teil von Filterparametern des mindestens einen klassischen Filters während einer Trainingsphase des tiefen Neuronalen Netzes verändert wird. Hierdurch können Filterparameter des mindestens einen klassischen Filters zusätzlich zu den Parametern des restlichen tiefen Neuronalen Netzes während der Trainingsphase angelernt werden. Da beim Trainieren des tiefen Neuronalen Netzes eine Abweichung (= Loss) einer Ausgabe an der Ausgabeschicht von einer Grundwahrheit (engl. ground truth bzw. die Labels der Trainingsdaten) bestimmt wird und im Rahmen eines Gradientenabstiegs während des Trainierens Parameter des tiefen Neuronalen Netzes in Abhängigkeit der Ableitung dieser (für mehrere Trainingsdaten) ermittelten Abweichung angepasst werden, müssen die Filterparameter der klassischen Filter insbesondere differenzierbar von einer zum Trainieren des tiefen Neuronalen Netzes verwendeten Kostenfunktion (Lossfunktion) abhängen.
  • Sind mehrere klassische Filter vorhanden, kann auch vorgesehen sein, dass nur ein Teil der klassischen Filter während der Trainingsphase über das Verändern der zugehörigen Filterparameter verändert wird, Filterparameter eines anderen Teils der klassischen Filter hingegen konstant auf den beim Initialisieren vorgegebenen Filterparameter gehalten werden.
  • In einer Weiterbildung ist vorgesehen, dass zumindest ein Teil der Filterparameter des mindestens einen klassischen Filters mit einer geringeren Lernrate angepasst wird als das restliche tiefe Neuronale Netz. Hierdurch kann ein Kompromiss erreicht werden zwischen einer Möglichkeit, Filterparameter der klassischen Filters im Rahmen der Trainingsphase anzupassen und einer Vorgabe von Filterparametern. Es kann weiter erreicht werden, dass eine Funktion des tiefen Neuronalen Netzes zumindest im Zusammenhang mit dem mindestens einen klassischen Filter der Wirkung nach, das heißt in Bezug auf bestimmte diskriminative Merkmale, nachvollziehbar ist. Insgesamt kann das tiefe Neuronale Netz durch eine geringere Lernrate robuster ausgebildet werden, da das klassische Filter weniger sensibel auf leicht geänderte Eingangsdaten reagiert und in der Folge ein zu starkes Anpassen der Filterparameter im Rahmen der Trainingsphase verhindert werden kann.
  • In einer Ausführungsform ist vorgesehen, dass das mindestens eine klassische Filter direkt nach der Eingangsschicht und/oder in der Nähe der Eingangsschicht des tiefen Neuronalen Netzes betrieben wird. Hierdurch können diskriminative Merkmale eingangsnah extrahiert werden. Ein vorteilhafter Effekt auf die Robustheit des tiefen Neuronalen Netzes kann hierdurch erhöht werden. In der Nähe der Eingangsschicht bedeutet hierbei insbesondere, dass das mindestens eine klassische Filter in der i-ten Schicht nach der Eingangsschicht im tiefen Neuronalen Netz angeordnet ist, wobei i ≤ 10, bevorzugt i ≤ 5, besonders bevorzugt i ≤ 3 ist.
  • In einer weiteren Ausführungsform ist vorgesehen, dass ein Ausgang des mindestens einen klassischen Filters mehreren Schichten des tiefen Neuronalen Netzes zugeführt wird. Dies hilft dabei, von dem tiefen Neuronalen Netz gelernte Merkmale relativ zu den ursprünglichen Eingangsdaten verorten zu können. Im Falle von Bilddaten ermöglicht dies insbesondere eine robuste Verortung von Bildmerkmalen (z.B. Kantenzüge, Objekte etc.) zu genauen Pixelbereichen in den Bilddaten. Es kann hierüber insbesondere eine robuste Verortung von erkannten Bildmerkmalen relativ zu den klassischen Filterkarten erfolgen.
  • Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
    • 1 eine schematische Darstellung einer Ausführungsform der Vorrichtung zur Datenverarbeitung zum Ausführen des Verfahrens;
    • 2 eine schematische Darstellung einer Ausführungsform eines tiefen Neuronalen Netzes zur Verdeutlichung der Erfindung.
  • In 1 ist eine schematische Darstellung einer Vorrichtung 1 zum Ausführen des Verfahrens gezeigt. Die Vorrichtung 1 umfasst Mittel 2 zum Ausführen des Verfahrens. Die Mittel 2 umfassen eine Recheneinrichtung 3 und einen Speicher 4. In dem Speicher 4 sind eine Struktur und Parameter eines tiefen Neuronalen Netzes 5 hinterlegt. Zum Durchführen des Verfahrens, insbesondere zum Trainieren des tiefen Neuronalen Netzes 5 und zum Anwenden des tiefen Neuronalen Netzes 5 während einer Inferenzphase, kann die Recheneinrichtung 3 auf den Speicher 4 zugreifen und zum Betreiben des tiefen Neuronalen Netzes 5 Rechenoperationen durchführen. Die Recheneinrichtung 3 kann als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Computerprogramm, das auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird.
  • Ferner sind in dem Speicher 4 zumindest während einer Trainingsphase markierte („gelabelte“) Trainingsdaten 6 und Filterparameter 7 mindestens eines klassischen Filters hinterlegt.
  • Während einer Inferenzphase werden der Vorrichtung 1 bzw. dem (trainierten) tiefen Neuronalen Netz 5 Eingangsdaten 10 zugeführt. Dies können beispielsweise erfasste Kameradaten sein, auf denen das tiefe Neuronale Netz 5 eine Wahrnehmungsfunktion ausführt. Nach einer abgeschlossenen Inferenzphase liefert das tiefe Neuronale Netz 5 bzw. die Vorrichtung 1 Ausgangsdaten 11, welche beispielsweise ein Klassifizierungsergebnis der Eingangsdaten 10 liefert. Umfasst die Wahrnehmungsfunktion beispielsweise das Erkennen von Fußgängern in den erfassten Kameradaten, so werden als Ausgangsdaten beispielsweise Wahrscheinlichkeitswerte für das Vorhandensein von Fußgängern in den erfassten Kameradaten bereitgestellt.
  • In 2 ist eine schematische Darstellung einer Ausführungsform eines tiefen Neuronalen Netzes 5 zur Verdeutlichung der Erfindung gezeigt. Das tiefe Neuronale Netz 5 weist eine Eingangsschicht 20 und eine Ausgangsschicht 21 auf.
  • Nach der Eingangsschicht 20 folgen mehrere Filterkanäle 22, deren Parameter beim Initialisieren tiefen Neuronalen Netzes 5 vor einer Trainingsphase zufällig initialisiert werden und anschließend beim Trainieren schrittweise angelernt werden. Hinter den Filterkanälen 22 folgen mehrere Schichten 23 des tiefen Neuronalen Netzes 5, welche im Rahmen der Trainingsphase, insbesondere mittels Verfahren wie der Backpropagation, auf Grundlage eines Trainingsdatensatzes in überwachter Weise trainiert werden.
  • Führt das tiefe Neuronale Netz 5 beispielsweise eine Wahrnehmungsfunktion in erfassten Kameradaten aus, so umfassen die Eingangsdaten und die Ausgangsdaten Filterkanäle 22 jeweils zwei Dimensionen.
  • Ferner umfasst das tiefe Neuronale Netz 5 zusätzlich zu den anzulernenden bzw. angelernten Filterkanälen 22 mehrere klassische Filter 24, 25. Im Falle der genannten Wahrnehmungsfunktion können die klassischen Filter 24 beispielsweise Bildbearbeitungsfilter sein, die jeweils ein Verfahren der Computer Vision auf den erfassten Kamerabildern ausführen. Um besonders diskriminativ zu sein, werden Filterparameter der klassischen Filter 24, 24 beim Initialisieren des tiefen Neuronalen Netzes 5 fest vorgegeben, das heißt es findet keine zufällige Initialisierung der Filterparameter wie bei den Filterkanälen 22 statt. Die fest vorgegebenen Filterparameter können hierbei beispielsweise auf Grundlage von Erfahrungswerten ausgewählt werden.
  • Wie in der 2 zu erkennen, werden die klassischen Filter 24 direkt nach der Eingangsschicht 20 des tiefen Neuronalen Netzes 5 betrieben. Das klassische Filter 25 wird hingegen zwischen Schichten 23 des tiefen Neuronalen Netzes 5 betrieben.
  • Das klassische Filter kann beispielsweise eines der folgenden Verfahren ausführen:
    • - Center-Surround-Filter verschiedener Größe,
    • - Kantenfilter (z.B. mittels des Canny-Algorithmus),
    • - Konturfilter,
    • - Eckfilter,
    • - Musterfilter (z.B. für ein Sechseck oder eine sonstige geometrische Figur etc.),
    • - Farbverlaufsfilter,
    • - Kontrastmusterfilter,
    • - Schriftfilter zum Identifizieren von Schrift,
    • - Ableiten einer positionsabhängigen Dichtekarte zur Festlegung eines Aufmerksamkeitsfilters,
    • - Bildschärfe- / Bildunschärfefilter,
    • - usw.
  • Das tiefe Neuronale Netz 5 kann beispielsweise als Faltungsnetz ausgebildet sein. Das mindestens eine klassische Filter 24 ist dann insbesondere im Bereich von Merkmalsschichten des Faltungsnetzes, das heißt vor einem Backpropagation-Netz des Faltungsnetzes, angeordnet.
  • Es kann vorgesehen sein, dass Filterparameter der klassischen Filter 24, 25 während einer Trainingsphase des tiefen Neuronalen Netzes 5 konstant gehalten werden.
  • Alternativ kann vorgesehen sein, dass zumindest ein Teil der Filterparameter der klassischen Filter 24, 25 während einer Trainingsphase des tiefen Neuronalen Netzes 5 verändert wird. Die Filterparameter werden dann zusammen mit dem restlichen tiefen Neuronalen Netz 5 angelernt.
  • Weiterbildend kann vorgesehen sein, dass zumindest ein Teil der Filterparameter der klassischen Filter 24, 25 mit einer geringeren Lernrate angepasst wird als das restliche tiefe Neuronale Netz 5.
  • Es kann vorgesehen sein, dass nur ein Teil der klassischen Filter 24, 25 während der Trainingsphase über das Verändern der zugehörigen Filterparameter verändert wird, Filterparameter eines anderen Teils der klassischen Filter 24, 25 kann hingegen konstant auf den beim Initialisieren vorgegebenen Filterparametern gehalten werden.
  • Es kann ferner vorgesehen sein, dass ein Ausgang eines klassischen Filters 25 mehreren Schichten 23 des tiefen Neuronalen Netzes 5 zugeführt wird.
  • Das beschriebene Verfahren führt dazu, dass ein tiefes Neuronales Netz 5 robuster gegenüber Störeinflüssen ist, da über die klassischen Filter 24, 25 gezielt stark diskriminative Merkmale extrahiert werden.
  • Bezugszeichenliste
  • 1
    Vorrichtung
    2
    Mittel
    3
    Recheneinrichtung
    4
    Speicher
    5
    tiefes Neuronales Netz
    6
    Trainingsdaten
    7
    Filterparameter
    10
    Eingangsdaten
    11
    Ausgangsdaten
    20
    Eingangsschicht
    21
    Ausgangsschicht
    22
    Filterkanal
    23
    Schicht
    24
    klassisches Filter
    25
    klassisches Filter
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 2018/0144203 A1 [0005]

Claims (10)

  1. Verfahren zum Betreiben eines tiefen Neuronalen Netzes (5), wobei das tiefe Neuronale Netz (5) mit mehreren Schichten (22) zwischen einer Eingangsschicht (20) und einer Ausgangsschicht (21) betrieben wird, und wobei im tiefen Neuronalen Netz (5) zwischen der Eingangsschicht (20) und der Ausgangsschicht (21) zusätzlich mindestens ein klassisches Filter (24,25) verwendet wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Filterparameter des mindestens einen klassischen Filters (24,25) während einer Trainingsphase des tiefen Neuronalen Netzes (5) konstant gehalten werden.
  3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zumindest ein Teil von Filterparametern des mindestens einen klassischen Filters (24,25) während einer Trainingsphase des tiefen Neuronalen Netzes (5) verändert wird.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass zumindest ein Teil der Filterparameter des mindestens einen klassischen Filters (24,25) mit einer geringeren Lernrate angepasst wird als das restliche tiefe Neuronale Netz (5).
  5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das mindestens eine klassische Filter (24,25) direkt nach der Eingangsschicht (20) und/oder in der Nähe der Eingangsschicht (20) des tiefen Neuronalen Netzes (5) betrieben wird.
  6. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass ein Ausgang des mindestens einen klassischen Filters mehreren Schichten (23) des tiefen Neuronalen Netzes (5) zugeführt wird.
  7. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das tiefe Neuronale Netz (5) ein Faltungsnetz ist.
  8. Vorrichtung (1) zur Datenverarbeitung, umfassend Mittel (2) zur Ausführung der Verfahrensschritte des Verfahrens nach einem beliebigen der Ansprüche 1 bis 7.
  9. Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, die Verfahrensschritte des Verfahrens nach einem beliebigen der Ansprüche 1 bis 7 auszuführen.
  10. Computerlesbares Speichermedium, umfassend Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, die Verfahrensschritte des Verfahrens nach einem beliebigen der Ansprüche 1 bis 7 auszuführen.
DE102019207580.0A 2019-05-23 2019-05-23 Verfahren zum Betreiben eines tiefen Neuronalen Netzes Pending DE102019207580A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019207580.0A DE102019207580A1 (de) 2019-05-23 2019-05-23 Verfahren zum Betreiben eines tiefen Neuronalen Netzes

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102019207580.0A DE102019207580A1 (de) 2019-05-23 2019-05-23 Verfahren zum Betreiben eines tiefen Neuronalen Netzes
EP20724799.0A EP3973458A1 (de) 2019-05-23 2020-05-06 Verfahren zum betreiben eines tiefen neuronalen netzes
CN202080038251.2A CN113826121A (zh) 2019-05-23 2020-05-06 用于运行深度神经网络的方法
PCT/EP2020/062636 WO2020233991A1 (de) 2019-05-23 2020-05-06 Verfahren zum betreiben eines tiefen neuronalen netzes
US17/613,158 US20220222537A1 (en) 2019-05-23 2020-05-06 Method for Operating a Deep Neural Network

Publications (1)

Publication Number Publication Date
DE102019207580A1 true DE102019207580A1 (de) 2020-11-26

Family

ID=70617109

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019207580.0A Pending DE102019207580A1 (de) 2019-05-23 2019-05-23 Verfahren zum Betreiben eines tiefen Neuronalen Netzes

Country Status (5)

Country Link
US (1) US20220222537A1 (de)
EP (1) EP3973458A1 (de)
CN (1) CN113826121A (de)
DE (1) DE102019207580A1 (de)
WO (1) WO2020233991A1 (de)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10185881B2 (en) 2016-11-23 2019-01-22 Ford Global Technologies, Llc Traffic-light detection and classification using computer vision and deep learning

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CALDERÓN, Andrés; ROA, Sergio; VICTORINO, Jorge: Handwritten Digit Recognition using Convolutional Neural Networks and Gabor filters. In: Proceedings of the International Congress on Computational Intelligence CIIC 2003, 2013, 1-9. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.133.6559&rep=rep1&type=pdf [abgerufen am 03.04.2020] *
FUJIEDA, Shin; TAKAYAMA, Kohei; HACHISUKA, Toshiya: Wavelet convolutional neural networks for texture classification. In: arXiv preprint arXiv:1707.07394, 2017, 1-10. https://arxiv.org/abs/1805.08620v1 [abgerufen am 03.04.2020] *
SARWAR, Syed Shakib; PANDA, Priyadarshini; ROY, Kaushik: Gabor filter assisted energy efficient fast learning convolutional neural networks. In: 2017 IEEE/ACM International Symposium on Low Power Electronics and Design (ISLPED), Taipeh, 2017, 1-6. https://doi.org/10.1109/ISLPED.2017.8009202 [abgerufen am 03.04.2020] *

Also Published As

Publication number Publication date
EP3973458A1 (de) 2022-03-30
WO2020233991A1 (de) 2020-11-26
US20220222537A1 (en) 2022-07-14
CN113826121A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
EP3789926A1 (de) Verfahren zum erkennen einer adversarialen störung in eingangsdaten eines neuronalen netzes
DE102018205561A1 (de) Vorrichtung zur Klassifizierung von Signalen
WO2020233992A1 (de) Verfahren zum funktionsspezifischen robustifizieren eines neuronalen netzes
DE102019207580A1 (de) Verfahren zum Betreiben eines tiefen Neuronalen Netzes
WO2020233961A1 (de) Verfahren zum beurteilen einer funktionsspezifischen robustheit eines neuronalen netzes
WO2021078512A1 (de) Verfahren zum robustifizieren eines neuronalen netzes gegen adversariale störungen
DE102018113621A1 (de) Verfahren zum Trainieren eines konvolutionellen neuronalen Netzwerks zum Verarbeiten von Bilddaten zur Anwendung in einem Fahrunterstützungssystem
DE102021200643B3 (de) Verfahren zur Umfelderkennung für teilautonome oder autonome Fahrfunktionen eines Kraftfahrzeugs mittels eines neuronalen Netzes
DE102019219924B4 (de) Verfahren und Vorrichtung zum Erzeugen und Bereitstellen einer Datenbank mit darin hinterlegten Sensordatenpatches zur Verwendung beim Quilting
DE102019219927A1 (de) Verfahren und Vorrichtung zum Erkennen einer Entfremdung einer Sensordatendomäne von einer Referenzdatendomäne
DE102019213458A1 (de) Verfahren zum Komprimieren eines Neuronalen Netzes
DE102019208735B4 (de) Verfahren zum Betreiben eines Fahrassistenzsystems eines Fahrzeugs und Fahrerassistenzsystem für ein Fahrzeug
DE102019219926A1 (de) Verfahren und Vorrichtung zum Trainieren eines Neuronalen Netzes
DE102020128952A1 (de) Verfahren und Assistenzeinrichtung zur zweistufigen bildbasierten Szenenerkennung und Kraftfahrzeug
EP2887264B1 (de) Kreissegment- und Formdetektion
DE102020129164A1 (de) Verfahren und vorrichtung zur unterscheidung von verschiedenen konfigurationszuständen eines objekts auf der grundlage einer bildlichen darstellung des objekts
DE102019219925A1 (de) Verfahren und Vorrichtung zum Robustifizieren eines Neuronalen Netzes gegen adversariale Störungen
WO2021122338A1 (de) Verfahren und vorrichtung zum robustifizieren von sensordaten gegen adversariale störungen
DE102020120934A1 (de) Verfahren zum Bereitstellen eines komprimierten neuronalen Netzes zur Multi-Label Multi-Klassen Kategorisierung, Fahrzeugassistenzeinrichtung zur Umgebungskategorisierung und Kraftfahrzeug
DE102019213459A1 (de) Verfahren zum Komprimieren eines Neuronalen Netzes
DE102021211312A1 (de) Trainingsverfahren und System für neurales Faltungsnetzwerk
DE102019217951A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Domänendistanz zwischen mindestens zwei Datendomänen
DE102019127622A1 (de) Abwehrgenerator, Verfahren zur Verhinderung eines Angriffs auf eine KI-Einheit und computerlesbares-Speichermedium
DE102019220615A1 (de) Verfahren und Vorrichtung zum Erkennen und Klassifizieren von Objekten
DE102018216079A1 (de) Verfahren und Vorrichtung zum Betreiben eines Steuerungssystems

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication