DE102020118504A1 - Verfahren und System zum Erweitern eines neuronalen Netzes für eine Umfelderkennung - Google Patents

Verfahren und System zum Erweitern eines neuronalen Netzes für eine Umfelderkennung Download PDF

Info

Publication number
DE102020118504A1
DE102020118504A1 DE102020118504.9A DE102020118504A DE102020118504A1 DE 102020118504 A1 DE102020118504 A1 DE 102020118504A1 DE 102020118504 A DE102020118504 A DE 102020118504A DE 102020118504 A1 DE102020118504 A1 DE 102020118504A1
Authority
DE
Germany
Prior art keywords
data
neural network
object classification
elm
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020118504.9A
Other languages
English (en)
Inventor
Fabian Netzler
Felix Klanner
Horst KLOEDEN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102020118504.9A priority Critical patent/DE102020118504A1/de
Publication of DE102020118504A1 publication Critical patent/DE102020118504A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die vorliegende Offenbarung betrifft ein Verfahren zum Erweitern eines neuronalen Netzes für eine Umfelderkennung, umfassend ein Bereitstellen eines trainierten neuronalen Netzes, das eingerichtet ist, um eine Objektklassifikation in Umfelddaten durchzuführen; ein Anwenden des trainierten neuronalen Netzes auf einen Datensatz, der Umfelddaten angibt; ein Analysieren eines Ausgangs des neuronalen Netzes, um zu bestimmen, ob eine Objektklassifikation in den Umfelddaten möglich ist; und ein Durchführen einer Erweiterung des neuronalen Netzes basierend auf dem Analysieren des Ausgangs.

Description

  • Die vorliegende Offenbarung betrifft ein Verfahren zum Erweitern eines neuronalen Netzes für eine Umfelderkennung, ein Speichermedium zum Ausführen des Verfahrens, und ein System zum Erweitern eines neuronalen Netzes für eine Umfelderkennung. Die vorliegende Offenbarung betrifft insbesondere eine Optimierung eines online-Learnings für eine Umgebungserkennung von Fahrassistenzsystemen zum automatisierten Fahren.
  • Fahrassistenzsysteme zum automatisierten Fahren gewinnen stetig an Bedeutung. Das automatisierte Fahren kann mit verschiedenen Automatisierungsgraden erfolgen. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012). Beispielsweise sind die Fahrzeuge mit Level 4 vollautonom im Stadtbetrieb unterwegs.
  • Das Fahrassistenzsystem zum automatisierten Fahren verwendet Sensoren, die die Umgebung auf visueller Basis wahrnehmen, sowohl im für den Menschen sichtbaren als auch unsichtbaren Bereich. Die Sensoren können zum Beispiel eine Kamera, ein Radar und/oder ein LiDAR sein. Diese sind neben hochgenauen Karten die hauptsächlichen Signalquellen für Fahrassistenzsysteme zum automatisierten Fahren.
  • Für eine Objekterkennung in der Umgebung des Fahrzeugs können trainierte neuronale Netze verwendet werden, die Objekte in den Umfelddaten erkennen. Um eine hohe Zuverlässigkeit der Objekterkennung zu ermöglichen, muss im Allgemeinen ein zeitintensives Training des neuronalen Netzes erfolgen, bei dem große Datenmengen verarbeitet werden.
  • Offenbarung der Erfindung
  • Es ist eine Aufgabe der vorliegenden Offenbarung, ein Verfahren zum Erweitern eines neuronalen Netzes für eine Umfelderkennung, ein Speichermedium zum Ausführen des Verfahrens, und ein System zum Erweitern eines neuronalen Netzes für eine Umfelderkennung anzugeben, die eine Zuverlässigkeit eines Fahrassistenzsystems zum automatisierten Fahren verbessern können. Insbesondere ist es eine Aufgabe der vorliegenden Offenbarung Rechenressourcen und einen Zeitaufwand für ein Training eines neuronalen Netzes zu reduzieren.
  • Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
  • Gemäß einem unabhängigen Aspekt der vorliegenden Offenbarung ist ein Verfahren zum Erweitern eines neuronalen Netzes für eine Umfelderkennung angegeben. Das Verfahren umfasst ein Bereitstellen eines trainierten neuronalen Netzes, das eingerichtet ist, um eine Objektklassifikation in Umfelddaten durchzuführen; ein Anwenden des trainierten neuronalen Netzes auf einen Datensatz, der Umfelddaten angibt; ein Analysieren eines Ausgangs des neuronalen Netzes, um zu bestimmen, ob eine Objektklassifikation in den Umfelddaten möglich ist; und ein Durchführen einer Erweiterung des neuronalen Netzes basierend auf dem Analysieren des Ausgangs.
  • Erfindungsgemäß wird der Ausgang eines trainierten neuronalen Netzes analysiert, um zu bestimmen, auf welche Weise das neuronale Netz basierend auf dem neuen Datensatz erweitert werden soll. Insbesondere kann die Erweiterung des neuronalen Netzes basierend auf einer Eindeutigkeit des Ausgangs erfolgen. Damit muss kein komplett neues Lernen mit allen relevanten Daten durchgeführt werden, um das neuronale Netz z.B. um eine neue Klasse zu erweitern. Damit können Rechenressourcen und ein Zeitaufwand für das Training von neuronalen Netzten für die Umfelderkennung reduziert werden. Zudem kann eine Zuverlässigkeit der Umfelderkennung eines Fahrassistenzsystems zum automatisierten Fahren eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, verbessert werden.
  • Die Umfelddaten werden im Allgemeinen durch eine Umgebungssensorik z.B. eines Fahrzeugs erfasst. Vorzugsweise umfasst die Umgebungssensorik wenigstens ein LiDAR-System und/oder wenigstens ein Radar-System und/oder wenigstens eine Kamera und/oder wenigstens ein Ultraschall-System und/oder wenigstens ein Laser-System. Die Umgebungssensorik kann die Umfelddaten (auch als „Umgebungsdaten“ bezeichnet) bereitstellen, die einen Umgebungsbereich des Fahrzeugs, in dem sich Objekte befinden, abbilden.
  • Der Begriff „Objekt“, wie er im Rahmen der vorliegenden Offenbarung verwendet wird, kann sich auf alle physischen Einheiten beziehen, die durch die Umgebungssensorik des Fahrzeugs erfassbar sind. Das Objekt kann zum Beispiel ein Verkehrsschild, eine Person, ein Fahrzeug, eine Ampel, ein Fahrrad, ein Motorrad, eine Baustruktur, etc. sein. Die Baustruktur kann zum Beispiel ein Straßenbelag, eine Brücke, ein Gebäude, etc. sein.
  • Die Begriffe „Datensatz“, „Datenbatch“, „Datensample“ und „Sample“ können im Rahmen der vorliegenden Offenbarung synonym verwendet werden.
  • Vorzugsweise umfasst das Analysieren eines Ausgangs des neuronalen Netzes, um zu bestimmen, ob eine Objektklassifikation in den Umfelddaten möglich ist, ein Bestimmen, ob:
    • i) eine Objektklassifikation in den Umfelddaten eindeutig möglich ist (d.h. die zugrundeliegenden Kategorien bzw. Klassen sind bekannt);
    • ii) eine Objektklassifikation in den Umfelddaten nicht eindeutig möglich ist; oder
    • iii) eine Objektklassifikation in den Umfelddaten nicht möglich ist (insbesondere ist auch keine Anhäufung dieses Datenmusters im Datensatz vorhanden).
  • Vorzugsweise umfasst das Verfahren, wenn bestimmt wird, dass eine Objektklassifikation in den Umfelddaten eindeutig möglich ist, ein Zuführen des Datensatzes zum neuronalen Netz mittels Backpropagation, so dass die Daten gelernt werden.
  • Vorzugsweise umfasst das Verfahren, wenn bestimmt wird, dass eine Objektklassifikation in den Umfelddaten nicht eindeutig möglich ist, ein Bestimmen, ob eine Gewichtung der Objekterkennung bei einer dem neuronalen Netz bekannten Klasse liegt. Insbesondere kann eine starke Gewichtung bei den Klassen einer Oberkategorie, beispielsweise Verkehrsschildern, vorliegen, was bedeutet, dass das Sample eine unbekannte Kategorie bzw. Klasse enthält, von der jedoch artverwandte Kategorien bzw. Klassen bekannt sind.
  • Wenn die Gewichtung bei einer dem neuronalen Netz bekannten Klasse liegt (bzw. die Gewichtung eine vorgegebene Schwelle überschreitet), umfasst das Verfahren weiter ein Anlernen einer (ersten) Extreme Learning Machine, ELM, unter Verwendung des Datensatzes. Mit dem neuen Datensatz wird die ELM derart angelernt, dass sie explizit diese neue Unterklasse erkennen kann.
  • Vorzugsweise umfasst das Verfahren weiter ein Anhängen einer (ersten) Aktivierungslogik an das neuronale Netz, um Daten an die (erste) ELM weiterzugeben. Die Aktivierungslogik kann ein Datasample beispielsweise dann an die ELM weitergeben, wenn ein Muster mit einer starken exklusiven Gewichtung auf den Klassen, die einer Oberklasse angehören, gefunden wird. Falls mehrere unbekannte Unterklassen derselben Oberklasse im Datensatz gefunden werden, können diese derselben ELM angehängt werden.
  • Vorzugsweise umfasst das Verfahren, wenn bestimmt wird, dass eine Objektklassifikation in den Umfelddaten nicht eindeutig möglich ist, ein Bestimmen, ob ein Datenmuster bzw. eine Verteilung in dem Datensatz mehrmals vorhanden ist. Wenn das Datenmuster innerhalb des Datensatzes häufig genug zu finden, kann davon ausgegangen werden, dass es sich um eine völlig neue Kategorie bzw. Klasse handelt, die mit dem Datensatz das erste Mal eingeführt wird.
  • Wenn bestimmt wird, dass das Datenmuster im Datensatz mehrmals vorhanden ist, umfasst das Verfahren weiter ein Anlernen einer (zweiten) Extreme Learning Machine, ELM, unter Verwendung des Datensatzes.
  • Vorzugsweise umfasst das Verfahren weiter ein Anhängen einer (zweiten) Aktivierungslogik an das neuronale Netz, um Daten an die (zweite) ELM weiterzugeben. Insbesondere kann auf Basis des Datensets eine neue ELM antrainiert und eine entsprechende Aktivierungslogik hinter das Hauptnetz gestellt werden, das diesem Daten zustellt, sollte das Hauptnetz keine eindeutige Entscheidung treffen können und auch kein Unterkategoriennetz wie oben beschrieben ausgemacht werden können. Diese ELM kann ebenfalls im Outputlayer die Klasse „unbekannt“ enthalten, um anzuzeigen, dass es wieder eine neue Kategorie bzw. Klasse geben wird.
  • Vorzugsweise umfasst das Verfahren ein Umwandeln der ELM in ein Deep Neural Network, wenn die ELM keine hinreichende Genauigkeit erzielt und/oder eine Datenmenge z.B. des Datensatzes eine Schwelle überschreitet. In einigen Ausführungsformen können die bekannten Gewichtungen übernommen und die Daten dem Netz zum neuen initialen Training zugeführt werden.
  • Vorzugsweise umfasst das Verfahren, wenn bestimmt wird, dass eine Objektklassifikation in den Umfelddaten nicht möglich ist, ein Markieren des Datensatzes als Rauschen, so dass der Datensatz nicht für eine weitere Verarbeitung verwendet wird.
  • Das Verfahren der vorliegenden Offenbarung kann beispielsweise im Rahmen der Umfelderkennung beim automatisierten Fahren eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, verwendet werden.
  • Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Bei dem automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012).
  • Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich.
  • Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.
  • Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist eine Software mit Programmcode zur Durchführung des Verfahrens zum Erweitern eines neuronalen Netzes für eine Umfelderkennung auszuführen, wenn die Software auf einer oder mehreren softwaregesteuerten Einrichtungen abläuft.
  • Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Software (SW) Programm angegeben. Das SW Programm kann eingerichtet werden, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren zum Erweitern eines neuronalen Netzes für eine Umfelderkennung auszuführen.
  • Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Speichermedium angegeben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren zum Erweitern eines neuronalen Netzes für eine Umfelderkennung auszuführen.
  • Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein System zum Erweitern eines neuronalen Netzes für eine Umfelderkennung angegeben. Das System umfasst wenigstens eine Prozessoreinheit, die eingerichtet ist, um dadurch das Verfahren zum Erweitern eines neuronalen Netzes für eine Umfelderkennung gemäß den Ausführungsformen der vorliegenden Offenbarung auszuführen.
  • Die wenigstens eine Prozessoreinheit ist ein programmierbares Rechenwerk, also eine Maschine oder eine elektronische Schaltung, die gemäß übergebenen Befehlen andere Elemente steuert und dabei einen Algorithmus (Prozess) vorantreibt.
  • Das System kann insbesondere ein Backend eines Fahrzeugherstellers sein.
  • Der Begriff Fahrzeug umfasst PKW, LKW, Busse, Wohnmobile, Krafträder, etc., die der Beförderung von Personen, Gütern, etc. dienen. Insbesondere umfasst der Begriff Kraftfahrzeuge zur Personenbeförderung.
  • Figurenliste
  • Ausführungsbeispiele der Offenbarung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
    • 1 schematisch ein Flussdiagramm eines Verfahrens zum Erweitern eines neuronalen Netzes für eine Umfelderkennung gemäß Ausführungsformen der vorliegenden Offenbarung, und
    • 2 schematisch ein Fahrzeug mit einem Fahrassistenzsystem zum automatisierten Fahren gemäß Ausführungsformen der vorliegenden Offenbarung.
  • Ausführungsformen der Offenbarung
  • Im Folgenden werden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente gleiche Bezugszeichen verwendet.
  • 1 zeigt schematisch ein Flussdiagramm eines Verfahrens 100 zum Erweitern eines neuronalen Netzes für eine Umfelderkennung gemäß Ausführungsformen der vorliegenden Offenbarung
  • Das Verfahren 100 kann durch eine entsprechende Software implementiert werden, die durch einen oder mehrere Prozessoren (z.B. eine CPU) ausführbar ist. Insbesondere kann das Verfahren 100 in einem Backend eines Fahrzeugherstellers und/oder direkt in einem Fahrzeug implementiert werden.
  • Das Verfahren 100 umfasst im Block 110 ein Bereitstellen eines trainierten neuronalen Netzes, das eingerichtet ist, um eine Objektklassifikation in Umfelddaten durchzuführen; im Block 120 ein Anwenden des trainierten neuronalen Netzes auf einen Datensatz, der Umfelddaten angibt; im Block 130 ein Analysieren eines Ausgangs des neuronalen Netzes, um zu bestimmen, ob eine Objektklassifikation in den Umfelddaten möglich ist; und im Block 140 ein Durchführen einer Erweiterung des neuronalen Netzes basierend auf dem Analysieren des Ausgangs.
  • Erfindungsgemäß wird der Ausgang eines trainierten neuronalen Netzes analysiert, um zu bestimmen, auf welche Weise das neuronale Netz basierend auf dem neuen Datensatz erweitert werden soll. Insbesondere kann die Erweiterung des neuronalen Netzes basierend auf einer Eindeutigkeit des Ausgangs erfolgen. Damit muss kein komplett neues Lernen mit allen relevanten Daten durchgeführt werden, um das neuronale Netz z.B. um eine neue Klasse zu erweitern. Damit können Rechenressourcen und ein Zeitaufwand für das Training von neuronalen Netzten für die Umfelderkennung reduziert werden. Zudem kann eine Zuverlässigkeit der Umfelderkennung eines Fahrassistenzsystems zum automatisierten Fahren eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, verbessert werden.
  • Im Folgenden ist ein beispielhaftes Verfahren zum Erweitern eines neuronalen Netzes für eine Umfelderkennung im Detail erläutert.
  • Ein Gesamtsystem aus vorinitialisierten und auf einer bestehenden Datenbasis antrainierten Netzen klassifiziert Objekte innerhalb der Umfeldwahrnehmung von Fahrzeugen anhand von verschiedenen Sensordaten.
  • Diesem Gesamtsystem wird nun ein neuer Datensatz zugeführt, um die Klassifizierungsgenauigkeit zu verbessern. Der Datensatz kann durch das neuronale Netz z.B. per Feed-Forward verarbeitet und der Output analysiert werden. In Abhängigkeit der Eineindeutigkeit der Klassifizierung kann entschieden werden, welche Daten zu welcher der folgenden Klassen gehören:
    • (1) Eine Klassifizierung ist eindeutig möglich, die zugrunde liegenden Kategorien sind bekannt.
    • (2) Eine Klassifizierung ist nicht eindeutig möglich, jedoch liegt eine starke Gewichtung bei Klassen einer Oberkategorie, wie z.B. Verkehrsschilder vor; dies bedeutet, dass das Sample eine unbekannte Kategorie enthält, von der jedoch artverwandte Kategorien bekannt sind.
    • (3) Eine Klassifizierung ist nicht möglich, jedoch ist diese Verteilung innerhalb des Datenbatches häufig genug zu finden, damit davon ausgegangen werden kann, dass es sich um eine völlig neue Kategorie bzw. Klasse handelt, die mit dem Datensatz das erste Mal eingeführt wird.
    • (4) Eine Klassifizierung ist nicht möglich und es kann im Datensatz auch keine Anhäufung dieses Verhaltens gefunden werden; es handelt sich also um ein stark verrauschtes Sample.
  • Im ersten Fall (1) können die Daten z.B. per Backpropagation dem entsprechenden bestehenden Netz zugeführt und somit darüber gelernt werden.
  • Im zweiten Fall (2) kann mit dem neuen Databatch z.B. eine ELM (Extreme Learning Machine) angelernt werden, die explizit diese neue Unterklasse erkennen soll. Für das ursprüngliche Netz kann eine entsprechende Aktivierungslogik angehängt werden, die ein Datasample an die ELM weitergibt, wenn ein solches Muster (inklusive einer starken exklusiven Gewichtung auf den Klassen, die einer Oberklasse angehören) gefunden wird. Sollten mehrere unbekannte Unterklassen derselben Oberklasse in dem Batch gefunden werden, so werden diese derselben ELM angehängt.
  • Im dritten Fall (3) wird auf Basis des Datensatzes eine neue ELM antrainiert und eine entsprechende Aktivierungslogik hinter das Hauptnetz gestellt, die diesem Daten zustellt, sollte das Hauptnetz keine eindeutige Entscheidung treffen können und auch kein Unterkategoriennetz wie im Fall (2) ausgemacht werden können. Diese ELM enthält ebenfalls im Outputlayer die Klasse „unbekannt“, um anzuzeigen, dass es wieder eine neue Kategorie geben wird.
  • Im vierten Fall (4) wird der Datensatz als „Rauschen“ markiert und nicht für die weitere Verarbeitung verwendet.
  • Wenn die verwendeten ELMs über eindeutigen Daten keine ausreichende Genauigkeit mehr erzielen, oder wenn die verwendete Datenmenge eine Schwelle überschreitet, können die ELMs in Deep Neural Networks umgewandelt werden, wobei die bekannten Gewichtungen übernommen und die Daten dem neuen Netz zum neuen initialen Training zugeführt werden können. An diesen werden im Allgemeinen keine Veränderungen an den Outputlayern vorgenommen (sollte dies nötig sein, wird so wie in den Fällen (2) und (3) beschrieben verfahren).
  • In einigen Ausführungsformen werden die Aktivierungslogiken für die Entscheidung der Weitergabe von Daten an weitere Netze ebenfalls in Form einer ELM antrainiert.
  • In weiteren Ausführungsformen wird die ELM nicht für alle Features durch Deep Learning ersetzt - einerseits bietet die ELM in der Regel eine höhere Performance, wenn für ein Feature nur wenige Daten vorhanden sind, und andererseits erzielt die ELM auch bei großen Datenmengen häufig eine vergleichbar gute Performance wie Deep Learning.
  • Um die Performance der Klassifizierung eines bestimmten Features zu testen, reicht es manchmal nicht aus, nur die entsprechenden Daten in das Netzwerk zu geben, in dessen Outputlayer das Feature liegt, sondern die Daten werden, falls vorhanden, eine Hierarchieebene darüber in das Netzwerk eingegeben, damit sie auch gegen ähnliche Klassen getestet werden können, da das Netzwerk, in dem die Klasse selbst detektiert wird, eventuell nur ein sehr eingeschränktes Outputlayer besitzt.
  • Gemäß den Ausführungsformen der vorliegenden Offenbarung wird eine Eineindeutigkeit des Outputs eines bestehenden trainierten Algorithmus verwendet, um die Klassen „neues Datasample“ oder die neue Kategorie „Rauschen“ zu unterscheiden. Soll auf Grundlage der Daten keine neue Kategorie verwendet werden, kann ein Delta Learning durchgeführt werden. Ist es hingegen erforderlich, eine neue Kategorie zu erlernen, kann mit allen relevanten Daten ein Training durchgeführt werden.
  • Das Gesamtsystem berechnet sowohl Deep Neural Networks als auch ELM Netze parallel, und nutzt den Output beider Systeme, um ein optimiertes Gesamtergebnis zu erzielen. Als Konsequenz existieren beide Aspekte in einem gesamtorchestrierten System, um ein von der jeweiligen Datenverfügbarkeit abhängiges optimiertes Ergebnis zu liefern.
  • Zudem kann eine hierarchische Ensemble Method verwendet werden, die verschiedene Netzwerke und ML-Verfahren nutzt, um die Rechenzeit für kleine Änderungen des möglichen Outputs ohne Einbußen der Genauigkeit zu optimieren.
  • 2 zeigt schematisch ein Fahrzeug 10 mit einem Fahrassistenzsystem 200 zum automatisierten Fahren gemäß Ausführungsformen der vorliegenden Offenbarung.
  • Beim automatisierten Fahren erfolgt die Längs- und/oder Querführung des Fahrzeugs 10 automatisch. Das Fahrassistenzsystem 200 übernimmt also die Fahrzeugführung. Hierzu steuert das Fahrassistenzsystem 200 den Antrieb 20, das Getriebe 22, die (zum Beispiel hydraulische) Betriebsbremse 24 und die Lenkung 26 über nicht dargestellte Zwischeneinheiten.
  • Zur Planung und Durchführung des automatisierten Fahrens werden Umfeldinformationen einer Umfeldsensorik, die das Fahrzeugumfeld beobachtet, vom Fahrerassistenzsystem 200 entgegengenommen. Insbesondere kann das Fahrzeug wenigstens einen Umgebungssensor 12 umfassen, der zur Aufnahme von Umgebungsdaten, die das Fahrzeugumfeld angeben, eingerichtet ist. Der wenigstens eine Umgebungssensor 12 kann beispielsweise ein oder mehrere Ultraschall-Systeme, ein oder mehrere LiDAR-Systeme, ein oder mehrere Radar-Systeme und/oder eine oder mehrere Kameras umfassen.
  • Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.

Claims (10)

  1. Verfahren (100) zum Erweitern eines neuronalen Netzes für eine Umfelderkennung, umfassend: Bereitstellen (110) eines trainierten neuronalen Netzes, das eingerichtet ist, um eine Objektklassifikation in Umfelddaten durchzuführen; Anwenden (120) des trainierten neuronalen Netzes auf einen Datensatz, der Umfelddaten angibt; Analysieren (130) eines Ausgangs des neuronalen Netzes, um zu bestimmen, ob eine Objektklassifikation in den Umfelddaten möglich ist; und Durchführen (140) einer Erweiterung des neuronalen Netzes basierend auf dem Analysieren des Ausgangs.
  2. Das Verfahren (100) nach Anspruch 1, wobei das Analysieren (130) eines Ausgangs des neuronalen Netzes, um zu bestimmen, ob eine Objektklassifikation in den Umfelddaten möglich ist, umfasst: Bestimmen, ob: i) eine Objektklassifikation in den Umfelddaten eindeutig möglich ist; ii) eine Objektklassifikation in den Umfelddaten nicht eindeutig möglich ist; oder iii) eine Objektklassifikation in den Umfelddaten nicht möglich ist.
  3. Das Verfahren (100) nach Anspruch 2, wobei, wenn bestimmt wird, dass eine Objektklassifikation in den Umfelddaten eindeutig möglich ist, das Verfahren weiter umfasst: Zuführen des Datensatzes zum neuronalen Netz mittels Backpropagation.
  4. Das Verfahren (100) nach Anspruch 2 oder 3, wobei, wenn bestimmt wird, dass eine Objektklassifikation in den Umfelddaten nicht eindeutig möglich ist, das Verfahren weiter umfasst: Bestimmen, ob eine Gewichtung der Objekterkennung bei einer dem neuronalen Netz bekannten Klasse liegt; und wenn die Gewichtung bei einer dem neuronalen Netz bekannten Klasse liegt: Anlernen einer Extreme Learning Machine, ELM, unter Verwendung des Datensatzes.
  5. Das Verfahren (100) nach einem der Ansprüche 2 bis 4, wobei, wenn bestimmt wird, dass eine Objektklassifikation in den Umfelddaten nicht eindeutig möglich ist, das Verfahren weiter umfasst: Bestimmen, ob ein Datenmuster in dem Datensatz mehrmals vorhanden ist, und wenn bestimmt wird, dass das Datenmuster in dem Datensatz mehrmals vorhanden ist: Anlernen einer Extreme Learning Machine, ELM, unter Verwendung des Datensatzes.
  6. Das Verfahren (100) nach Anspruch 4 oder 5, wobei das Verfahren weiter umfasst: Anhängen einer Aktivierungslogik an das neuronale Netz, um Daten an die entsprechende ELM weiterzugeben.
  7. Das Verfahren (100) nach einem der Ansprüche 4 bis 6, weiter umfassend: Umwandeln der ELM in ein Deep Neural Network, wenn die ELM keine hinreichende Genauigkeit erzielt und/oder eine Datenmenge eine Schwelle überschreitet.
  8. Das Verfahren (100) nach einem der Ansprüche 2 bis 7, wobei, wenn bestimmt wird, dass eine Objektklassifikation in den Umfelddaten nicht möglich ist, das Verfahren weiter umfasst: Markieren des Datensatzes als Rauschen, so dass der Datensatz nicht für eine weitere Verarbeitung verwendet wird.
  9. Speichermedium, umfassend ein Software-Programm, das eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das Verfahren (100) gemäß einem der Ansprüche 1 bis 8 auszuführen.
  10. System zum Erzeugen von Testdaten für eine Simulation zur Absicherung einer Fahrfunktion zum automatisierten Fahren, umfassend wenigstens eine Prozessoreinheit, die eingerichtet ist, um dadurch das Verfahren (100) gemäß einem der Ansprüche 1 bis 8 auszuführen.
DE102020118504.9A 2020-07-14 2020-07-14 Verfahren und System zum Erweitern eines neuronalen Netzes für eine Umfelderkennung Pending DE102020118504A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020118504.9A DE102020118504A1 (de) 2020-07-14 2020-07-14 Verfahren und System zum Erweitern eines neuronalen Netzes für eine Umfelderkennung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020118504.9A DE102020118504A1 (de) 2020-07-14 2020-07-14 Verfahren und System zum Erweitern eines neuronalen Netzes für eine Umfelderkennung

Publications (1)

Publication Number Publication Date
DE102020118504A1 true DE102020118504A1 (de) 2022-01-20

Family

ID=79020657

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020118504.9A Pending DE102020118504A1 (de) 2020-07-14 2020-07-14 Verfahren und System zum Erweitern eines neuronalen Netzes für eine Umfelderkennung

Country Status (1)

Country Link
DE (1) DE102020118504A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017213247A1 (de) 2017-06-30 2019-01-03 Conti Temic Microelectronic Gmbh Wissenstransfer zwischen verschiedenen Deep-Learning Architekturen
DE102018120635A1 (de) 2017-08-25 2019-02-28 Ford Global Technologies, Llc Geteilte verarbeitung mit tiefen neuronalen netzwerken
DE102017217733A1 (de) 2017-10-05 2019-04-11 Conti Temic Microelectronic Gmbh Prüfen eines neuronalen Netzes
DE102017221694A1 (de) 2017-12-01 2019-06-06 Siemens Mobility GmbH Verfahren zur Verbesserung der Erkennungsleistung eines Objekterkennungssystems, Verwendung und Objekterkennungssystem
DE102019111402A1 (de) 2018-05-24 2019-11-28 GM Global Technology Operations LLC Steuerungssysteme, steuerungsverfahren und steuerungen für ein autonomes fahrzeug
DE102019127229A1 (de) 2018-10-10 2020-04-16 Harman International Industries, Incorporated System und verfahren zum bestimmen einer vertrautheit eines fahrzeugdatensatzes

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017213247A1 (de) 2017-06-30 2019-01-03 Conti Temic Microelectronic Gmbh Wissenstransfer zwischen verschiedenen Deep-Learning Architekturen
DE102018120635A1 (de) 2017-08-25 2019-02-28 Ford Global Technologies, Llc Geteilte verarbeitung mit tiefen neuronalen netzwerken
DE102017217733A1 (de) 2017-10-05 2019-04-11 Conti Temic Microelectronic Gmbh Prüfen eines neuronalen Netzes
DE102017221694A1 (de) 2017-12-01 2019-06-06 Siemens Mobility GmbH Verfahren zur Verbesserung der Erkennungsleistung eines Objekterkennungssystems, Verwendung und Objekterkennungssystem
DE102019111402A1 (de) 2018-05-24 2019-11-28 GM Global Technology Operations LLC Steuerungssysteme, steuerungsverfahren und steuerungen für ein autonomes fahrzeug
DE102019127229A1 (de) 2018-10-10 2020-04-16 Harman International Industries, Incorporated System und verfahren zum bestimmen einer vertrautheit eines fahrzeugdatensatzes

Similar Documents

Publication Publication Date Title
DE102019114577A1 (de) Systeme, vorrichtungen und verfahren für eingebettete codierungen von kontextbezogenen informationen unter verwendung eines neuronalen netzwerks mit vektorraummodellierung
WO2021058223A1 (de) Verfahren zur effizienten, simulativen applikation automatisierter fahrfunktionen
WO2020061603A1 (de) Verfahren und vorrichtung zur analyse eines sensordatenstroms sowie verfahren zum führen eines fahrzeugs
WO2020151879A1 (de) Vorrichtung und verfahren zum überwachen von fahrzeugfunktionen eines fahrzeugs
DE102020118450A1 (de) Verfahren und System zum Erzeugen von Testdaten für eine Simulation zur Absicherung einer Fahrfunktion zum automatisierten Fahren
WO2021094222A1 (de) Verfahren zur abschätzung einer abdeckung des raums von verkehrsszenarien
DE102020118504A1 (de) Verfahren und System zum Erweitern eines neuronalen Netzes für eine Umfelderkennung
DE102019202266A1 (de) Verfahren und Computerprogrammprodukt zum Adaptieren einer Auflösung eines Multisensorsystems eines Straßenfahrzeuges und Steuergerät für ein Multisensorsystem und Computerprogrammprodukt
DE102019211006B4 (de) Auswerten von Sensordaten eines Fahrzeugs
DE102020109667A1 (de) Verfahren und System zur Objekterkennung für ein automatisiert fahrendes Fahrzeug
DE102019120440A1 (de) Verfahren und System zum automatisierten Erstellen von Objektmarkierungen für die Verwendung in einem Fahrassistenzsystem eines Fahrzeugs
DE102019217257A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Freigabe eines Sensorsystems zur Erfassung von Objekten in einem Umfeld eines Fahrzeuges
DE102019128223A1 (de) Verfahren, Vorrichtungen und Computerprogramme
DE102019004075A1 (de) Verfahren zum Bestimmen einer Relevanz eines Objekts in einer Umgebung eines Kraftfahrzeugs mittels eines Fahrerassistenzsystems sowie Fahrerassistenzsystem
DE102019126874A1 (de) Verfahren zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten
DE102021127704A1 (de) Verfahren und System zur Vorhersage eines Fahrverhaltens von Fahrzeugen
DE102020107282B4 (de) Verfahren zur Entscheidungsfindung für ein Fahrassistenzsystem zum automatisierten Fahren eines Fahrzeugs
DE102019121469A1 (de) Verfahren und System zum Labeln von Situationsdaten zur Verwendung in einem Fahrassistenzsystem eines Fahrzeugs
DE102020102365A1 (de) Verfahren und System für einen Erkennungstask
DE102019123353A1 (de) Verfahren und System zum Validieren einer Umgebungskarte für die Verwendung in einem Fahrzeug
DE102022116052A1 (de) Verfahren und Vorrichtung zur Erkennung von Objekten anhand von Sensorfusion
DE102022211839A1 (de) Bestimmung einer Höheninformation für ein Objekt im Umfeld eines Fahrzeugs
DE102021209817A1 (de) Verfahren zur mehrstufigen Fusion von Messdaten
DE102022112194A1 (de) Konvertierungsvorrichtung und Verfahren zum Konvertieren eines vorgegebenen Modells eines Maschinellen Lernens in ein vorgegebenes Ausgabeformat sowie zugehörigen computerlesbares Speichermedium
DE102020123527A1 (de) Verfahren und System für eine Verfolgung ausgedehnter Objekte

Legal Events

Date Code Title Description
R163 Identified publications notified