-
Die vorliegende Erfindung betrifft künstliche neuronale Netzwerke, insbesondere für die Klassifikation, Regression oder semantische Segmentierung physikalischer Messdaten in sicherheitskritischen Anwendungen.
-
Stand der Technik
-
Das Führen eines Fahrzeugs im öffentlichen Straßenverkehr ist eine komplexe Aufgabe, die eine kontinuierliche Erfassung des Fahrzeugumfelds und eine zeitnahe Reaktion auf das Auftauchen von Objekten, wie etwa Verkehrszeichen, sowie auf das Verhalten anderer Verkehrsteilnehmer erfordert. Voraussetzung für eine korrekte Reaktion ist, dass Objekte und andere Verkehrsteilnehmer korrekt klassifiziert werden, also beispielsweise ein Stoppschild immer als ein Stoppschild erkannt wird.
-
Um ein Fahrzeug zumindest teilweise automatisiert zu führen, ist es erforderlich, die Klassifikation von Objekten, die der Mensch bereits lange vor der ersten Fahrstunde erlernt, maschinell nachzubilden. Die
WO 2018/184 963 A2 offenbart ein Verfahren, mit dem Objekte im Umfeld eines Fahrzeugs mit künstlichen neuronalen Netzen, KNN, erkannt werden können.
-
Offenbarung der Erfindung
-
Im Rahmen der Erfindung wurde ein künstliches neuronales Netzwerk, KNN, entwickelt. Das KNN hat eine Mehrzahl von Schichten, die jeweils eine Mehrzahl von Neuronen enthalten. Jedes Neuron ist dazu ausgebildet, von einem oder mehreren Neuronen einer vorherigen Schicht und/oder von einem Eingang des KNN erhaltene Eingaben anhand von Gewichten zu einer Aktivierung zu kombinieren, diese Aktivierung nichtlinear in eine Ausgabe zu übersetzen und diese Ausgabe an eines oder mehrere Neuronen einer nächsten Schicht und/oder an einen Ausgang des KNN auszugeben.
-
Dabei weist in dem KNN mindestens ein aus mindestens einer ersten Schicht und einer zweiten Schicht gebildetes Schichtpaket mindestens zwei schichtübergreifende Sektionen auf dergestalt, dass die Ausgaben von zu einer Sektion gehörenden Neuronen einer Schicht des Schichtpakets nur zu zur gleichen Sektion gehörenden Neuronen der anderen Schicht des Schichtpakets geführt sind.
-
Das bedeutet, dass die Entscheidungen, die die Neuronen einer Sektion treffen, nicht in Wechselwirkung treten mit den Entscheidungen, die von den Neuronen der anderen Sektionen getroffen werden. Wenn im Rahmen der Inferenz dem Eingang des KNN ein Satz Eingaben zugeführt wird, entstehen somit in den verschiedenen Sektionen mehrere Hypothesen in Bezug darauf, welche Ausgaben im Lichte des vorherigen Trainings sinnvoll sind. Indem die Wechselwirkung zwischen den Sektionen unterbunden ist, wird erzwungen, dass die Hypothesen wirklich unabhängig voneinander erzeugt werden. Dies ist in gewisser Weise analog zur Durchführung einer Klausur, bei der nur jede zweite Reihe und jeder dritte Platz in einem Hörsaal besetzt werden, damit alle Verfasser die Aufgabe unabhängig voneinander bearbeiten.
-
Die Unterteilung in nicht wechselwirkende Sektionen wirkt sich aber nicht erst bei der Inferenz aus, sondern bereits beim Training. Die Trainingsprozesse der einzelnen Sektionen sind voneinander entkoppelt. Die während des Trainings an die einzelnen Sektionen gestellte Erwartung dahingehend, welche Lern-Ausgaben in Antwort auf bestimmte am Eingang des KNN vorgelegte Lern-Eingaben reproduziert werden sollen, mögen für alle Sektionen gleich sein, analog einem gedruckten Lehrbuch. Jedoch erhält jede Sektion anhand dieses „Lehrbuchs“ Einzelunterricht. Dadurch wird die Tendenz verstärkt, dass bei der späteren Inferenz die Hypothesen auf in gewissem Maße unterschiedlichen Wegen generiert werden.
-
Der Sinn des Ganzen ist, eine Aussage über die Belastbarkeit bzw. Unsicherheit der Hypothesen zu gewinnen. Dies ist bei sicherheitskritischen Anwendungen, wie etwa der Klassifikation von Objekten im Umfeld von Fahrzeugen, von zentraler Bedeutung. Die Nichtlinearität bei der Übersetzung von Aktivierungen in Ausgaben führt zwangsläufig dazu, dass die letztendliche Ausgabe des KNN in hohem Maße nichtlinear von der Eingabe abhängt. Prinzipiell kann also eine sehr kleine Änderung der Eingabe eine große Änderung der Ausgabe hervorrufen, die sich dann beispielsweise dahingehend auswirkt, dass ein Objekt einer anderen Klasse zugeordnet wird.
-
Ein anschauliches Beispiel hierfür sind die sogenannten „Adversarial Examples“. Dies sind möglichst unauffällige Veränderungen der Eingabe, die zum Ziel haben, eine Falschklassifikation dieser Eingabe herbeizuführen. So kann beispielsweise das Anbringen eines Aufklebers, der einem Menschen gar nicht weiter auffällt, auf einem Stoppschild dazu führen, dass ein KNN das Schild als „Geschwindigkeitsbeschränkung“ fehldeutet und ein mit Hilfe dieses KNN gesteuertes Fahrzeug ungebremst in die Kreuzung einfährt. Es wurden auch bereits semitransparente Folien mit für einen menschlichen Betrachter kaum sichtbaren Mustern konstruiert, die, wenn sie auf der Kameralinse eines Objekterkennungssystems auf der Basis eines KNN angebracht werden, das System komplett „blind“ für Fußgänger machen. Das heißt, bei einer semantischen Segmentierung eines Kamerabildes, das Fußgänger zeigt, wird kein Fußgänger mehr als solcher klassifiziert.
-
Der Vergleich von auf unabhängigen Wegen gewonnenen Hypothesen schafft hier ein hohes Maß an zusätzlicher Sicherheit. Die Entscheidung des KNN kann gleichsam auf den „Rüttelstand“ gestellt werden dahingehend, ob die Unterschiede zwischen den verschiedenen Sektionen des KNN die Entscheidung beeinflussen oder ob diese verschiedenen Sektionen auf ihren unabhängigen Wegen zur gleichen Entscheidung gelangen. Je mehr die von den unterschiedlichen Sektionen gelieferten Hypothesen übereinstimmen, desto sicherer und belastbarer ist die Entscheidung. Hierhinter steckt die Erkenntnis, dass eine geringfügige Veränderung der Eingabe durchaus die ausgegebene Entscheidung mehrerer oder aller Sektionen des KNN verändern kann, jedoch die Wahrscheinlichkeit sehr gering ist, dass dann alle ausgegebenen Entscheidungen identisch sind. Wenn beispielsweise das mit einem Aufkleber veränderte Stoppschild von drei verschiedenen Sektionen einmal als „Geschwindigkeitsbeschränkung“, einmal als „Überholverbot“ und einmal als „Höhenbeschränkung“ klassifiziert wird, ist klar, dass etwas nicht stimmt.
-
Der gleiche Effekt ließe sich auch erzielen, indem die Ausgaben mehrerer KNN mit unterschiedlichen Architekturen oder auch die Ausgaben mehrerer identisch aufgebauter, aber unterschiedlich trainierter KNN miteinander verglichen werden. Die Unterteilung eines Schichtpakets in einem einzigen KNN in mehrere Sektionen hat demgegenüber den Vorteil, dass sie mit deutlich geringerem Rechenaufwand auskommt. Die Verwendung mehrerer KNN vervielfacht den Rechenaufwand mit der Anzahl der KNN und erhöht damit den Aufwand für die benötigte Hardware und/oder die benötigte Rechenzeit. Gerade beim Einsatz des KNN in Objekterkennungssystemen für Fahrzeuge ist jedoch beides knapp. Bei plötzlich auftretenden Ereignissen ist eine schnelle Reaktion entscheidend für die Vermeidung von Unfällen und für die Verminderung von Unfallfolgen. Auf der anderen Seite lässt sich das System nicht mit beliebig viel Rechenleistung ausstatten, da abgesehen vom finanziellen Aufwand auch der zur Verfügung stehende Platz und die vom Bordnetz des Fahrzeugs lieferbare elektrische Leistung begrenzt sind.
-
Ähnlich ist die Situation bei der Inferenz von KNN auf mobilen Geräten wie Smartphones. Der erhöhte Rechenaufwand durch die Inferenz mehrerer KNN dezimiert den sehr begrenzten Energievorrat in kurzer Zeit.
-
Die Unterteilung eines Schichtpakets des KNN in mehrere Sektionen ist hier eine Kompromisslösung. Die Unabhängigkeit der Wege, auf denen die Hypothesen generiert werden, wird nicht ganz so weit getrieben wie beim Einsatz mehrerer KNN, ist aber dafür in Bezug auf die zusätzlich erforderliche Rechenleistung in Relation zum Gesamtsystem quasi „kostenlos“.
-
Die Festlegung des Schichtpakets und seine Unterteilung in mehrere Sektionen kann in beliebiger Weise in Software, in Hardware oder in einer beliebigen Kombination aus Software und Hardware implementiert sein. Beispielsweise können die Sektionen des Schichtpakets auf unterschiedlichen physischen Recheneinheiten implementiert sein, die etwa auf unterschiedlichen Chips verkörpert sind. Die Sektionen können auch beispielsweise auf ein und demselben Chip, bzw. auf ein und derselben Platine, in Bereichen implementiert sein, die nicht miteinander verbunden sind. Die beschriebene Architektur des KNN kann aber auch rein softwaremäßig festgelegt sein. So lässt sich eine Wechselwirkung zwischen den Sektionen beispielsweise unterbinden, indem in jeder Sektion die Gewichte, mit denen Ausgaben von Neuronen anderer Sektionen berücksichtigt werden, auf Null gesetzt werden. Diese Bedingung kann insbesondere bei jedem Gradientenschritt oder anderen Trainingsschritt des KNN aufs Neue erzwungen werden bis hin zum fertig trainierten Zustand des KNN, in dem dann ebenfalls keine Sektion mehr auf Ausgaben anderer Sektionen zugreift. Die Gewichte des KNN legen also gleichsam „unsichtbare Wände“ fest, die den Austausch zwischen den Sektionen des KNN unterbinden, so wie viele Drohnen für Hobbypiloten in ihrer Software Flugverbotszonen definiert haben, an deren Grenzen die Drohne „abprallt“.
-
Besonders vorteilhaft sind identische Eingaben in die mindestens zwei Sektionen des Schichtpakets geführt. Die unterschiedlichen Hypothesen sind dann maximal miteinander vergleichbar, so wie es auch die Leistungen der besagten Klausurbearbeiter sind, wenn alle identische Klausurbögen zur Bearbeitung bekommen.
-
In einer weiteren besonders vorteilhaften Ausgestaltung sind die Ausgaben des Schichtpakets zum Ausgang des KNN geführt. Dann besteht am Ausgang des KNN direkter Zugang zu den auf voneinander unabhängigen Wegen generierten Hypothesen. Zugleich ist gerade diese Anordnung des Schichtpakets am Ausgang des KNN besonders vorteilhaft in Bezug auf den besagten Kompromiss zwischen der Unabhängigkeit der Hypothesen einerseits und der Einsparung von Rechenaufwand andererseits.
-
Wenn beispielsweise ein KNN als Klassifikator genutzt wird, dienen häufig die dem Eingang des KNN nächsten Schichten dazu, grundlegende Merkmale in den Eingaben des KNN zu erkennen. In weiteren Schichten können dann komplexere Merkmale erkannt werden, die aus den grundlegenden Merkmalen zusammengesetzt sind. Dass das in Sektionen unterteilte Schichtpaket nahe dem Ausgang des KNN angeordnet ist, hat dann die Wirkung, dass bei der Erkennung der grundlegenden Merkmale noch der volle Vernetzungsgrad des KNN genutzt werden kann, während bei der Generierung der letztendlichen Hypothesen nahe dem Ausgang des KNN die verfügbare Rechenkapazität auf die mehreren voneinander unabhängigen Wege aufgeteilt wird.
-
Hierhinter steckt die Erkenntnis, dass kleine Änderungen der Eingabe des KNN in den Schichten nahe dem Eingang des KNN einen geringeren Durchgriff auf die letztendlich vom KNN gelieferte Klassifikation haben als in den späteren Schichten. Wenn beispielsweise eine der dem Eingang des KNN nahen Schichten in einem zu klassifizierenden Bild einen Bogen oder eine Ecke falsch erkennt, dann hat dies meist noch nicht zur Folge, dass das Bild am Ende in eine ganz andere Klasse einsortiert wird. Ein Stoppschild mit nur sieben Ecken wird immer noch als Stoppschild erkannt werden. Einen weitaus größeren Einfluss hat es, wenn die Änderung in der Eingabe des KNN die späteren Schlussfolgerungen des KNN beeinflusst, die über die Einsortierung in die verschiedenen Klassen entscheiden. An dieser Stelle muss zum Beispiel sicher zwischen dem Verkehrszeichen 251 „Verbot für alle Kraftwagen und sonstige mehrspurige Kraftfahrzeuge“ und dem Verkehrszeichen 253 „Verbot für Kraftfahrzeuge mit mehr als 3,5 Tonnen zulässiger Gesamtmasse“ unterschieden werden, die beide ein stilisiertes Fahrzeug zeigen und somit aus ähnlichen in früheren Schichten erkannten Grundelementen zusammengesetzt sind. Genau hier lohnt es sich also, zusätzliche Sicherheit durch die Aufteilung eines Schichtpakets in unabhängige Sektionen zu schaffen.
-
Vorteilhaft weist das Schichtpaket zwischen vier und 20, bevorzugt zwischen fünf und zehn, Sektionen auf. Dies gewährleistet, dass auf der einen Seite eine hinreichende Anzahl unterschiedlicher Wege für die Generierung von Hypothesen bereitgestellt wird, während auf der anderen Seite jeder dieser Wege mit einer ausreichenden Menge Rechenkapazität in Form von Neuronen ausgestattet ist. Die optimale Anzahl von Sektionen für eine vorgegebene Anwendung hängt beispielsweise bei einem als Klassifikator ausgebildeten KNN von der Anzahl der Klassen ab, zwischen denen zu differenzieren ist.
-
Vorteilhaft umfasst das Schichtpaket zwischen einer und fünf Schichten, bevorzugt zwei oder drei Schichten. Auf dieser Größenskala spielt sich beispielsweise in vielen als Klassifikator ausgebildeten KNN die Entscheidung über die Zuordnung zu einer konkreten Klasse auf der Basis zuvor erkannter Grundelemente ab.
-
Besonders vorteilhaft ist das KNN dazu ausgebildet, Messdaten, die durch einen physikalischen Messprozess, und/oder durch eine teilweise oder vollständige Simulation eines solchen Messprozesses, und/oder durch eine teilweise oder vollständige Simulation eines mit einem solchen Messprozess beobachtbaren technischen Systems, erhalten wurden, an seinem Eingang als Eingaben entgegenzunehmen und mindestens eine Klassifikation, Regression und/oder semantische Segmentierung dieser Messdaten an seinem Ausgang auszugeben. Dadurch wird der Durchgriff von Unwägbarkeiten und Unsicherheiten, mit denen der Erwerb der Messdaten behaftet ist, auf die letztendlich erhaltene Klassifikation, Regression und/oder semantische Segmentierung vermindert.
-
Bei der Inferenz für reale Anwendungen ist häufig nicht eine Sammlung mehrerer Hypothesen gefragt, sondern eine einzige Endentscheidung, wie beispielsweise über eine Klasse, der ein Objekt zuzuordnen ist. Daher bezieht sich die Erfindung auch auf ein Inferenzmodul mit dem beschriebenen KNN sowie einer Auswerteeinheit. Die Auswerteeinheit enthält die Ausgaben des Schichtpakets, und/oder aus diesen Ausgaben gebildete Verarbeitungsprodukte, als Eingaben und ist dazu ausgebildet, diese Eingaben zu einer gemeinsamen Aussage der Sektionen des Schichtpakets zusammenzuführen.
-
Dieses Zusammenführen kann je nach Anwendung in beliebiger Weise erfolgen, beispielsweise durch eine Mittelung oder Mehrheitsentscheidung. Wenn etwa acht von zehn Sektionen ein Objekt als Stoppschild klassifiziert haben, während die übrigen zwei Sektionen das Zeichen „Geschwindigkeitsbeschränkung“ erkannt haben, dann ist die Erkennung als Stoppschild wahrscheinlich richtig.
-
Das Zusammenführen kann insbesondere auch beispielsweise die Schwere der nachteiligen Folgen möglicher Fehlentscheidungen berücksichtigen. Die falsche Erkennung eines Fußgängers auf einer tatsächlich freien Fahrbahn kann zu unmotivierten Bremsungen und Auffahrunfällen mit teuren Schäden führen. Die falsche Erkennung eines Fußgängers oder anderen schwächeren Verkehrsteilnehmers als freie Fahrbahn ist aber noch bedeutend schlimmer, weil sie sofort zu schweren bis tödlichen Verletzungen führen kann. Daher kann es beispielsweise sinnvoll sein, in Antwort darauf, dass auch nur eine Sektion einen solchen schwächeren Verkehrsteilnehmer erkannt hat, die gemeinsame Aussage dahingehend festzulegen, dass dieser schwächere Verkehrsteilnehmer vorhanden ist.
-
In Verallgemeinerung dieses Beispiels ist in einer besonders vorteilhaften Ausgestaltung die Auswerteeinheit dazu ausgebildet, eine von mindestens einer Sektion gelieferte Ausgabe in Antwort darauf, dass diese Ausgabe ein vorgegebenes inhaltliches Kriterium erfüllt, beim Zusammenführen zu der gemeinsamen Aussage zu priorisieren.
-
In einer weiteren besonders vorteilhaften Ausgestaltung ist die Auswerteeinheit zusätzlich dazu ausgebildet, unter Heranziehung der Abweichungen der von den Sektionen gelieferten Ausgaben untereinander, und/oder von der gemeinsamen Aussage, eine Unsicherheit der gemeinsamen Aussage zu ermitteln. Diese Unsicherheit ist insbesondere für den Einsatz des Inferenzmoduls in sicherheitskritischen Anwendungen, wie beispielsweise beim zumindest teilweise automatisierten Fahren, wichtig. So kann beispielsweise eine Unsicherheit, die über einem bestimmten Schwellwert liegt, anzeigen, dass ein System für die Erkennung von Objekten im Umfeld eines Fahrzeugs gerade nicht ordnungsgemäß funktioniert.
-
Die Unsicherheit kann beispielsweise die Summe der Entropie von Wahrscheinlichkeitsvektoren sein, die von den unterschiedlichen Sektionen des Schichtpakets prädiziert werden. Alternativ oder auch in Kombination zur Entropie können auch andere Maße verwendet werden, wie beispielsweise die Varianz oder die Entropie des Mittelwerts der Aussagen.
-
Gerade bei der Klassifikation von Objekten im öffentlichen Straßenverkehr können derartige Situationen immer wieder auftreten, weil völlig neue Objekte auftauchen, auf die der Klassifikator nicht trainiert ist.
-
So werden beispielsweise ständig neue Fahrzeugmodelle auf den Markt gebracht, die sich zuweilen gerade deshalb besonders stark optisch von den bislang bekannten Modellen unterscheiden, um ein Alleinstellungsmerkmal zu schaffen. Es kann dann der Fall eintreten, dass das Fahrzeug vom Klassifikator nicht einmal mehr als Fahrzeug erkannt wird oder gar in der Menge der vom Klassifikator erkannten Objekte völlig fehlt.
-
Weiterhin schafft der Gesetzgeber immer wieder neue Verkehrszeichen oder ändert bestehende Zeichen ab. So wurde beispielsweise 2009 an Stelle der Verkehrszeichen „Beschrankter Bahnübergang“ und „Unbeschrankter Bahnübergang“ ein neues einheitliches Verkehrszeichen zur Kennzeichnung von Bahnübergängen eingeführt.
-
Prinzipiell sollten gerade neue oder geänderte Verkehrszeichen durch Updates der Hersteller von Klassifikatoren eingepflegt werden. Es ist jedoch nicht gewährleistet, dass diese Updates zwangsläufig bei allen Nutzern des Klassifikators ankommen. Eine Zunahme an Situationen, in denen die erkannte Unsicherheit groß ist, kann ein Anzeichen dafür sein, dass der aktuell verwendete Klassifikator nicht mehr aktuell ist und ein Update benötigt. Das Einspielen des Updates kann dann beispielsweise in letzter Konsequenz erzwungen werden, indem nach einer bestimmten Karenz in Fahrstrecke oder Zeit ein erneuter Start des Fahrzeugs gesperrt wird.
-
Aber auch ganz normale Verkehrssituationen können eine Ursache für erhöhte Unsicherheit setzen. So ist beispielsweise ein zweidimensionales Kamerabild des Fahrzeugumfelds ohne zusätzliche Tiefeninformation eine Projektion der dreidimensionalen Szenerie in die zweidimensionale Ebene, bei der Information verlorengeht. Wartet nun beispielsweise ein PKW vor einer Kreuzung, während ein vorfahrtberechtigter LKW von rechts in die Kreuzung einbiegt, so überlagern sich im Bild dieser Szenerie der PKW und der LKW, was die sichere Unterscheidung der beiden Objekte erschwert.
-
Somit bezieht sich die Erfindung auch auf ein Steuergerät für ein Fahrzeug. Dieses Steuergerät ist mit mindestens einem Sensor zur Erfassung physikalischer Messdaten aus dem Umfeld des Fahrzeugs verbindbar. Das Steuergerät ist weiterhin mit mindestens einem Aktor des Fahrzeugs verbindbar. Das Steuergerät umfasst mindestens eine Instanz des zuvor beschriebenen Inferenzmoduls. Bei bestehender Verbindung des Steuergeräts zu dem mindestens einen Sensor sind die physikalischen Messdaten in das KNN des Inferenzmoduls geführt. Das Steuergerät ist dazu ausgebildet, aus der vom Inferenzmodul ausgegebenen gemeinsamen Aussage, und/oder aus der vom Inferenzmodul ermittelten Unsicherheit dieser gemeinsamen Aussage, ein Ansteuersignal zu ermitteln und bei bestehender Verbindung zu dem mindestens einen Aktor diesen Aktor mit dem Ansteuersignal anzusteuern.
-
Wie zuvor erläutert, ist es für die Erzeugung verlässlicher gemeinsamer Aussagen durch das Inferenzmodul, sowie auch für die verlässliche Messung der Unsicherheit dieser Aussagen, von großem Vorteil, wenn die unterschiedlichen Sektionen des Schichtpakets unabhängig voneinander trainiert werden.
-
Daher bezieht sich die Erfindung auch auf ein Verfahren zum Trainieren eines KNN unter Nutzung von Lern-Eingaben für das KNN und zugehörigen gewünschten Lern-Ausgaben des KNN. Die zu jeder Sektion des Schichtpakets gehörenden Neuronen werden unabhängig von den zu den jeweils anderen Sektionen des Schichtpakets gehörenden Neuronen daraufhin trainiert, dass in Antwort auf in das KNN eingegebene Lern-Eingaben das KNN, und/oder die jeweilige Sektion des Schichtpakets, im Mittel die zugehörigen Lern-Ausgaben reproduziert.
-
Dabei kann durchaus beispielsweise das Training aller Sektionen jeweils darauf gerichtet sein, die gleiche Kostenfunktion zu optimieren. Die Kostenfunktion als solche kann beispielsweise nur vom Ergebnis eines Vergleichs zwischen der von der jeweiligen Sektion gelieferten Ausgabe und der gewünschten Lern-Ausgabe abhängen, so wie auch bei einer Klausur alle abgegebenen Arbeiten nach dem gleichen Schema bewertet werden. Optimiert werden bei dem Training der zu einer Sektion gehörenden Neuronen jedoch nur die Gewichte, mit denen diese Neuronen ihre Eingaben zu Aktivierungen kombinieren.
-
In einer weiteren besonders vorteilhaften Ausgestaltung werden die zu den unterschiedlichen Sektionen des Schichtpakets gehörenden Neuronen zusätzlich daraufhin trainiert, dass die Ausgaben der unterschiedlichen Sektionen, und/oder die Gewichte der zu den unterschiedlichen Sektionen gehörenden Neuronen, möglichst stark voneinander abweichen. Auf diese Weise kann die Unabhängigkeit der verschiedenen Sektionen gezielt in das KNN hineintrainiert werden.
-
Wenn das Training beispielsweise darauf gerichtet ist, dass die Ausgaben der unterschiedlichen Sektionen möglichst stark voneinander abweichen und dennoch jede Sektion im Mittel die gewünschten Lern-Ausgaben des KNN reproduziert, dann werden die zu den unterschiedlichen Sektionen gehörenden Neuronen implizit dazu angeregt, unterschiedliche Wege zu ähnlichen Lösungen zu suchen.
-
Diese Tendenz kann auch explizit gefordert werden, indem das Training darauf gerichtet ist, dass die Gewichte der zu den unterschiedlichen Sektionen gehörenden Neuronen möglichst stark voneinander abweichen und dennoch jede Sektion im Mittel die gewünschten Lern-Ausgaben des KNN reproduziert.
-
Beispielsweise kann das Training der zu einer jeden Sektion gehörenden Neuronen auf die Optimierung einer für diese Sektion spezifischen Kostenfunktion gerichtet sein. Diese Kostenfunktion kann einen ersten Anteil umfassen, der ein Maß dafür ist, wie gut die jeweilige Sektion die gewünschten Lern-Ausgaben reproduziert. Die Kostenfunktion kann einen zweiten Anteil umfassen, der ein Maß dafür ist, wie stark die Ausgaben dieser Sektion von den Ausgaben der anderen Sektionen abweichen, und/oder wie stark die Gewichte der zu dieser Sektion gehörenden Neuronen von den Gewichten der zu anderen Sektionen gehörenden Neuronen abweichen.
-
Wie zuvor erläutert, kann das Verhalten eines KNN vollständig durch die Gewichte aller im KNN enthaltenen Neuronen festgelegt sein. Das bedeutet, dass das zuvor beschriebene KNN und auch das zuvor beschriebene Training in den Gewichten verkörpert sein können. Insbesondere kann man beispielsweise den Gewichten als solchen ansehen, dass es darin zu den Sektionen korrespondierende Blöcke gibt, die sich hinsichtlich der Werte und/oder Verteilungen der Gewichte signifikant unterscheiden.
-
Daher bezieht sich die Erfindung auch auf einen Datensatz mit Gewichten von Neuronen eines KNN, der das beschriebene KNN charakterisiert und/oder mit dem beschriebenen Trainingsverfahren erhalten wurde.
-
Die Funktionalität des Inferenzmoduls, und hier insbesondere die Funktionalität der Auswerteeinheit in diesem Inferenzmodul, sowie das Trainingsverfahren können insbesondere computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf mindestens einem Computer, auf einem Steuergerät, und/oder auf einem Embedded-System ausgeführt werden, den Computer, und/oder das Steuergerät, zu dem beschriebenen Inferenzmodul und/oder zu dem beschriebenen Steuergerät aufwerten, und/oder den Computer, das Steuergerät, und/oder das Embedded-System dazu veranlassen, das beschriebene Trainingsverfahren auszuführen.
-
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder ein Downloadprodukt mit dem Computerprogramm, und/oder mit dem Datensatz. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
-
Weiterhin bezieht sich die Erfindung auch auf einen Computer, ein Steuergerät und/oder ein Embedded-System, der bzw. das mit dem Datensatz, mit dem Computerprogramm und/oder mit dem maschinenlesbaren Datenträger und/oder Downloadprodukt ausgerüstet ist. Alternativ oder auch in Kombination hierzu kann der Computer, das Steuergerät, und/oder das Embedded-System, auch in beliebiger sonstiger Weise spezifisch dazu ausgebildet sein, das beschriebene Trainingsverfahren auszuführen. Eine solche spezifische Ausbildung kann beispielsweise durch Implementierung eines oder mehrerer Verfahrensschritte in einem oder mehreren feldprogrammierbaren Gatteranordnungen (Field Programmable Gate Array, FPGA), und/oder in einem oder mehreren anwendungsspezifischen integrierten Schaltkreisen (Application Specific Integrated Circuit, ASIC) verkörpert sein.
-
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
-
Figurenliste
-
Es zeigt:
- 1 Ausführungsbeispiel des KNN 1;
- 2 Ausführungsbeispiel des Inferenzmoduls 10;
- 3 Ausführungsbeispiel eines Steuergeräts 20, verbaut in einem Fahrzeug 30;
- 4 Ausführungsbeispiel des Verfahrens 100;
- 5 Beispielhafte Straßenszene 50 mit stark unterschiedlichen Unsicherheiten 6 der Objekterkennung.
-
1 zeigt ein Ausführungsbeispiel des KNN 1. Das KNN 1 umfasst fünf Schichten 2a-2e, die jeweils mit Neuronen 3 belegt sind. Jedes Neuron verarbeitet Eingaben nach Maßgabe von Gewichten 3a-3e zu einer Aktivierung, die anschließend in eine Ausgabe 3f des Neurons 3 umgesetzt wird. Die Bezugszeichen 3, 3a-3e sowie 3f sind der Übersichtlichkeit halber in 1 nur an einem Neuron 3 eingezeichnet.
-
Dem KNN 1 werden seine Eingaben am Eingang 1a zugeführt. Das KNN ist in diesem Beispiel ein Klassifikatornetzwerk, das in den ersten drei Schichten 2a-2c zunächst grundlegende und dann immer komplexere Merkmale in den Eingaben erkennt. Zu diesem Zweck sind die Neuronen 3 in den ersten drei Schichten 2a-2c besonders vielfältig miteinander vernetzt.
-
Hieran schließt sich das Schichtpaket 4 an, das aus den Schichten 2d und 2e besteht. Dieses Schichtpaket 4 ist in fünf Sektionen 4a-4e unterteilt. Jede dieser Sektionen 4a-4e bekommt aus der dem Schichtpaket 4 vorangehenden Schicht 2c die gleiche Eingabe, was aus Gründen der Übersichtlichkeit in 1 nicht eingezeichnet ist.
-
Die Sektionen 4a-4e sind dahingehend voneinander unabhängig, dass Ausgaben eines zu einer Sektion 4a-4e gehörenden Neurons 3 immer nur zu solchen Neuronen 3 weitergeleitet werden, die zur gleichen Sektion 4a-4e gehören. Es findet kein Austausch zwischen den Sektionen 4a-4e statt. Jede Sektion 4a-4e erstellt somit eine jeweilige Ausgabe 4a*-4e*, die die entsprechende Hypothese der Sektion 4a-4e hinsichtlich der gesuchten Klassifikation repräsentiert und auf einem zu einem gewissen Grade unabhängigen Weg ermittelt wurde.
-
2 zeigt ein Ausführungsbeispiel des Inferenzmoduls 10. Das Inferenzmodul 10 umfasst das in 1 näher dargestellte KNN 1, dem an seinem Eingang 1a beispielsweise physikalische Messdaten 31a zugeführt werden können. Die am Ausgang 1b des KNN 1 ausgegebenen Ausgaben 4a*-4e*, die die Hypothesen der einzelnen Sektionen 4a-4e repräsentieren, werden von der Auswerteeinheit 11 zu einer gemeinsamen Aussage 5 der Sektionen 4a-4e zusammengeführt. Zusätzlich ist die Auswerteeinheit 11 auch dazu ausgebildet, die Unsicherheit 6 dieser gemeinsamen Aussage 5 zu ermitteln.
-
3 zeigt ein Ausführungsbeispiel eines Steuergeräts 20 in dem Zustand, in dem es in ein Fahrzeug 30 eingebaut sowie mit einem Sensor 31 und einem Aktor 32 des Fahrzeugs 30 verbunden ist. Das Steuergerät 20 enthält das in 2 näher dargestellte Inferenzmodul 10 mit dem in 1 näher dargestellten KNN 1 und der Auswerteeinheit 11. Das Steuergerät 20 leitet die physikalischen Messdaten 31a vom Sensor 31 in das KNN 1 und ermittelt aus der vom Inferenzmodul 10 ermittelten gemeinsamen Aussage 5 aller Sektionen 4a-4e des Schichtpakets 4 im KNN 1, und/oder aus der Unsicherheit 6 dieser Aussage 5, ein Ansteuersignal 20a. Mit diesem Ansteuersignal 20a wird der Aktor 32 des Fahrzeugs 30 angesteuert, der in diesem Fall auf die Bremsen des Fahrzeugs 30 wirkt.
-
4 zeigt ein Ausführungsbeispiel des Trainingsverfahrens 100. In Schritt 110 werden die zu den Sektionen 4a-4e gehörenden Neuronen 3 unabhängig von den zu den jeweils anderen Sektionen 4a-4e gehörenden Neuronen 3 daraufhin trainiert, dass bei Eingabe von Lern-Eingaben 1a' in das KNN 1 im Mittel die zugehörigen Lern-Ausgaben 1b' reproduziert werden. Zugleich werden die Neuronen 3 in Schritt 120 aber auch daraufhin trainiert, dass die Ausgaben 4a*-4e* der unterschiedlichen Sektionen 4a-4e, und/oder die Gewichte der zu den unterschiedlichen Sektionen 4a-4e gehörenden Neuronen 3, möglichst stark voneinander abweichen. Block 121 fasst beide Schritte durch Bildung von für die jeweiligen Sektionen 4a-4e spezifische Kostenfunktionen zusammen. Jede dieser Kostenfunktionen umfasst einen Anteil, der auf die Reproduktion der gewünschten Lern-Ausgaben 1b' gerichtet ist, und einen Anteil, der auf maximale Diversität zwischen den Sektionen 4a-4e gerichtet ist.
-
5 zeigt eine beispielhafte Szenerie 50, innerhalb der die Unsicherheit 6 einer gemeinsamen Aussage 5 der Sektionen 4a-4e stark variieren kann. Die 5 zeigt eine Ansicht der Szenerie 50, wie sie von einem Fahrzeug aus gesehen wird, das auf einer ersten Straße 51 geradeaus fährt. Vor einer Kreuzung mit der Straße 52 muss ein erster PKW 53a warten, um einen vorfahrberechtigten LKW 54 in die Straße 51 einbiegen zu lassen. Eine zweidimensionale Ansicht einer Momentaufnahme, in der der LKW 54 hinter dem PKW 53a in die Straße 51 einbiegt, enthält ein Gebilde, in dem der PKW 53a mit dem LKW 54 verschmolzen zu sein scheint. Dieses Gebilde ist weder eindeutig als PKW 53a noch eindeutig als LKW 54 zu klassifizieren. Dementsprechend ist die Unsicherheit 6 einer Aussage 5 dahingehend, welche Objekte vorhanden sind, in diesem Bereich der Szenerie hoch.
-
Ein zweiter PKW 53b, der sich auf der Gegenfahrbahn auf das eigene Fahrzeug zubewegt, ist hingegen gut zu erkennen. Dementsprechend ist die Unsicherheit 6 dieser Erkennung niedrig.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
