DE102020211166A1

DE102020211166A1 - Klassifikatornetzwerk mit transparenter, besser erklärbarer Arbeitsweise

Info

Publication number: DE102020211166A1
Application number: DE102020211166.9A
Authority: DE
Inventors: Andres Mauricio Munoz Delgado
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-09-04
Filing date: 2020-09-04
Publication date: 2022-03-10

Abstract

Klassifikatornetzwerk (1) zum Ermitteln eines Klassifikations-Scores fo, fco für Messdaten (11), wobei der Klassifikations-Score fo, fco die Zugehörigkeit der Messdaten (11) zu einer oder mehreren Klassen einer vorgegebenen Klassifikation angibt, umfassend:• eine Faltungseinheit (2) mit einer Mehrzahl von Faltungsschichten (21-23), die jeweils aus ihren Eingaben durch Anwendung eines oder mehrerer Filterkerne eine oder mehrere Merkmalskarten (21a-23a) erzeugen;• eine Aufmerksamkeitseinheit (3), die mindestens eine von der Faltungseinheit (2) gelieferte Merkmalskarte (23a) als Eingabe erhält und dazu ausgebildet ist, Aktivierungen von in dieser Merkmalskarte (23a), und/oder in einem aus dieser Merkmalskarte (23a) gebildeten Verarbeitungsprodukt (23a*), enthaltenen Merkmalen in Richtung einer Diskretisierung auf die Werte 0 und 1 zu treiben; und• eine Klassifikationseinheit (4), die dazu ausgebildet ist, eine von der Aufmerksamkeitseinheit (3) gelieferte Ausgabe (3a) auf den Klassifikations-Score fo, fco abzubilden.

Description

Die vorliegende Erfindung betrifft Klassifikatornetzwerke, die beispielsweise Bilddaten oder andere physikalische Messdaten auf einen für die jeweilige Anwendung relevanten Klassifikations-Score abbilden
Stand der Technik
Bei der Serienfertigung von Produkten ist es in der Regel erforderlich, die Qualität der Fertigung laufend zu überprüfen. Dabei wird angestrebt, Qualitätsprobleme möglichst schnell zu erkennen, um die Ursache baldmöglichst beheben zu können und nicht zu viele Einheiten des jeweiligen Produkts als Ausschuss zu verlieren.
Die optische Kontrolle der Geometrie und/oder Oberfläche eines Produkts ist schnell und zerstörungsfrei. Die WO 2018/197 074 A1 offenbart eine Prüfvorrichtung, in der ein Objekt einer Vielzahl von Beleuchtungssituationen ausgesetzt werden kann, wobei in jeder dieser Beleuchtungssituationen mit einer Kamera Bilder des Objekts aufgezeichnet werden. Aus diesen Bildern wird die Topographie des Objekts ausgewertet.
Bilder des Produkts können auch unmittelbar mit einem Bildklassifikator auf der Basis künstlicher neuronaler Netzwerke einer von mehreren Klassen einer vorgegebenen Klassifikation zugeordnet werden. Auf dieser Basis kann das Produkt einer von mehreren vorgegebenen Qualitätsklassen zugeordnet werden. Im einfachsten Fall ist diese Klassifikation binär („OK“/„nicht OK“).
Beim zumindest teilweise automatisierten Führen von Fahrzeugen werden ebenfalls trainierbare Bildklassifikatoren eingesetzt, um Verkehrssituationen zu bewerten oder zumindest auf ihren Gehalt an Objekten zu untersuchen.
Offenbarung der Erfindung
Im Rahmen der Erfindung wurde ein Klassifikatornetzwerk zum Ermitteln eines Klassifikations-Scores für Messdaten entwickelt. Dieser Klassifikations-Score gibt die Zugehörigkeit der Messdaten zu einer oder mehreren Klassen einer vorgegebenen Klassifikation an.
Die Messdaten können insbesondere beispielsweise Bilddaten umfassen. Der Klassifikations-Score kann dann beispielsweise angeben, welche Objekte und/oder Situationen in den Bilddaten enthalten sind.
Der Begriff „Bilddaten“ umfasst neben statischen Bildern und Frames (Einzelbildern) aus Filmen oder Bildsequenzen insbesondere auch derartige Filme und Bildsequenzen. Dem kompletten Film, bzw. der kompletten Bildsequenz, wohnt eine zusätzliche Information hinsichtlich der dynamischen Veränderung der Bildinhalte inne. Diese dynamische Qualität fehlt den Einzelbildern. Dass diese dynamische Qualität wichtig ist, ist konsistent damit, dass der Mensch bewegte oder blinkende Bildinhalte gegenüber statischen Bildinhalten bevorzugt wahrnimmt.
Bilddaten können insbesondere beispielsweise Kamerabilder, Videobilder, Radarbilder, Ultraschallbilder oder LIDAR-Bilder repräsentieren.
Die Messdaten können insbesondere beispielsweise auch Bilddaten oder andere Messdaten sein, die durch physikalische Beobachtung mindestens eines Produkts aufgenommen wurden. Der Klassifikations-Score kann dann beispielsweise eine Qualitätsbeurteilung des Produkts angeben.
Die Messdaten können insbesondere beispielsweise auch Bilddaten oder andere Messdaten sein, die mit mindestens einem von einem Fahrzeug mitgeführten Sensor aufgenommen wurden. Der Klassifikations-Score kann dann beispielsweise eine Beurteilung der durch die Messdaten repräsentierten Verkehrssituation angeben.
Das Klassifikatornetzwerk weist eine Faltungseinheit mit einer Mehrzahl von Faltungsschichten auf. Die Faltungsschichten erzeugen jeweils aus ihren Eingaben durch Anwendung eines oder mehrerer Filterkerne eine oder mehrere Merkmalskarten. Dieses Merkmalskarten können insbesondere eine geringere Dimensionalität haben als die ursprünglich eingegebenen Messdaten. Dies ist jedoch nicht zwingend erforderlich.
Das Klassifikatornetzwerk weist weiterhin eine Aufmerksamkeitseinheit auf. Diese Aufmerksamkeitseinheit erhält mindestens eine von der Faltungseinheit gelieferte Merkmalskarte als Eingabe. Die Aufmerksamkeitseinheit ist dazu ausgebildet, Aktivierungen von in dieser Merkmalskarte, und/oder in einem aus dieser Merkmalskarte gebildeten Verarbeitungsprodukt, enthaltenen Merkmalen in Richtung einer Diskretisierung auf die Werte 0 und 1 zu treiben.
Das Ergebnis dieser Diskretisierung ist in eine Klassifikationseinheit geführt. Diese Klassifikationseinheit ist dazu ausgebildet, eine von der Aufmerksamkeitseinheit gelieferte Ausgabe auf den Klassifikations-Score abzubilden. Die Klassifikationseinheit kann zu diesem Zweck beispielsweise eine vollvernetzte Schicht des neuronalen Klassifikatornetzwerks umfassen.
Dabei kann insbesondere beispielsweise die Aufmerksamkeitseinheit dazu ausgebildet sein, jedes Element der von der Faltungseinheit bezogenen Merkmalskarte für sich genommen in Richtung einer Diskretisierung auf die Werte 0 und 1 zu treiben. Es wird dann jedem einzelnen von der Faltungseinheit erkannten Merkmal eine Bewertung dahingehend zugeordnet, ob es für die Entscheidung für den konkreten Klassifikations-Score relevant ist.
Die Formulierung „in Richtung einer Diskretisierung auf die Werte 0 und 1 zu treiben“ schließt insbesondere eine harte Diskretisierung auf diese beiden Werte mit einer Stufenfunktion ein, ist jedoch hierauf nicht beschränkt. Vielmehr umfasst diese Formulierung jede Aktion oder Abbildung, die größere Werte näher an einen höheren frei wählbaren Wert (hier: 1) heran bewegt oder auf diesen höheren frei wählbaren Wert (hier: 1) setzt und gleichzeitig kleinere Werte näher an einen niedrigeren frei wählbaren Wert (hier: 0) heran bewegt oder auf diesen niedrigeren frei wählbaren Wert (hier: 0) setzt. Im Gegensatz zur harten Diskretisierung mit der Stufenfunktion können solche „weicheren“ Aktionen und Abbildungen insbesondere beispielsweise den Vorteil haben, dass sie in ihren jeweiligen Argumenten stetig oder sogar differenzierbar sind. Es sind auch Mischformen dahingehend möglich, dass etwa beim Training des Klassifikatornetzwerks eine stetige „weiche“ Diskretisierung angewendet wird und beim anschließenden Test, bzw. im späteren Wirkbetrieb, die harte Diskretisierung mit der Stufenfunktion.
Es wurde erkannt, dass die hier beschriebene Architektur des Klassifikatornetzwerks neben dem Klassifikations-Score zusätzlich auch die Information liefert, welche der mit der Faltungseinheit erkannten Merkmale zur Entscheidung für den Klassifikations-Score beigetragen haben: Am Ausgang der Aufmerksamkeitseinheit haben diejenigen Merkmale, die zur Entscheidung beigetragen haben, eine Aktivierung von 1. Alle anderen Merkmale haben eine Aktivierung von 0.
Anhand dieser Information lässt sich wiederum ermitteln, welche Anteile der Messdaten zu der Entscheidung für den konkreten Klassifikations-Score beigetragen haben: Auch wenn die Merkmalskarten gegenüber den ursprünglich eingegebenen Messdaten in ihrer Dimensionalität deutlich reduziert sind, gibt es immer noch eine räumliche Korrespondenz dahingehend, dass etwa die rechte obere Ecke der Merkmalskarte durch Informationen in der rechten oberen Ecke eines als Messdaten eingegebenen Bildes verursacht worden ist.
Die Information, auf welchen Anteilen der Messdaten die Entscheidung für einen konkreten Klassifikations-Score letztendlich basiert, kann herangezogen werden, um die Belastbarkeit der Entscheidung zu überprüfen und/oder diese Entscheidung unter Heranziehung einer beliebigen Zusatzinformation zu plausibilisieren. Beispielsweise ist in vielen Anwendungen die Zusatzinformation verfügbar, welche Bildbereiche überhaupt für den Klassifikations-Score relevant sein können.
So wird beispielsweise bei der Qualitätskontrolle von in Serie gefertigten Produkten jedes Exemplar des Produkts nominell gleiche Abmessungen aufweisen und sich immer an der gleichen Stelle im Bild befinden. Es gibt also Bildbereiche, die eindeutig zum Hintergrund gehören und somit nicht wesentlich zum Klassifikations-Score beitragen sollten.
Derartige nicht relevante Bereiche gibt es auch beispielsweise bei der Beurteilung von Bildern von Verkehrssituationen. Verkehrszeichen oder ihnen nachempfundene Zeichen finden sich beispielsweise nicht nur am Fahrbahnrand, wo sie Verkehrsteilnehmern gültige Anweisungen erteilen. Vielmehr werden sie beispielsweise auch in der Schaufensterwerbung verwendet, um beim Betrachter bestimmte Assoziationen auszulösen. Dies ist nicht auf Fahrschulen beschränkt. So soll beispielsweise ein Stoppschild zum eingehenden Betrachten eines bestimmten Angebots auffordern, und das Gefahrzeichen, das vor einer Gefällstrecke warnt, wird gerne verwendet, um (angeblich) gesenkte Preise anzuzeigen. Ein Klassifikatornetzwerk, das das Verhalten eines Fahrzeugs steuert, sollte auf Verkehrszeichen an diesen nicht relevanten Orten nicht reagieren, da sonst eine unvorhersehbare Reaktion des Fahrzeugs die Folge sein könnte. Die Entscheidung für einen konkreten Klassifikations-Score sollte also nicht auf diesen nicht relevanten Bildbereichen basieren.
Weiterhin lässt sich durch den Abgleich des vom Klassifikatornetzwerk für relevant erachteten Bereichs mit den angeblich erkannten Objekten auch beispielsweise der Versuch erkennen, das Klassifikatornetzwerk durch eine böswillige Veränderung eines Objekts („adversarial example“) in die Irre zu führen. Wenn beispielsweise angeblich ein bestimmtes Verkehrszeichen (etwa „70 km/h“) erkannt worden ist, aber diese Entscheidung nur auf einen winzigen Bruchteil der Fläche dieses Verkehrszeichens gestützt ist, kann dies etwa darauf hindeuten, dass ein Verkehrszeichen mit einer ganz anderen Bedeutung (etwa ein Stoppschild) durch einen Aufkleber mit einem Störmuster böswillig verändert worden ist.
Mindestens genauso wichtig wie die Aussage, auf welche Anteile der Messdaten das Klassifikatornetzwerk „geschaut“ hat, ist die Aussage, welche Anteile der Messdaten unberücksichtigt geblieben sind. Die Diskretisierung hat in diesem Zusammenhang die Wirkung, dass insbesondere viele Aktivierungen, die zuvor nur sehr kleine Beträge hatten, nunmehr auf 0 gesetzt werden. Die entsprechenden Merkmale können definitiv unberücksichtigt bleiben, ohne dass der vom Klassifikatornetzwerk gelieferte Klassifikations-Score verfälscht wird. Hingegen gab es in bisherigen Klassifikatornetzwerken ohne die Diskretisierung keine Garantie dafür, dass sich etwa kleine Aktivierungen über viele Merkmale in einem vergleichsweise großen Bildbereich nicht doch zu einem nennenswerten Einfluss auf den Klassifikations-Score summieren können.
Weiterhin lässt sich die Aussage, auf welche Anteile der Messdaten das Klassifikatornetzwerk „geschaut“ hat bzw. nicht „geschaut“ hat, auch für eine Regularisierung des Trainings nutzen. Wenn beispielsweise ein L₁-Regularisierer auf die Ausgabe der Aufmerksamkeitseinheit angewendet wird, kann hieraus ein Beitrag zur Kostenfunktion (Loss-Funktion) für das Training gewonnen werden, der von der Anzahl der für die Klassifikation herangezogenen Merkmale abhängt. Insoweit kann eine L₀-Norm simuliert werden, und es kann darauf hingearbeitet werden, dass das Klassifikatornetzwerk seine Entscheidung auf möglichst wenige Merkmale stützt. Hierzu kann beispielsweise der besagte regularisierende Beitrag zur Kostenfunktion zunächst hoch gewichtet und dieses Gewicht dann anhand eines Trainingsplans immer weiter reduziert werden, bis das Training ein vorgegebenes Ziel (wie etwa eine Klassifikationsgenauigkeit oberhalb eines vorgegebenen Schwellwerts oder einen Wert der Kostenfunktion unterhalb eines vorgegebenen Schwellwerts) erreicht hat. Auf diese Weise kann also die am weitesten gehende Vereinfachung des Klassifikatornetzwerks ermittelt werden, mit der das Klassifikatornetzwerk noch die vorgegebenen Leistungsanforderungen erfüllt.
Die Aussage, dass bestimmte Teile der Merkmalskarte, und damit auch bestimmte Teile der eingegebenen Messdaten, zum Klassifikations-Score beigetragen haben, ermöglicht bereits einen tiefen Einblick dahingehend, auf welche Teile der Messdaten das Klassifikatornetzwerk „schaut“ und auf welche nicht. Die Relevanz dieser Teile der Messdaten für die Arbeit des Klassifikationsnetzwerks hat jedoch noch weitere Aspekte. So ist es beispielsweise auch in vielen Anwendungen wichtig zu wissen, wie stabil die Entscheidung des Klassifikationsnetzwerks gegen Veränderungen in den Messdaten ist.
So sind beispielsweise im Straßenverkehr Objekte, die aus Bilddaten zu klassifizieren sind, nicht immer vollständig sichtbar, sondern teilweise verdeckt. Es ist dann von großer praktischer Bedeutung, wieviel von dem jeweiligen Objekt mindestens sichtbar sein muss, damit es nach wie vor richtig erkannt und nicht etwa mit einem anderen Objekt verwechselt wird. Beispielsweise sollte ein Fußgänger bereits erkannt werden, sobald ein erstes Körperteil sichtbar wird, das ihn als Fußgänger kenntlich macht. In der häufig vorkommenden Gefahrensituation, in der ein Fußgänger aus einer Deckung heraus (etwa zwischen geparkten Fahrzeugen) die Fahrbahn betritt, kann dann wertvolle Zeit gewonnen werden, um die Kollision noch zu vermeiden oder zumindest ihre Folgen abzuschwächen.
Um das Verhalten des Klassifikatornetzwerks in dieser Hinsicht transparenter zu machen, umfasst die Aufmerksamkeitseinheit in einer besonders vorteilhaften Ausgestaltung eine trainierbare Verarbeitungseinheit, die dazu ausgebildet ist, die von der Faltungseinheit bezogene Merkmalskarte in eine neue Merkmalskarte zu übersetzen. Die Aufmerksamkeitseinheit ist dann dazu ausgebildet, jedes Element dieser neuen Merkmalskarte für sich genommen in Richtung einer Diskretisierung auf die Werte 0 und 1 zu treiben.
Wenn die von der Faltungseinheit bezogene Merkmalskarte durch die trainierbare Verarbeitungseinheit abgeändert wird und die diskretisierte Fassung dieser neuen Merkmalskarte wiederum der Klassifikationseinheit zugeführt wird, kann untersucht werden, inwieweit sich durch diese Veränderung der Klassifikations-Score ändert. Diese Untersuchung lässt sich beispielsweise dahingehend systematisieren, dass gezielt nach solchen Veränderungen gesucht wird, die den Klassifikations-Score in einer bestimmten Weise ändern und beispielsweise zur Fehlklassifikation eines Objekts als ein ganz anderes Objekt führen. Im genannten Beispiel des Fußgängers kann die Untersuchung etwa ergeben, dass das Klassifikatornetzwerk zwar auf den ganzen Fußgänger „geschaut“ hat, jedoch bereits das Weglassen der Beine ausreicht, damit er nicht mehr als Fußgänger erkannt wird. Dann würde ein mit Hilfe des Klassifikatornetzwerks auf den Fußgänger in Situationen, in denen seine Beine zeitweise verdeckt sind, wie etwa beim Hervortreten zwischen geparkten Fahrzeugen, möglicherweise zu spät oder gar nicht reagieren.
In einer weiteren vorteilhaften Ausgestaltung ist die Aufmerksamkeitseinheit zusätzlich dazu ausgebildet ist, die diskretisierten Elemente der neuen Merkmalskarte mit einer auf eine konkrete Zielklasse konditionierten Filterfunktion zu filtern. Diese Filterfunktion kann beispielsweise eine auf die konkrete Zielklasse konditionierte Merkmalskarte umfassen, die durch elementweise Multiplikation oder nach einer anderen Vorschrift auf die diskretisierten Elemente der neuen Merkmalskarte angewendet werden kann. Die Filterfunktion hebt speziell diejenigen Anteile der neuen Merkmalskarte hervor, die im Vergleich zur von der Faltungseinheit bezogenen Merkmalskarte geändert werden müssen, damit die Klassifikationseinheit gerade die konkrete Zielklasse als wahrscheinlichste Klasse ausgibt. Es kann also beispielsweise ein und dieselbe neue Merkmalskarte mit mehreren Filterfunktionen, die auf unterschiedliche Zielklassen konditioniert sind, gefiltert werden. Das Hervorherben kann insbesondere beispielsweise bedeuten, dass nur diejenigen Anteile der neuen Merkmalskarte durchgelassen werden, die geändert werden müssen, damit die Klassifikationseinheit gerade die konkrete Zielklasse als wahrscheinlichste Klasse ausgibt.
Sofern eine trainierbare Verarbeitungseinheit und optional eine Filterfunktion vorgesehen sind, kann in dem Klassifikatornetzwerk insbesondere auch vorgesehen sein, dass diese Verarbeitungseinheit und diese Filterfunktion wahlweise auch umgangen werden können. In dem Klassifikatornetzwerk kann also insbesondere beispielsweise die von der Faltungseinheit bezogene Merkmalskarte

• auf einem ersten Pfad unverändert von der Aufmerksamkeitseinheit diskretisiert und der Klassifikationseinheit zugeführt werden und/oder
• auf einem zweiten Pfad von der trainierbaren Verarbeitungseinheit in der Aufmerksamkeitseinheit zu der neuen Merkmalskarte verändert, diskretisiert und optional mit der Filterfunktion behandelt werden, bevor sie der gleichen und auch identisch konfigurierten Klassifikationseinheit zugeführt wird.

Insbesondere kann beispielsweise ein und dieselbe von der Faltungseinheit bezogene Merkmalskarte auf dem ersten Pfad zu einem Klassifikations-Score f_O verarbeitet werden und auf dem zweiten Pfad zu einem neuen Klassifikations-Score f_CO verarbeitet werden. Das Training des Klassifikatornetzwerks kann dann beispielsweise auch auf das Ziel gerichtet sein, dass der neue Klassifikations-Score f_CO sich maximal von dem ursprünglichen Klassifikations-Score f_O unterscheidet, und/oder dass sich dieser neue Klassifikations-Score f_CO bestmöglich einer vorgegebenen Referenz annähert.
Die trainierbare Verarbeitungseinheit kann insbesondere beispielsweise ein weiteres neuronales Netzwerk mit einer oder mehreren Faltungsschichten und/oder vollvernetzten Schichten umfassen. Alternativ oder auch in Kombination hierzu kann die trainierbare Verarbeitungseinheit auch beispielsweise eine Encoder-Decoder-Anordnung umfassen. In einer solchen Anordnung übersetzt der Encoder die von der Faltungseinheit bezogene Merkmalskarte in eine Repräsentation mit im Vergleich zu dieser Merkmalskarte verringerter Dimensionalität. Der Decoder übersetzt diese Repräsentation weiter in eine neue Merkmalskarte mit im Vergleich zu der Repräsentation erhöhter Dimensionalität. Die neue Merkmalskarte kann insbesondere beispielsweise die gleiche Dimensionalität haben wie die ursprüngliche, von der Faltungseinheit bezogene Merkmalskarte.
Als „weiche“, stetige Diskretisierung für Aktivierungen kann insbesondere beispielsweise eine Sigmoid-Funktion σ mit Wertebereich [0, 1] auf die Aktivierungen angewendet werden. Diese Sigmoid-Funktion σ ist auch bekannt als „logistische Funktion“ und kann geschrieben werden als $σ (x) = \frac{1}{1 + e x p (- x)} .$
Diese Funktion geht für negative x schnell in eine Sättigung bei 0. Für positive x geht σ(x) schnell in eine Sättigung bei 1. Dazwischen ist σ(x) überall differenzierbar.
Die Sigmoid-Funktion σ treibt die Aktivierungen dahingehend in Richtung einer Diskretisierung, dass die weitaus meisten Aktivierungen entweder auf 0 oder auf 1 gesetzt werden und nur ein kleiner Anteil der Aktivierungen auf der Flanke zwischen 0 und 1 liegt.
Der Effekt lässt sich noch weiter verstärken, indem die Aufmerksamkeitseinheit in einer weiteren besonders vorteilhaften Ausgestaltung dazu ausgebildet ist, die Sigmoid-Funktion σ auf eine Summe aus der jeweiligen Aktivierung und einem aus einer Zufallsverteilung gezogenen Rausch-Sample η anzuwenden. Die Zufallsverteilung, aus der das Rausch-Sample η gezogen wird, kann insbesondere beispielsweise eine Gauß-Verteilung mit Mittelwert 0 und einer vorgegebenen Standardabweichung sein. Das Rausch-Sample η hat die Wirkung, dass ein Aktivierungswert, der auf der Flanke zwischen der Sättigung bei 0 und der Sättigung bei 1 liegt, mit hoher Wahrscheinlichkeit entweder in Richtung der Sättigung bei 0 oder in Richtung der Sättigung bei 1 getrieben wird. Damit werden die Aktivierungswerte facto auf die Werte 0 und 1 diskretisiert, ohne dass hierfür die Differenzierbarkeit nach den Aktivierungswerten aufgegeben werden muss.
Wie zuvor erläutert, kann die Ausgabe der Aufmerksamkeitseinheit dahingehend ausgewertet werden, auf welche Merkmale das Klassifikatornetzwerk „schaut“ und auf welche nicht. Daher bezieht sich die Erfindung auch auf ein Verfahren zum Betreiben des zuvor beschriebenen Klassifikatornetzwerks.
Bei diesem Verfahren werden Messdaten dem Klassifikatornetzwerk zugeführt und von dem Klassifikatornetzwerk auf einen Klassifikations-Score f_O abgebildet. Anhand einer räumlichen Korrespondenz zwischen der an die Aufmerksamkeitseinheit gelieferten Merkmalskarte und den Messdaten werden den von der Aufmerksamkeitseinheit diskretisierten Aktivierungen jeweils Teilbereiche der Messdaten zugeordnet. Diejenigen Teilbereiche der Messdaten, die zu Aktivierungen mit dem Wert 1 korrespondieren, werden als Teilbereiche der Messdaten gewertet, die für die Bildung des Klassifikations-Scores für die dem Klassifikatornetzwerk zugeführten Messdaten besonders relevant sind.
Analog bezieht sich die Erfindung auch auf ein weiteres Verfahren zum Betreiben eines Klassifikatornetzwerks. Im Unterschied zu dem vorherigen Verfahren setzt dieses Verfahren voraus, dass das Klassifikatornetzwerk eine trainierbare Verarbeitungseinheit sowie eine auf eine konkrete Zielklasse bezogene Filterfunktion enthält.
Bei diesem Verfahren werden Messdaten dem Klassifikatornetzwerk zugeführt und auf einem ersten Verarbeitungspfad von dem Klassifikatornetzwerk auf einen Klassifikations-Score f_O abgebildet. Hierbei werden die trainierbare Verarbeitungseinheit und die Filterfunktion der Aufmerksamkeitseinheit umgangen. Das bedeutet, dass die von der Faltungseinheit gelieferte Merkmalskarte zunächst unverändert bleibt, bevor sie diskretisiert und auf den Klassifikations-Score f_O abgebildet wird.
Die hierbei von der Faltungseinheit gelieferte Merkmalskarte wird auf einem zweiten Verarbeitungspfad von der trainierbaren Verarbeitungseinheit der Aufmerksamkeitseinheit zu einer neuen Merkmalskarte verarbeitet, die mit der Filterfunktion gefiltert wird. Diese Filterfunktion bezieht sich auf eine Zielklasse, die von der gemäß dem ursprünglichen Klassifikations-Score f_O wahrscheinlichsten Klasse verschieden ist. Hierbei können insbesondere beispielsweise alle Zielklassen der vorgegebenen Klassifikation, die von der gemäß dem ursprünglichen Klassifikations-Score f_O wahrscheinlichsten Klasse verschieden sind, nacheinander verwendet werden.
Anhand einer räumlichen Korrespondenz zwischen der an die Aufmerksamkeitseinheit gelieferten Merkmalskarte und den Messdaten werden den mit dieser Filterfunktion gefilterten Elementen der neuen Merkmalskarte jeweils Teilbereiche der Messdaten zugeordnet. Diejenigen Teilbereiche der Messdaten, deren Aktivierungen in der gefilterten neuen Merkmalskarte betragsmäßig einen vorgegebenen Schwellwert überschreiten, werden als Teilbereiche der Messdaten gewertet, deren Veränderung ein besonders hohes Potential hat, die Klassifikation der Messdaten von der gemäß dem ursprünglichen Klassifikations-Score f_O wahrscheinlichsten Klasse auf die Zielklasse zu ändern.
Wie zuvor erläutert, ist die Transparenz und bessere Erklärbarkeit des Verhaltens des Klassifikatornetzwerks besonders wertvoll, wenn das Klassifikatornetzwerk zum Bewerten der Verkehrssituation verwendet wird, in der ein Fahrzeug sich befindet. Daher bezieht sich die Erfindung auch auf ein weiteres Verfahren.
Im Rahmen dieses Verfahrens werden Messdaten bereitgestellt, die mit mindestens einem von einem Fahrzeug mitgeführten Sensor aufgenommen wurden. Mit einem der zuvor beschriebenen Verfahren wird ein Klassifikatornetzwerk betrieben. Das schließt insbesondere ein, dass die besagten Messdaten dem Klassifikatornetzwerk zugeführt werden.
Es wird ein Ansteuersignal gebildet. In dieses Ansteuersignal geht der von dem Klassifikatornetzwerk ermittelte Klassifikations-Score f_O ein. Zusätzlich können

• Teilbereiche der Messdaten, die für die Bildung des Klassifikations-Scores für die dem Klassifikatornetzwerk zugeführten Messdaten besonders relevant sind, und/oder
• Teilbereiche der Messdaten, deren Veränderung ein besonders hohes Potential hat, die Klassifikation der Messdaten von der gemäß dem ursprünglichen Klassifikations-Score f_O wahrscheinlichsten Klasse auf eine andere Zielklasse zu ändern,

Wie zuvor erläutert, lässt sich mit den auf diese Weise erworbenen Erklärungen dahingehend, wie der ermittelte Klassifikations-Score f_O zu Stande gekommen ist, dieser Klassifikations-Score f_O plausibilisieren. Wenn sich hierbei Unstimmigkeiten ergeben und beispielsweise Anzeichen dafür sprechen, dass das Klassifikatornetzwerk auf nicht wirklich relevante Bildbereiche „geschaut“ hat oder mit einem böswilligen Störmuster („adversarial example“) angegriffen wurde, können geeignete Gegenmaßnahmen ergriffen werden. Die Wahrscheinlichkeit, dass die mit dem Ansteuersignal ausgelöste Reaktion des Fahrzeugs der aktuellen Verkehrssituation, in der sich das Fahrzeug befindet, angemessen ist, ist also vorteilhaft erhöht.
Wenn die Aufmerksamkeitseinheit des Klassifikatornetzwerks die von der Faltungseinheit gelieferte Merkmalskarte in unveränderter Form diskretisiert und das Ergebnis der Klassifikationseinheit zuführt, kann das Verhalten des Klassifikatornetzwerks allein durch diejenigen Parameter, die das Verhalten der Faltungseinheit festlegen, und diejenigen Parameter, die das Verhalten der Klassifikationseinheit festlegen, charakterisiert sein. Die Aufmerksamkeitseinheit enthält dann also keine trainierbaren Parameter. Das Klassifikatornetzwerk kann also wie üblich trainiert werden, als wäre die Aufmerksamkeitseinheit nicht vorhanden. Jedoch wird sich die Diskretisierung der von der Faltungseinheit gelieferten Merkmalskarte während des Trainings als unbekannter externer Einfluss bemerkbar machen, auf den sich das Training einstellt.
Wenn die Aufmerksamkeitseinheit des Klassifikatornetzwerks hingegen eine trainierbare Verarbeitungseinheit enthält und möglicherweise die auf die Zielklasse bezogene Filterfunktion weitere trainierbare Parameter enthält, sind zwei verschiedene Aspekte des Klassifikatornetzwerks auf zwei verschiedenen Verarbeitungspfaden zu trainieren.
Daher bezieht sich die Erfindung auch ein Verfahren zum Trainieren eines Klassifikatornetzwerks für den Einsatz in dem zuvor beschriebenen Verfahren.
Im Rahmen dieses Verfahrens werden Lern-Messdaten und zugehörige Lern-Klassifikations-Scores bereitgestellt, auf die das Klassifikatornetzwerk die Lern-Messdaten abbilden soll.
Die Lern-Messdaten werden dem Klassifikatornetzwerk zugeführt und auf dem ersten Verarbeitungspfad von dem Klassifikatornetzwerk auf einen Klassifikations-Score f_O abgebildet, wobei die trainierbare Verarbeitungseinheit und die Filterfunktion der Aufmerksamkeitseinheit umgangen werden. Das heißt, die von der Faltungseinheit gelieferte Merkmalskarte wird von der Aufmerksamkeitseinheit diskretisiert, ohne zuvor verändert zu werden, und das Ergebnis dieser Diskretisierung wird der Klassifikationseinheit zugeführt. Dabei entsteht der Klassifikations-Score f_O.
Die von der Faltungseinheit gelieferte Merkmalskarte wird nun auf dem zweiten Verarbeitungspfad ein weiteres Mal genutzt. Die Merkmalskarte wird von der trainierbaren Verarbeitungseinheit der Aufmerksamkeitseinheit zu einer neuen Merkmalskarte verarbeitet, und diese wird mit der auf die Zielklasse bezogenen Filterfunktion gefiltert. Diese Filterfunktion bezieht sich auf eine Zielklasse, die von der gemäß dem ursprünglichen Klassifikations-Score f_O wahrscheinlichsten Klasse verschieden ist.
Parameter, die das Verhalten derjenigen Teile des Klassifikatornetzwerks charakterisieren, die an der Bildung des Klassifikations-Scores f_O beteiligt waren, werden optimiert mit dem Ziel, dass der Klassifikations-Score f_O möglichst gut in Einklang mit dem jeweiligen Lern-Klassifikations-Score kommt. Wie zuvor erläutert, können dies insbesondere beispielsweise die Parameter der Faltungseinheit und die Parameter der Klassifikationseinheit sein. Wie gut der Klassifikations-Score f_O in Einklang mit dem jeweiligen Lern-Klassifikations-Score kommt, kann insbesondere beispielsweise mit einer Kostenfunktion gemessen werden, die einen „Klassifikations-Loss“ liefert.
Die gefilterte neue Merkmalskarte wird von der Klassifikationseinheit auf einen neuen Klassifikations-Score f_CO abgebildet. Parameter, die das Verhalten der trainierbaren Verarbeitungseinheit, und/oder das Verhalten der Filterfunktion in Bezug auf eine konkrete Zielklasse, charakterisieren, werden optimiert mit dem Ziel, dass der neue Klassifikations-Score f_CO sich maximal von dem ursprünglichen Klassifikations-Score f_O unterscheidet. Dieser Klassenunterschied im Hinblick auf die vorgegebene Anwendung kann insbesondere beispielsweise mit einem Beitrag („Klassenänderungs-Loss“) zur Kostenfunktion gemessen werden. Der „Klassenänderungs-Loss“ kann beispielsweise eine Kreuzentropie zwischen den Klassifikations-Scores f_CO und f_O enthalten, wenn die Scores f_CO und f_O Vektoren sind. Wenn es sich bei den Scores f_CO und f_O hingegen um Logit-Skalare handelt, kann beispielsweise auch ein einfacher L₁- oder L₂-Loss ausreichen. Hiermit wird der Wunsch zum Ausdruck gebracht, durch die Veränderung der Merkmalskarte hin zur neuen Merkmalskarte einen Klassifikations-Score f_CO zu erzielen, der sich maximal vom bisherigen Klassifikations-Score f_O unterscheidet.
Alternativ oder auch in Kombination hierzu kann im „Klassenänderungs-Loss“ berücksichtigt und/oder gewichtet werden, wie schwerwiegend sich bestimmte Klassenänderungen in Bezug auf die vorliegende Anwendung auswirken, wenn sie im Wirkbetrieb als Fehlklassifikation auftreten. So ist beispielsweise die Zuordnung eines PKW zur Klasse „LKW“ nicht ganz korrekt und kann die Trajektorienplanung eines zumindest teilweise automatisiert fahrenden Fahrzeugs stören, aber diese Störung wird wahrscheinlich keinen großen Effekt auf die Sicherheit der Fahrt haben. Ganz anders sieht es aus, wenn der PKW als frei befahrbare Fahrbahn klassifiziert wird, so als wäre er gar nicht da.
Der „Klassenänderungs-Loss“ kann beispielsweise auch direkt messen, inwieweit sich der neue Klassifikations-Score f_CO einer vorgegebenen Referenz annähert. Wenn die vorgegebene Klassifikation beispielsweise eine binäre Klassifikation mit nur zwei Klassen ist und der ursprüngliche Klassifikations-Score f_O ein Vektor [0,9, 0,1] ist und zu Beginn des Trainings ein neuer Klassifikations-Score f_CO von [0,4, 0,6] geliefert wird, so ist ein gut motiviertes Ziel für das Training, eine völlige Umkehr der ursprünglichen Klassifikation, also einen Klassifikations-Score von [0,0, 1,0], anzustreben.
Änderungen der Parameter der trainierbaren Verarbeitungseinheit und der Filterfunktion können durch schrittweise Rückpropagation des „Klassenänderungs-Losses“ mit der Kettenregel der Differentiation erfolgen. Diese Rückpropagation führt auch durch die Klassifikationseinheit. Jedoch werden die Parameter der Klassifikationseinheit bei Trainingsschritten, die die Aufmerksamkeitseinheit betreffen, nicht geändert. Die Parameter der Klassifikationseinheit werden nur bei Trainingsschritten aus dem „Klassifikations-Loss“ geändert.
Die Verfahren können insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, eines der beschriebenen Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
Ausführungsbeispiele
Es zeigt:

1 Ausführungsbeispiel des Klassifikatornetzwerks 1;
2 Ausführungsbeispiel des Verfahrens 100 zum Betreiben des Klassifikatornetzwerks 1;
3 Ausführungsbeispiel des Verfahrens 200 zum Betreiben des Klassifikatornetzwerks 1;
4 Ausführungsbeispiel des Verfahrens 300 mit vollständiger Wirkkette bis zum Ansteuern eines Fahrzeugs 50;
5 Ausführungsbeispiel des Verfahrens 400 zum Trainieren des Klassifikatornetzwerks 1.

1 zeigt ein Ausführungsbeispiel des Klassifikatornetzwerks 1. Das Klassifikatornetzwerk 1 umfasst eine Faltungseinheit 2, eine Aufmerksamkeitseinheit 3, die ein von der Faltungseinheit 2 geliefertes Vorprodukt 23a wahlweise auf zwei verschiedenen Verarbeitungspfaden verarbeiten kann, sowie eine Klassifikationseinheit 4.
Die Faltungseinheit 2 umfasst in diesem Beispiel drei Faltungsschichten 21, 22 und 23, die hintereinander geschaltet sind und aus zugeführten Messdaten 11 sukzessive Merkmalskarten 21a, 22a und 23a erzeugen. Die letzte Merkmalskarte 23a wird als Vorprodukt der Aufmerksamkeitseinheit 3 zugeführt.
Die Aufmerksamkeitseinheit 3 kann auf einem ersten Verarbeitungspfad A die Werte der Merkmalskarte 23a mit der Sigmoid-Funktion σ auf die Werte 0 und 1 diskretisieren. Dabei sorgt das Hinzufügen eines Rausch-Samples η vor dem Anwenden der Sigmoid-Funktion σ dafür, dass die Werte der Merkmalskarte 23a mit hoher Wahrscheinlichkeit nicht auf der Flanke der Sigmoid-Funktion σ zu liegen kommen, sondern in der Sättigung bei 0 oder bei 1. Wenn die diskretisierte Merkmalskarte 23a der Klassifikationseinheit 4 zugeführt wird, entsteht ein Klassifikations-Score f_O.
Die Aufmerksamkeitseinheit 3 kann auf einem zweiten Verarbeitungspfad B die Merkmalskarte 23a mit einer trainierbaren Verarbeitungseinheit 31 zu einer neuen Merkmalskarte 23a* verarbeiten, die anschließend wieder durch Hinzufügen eines Rausch-Samples η und Anwenden der Sigmoid-Funktion σ diskretisiert wird. Anschließend wird hierauf noch eine auf eine Zielklasse bezogene Filterfunktion 32 angewendet, um die neue Merkmalskarte 23a* konditioniert auf diese Zielklasse zu filtern. Wenn die gefilterte neue Merkmalskarte 23a*,c der Klassifikationseinheit 4 zugeführt wird, entsteht ein neuer Klassifikations-Score f_CO.
2 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100 zum Betreiben des Klassifikatornetzwerks 1. In Schritt 110 werden Messdaten 11 dem Klassifikatornetzwerk 1 zugeführt und von dem Klassifikatornetzwerk 1 auf einen Klassifikations-Score f_O abgebildet. Anhand einer räumlichen Korrespondenz zwischen der an die Aufmerksamkeitseinheit 3 gelieferten Merkmalskarte 23a und den Messdaten 11 werden den von der Aufmerksamkeitseinheit 3 diskretisierten Aktivierungen jeweils Teilbereiche 11a, 11b der Messdaten 11 zugeordnet. In Schritt 130 werden diejenigen Teilbereiche 11a der Messdaten 11, die zu Aktivierungen mit dem Wert 1 korrespondieren, als Teilbereiche 11* der Messdaten 11 gewertet, die für die Bildung des Klassifikations-Scores f_O für die dem Klassifikatornetzwerk 1 zugeführten Messdaten 11 besonders relevant sind.
3 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 200 zum Betreiben des Klassifikatornetzwerks 1. Im Unterschied zu dem Verfahren 100 werden hier beide in 1 eingezeichnete Verarbeitungspfade A und B in der Aufmerksamkeitseinheit 3 genutzt.
Zunächst werden die Messdaten 11 in Schritt 210 dem Klassifikatornetzwerk 1 zugeführt und unter Nutzung des Verarbeitungspfades A in der Aufmerksamkeitseinheit 3 auf einen Klassifikations-Score f_O abgebildet. Das bedeutet, dass die Merkmalskarte 23a aus der Faltungseinheit 2 in der Aufmerksamkeitseinheit 3 lediglich unter Anwendung des Rausch-Samples η und der Sigmoid-Funktion σ diskretisiert wird. Die trainierbare Verarbeitungseinheit 31 und die Filterfunktion 32 der Aufmerksamkeitseinheit 3 werden also bei der Erzeugung des Klassifikations-Scores f_O zunächst umgangen.
Die Merkmalskarte 23a wird nun in Schritt 220 von der trainierbaren Verarbeitungseinheit 31 der Aufmerksamkeitseinheit 3 entlang des Verarbeitungspfades B zu einer neuen Merkmalskarte 23a* verarbeitet. Diese neue Merkmalskarte 23a* wird durch Anwenden eines Rausch-Samples η und der Sigmoid-Funktion σ diskretisiert. In Schritt 230 wird die neue Merkmalskarte 23a* mit einer Filterfunktion 32 gefiltert, die sich auf eine konkrete Zielklasse bezieht.
Die solchermaßen gefilterte neue Merkmalskarte 23a*,c kann direkt verwendet werden, um eine Information über die Stabilität des Klassifikations-Scores f_O gegen Änderungen der Messdaten zu gewinnen, ohne dass hierfür zunächst noch ein geänderter Klassifikations-Score f_CO berechnet werden muss: Anhand einer räumlichen Korrespondenz zwischen der an die Aufmerksamkeitseinheit 3 gelieferten Merkmalskarte 23a und den Messdaten 11 werden in Schritt 240 den mit der Filterfunktion 32 gefilterten Elementen der neuen Merkmalskarte 23a*,c jeweils Teilbereiche 11c, 11d der Messdaten 11 zugeordnet. Diejenigen Teilbereiche 11c der Messdaten, deren Aktivierungen betragsmäßig einen vorgegebenen Schwellwert überschreiten, werden in Schritt 250 als Teilbereiche 11** der Messdaten 11 gewertet, deren Veränderung ein besonders hohes Potential hat, die Klassifikation der Messdaten 11 von der gemäß dem ursprünglichen Klassifikations-Score f_O wahrscheinlichsten Klasse auf die Zielklasse zu ändern.
4 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 300 mit der vollständigen Wirkkette bis zur Ansteuerung eines Fahrzeugs 50.
In Schritt 310 werden Messdaten 11 bereitgestellt, die mit mindestens einem von einem Fahrzeug 50 mitgeführten Sensor 51 aufgenommen wurden. In Schritt 320 wird ein Klassifikatornetzwerk 1 anhand dieser Messdaten 11 mit einem der zuvor beschriebenen Verfahren 100, 200 betrieben. Dabei wird ein Klassifikations-Score f_O ermittelt. Zusätzlich können hierbei wahlweise

• Teilbereiche 11* der Messdaten 11, die für die Bildung des Klassifikations-Scores f_O für die dem Klassifikatornetzwerk 1 zugeführten Messdaten 11 besonders relevant sind, und/oder
• Teilbereiche 11** der Messdaten 11, deren Veränderung ein besonders hohes Potential hat, die Klassifikation der Messdaten 11 von der gemäß dem ursprünglichen Klassifikations-Score f_O wahrscheinlichsten Klasse auf eine andere Zielklasse zu ändern,

Aus dem Klassifkations-Score f_O, sowie optional zusätzlich aus den Teilbereichen 11* und/oder 11** der Messdaten 11, wird in Schritt 330 ein Ansteuersignal 330a gebildet. Das Fahrzeug 50 wird in Schritt 340 mit dem Ansteuersignal 330a angesteuert.
5 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 400 zum Trainieren des Klassifikatornetzwerks 1.
In Schritt 410 werden Lern-Messdaten 11# und zugehörige Lern-Klassifikations-Scores f# bereitgestellt, auf die das Klassifikatornetzwerk 1 die Lern-Messdaten 11# abbilden soll. In Schritt 420 werden die Lern-Messdaten 11# dem Klassifikatornetzwerk 1 zugeführt und von dem Klassifikatornetzwerk 1 auf einen Klassifikations-Score f_O abgebildet, wobei in der Aufmerksamkeitseinheit 3 zunächst der in 1 eingezeichnete Verarbeitungspfad A beschritten wird. Das heißt, dass die trainierbare Verarbeitungseinheit 31 sowie die Filterfunktion 32 der Aufmerksamkeitseinheit 3 umgangen werden.
Die von der Faltungseinheit 2 gelieferte Merkmalskarte 23a wird in Schritt 430 zusätzlich entlang des Verarbeitungspfades B in der Aufmerksamkeitseinheit 3 von der trainierbaren Verarbeitungseinheit 31 der Aufmerksamkeitseinheit (3) zu einer neuen Merkmalskarte 23a* verarbeitet. Diese neue Merkmalskarte 23a* wird in Schritt 440 mit der Filterfunktion 32 gefiltert. Dabei bezieht sich die Filterfunktion 32 auf eine Zielklasse, die von der gemäß dem ursprünglichen Klassifikations-Score f_O wahrscheinlichsten Klasse verschieden ist.
In Schritt 450 werden Parameter 2a, 4a, die das Verhalten derjenigen Teile 2, 4 des Klassifikatornetzwerks 1 charakterisieren, die an der Bildung des Klassifikations-Scores f_O beteiligt waren, optimiert mit dem Ziel, dass der Klassifikations-Score f_O möglichst gut in Einklang mit dem jeweiligen Lern-Klassifikations-Score f# kommt. Betroffen sind hier zum einen die Faltungseinheit 2 und zum anderen die Klassifikationseinheit 4. Die nach Abschluss des Trainings erhaltenen Zustände der jeweiligen Parameter 2a, 4a sind mit den Bezugszeichen 2a* bzw. 4a* bezeichnet.
In Schritt 460 wird die gefilterte neue Merkmalskarte 23a*,c von der Klassifikationseinheit 4 auf einen neuen Klassifikations-Score f_CO abgebildet. In Schritt 470 werden Parameter 3a, die das Verhalten der trainierbaren Verarbeitungseinheit 31, und/oder das Verhalten der Filterfunktion 32 in Bezug auf eine konkrete Zielklasse, charakterisieren, optimiert. Bei dieser Optimierung wird das Ziel verfolgt, dass der neue Klassifikations-Score f_CO sich maximal von dem ursprünglichen Klassifikations-Score f_O unterscheidet, und/oder bestmöglich einer vorgegebenen Referenz annähert. Diese Optimierung kann gleichzeitig oder auch im Wechsel mit der Optimierung der Parameter 2a und 4a in Schritt 450 erfolgen. Der nach Abschluss des Trainings erhaltene Zustand der Parameter 3a ist mit dem Bezugszeichen 3a* bezeichnet.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2018/197074 A1 [0003]

Claims

Klassifikatornetzwerk (1) zum Ermitteln eines Klassifikations-Scores fo, fco für Messdaten (11), wobei der Klassifikations-Score fo, fco die Zugehörigkeit der Messdaten (11) zu einer oder mehreren Klassen einer vorgegebenen Klassifikation angibt, umfassend: • eine Faltungseinheit (2) mit einer Mehrzahl von Faltungsschichten (21-23), die jeweils aus ihren Eingaben durch Anwendung eines oder mehrerer Filterkerne eine oder mehrere Merkmalskarten (21a-23a) erzeugen; • eine Aufmerksamkeitseinheit (3), die mindestens eine von der Faltungseinheit (2) gelieferte Merkmalskarte (23a) als Eingabe erhält und dazu ausgebildet ist, Aktivierungen von in dieser Merkmalskarte (23a), und/oder in einem aus dieser Merkmalskarte (23a) gebildeten Verarbeitungsprodukt (23a*), enthaltenen Merkmalen in Richtung einer Diskretisierung auf die Werte 0 und 1 zu treiben; und • eine Klassifikationseinheit (4), die dazu ausgebildet ist, eine von der Aufmerksamkeitseinheit (3) gelieferte Ausgabe (3a) auf den Klassifikations-Score fo, fco abzubilden.
Klassifikatornetzwerk (1) nach Anspruch 1, wobei die Aufmerksamkeitseinheit (3) dazu ausgebildet ist, jedes Element der von der Faltungseinheit (2) bezogenen Merkmalskarte (23a) für sich genommen in Richtung einer Diskretisierung auf die Werte 0 und 1 zu treiben.
Klassifikatornetzwerk (1) nach Anspruch 1, wobei die Aufmerksamkeitseinheit (3) • eine trainierbare Verarbeitungseinheit (31) umfasst, die dazu ausgebildet ist, die von der Faltungseinheit (2) bezogene Merkmalskarte (23a) in eine neue Merkmalskarte (23a*) zu übersetzen, und • dazu ausgebildet ist, jedes Element dieser neuen Merkmalskarte (23a*) für sich genommen in Richtung einer Diskretisierung auf die Werte 0 und 1 zu treiben.
Klassifikatornetzwerk (1) nach Anspruch 3, wobei die Aufmerksamkeitseinheit (3) zusätzlich dazu ausgebildet ist, die diskretisierten Elemente der neuen Merkmalskarte (23a*) mit einer auf eine konkrete Zielklasse konditionierten Filterfunktion (32) zu filtern.
Klassifikatornetzwerk (1) nach einem der Ansprüche 3 bis 4, wobei die trainierbare Verarbeitungseinheit (31) ein weiteres neuronales Netzwerk mit einer oder mehreren Faltungsschichten und/oder vollvernetzten Schichten umfasst.
Klassifikatornetzwerk (1) nach einem der Ansprüche 3 bis 5, wobei die trainierbare Verarbeitungseinheit (31) eine Encoder-Decoder-Anordnung aus • einem Encoder, der die von der Faltungseinheit (2) bezogene Merkmalskarte (23a) in eine Repräsentation mit im Vergleich zu dieser Merkmalskarte (23a) verringerter Dimensionalität übersetzt, und • einem Decoder, der diese Repräsentation in eine neue Merkmalskarte (23a*) mit im Vergleich zu der Repräsentation erhöhter Dimensionalität weiterübersetzt, umfasst.
Klassifikatornetzwerk (1) nach einem der Ansprüche 1 bis 6, wobei die Aufmerksamkeitseinheit (3) dazu ausgebildet ist, eine Sigmoid-Funktion σ mit Wertebereich [0, 1] auf die Aktivierungen anzuwenden und die Aktivierungen so in Richtung einer Diskretisierung auf die Werte 0 und 1 zu treiben.
Klassifikatornetzwerk (1) nach Anspruch 7, wobei die Aufmerksamkeitseinheit (3) dazu ausgebildet ist, die Sigmoid-Funktion σ auf eine Summe aus der jeweiligen Aktivierung und einem aus einer Zufallsverteilung gezogenen Rausch-Sample η anzuwenden.
Verfahren (100) zum Betreiben eines Klassifikatornetzwerks (1) nach einem der Ansprüche 2 bis 8 mit den Schritten: • Messdaten (11) werden dem Klassifikatornetzwerk (1) zugeführt und von dem Klassifikatornetzwerk (1) auf einen Klassifikations-Score fo abgebildet (110); • anhand einer räumlichen Korrespondenz zwischen der an die Aufmerksamkeitseinheit (3) gelieferten Merkmalskarte (23a) und den Messdaten (11) werden den von der Aufmerksamkeitseinheit (3) diskretisierten Aktivierungen jeweils Teilbereiche (IIa, 11b) der Messdaten (11) zugeordnet (120); • diejenigen Teilbereiche (11a) der Messdaten (11), die zu Aktivierungen mit dem Wert 1 korrespondieren, werden als Teilbereiche (11*) der Messdaten (11) gewertet (130), die für die Bildung des Klassifikations-Scores f_O für die dem Klassifikatornetzwerk (1) zugeführten Messdaten (11) besonders relevant sind.
Verfahren (200) zum Betreiben eines Klassifikatornetzwerks (1) nach Anspruch 4 sowie optional zusätzlich einem der Ansprüche 5 bis 8 mit den Schritten: • Messdaten (11) werden dem Klassifikatornetzwerk (1) zugeführt und von dem Klassifikatornetzwerk auf einen Klassifikations-Score fo abgebildet (210), wobei die trainierbare Verarbeitungseinheit (31) und die Filterfunktion (32) der Aufmerksamkeitseinheit (3) umgangen werden; • die hierbei von der Faltungseinheit (2) gelieferte Merkmalskarte (23a) wird von der trainierbaren Verarbeitungseinheit (31) der Aufmerksamkeitseinheit (3) zu einer neuen Merkmalskarte (23a*) verarbeitet (220), die mit der Filterfunktion (32) gefiltert wird (230), wobei die Filterfunktion (32) sich auf eine Zielklasse bezieht, die von der gemäß dem ursprünglichen Klassifikations-Score fo wahrscheinlichsten Klasse verschieden ist; • anhand einer räumlichen Korrespondenz zwischen der an die Aufmerksamkeitseinheit (3) gelieferten Merkmalskarte (23a) und den Messdaten (11) werden den mit dieser Filterfunktion (32) gefilterten Elementen der neuen Merkmalskarte (23a*,c) jeweils Teilbereiche (11c, 11d) der Messdaten (11) zugeordnet (240); • diejenigen Teilbereiche (11c) der Messdaten 11, deren gefilterte neue Aktivierung 23a*,c betragsmäßig einen vorgegebenen Schwellwert überschreitet, werden als Teilbereiche (11**) der Messdaten (11) gewertet (250), deren Veränderung ein besonders hohes Potential hat, die Klassifikation der Messdaten (11) von der gemäß dem ursprünglichen Klassifikations-Score f_O wahrscheinlichsten Klasse auf die Zielklasse zu ändern.
Verfahren (300) mit den Schritten: • es werden Messdaten (11) bereitgestellt (310), die mit mindestens einem von einem Fahrzeug (50) mitgeführten Sensor (51) aufgenommen wurden; • ein Klassifikatornetzwerk (1) wird anhand dieser Messdaten (11) mit dem Verfahren (100, 200) nach einem der Ansprüche 9 bis 10 betrieben (320); • aus dem von dem Klassifikatornetzwerk (1) ermittelten Klassifikations-Score f_O sowie optional zusätzlich o aus Teilbereichen (11*) der Messdaten (11), die für die Bildung des Klassifikations-Scores f_O für die dem Klassifikatornetzwerk (1) zugeführten Messdaten (11) besonders relevant sind, und/oder ◯ aus Teilbereichen (11**\) der Messdaten (11), deren Veränderung ein besonders hohes Potential hat, die Klassifikation der Messdaten (11) von der gemäß dem ursprünglichen Klassifikations-Score f_O wahrscheinlichsten Klasse auf eine andere Zielklasse zu ändern, wird ein Ansteuersignal (330a) gebildet (330); • das Fahrzeug (50) wird mit dem Ansteuersignal (330a) angesteuert (340).
Verfahren (400) zum Trainieren eines Klassifikatornetzwerks (1) für den Einsatz in dem Verfahren nach Anspruch 10 mit den Schritten: • es werden Lern-Messdaten (11#) und zugehörige Lern-Klassifikations-Scores f# bereitgestellt (410), auf die das Klassifikatornetzwerk (1) die Lern-Messdaten (11#) abbilden soll; • die Lern-Messdaten (11#) werden dem Klassifikatornetzwerk (1) zugeführt und von dem Klassifikatornetzwerk (1) auf einen Klassifikations-Score fo abgebildet (420), wobei die trainierbare Verarbeitungseinheit (31) und die Filterfunktion (32) der Aufmerksamkeitseinheit (3) umgangen werden; • die hierbei von der Faltungseinheit (2) gelieferte Merkmalskarte (23a) wird von der trainierbaren Verarbeitungseinheit (31) der Aufmerksamkeitseinheit (3) zu einer neuen Merkmalskarte (23a*) verarbeitet (430), die mit der Filterfunktion (32) gefiltert wird (440), wobei die Filterfunktion (32) sich auf eine Zielklasse bezieht, die von der gemäß dem ursprünglichen Klassifikations-Score fo wahrscheinlichsten Klasse verschieden ist; • Parameter (2a, 4a), die das Verhalten derjenigen Teile (2, 4) des Klassifikatornetzwerks (1) charakterisieren, die an der Bildung des Klassifikations-Scores f_O beteiligt waren, werden optimiert (450) mit dem Ziel, dass der Klassifikations-Score fo möglichst gut in Einklang mit dem jeweiligen Lern-Klassifikations-Score f# kommt; • die gefilterte neue Merkmalskarte (23a*,c) wird von der Klassifikationseinheit (4) auf einen neuen Klassifikations-Score fco abgebildet (460); • Parameter (3a), die das Verhalten der trainierbaren Verarbeitungseinheit (31), und/oder das Verhalten der Filterfunktion (32) in Bezug auf eine konkrete Zielklasse, charakterisieren, werden optimiert (470) mit dem Ziel, dass der neue Klassifikations-Score fco sich maximal von dem ursprünglichen Klassifikations-Score fo unterscheidet, und/oder bestmöglich einer vorgegebenen Referenz annähert.
Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, ein Verfahren (100, 200, 300, 400) nach einem der Ansprüche 9 bis 12 auszuführen.
Maschinenlesbarer Datenträger mit dem Computerprogramm nach Anspruch 13.
Computer, ausgerüstet mit dem Computerprogramm nach Anspruch 13, und/oder mit dem maschinenlesbaren Datenträger und/oder Downloadprodukt nach Anspruch 14.