-
Die Erfindung betrifft ein Verfahren zur Reduktion der zu übertragenden Datenmengen von einer Vielzahl von Testfahrzeugen bei der Übermittlung von für künstliche neuronale Netze der Testfahrzeuge unbekannten Objekten aus der Umgebung, sowie ein System zur Reduktion der zu übertragenden Datenmengen von einer Vielzahl von Testfahrzeugen bei der Übermittlung von für künstliche neuronale Netze der Testfahrzeuge unbekannten Objekten aus der Umgebung.
-
Die folgenden Informationen ergeben sich nicht notwendigerweise aus einem einzelnen bestimmten Dokument aus dem Stand der Technik, sondern ergeben sich durch allgemeine fachmännische Überlegungen und dem aktuellen aber allgemein bekannten Fachwissen selbst:
- Insbesondere im Bereich des automatisierten Fahrens von Fahrzeugen wie Personenkraftwagen oder Lastkraftwagen ist es entscheidend, die Umgebung des Fahrzeugs maschinell korrekt zu analysieren und Objekte wie Fußgänger zu erkennen. Eine solche Objekterkennung wird typischerweise auf Basis von visuellen Daten, beispielsweise von einer Kamera, ausgeführt, kann alternativ oder ergänzend jedoch auch mit Hilfe anderer Sensorarten erfolgen. In allen Fällen wird zum Zweck der laufenden Objekterkennung typischerweise ein jeweiliger Datensatz mit Informationen über die Umgebung des Fahrzeugs mit einer gewissen Wiederhol-Frequenz aufgenommen. Zur Erkennung von Objekten aus den Informationen eines solchen jeweils aktuellen Datensatzes kann ein vorab-trainiertes künstliches neuronales Netz angewendet werden, welches als Eingangsdaten die Informationen aus dem oben erwähnten jeweiligen aktuellen Datensatz erhält, und im Sinne von Ausgangsdaten eine Objekterkennung mit Einordnung des Objekts in eine von mehreren vordefinierten Klassen von Objekten liefert. Die hohe Komplexität eines künstlichen neuronalen Netzes, verursacht durch eine enorm hohe Zahl von für den Menschen intuitiv praktisch nicht nachvollziehbarer interner Parameter, prägt den Black-Box Charakter des künstlichen neuronalen Netzes im Vergleich zu alternativen, intuitiv vom Menschen beobachtbaren Systemen. Die Parameter und die Struktur eines fertig trainierten künstlichen neuronalen Netzes, welches sich für die o.g. Anwendungen eignet, ist daher für einen Menschen nicht mehr interpretierbar. Dies gilt insbesondere für die tiefen künstlichen neuronalen Netze, die eine sehr große Anzahl von Ebenen (sog. „layer“), auch genannt „Schichten“ aufweisen.
-
Das Auslegen der Parameter des künstlichen neuronalen Netzes findet noch vor seinem Einsatz im späteren regulären Betrieb in einem Trainingsvorgang statt. Typischerweise erfolgt das sogenannte „supervised learning“ zum Trainieren eines solchen künstlichen neuronalen Netzes durch vorgegebene Eingangsgrößen und zugehörige vorgegebene Ausgangsgrößen. Reale Sensordaten oder synthetische, den Sensordaten nachgebildete Daten, mit Informationen über Objekte aus diesen Klassen werden insbesondere für die Eingangsdaten verwendet, während die Vorgabe der jeweiligen Konzentrationsparameter zu den vorgegebenen Ausgangsdaten führt. Am Beispiel des für ein automatisiertes Fahrzeug verwendeten künstlichen neuronalen Netzes wären dies beispielsweise die Klassen: Straße, Verkehrsschild, Baum, Ampel, Warnbake, Pylon, Hund, Straßenmarkierung, Fußgänger, Radfahrer, Personenkraftwagen, Baustellenfahrzeug, etc.;
-
Erkannte Klassen von einem Objekt können zudem nach dem Stand der Technik mit Genauigkeitswerten bewertet werden, inwieweit sich das ausführende System sicher ist, dass das jeweilige Objekt auch wirklich der Klasse angehört. Dies ist in der Publikation „Real-time Uncertainty Estimation Based On Intermediate Layer Variational Inference" der Autoren Ahmed Hammam, Seyed Eghbal Ghobadi, Frank Bonarens und Christoph Stiller, CSCS '21, November 30, 2021, Ingolstadt, Germany, ACM ISBN 978-1-4503-9139-9/21/11 (verfügbar zum Zeitpunkt des Schreibens unter https://doi.org/10.1145/3488904.3493381) detailliert diskutiert und beschreibt den sogenannten ILVI-Ansatz.
-
Eine Problematik kann sich unabhängig von dieser Unsicherheitsschätzung jedoch dadurch ergeben, dass beim Inferenzschritt eines künstlichen neuronalen Netzes aufgrund der Eigenschaften der Ausgangsschicht (z.B. mit Softmax-Funktionen) bei unbekannten realen Objekten, die zu keiner der beim Trainieren des künstlichen neuronalen Netzes vorgegebenen Klassen gehören, doch fälschlicherweise immer eine Klasse zugeordnet wird. Während Verfahren zur Unsicherheitsmodellierung wie oben erläutert in der Lage sind, parallel zur Schätzung einer Klasse eines Pixels auch gleichzeitig die Unsicherheit der Erkennung zu schätzen, liegt aber damit noch keine Information vor, ob es sich dabei um ein bekanntes oder unbekanntes Objekt handelt. Folglich ist typischerweise ein konventionelles, unmodifiziertes künstliches neuronales Netz auch mit Unsicherheitsschätzung (wie nach dem oben erläuterten ILVI Ansatz) nicht in der Lage, unbekannte Objekte (also Objekte, für die beim Training des künstlichen neuronalen Netzes keine spezifische Klasse vorgegeben wurde) als solche zu erkennen.
-
Es ist zu erwarten, dass ein Prozess zur laufen Prüfung des Verkehrsumfeldes automatisierter Fahrzeug mit höherem Automatisierungslevel vom Fahrzeughersteller implementiert werden muss, um der Produktbeobachtungspflicht nachzukommen. Eine solche Beobachtung ist besonderes für die oben erwähnten Objekte unbekannter Klasse entscheidend, da diese besonders häufig zu kritischen Entscheidungen führen können. Das fortwährende Überwachen von Daten einer großen Zahl einer Fahrzeugflotte erfordert jedoch naturgemäß die Übertragung der Daten an eine zentrale Auswerteeinheit. Ohne Auswahl oder Kompression dieser Daten müssten dabei extrem hohe Datenmengen übertragen werden.
-
Es ist daher eine Aufgabe der Erfindung, diese Datenvolumen zu reduzieren.
-
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
-
Ein erster Aspekt der Erfindung betrifft ein Verfahren zur Reduktion der zu übertragenden Datenmengen von einer Vielzahl von Testfahrzeugen bei der Übermittlung von Daten über Objekte aus der Umgebung, die für künstliche neuronale Netze der Testfahrzeuge unbekannte Objekte darstellen, wobei in jedem der Testfahrzeuge eine Vorrichtung zum Ausführen der folgenden Schritte ausgeführt wird:
- - wiederholtes Ermitteln jeweils aktueller Bilddaten über ein durch eine Fahrzeugsensoreinheit erfasstes jeweiliges Umfeld eines Testfahrzeugs;
- - Ausführen eines vortrainierten, künstlichen neuronalen Netzes mit den jeweiligen aktuellen Bilddaten als Eingangsgröße, wobei das künstliche neuronale Netz je Pixel einen Vektor von Konzentrationsparametern einer Dirichlet-Verteilung ermittelt, und in einer zusätzlichen Schicht aus dem jeweiligen Vektor von Konzentrationsparametern Folgendes ermittelt: Für eine semantische Segmentierung eine Zuordnung des jeweiligen Pixels zu einer Klasse von Objekten, einen pixelbezogenen Unsicherheitswert bzgl. der Zuordnung, und eine Einteilung der zugeordneten Klasse in Zugehörigkeit zu bekanntem oder unbekanntem Objekt, sodass Objekte unbekannter Klasse in den jeweiligen Bilddaten als solche identifizierbar sind;
- - Identifizieren von Pixelansammlungen mit der jeweiligen Klasse eines unbekannten Objekts und mit Unsicherheitswerten, die eine vorgegebene Metrik erfüllen; und
- - Übermitteln von nur einem jeweiligen vorgegebenen Bereich der jeweiligen Bilddaten der Fahrzeugsensoreinheit an eine zentrale Auswerteeinheit mittels einer drahtlosen Kommunikationsschnittstelle, wobei der jeweilige vorgegebene Bereich zumindest die jeweilige identifizierte Pixelansammlung umfasst.
-
In anderen Worten wird eine Folge von Bildausschnitten eines unbekannten Objekts identifiziert und zugeordnet sowie die Versendung eines stark reduzierten Datensatzes drahtlos („Over-the-Air“) an eine zentrale Auswerteeinheit ermöglicht. Ein impliziter Vorteil ist die Bereitstellung von Metaannotationen für jede Bildausschnittsfolge, die bei Ablage in der zentralen Datenbank mit der Auswerteeinheit unmittelbar die Priorisierung der Datensätze für unbekannte Objekte ermöglicht. Dies ermöglicht die Reduzierung von Datenmengen für die Aufgabe, während der Aufzeichnung von Realdaten die spezifisch relevante Folge von Bildausschnitten zur Sammlung relevanter Daten unbekannter Objekte für die Versendung Over-the-Air mit der Bereitstellung von Unsicherheitsmaßen effizient zu ermöglichen.
-
Bevorzugt entspricht jeder einzelne der Konzentrationsparameter eines jeweiligen Vektors einer jeweiligen Klasse, und in der zusätzlichen Schicht wird dem jeweiligen Pixel diejenige Klasse mit dem höchsten Konzentrationsparameter je Vektor der Konzentrationsparameter zugeordnet.
-
Bevorzugt wird in der zusätzlichen Schicht eine Summe der Konzentrationsparameter je Vektor mit einem vorgegebenen Schwellwert verglichen, und bei Unterschreiten des Schwellwerts der jeweilige Unsicherheitswert pixelbezogen als Unsicherheitswert für eine unbekannte Klasse ermittelt, und bei Überschreiten des Schwellwerts der jeweilige Unsicherheitswert pixelbezogen als Unsicherheitswert für eine bekannte Klasse ermittelt.
-
Bevorzugt wird in der zusätzlichen Schicht zur Bestimmung der pixelbezogenen Unsicherheit eine Entropie der durch normierte Konzentrationsparameter bestimmten Dirichlet-Verteilung aller Klassen für jedes Pixel ermittelt.
-
Die Fahrzeugsensoreinheit umfasst insbesondere eine Kamera und liefert während ihres Betriebs laufend aktuelle Daten über das Umfeld des Fahrzeugs. Diese Daten werden an das erfindungsgemäße System weitergeleitet, welches insbesondere ein Rechenmodul zum Ausführen insbesondere des künstlichen neuronalen Netzes aufweist.
-
Die semantische Segmentierung ist eine Zuordnung eines jeweiligen Pixels zu einer jeweiligen Klasse. Dafür wird bereits beim Trainieren des künstlichen neuronalen Netzes noch vor dem regulären Betrieb dessen eine Vielzahl von vorgegebenen spezifischen Klassen bekannter Objekte zur Vorgabe verwendet, beispielsweise die Klassen:
- Verkehrsschild, Baum, Ampel, Fußgänger, Radfahrer, Personenkraftwagen. Das Ergebnis der semantischen Segmentierung im regulären Betrieb des künstlichen neuronalen Netzes ist somit die Ausgabe der Klassenzuordnung per Pixel. Außerdem wird bevorzugt ein jeweiliges Unsicherheitsmaß per Pixel ausgegeben. Dieses Unsicherheitsmaß ist das Ergebnis der Unsicherheitsschätzung, welches bevorzugt mit einer Zwischenschicht, welche zu diesem Zweck im künstlichen neuronalen Netz vorgesehen ist, ausgeführt wird.
-
Erfindungsgemäß wird ein konventionelles künstliches neuronales Netz so erweitert, dass eine zusätzliche Ausgangsschicht eingeführt wird, um auf Basis dieser Vektoren mit Konzentrationsparametern als Komponenten der Vektoren die Zuordnung zu einer Klasse vorzunehmen, die Unsicherheitswerte zu berechnen und für jedes Pixel eine binäre Information über die Zugehörigkeit eines Pixels zur einer bekannten oder einer unbekannten Klasse zuzuordnen. Dazu wird eine jeweilige Dirichlet-Verteilung je Pixel modelliert. Erfindungsgemäß wird daher ein konventionelles künstliches neuronales Netz so erweitert, dass dieses mit Hilfe einer Loss Function so trainiert wird, dass Konzentrationsparameter einer Dirichlet-Verteilung erhalten werden, welche in der späteren Inferenz zur semantischen Segmentierung, Unsicherheitsschätzung und Unterscheidung von bekannten zu unbekannten Objekten verwendet werden können. Das künstliche neuronale Netz wird bevorzugt durch Verwendung der Dirichlet Maximum Likelihood Estimation Loss Function mit dem Ziel trainiert, dass der Dirichlet-Vektor den Konzentrationsparametern der Dirichlet-Verteilung entsprechen.
-
Pro Pixel im Bilddatensatz wird ein Vektor von Konzentrationsparametern durch das künstliche neuronale Netz generiert. Dieser Vektor wiederum wird bestimmt die zugehörige Dirichlet-Verteilung: Dir(θ,αk). Dabei sind αk die Konzentrationsparameter pro Klasse k, 6 sind die Ground-Truth-Wahrscheinlichkeitsverteilungen. Die Modellierung der Dirichlet-Verteilung wird erreicht durch Modellierung der Per-Pixel-Ausgangswerte des künstlichen neuronalen Netzes als Konzentrationsparameter der Dirichlet-Verteilung. Folglich stellen die Konzentrationsparameter für jeden Pixel die Dirichlet-Konzentration pro Klasse dar.
-
In anderen Worten wird der Bilddatensatz damit durch das erfindungsgemäße vortrainierte künstliche neuronale Netz in seinem Betrieb transformiert (in einem jeweiligen sogenannten Inferenzschritt) mit dem Ergebnis der jeweiligen Konzentrationsparameter in Vektorform einer Pro-Pixel-Dirichlet-Verteilung. In der semantischen Segmentierung ist die vorhergesagte Klasse bevorzugt diejenige, die den höchsten Konzentrationsparameter aufweist. Nach Normierung der Konzentrationsparameter kann die Entropie berechnet und als Schätzung für die Unsicherheit der Klassenprognose eines Pixels verwendet werden.
-
Mit Hilfe der Dirichlet-Verteilungen sind somit Unsicherheiten für die Zuordnung der Klassen zu i) bekannten und ii) unbekannten Objekten möglich. Dies vermeidet vorteilhaft, dass - wie häufig in konventionellen Ansätzen verfolgt - die Klassifizierung der Pixel mittels Zuordnung zu jeweils einer aus einer Vielzahl von Klassen von Objekten dadurch erfolgt, dass für jedes Pixel eine Wahrscheinlichkeit einer korrekten Zuordnung bezüglich jeder der vorgegebenen Klassen von bekannten Objekten ermittelt wird und diejenige Zuordnung mit der höchsten Wahrscheinlichkeit ausgewählt wird und somit immer eine Zuordnung eines Pixels zu einer Klasse eines bekannten Objekts zugeordnet wird, ohne dass eine Klasse für unbekannte Objekte eine mögliche Zuordnung darstellt.
-
Der Unterschied zwischen unbekannten Objekten und bekannten Objekten ist, dass beim Trainieren des künstlichen neuronalen Netzes eine endliche Menge von Klassen bekannter Objekte vorgegeben wurde (Fußgänger, Radfahrer, Katze, etc.), aber auch berücksichtigt wurde, dass unbekannte Objekte auftreten können, die im Training nicht explizit berücksichtigt werden konnten oder sollten. Für unbekannte Objekte wird daher eine generelle eigene Klasse vorgegeben. Dieser eigenen Klasse können dann im regulären Betrieb des Fahrzeugs mit dem künstlichen neuronalen Netz Pixel zugeordnet werden, die weniger in eine der Klassen der bekannten Objekte passen.
-
Der Gebrauch von Dirichlet Wahrscheinlichkeitsverteilungen mit einem Ansatz zur pixelweisen Unsicherheitsschätzung dient dazu, die Unsicherheitsschätzung auf der einen Seite und die Detektion von Pixeln, die keiner bekannten Klasse zugeordnet werden können, auf der anderen Seite zu verbessern. Dirichlet Wahrscheinlichkeitsverteilungen stellen eine Familie von kontinuierlichen multivariaten Wahrscheinlichkeitsverteilungen dar, die von der Betafunktion durch Verallgemeinerung gebildet werden und anders als die Betafunktion anstatt von zwei jeweils positiven Parametern im Allgemeinen durch einen Vektor von positiven Parametern gekennzeichnet sind, die jedoch ebenfalls als Exponenten der Zufallsvariablen erscheinen. Diese Parameter der Dirichlet Wahrscheinlichkeitsverteilung stellen die Konzentrationsparameter dar und bestimmen die Form der Dirichlet Wahrscheinlichkeitsverteilung.
-
Zur semantischen Segmentierung wird jedes der Pixel repräsentiert durch eine geschätzte Dirichlet-Verteilung, wobei bevorzugt der höchste Konzentrationsparameter-Wert die vorhergesagte Klasse repräsentiert, während die Entropie der Verteilung der normierten Konzentrationsparameter pro Pixel die Unsicherheit repräsentiert. Insbesondere die Summe aller Konzentrationsparameter einer Dirichlet Wahrscheinlichkeitsverteilung eines jeweiligen Pixels kann zur Unterscheidung zwischen bekannten Objekten und unbekannten Objekten herangezogen werden. Dafür wird brvorzugt ein geeignet zu wählender Schwellwert eingeführt. Wenn die Summe der Konzentrationsparameter unter dem Schwellwert liegt, kann dieser Pixel einem unbekannten Objekt zugeordnet werden. Diese Summe wird auch als „Dirichlet Strength“ bezeichnet und gibt an, wie spitz/schmal oder stumpf /breit die Wahrscheinlichkeitsverteilung ist.
-
Zum Trainieren werden die zu unbekannten Objekten zugehörigen Pixel bevorzugt nicht annotiert und im Training weder bestraft noch belohnt. Dies wird bevorzugt mit Ignore-Bereichen realisiert, für die die Pixelinformationen ausgeblendet werden, sodass das künstliche neuronale Netz beim Training weder eine Bestrafung noch eine Belohnung für eine Klasse bekommt. Vorgeschlagen im Sinne der Kostenfunktion wird insbesondere eine Loss-Funktionen mit separaten Termen für korrekte Prädiktionen, inkorrekte Prädiktionen und zum Entkoppeln des Latenten Raumes, derart, dass dieser für die Unsicherheitsschätzung besonders geeignet ist.
-
Bisher bekannte Ausführungen künstlicher neuronaler Netze sind nicht in der Lage, ohne spezifische Annotation unbekannte Objekte zu identifizieren. Die erfinderische Idee liefert eine Lösung mit der Bereitstellung von Unsicherheitsmaßen getrennt nach bekannten und unbekannten Objekten. Damit können für ein automatisches Fahrsteuerungssystem unbekannte Objekte als solche erkannt und berücksichtigt werden, insbesondere in der Manöverplanung und für eventuelle Bremsmanöver oder für die Einleitung anderer sicherer Zustände des Fahrzeugs, wie Ausweichbewegungen. Für ein automatisches Fahrsteuerungssystem ist es nämlich von hoher Relevanz, dass alle kritischen Objekte erkannt werden. Von besonderer Bedeutung ist dabei, dass unbekannte Objekte identifiziert werden. Im Gegensatz zur bekannten Schwäche von unmodifizierten künstlichen neuronalen Netzen, bei unbekannten Objekten trotzdem eine dann falsche Zuordnung zu einer Klasse eines bekannten Objekts vorzunehmen, führt das erfindungsgemäße System zu einer Kennzeichnung eines Bildausschnitts mit „unbekanntes Objekt“. Methoden zur Unsicherheitsmodellierung werden erfindungsgemäß mit Dirichlet-Wahrscheinlichkeitsverteilungen kombiniert, u.a. erreicht durch eine neue Struktur für die Kostenfunktion beim vorhergehenden Trainieren des künstlichen neuronalen Netzes. Damit wird für jeden Bilddatensatz nicht nur die jeweilige Zuordnungs-Unsicherheit, sondern auch die Wahrscheinlichkeit konkret für eine unbekannte Klasse geliefert.
-
Für eine automatische Fahrfunktion (ADS) ist es von hoher Relevanz, dass alle kritischen Objekte erkannt werden. Von besonderer Bedeutung ist dabei, dass unbekannte Objekte identifiziert werden. Für eine robustere Auslegung und für die Sicherheitsargumentation ist es wichtig, bis dato unbekannte Objekte so früh wie möglich zu identifizieren. Dazu werden typischerweise möglichst viele Fahrzeuge, auch Kundenfahrzeuge ohne aktive ADS-Funktion, zum Silent Testing genutzt. Die Herausforderung ist die enorme Datenmenge, die pro Stunde anfällt. Es ist eine vorteilhafte Wirkung der Erfindung, dass auf Basis einer spezifischen Unsicherheitsmodellierung unbekannte Objekte szenarienbasiert identifiziert und somit die Übertragung eines sehr reduzierten Datensatzes ermöglicht wird. Dadurch wird für das zentrale Thema Sammlung Daten zu bis dato unbekannter Objekte ein effizientes Verfahren mit erheblicher Datenreduktion bereitgestellt. Letztlich nur durch eine solche Datenreduzierung kann dann diese Sammlung effizient und kostengünstig über drahtlose Telekommunikationskanäle übertragen werden.
-
Gemäß einer vorteilhaften Ausführungsform gibt die vorgegebene Metrik ein Unterschreiten eines jeweiligen Unsicherheitswertes an, sodass ein jeweiliges Pixel zu einem Objekt unbekannter Klasse mit einer Mindestwahrscheinlichkeit gehört.
-
Gemäß einer weiteren vorteilhaften Ausführungsform werden vor dem Identifizieren von Pixelansammlungen mit Unsicherheitswerten mit Erfüllung der vorgegebenen Metrik Unsicherheitswerte von Pixeln mit Unsicherheitswerten unterhalb eines vorgegebenen Grenzwerts auf Null gesetzt.
-
Gemäß einer weiteren vorteilhaften Ausführungsform werden Pixelansammlungen mit Unsicherheitswerten durch eine Bounding Box begrenzt, wobei die jeweilige Bounding Box einen jeweiligen vorgegebenen Bereich darstellt.
-
Gemäß einer weiteren vorteilhaften Ausführungsform wird zum Identifizieren der Pixelansammlungen ein Blob-Detection- Algorithmus angewendet.
-
Gemäß einer weiteren vorteilhaften Ausführungsform werden nur Pixelansammlungen zur Weitergabe an die zentrale Auswerteeinheit für vorgegebene Bereiche ausgewählt, deren Anzahl von Pixeln eine vorgegebene Grenze überschreitet.
-
Gemäß einer weiteren vorteilhaften Ausführungsform wird der jeweilige vorgegebene Bereich über eine Vielzahl von zeitlich aufeinanderfolgenden Zeitpunkten korrelierend mit der Frequenz der Aufnahme der Bilddaten nachverfolgt und zusammenhängend an die zentrale Auswerteeinheit übergeben.
-
Gemäß einer weiteren vorteilhaften Ausführungsform wird nur eine Vielzahl von Daten über die vorgegebenen Bereiche an zeitlich aufeinanderfolgenden Zeitpunkten zur zentralen Auswerteeinheit übergeben, welche an einer vorgegebenen Mindestanzahl von Zeitpunkten erfasst wurden.
-
Gemäß einer weiteren vorteilhaften Ausführungsform wird der mittlere Unsicherheitswert der Pixel des jeweiligen vorgegebenen Bereichs ermittelt und an die zentrale Auswerteeinheit mit übergeben.
-
Ein weiterer Aspekt der Erfindung betrifft ein System zur Reduktion der zu übertragenden Datenmengen von einer Vielzahl von Testfahrzeugen bei der Übermittlung von für künstliche neuronale Netze der Testfahrzeuge unbekannte Objekte aus der Umgebung, wobei in jedem der Testfahrzeuge eine Vorrichtung angeordnet ist, die zum Ausführen der folgenden Schritte ausgeführt ist:
- - wiederholtes Ermitteln jeweils aktueller Bilddaten über ein durch eine Fahrzeugsensoreinheit erfasstes jeweiliges Umfeld eines Testfahrzeugs;
- - Ausführen eines vortrainierten, künstlichen neuronalen Netzes mit den jeweiligen aktuellen Bilddaten als Eingangsgröße, wobei das künstliche neuronale Netz je Pixel einen Vektor von Konzentrationsparametern einer Dirichlet-Verteilung ermittelt, und in einer zusätzlichen Schicht aus dem jeweiligen Vektor von Konzentrationsparametern Folgendes ermittelt: Für eine semantische Segmentierung eine Zuordnung des jeweiligen Pixels zu einer Klasse von Objekten, einen pixelbezogenen Unsicherheitswert bzgl. der Zuordnung, und eine Einteilung der zugeordneten Klasse in Zugehörigkeit zu bekanntem oder unbekanntem Objekt, sodass Objekte unbekannter Klasse in den jeweiligen Bilddaten als solche identifizierbar sind;
- - Identifizieren von Pixelansammlungen mit der jeweiligen Klasse eines unbekannten Objekts und mit Unsicherheitswerten, die eine vorgegebene Metrik erfüllen; und
- - Übermitteln von nur einem jeweiligen vorgegebenen Bereich der jeweiligen Bilddaten der Fahrzeugsensoreinheit an eine zentrale Auswerteeinheit mittels einer drahtlosen Kommunikationsschnittstelle, wobei der jeweilige vorgegebenen Bereich zumindest die jeweilige identifizierte Pixelansammlung umfasst.
-
Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Systems ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen Verfahren vorstehend gemachten Ausführungen.
-
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
-
Es zeigen:
- 1: Ein Verfahren zur Reduktion der zu übertragenden Datenmengen von einer Vielzahl von Testfahrzeugen bei der Übermittlung von für künstliche neuronale Netze der Testfahrzeuge unbekannten Objekten aus der Umgebung gemäß einem Ausführungsbeispiel der Erfindung.
- 2: Ein System in einer beispielhaften konkreten Situation zur Ausführung des Verfahrens nach dem Ausführungsbeispiel der 1.
-
Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.
-
1 zeigt ein Verfahren zur Reduktion der zu übertragenden Datenmengen von einer Vielzahl von Testfahrzeugen 1 bei der Übermittlung von für künstliche neuronale Netze der Testfahrzeuge 1 unbekannte Objekte aus der Umgebung, wobei in jedem der Testfahrzeuge 1 eine Vorrichtung 3 zum Ausführen der folgenden Schritte ausgeführt wird:
- - wiederholtes Ermitteln S1 jeweils aktueller Bilddaten über ein durch eine Fahrzeugsensoreinheit 5 erfasstes jeweiliges Umfeld eines Testfahrzeugs 1;
- - Ausführen S2 eines vortrainierten, künstlichen neuronalen Netzes mit semantischer Segmentierung mit den jeweiligen aktuellen Bilddaten als Eingangsgröße, wobei das künstliche neuronale Netz je Pixel einen Vektor von Konzentrationsparametern einer Dirichlet-Verteilung ermittelt, und in einer zusätzlichen Schicht aus dem jeweiligen Vektor von Konzentrationsparametern Folgendes ermittelt: Für eine semantische Segmentierung eine Zuordnung des jeweiligen Pixels zu einer Klasse von Objekten, einen pixelbezogenen Unsicherheitswert bzgl. der Zuordnung, und eine Einteilung der zugeordneten Klasse in Zugehörigkeit zu bekanntem oder unbekanntem Objekt, sodass Objekte unbekannter Klasse in den jeweiligen Bilddaten als solche identifizierbar sind;
- - Identifizieren S3 von Pixelansammlungen unbekannter Klasse und mit Unsicherheitswerten, die eine vorgegebene Metrik erfüllen; und
- - Übermitteln S4 von nur einem jeweiligen vorgegebenen Bereich der jeweiligen Bilddaten der Fahrzeugsensoreinheit 5 zusammen mit den jeweiligen Unsicherheitswerten an eine zentrale Auswerteeinheit 7 mittels einer drahtlosen Kommunikationsschnittstelle, wobei der jeweilige vorgegebenen Bereich zumindest die jeweilige Pixelansammlung umfasst.
-
2 zeigt ein entsprechendes System zur Reduktion der zu übertragenden Datenmengen von einer Vielzahl von Testfahrzeugen 1 bei der Übermittlung von für künstliche neuronale Netze der Testfahrzeuge 1 unbekannten Objekten aus der Umgebung des Testfahrzeugs 1, wobei in jedem der Testfahrzeuge 1 eine Vorrichtung 3 mit einem Rechner angeordnet ist, die zum Ausführen der folgenden Schritte ausgeführt ist:
- - wiederholtes Ermitteln jeweils aktueller Bilddaten über ein durch eine kamerabasierte Fahrzeugsensoreinheit 5 erfasstes jeweiliges Umfeld eines Testfahrzeugs 1;
- - Ausführen eines vortrainierten, künstlichen neuronalen Netzes mit den jeweiligen aktuellen Bilddaten als Eingangsgröße, wobei das künstliche neuronale Netz je Pixel einen Vektor von Konzentrationsparametern einer Dirichlet-Verteilung ermittelt, und in einer zusätzlichen Schicht aus dem jeweiligen Vektor von Konzentrationsparametern Folgendes ermittelt: Für eine semantische Segmentierung eine Zuordnung des jeweiligen Pixels zu einer Klasse von Objekten, einen pixelbezogenen Unsicherheitswert bzgl. der Zuordnung, und eine Einteilung der zugeordneten Klasse in Zugehörigkeit zu bekanntem oder unbekanntem Objekt, sodass Objekte unbekannter Klasse in den jeweiligen Bilddaten als solche identifizierbar sind;
- - Identifizieren von Pixelansammlungen, die zu Objekten der unbekannten Klasse gehören, und mit Unsicherheitswerten, die eine vorgegebene Metrik erfüllen; und
- - Übermitteln von nur einem jeweiligen vorgegebenen Bereich der jeweiligen Bilddaten der Fahrzeugsensoreinheit 5 an eine zentrale Auswerteeinheit 7 mittels einer drahtlosen Kommunikationsschnittstelle, wobei der jeweilige vorgegebenen Bereich zumindest die jeweilige Pixelansammlung umfasst.
-
Die Vorrichtung 3 führt somit ein künstliches neuronales Netz aus, welches vor dem Betrieb des jeweiligen Testfahrzeugs 1 trainiert worden ist. Mithilfe des künstlichen neuronalen Netzes mit den Bilddaten der Kameraeinheit 5 als Systemeingang des künstlichen neuronalen Netzes findet eine semantische Segmentierung statt. Prinzipiell kann somit in jedem Inferenzschritt (d. h. Ausführung Durchlauf des künstlichen neuronalen Netzes mit jeweils aktuellen Bilddaten der Kameraeinheit 5) eine Zuordnung von in der Realität und in den Bilddaten auftretenden Objekten in bekannte Klassen erfolgen, wobei die bekannten Klassen beim Trainieren des künstlichen neuronalen Netzes explizit vorgegeben wurden und somit im Betrieb des künstlichen neuronalen Netzes als Ergebnis der Ausführung eine jeweilige bekannte Klasse und somit bekannte Objekte erkannt werden können. Mithilfe einer Modellierung eines jeweiligen pixelbezogenen Ausgangswerts des künstlichen neuronalen Netzes als Konzentrationsparameter der Dirichlet-Verteilung und der Verwendung der Konzentrationsparameter der Dirichlet-Verteilung als zusätzliches Merkmal des künstlichen neuronalen Netzes ist es jedoch leichter möglich, eine Zuordnung eines Pixels zu einem Objekt unbekannter Klasse auszuführen, sodass Objekte unbekannter Klasse in den jeweiligen Bilddaten als solche identifizierbar sind. Somit wird nicht jedes Pixel aus den Bilddaten eines jeweiligen aktuellen Satzes von Pixeln aus der Kameraeinheit einem Objekt bekannter Klasse zugeordnet, sondern es wird explizit hingenommen, dass nicht jedes Element aus der Umgebung um das Fahrzeug durch das künstliche neuronale Netz erkannt werden kann; hierfür wird vielmehr eine gesonderte Klasse, die sogenannte unbekannte Klasse, für unbekannte Objekte geschaffen. Der jeweilige Bilddatensatz der Kameraeinheit 5 wird durch das künstliche neuronale Netz somit entsprechend transformiert mit dem Ergebnis von jeweiligen Konzentrationsparametern einer Pro-Pixel-Dirichlet-Verteilung als Grundlage für die Ausgangswerte. Die vorhergesagte Klasse ist diejenige, die den höchsten Konzentrationsparameter aus dem Vektor der Konzentrationsparameter je Pixel aufweist. Eine Unsicherheit wird ebenfalls berechnet: Nach Normierung der Konzentrationsparameter kann die Entropie berechnet und als Schätzung für die Unsicherheit der Klassenprognose eines Pixels verwendet werden. In der 2 ist zur Veranschaulichung der Innenraum eines Testfahrzeugs 1 mit der das künstliche neuronale Netz ausführenden Vorrichtung 3 und der kamerabasierten Fahrzeugsensoreinheit 5 dargestellt. Die Personen im Umfeld des Testfahrzeugs 1 werden als bekannte Objekte erkannt. Der Kirchturm jedoch wurde beim Training des künstlichen neuronalen Netzes wegen seiner Einzigartigkeit nicht berücksichtigt, die zugehörigen Pixel fallen daher unter die Kategorie eines Objekts unbekannter Klasse. Dieser wird mit den folgenden wiederholt ausgeführten, detaillierten Schritten ermittelt und mit einer Bounding Box getrackt und Bilddaten darüber an die zentrale Auswerteeinheit 7 übermittelt:
- #1: Aufnahme und Ablage eines Bilddatensatz vom Kamerasystem mit RGB-Werten durch mindestens eine Kamera im Testfahrzeug 1.
- #2: Inferenz (Inferenz betrifft die jeweilige Ausführung eines künstlichen neuronalen Netzes) mit einem künstlichen neuronalen Netz mit einem Ergebnis einer semantischen Segmentierung als Ausgangsgröße des künstlichen neuronalen Netzes inklusive Unsicherheitsmodellierung und zusätzlicher Ausgangsgröße zu Unsicherheitswerten und speziell einer Ausgangsgröße zur Per-Pixel- Wahrscheinlichkeit eines Vorliegens eines eines unbekannten Objektes. Ersetzen aller Werte kleiner eines Grenzwerts für die Minimalzahl an Pixeln für eine Pixelansammlung durch Null in einem Datensatz entsprechend der Größe des Bilddatensatzes mit den Per-Pixel- Wahrscheinlichkeiten eines unbekannten Objektes.
- #3: Identifikation aller Pixelansammlungen mit einer Blob Detection für den Datensatz aus #2. Auswahl aller Pixelansammlungen mit einer Pixelanzahl größer als der Grenzwert für die Minimalzahl an Pixeln für eine Pixelansammlung. Ersetzen jeweils einer Pixelansammlung durch eine Bounding Box als vorgegebener Bereich - die Bounding Box ist ein rechteckiger Begrenzungsrahmen, der alle Pixel einer Pixelansammlung umfasst und durch die Parameter Mittelpunkt, Breite und Höhe definiert wird. Zusätzlich wird der mittlere Unsicherheitswert für eine unbekannte Klasse aller Pixel berechnet und als Zusatzinformation abgelegt. Weiterhin wird der zugehörige Ausschnitt aus dem Bilddatensatz vom Kamerasystem 5 zugeordnet und abgelegt
- #4: Zuordnung des Begrenzungsrahmens zu einem bereits erkannten unbekannten Objekt aus der bereits vorhandenen Menge der identifizierten unbekannten Objekte mit den Daten des Begrenzungsrahmens über alle Zeitschritte (Frames), für den gemäß des Verfahrens jeweils ein Begrenzungsrahmens zugeordnet werden konnte. Die Zuordnung kann mittels eines klassischen Trackingverfahrens mit Bewegungsmodell für den Mittelpunkt des zu trackenden Objekts erfolgen.
- #5: Falls für einen Begrenzungsrahmen keine geeignete Zuordnung gefunden werden konnte, Erweiterung der bisher identifizierten unbekannten Objekte durch einen neuen Eintrag.
- #6: Falls einem Objekt aus den bisher identifizierten unbekannten Objekten aus dem aktuellen Bilddatensatz vom Kamerasystem 5 für diesen Frame keine neuer Begrenzungsrahmen zugeordnet werden konnte, erfolgt die Ablage der zugehörigen Einträge über alle Frames, die eine Zuordnung zu diesem unbekannten Objekt erhielten, in den Speicher zum Versenden von Daten an die zentrale Auswerteeinheit 7 über eine drahtlose Telekommunikationsverbindung. Es folgt das Hinzufügen von Metainformationen, sowie abschließend das Löschen des Datensatzes der bisher identifizierten unbekannten Objekte.
- #7: Sprung zu #1.
-
Bei Schritt #6 kann vor der Ablage eines Datensatzes mit bisher identifizierten unbekannten Objekten mittels zusätzlicher Schwellenwerte die Speicherung zum Versenden unterbunden werden, wenn beispielsweise die Anzahl der erwarteten Frames nicht erreicht wurde.
-
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.
-
Bezugszeichenliste
-
- 1
- Testfahrzeug(e)
- 3
- Vorrichtung
- 5
- Fahrzeugsensoreinheit
- 7
- zentrale Auswerteeinheit
- S1
- Ermitteln
- S2
- Ausführen
- S3
- Identifizieren
- S4
- Übermitteln
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- Real-time Uncertainty Estimation Based On Intermediate Layer Variational Inference“ der Autoren Ahmed Hammam, Seyed Eghbal Ghobadi, Frank Bonarens und Christoph Stiller, CSCS '21, November 30, 2021, Ingolstadt, Germany, ACM ISBN 978-1-4503-9139-9/21/11 [0004]
- https://doi.org/10.1145/3488904.3493381 [0004]
