-
Die Erfindung betrifft ein Verfahren zum Verarbeiten von Umgebungsdaten in einem Fahrzeug gemäß dem Oberbegriff des Anspruchs 1.
-
Hochautomatisiertes und/oder autonomes Fahren wird durch maschinelles Sehen (engl. computer vision) unterstützt. Eine Schwierigkeit besteht dabei darin, dass zuvor selten gesehene visuelle Eingangsdaten, aber auch ungünstige Lichtsituation jeweils zu fehlerhaften Bildverarbeitungsschritten führen können.
-
DE 10 2017 124 600 A1 beschreibt ein Verfahren für die semantische Segmentierung eines Objekts in einem Bild mit den folgenden Verfahrensschritten:
- - aufeinanderfolgendes Erfassen von Einzelbildern,
- - Eingeben eines ersten Einzelbilds der aufeinanderfolgend erfassten Einzelbilder in Echtzeit in ein neuronales Faltungsnetz,
- - Untersuchen durch das neuronale Faltungsnetz, ob im ersten Einzelbild ein Objekt erkannt werden kann,
- - semantisches Klassifizieren der erkannten Objekte durch das neuronale Faltungsnetz durch Zuordnen jedes erkannten Objekts zu einer von einer Liste vordefinierter Objektklassen,
- - Bereitstellen einer Lookup-Tabelle mit einer Prioritätsliste, die eine jeweilige Prioritätsstufe für jede der vordefinierten Objektklassen aufweist,
- - Bestimmen einer jeweiligen Prioritätsstufe der erkannten Objekte durch Vergleich mit der Lookup-Tabelle,
- - Bestimmen von einem oder mehr Objekt(en), die eine vordefinierte Prioritätsstufe haben,
- - Bestimmen eines Bereichs hoher Priorität des Einzelbilds, der sich auf das oder ein Objekt mit der vordefinierten Prioritätsstufe bezieht,
- - Eingeben eines nächsten Einzelbilds der aufeinanderfolgend erfassten Einzelbilder in Echtzeit in das neuronale Faltungsnetz,
- - Analysieren nur des Bereichs hoher Priorität im nächsten Einzelbild durch das neuronale Faltungsnetz.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein verbessertes Verfahren zum Verarbeiten von Umgebungsdaten in einem Fahrzeug anzugeben.
-
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zum Verarbeiten von Umgebungsdaten in einem Fahrzeug gemäß Anspruch 1.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Bei einem erfindungsgemäßen Verfahren zum Verarbeiten von Umgebungsdaten in einem Fahrzeug, das zum hochautomatisierten oder autonomen Fahren konfiguriert ist, werden die Umgebungsdaten mittels mindestens eines Sensors erfasst und in einer ersten Erkennungseinheit einer Bildverarbeitung unterzogen. Erfindungsgemäß ist vorgesehen, dass mittels einer zweiten Erkennungseinheit erwartete Ergebnisse der ersten Erkennungseinheit auf Basis der Umgebungsdaten als deren Eingangssignal überwacht werden, wobei die zweite Erkennungseinheit prädiziert, wie gut die Ergebnisse der ersten Erkennungseinheit auf Basis der Qualität der Umgebungsdaten sein werden, wobei dann, wenn die erwarteten Ergebnisse der ersten Erkennungseinheit als von geringer Güte unterhalb eines definierten Schwellwerts erkannt werden, die Umgebungsdaten von der zweiten Erkennungseinheit modifiziert werden, um die erwartete Güte der ersten Erkennungseinheit zu optimieren und den Schwellwert zu erreichen, oder eine Warnung ausgegeben und die erste Erkennungseinheit deaktiviert wird, wobei die zweite Erkennungseinheit eine zu erwartende Zielgröße der ersten Erkennungseinheit für die Umgebungsdaten approximiert (zum Beispiel aber nicht zwingend ausschließlich mittels Methoden des maschinellen Lernens) um eine Güte zu erhalten, wobei die zweite Erkennungseinheit während ihrer Entwicklung oder mittels Flottendaten mit Beispieldaten trainiert wird, wobei die Umgebungsdaten von der zweiten Erkennungseinheit auf Basis generativer Methoden mittels prototypischer Referenzbilder, welche zu einer hohen Ergebnisgüte der ersten Erkennungseinheit führen, im Stil angepasst werden oder erkannte Objekte in den Umgebungsdaten farblich hervorgehoben werden oder die Umgebungsdaten durch Kontrastveränderung, Regelung von Gamm-Werten, Filter und/oder Transformationen modifiziert werden, wobei dabei erhaltene modifizierte Umgebungsdaten erneut von der zweiten Erkennungseinheit geprüft werden um zu ermitteln, ob die modifizierten Umgebungsdaten als Eingangssignal für die erste Erkennungseinheit zu einer besseren, über dem Schwellwert liegenden, Erkennungsgüte führen, wobei in diesem Fall die modifizierten Umgebungsdaten an die erste Erkennungseinheit zur zusätzlichen Verwendung bei der Erkennung übermittelt werden, wobei auf gleiche Weise parallel weitere Modifikationen des Eingangssignals geprüft werden, um festzustellen, ob diese die Erkennungsgüte positiv beeinflussen, wobei das erwartet beste Ergebnis der modifizierten Umgebungsdaten jeweils von der zweiten Erkennungseinheit an die erste Erkennungseinheit übermittelt wird, wobei die zweite Erkennungseinheit in Form einer Feedback-Schleife zur Optimierung der eigenen Bewertungsfunktion den positiven oder negativen Einfluss der an die erste Erkennungseinheit übermittelten modifizierten Eingangssignale bewertet, wobei die zweite Erkennungseinheit einen Satz an Eingangssignalen speichert, für die die Erkennungsgüte besser war als für die nicht modifizierten Eingangssignale.
-
Die vorliegende Erfindung beschreibt eine Einheit in einem Fahrzeug, welche zum einen ein visuelles Eingangssignal hinsichtlich der erwarteten Güte eines Bildverarbeitungsschritts kontinuierlich evaluiert und bei Unterschreiten einer Schwelle Optimierverfahren auf dem Eingangsbild bereitstellt, um die Fehlerquote bei der Bilderkennung zu verringern.
-
Durch die erfindungsgemäße Lösung können sicherheitskritische Situationen im Fahrgeschehen reduziert werden. Ferner sind eine Reduktion fehlerhafter Erkennung von Fahrzeug-Bilderkennungseinheiten, eine Unterstützung manuellen Fahrens bei visuell ungünstigen Bedingungen sowie die Realisierung eines Redundanzkonzepts auf Basis unterschiedlicher Software und unterschiedlicher Verfahren möglich.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
-
Dabei zeigt:
- 1 eine schematische Ansicht eines Verfahrens zur Bewertung und Optimierung von Eingabedaten für eine maschinelle Sensorauswertung.
-
Die einzige 1 ist eine schematische Ansicht eines Verfahrens zur Bewertung und Optimierung von Eingabedaten für eine maschinelle Sensorauswertung, beispielsweise für das hochautomatisierte oder autonome Fahrens eines Fahrzeugs 1.
-
Als Teil des hochautomatisierten oder autonomen Fahrens eines Fahrzeugs 1 werden Signale/Sensorwerte eines Umfelds des Fahrzeugs 1 unter anderem visuell erfasst und ausgewertet. Dies erfolgt beispielsweise mittels Sensoren 2, beispielsweise optischen Sensoren, insbesondere Onboard-Kameras, oder Radarsensoren. Die Ergebnisse einer Bildverarbeitung dieser Signale dienen unter anderem der Navigation, der Manöver-Planung, der Erkennung von anderen Objekten usw. Diese Verarbeitung erfolgt in einer ersten Erkennungseinheit B. Aus verschiedenen Gründen kann das Ergebnis dieser Verarbeitung allerdings von geringer Güte sein, mit der Folge, dass auch die darauf aufbauenden Funktionen des automatisierten oder autonomen Fahrens ungünstig beeinflusst werden. Diese verschiedenen Ursachen sind beispielsweise beschädigte oder verdreckte Kameralinsen, ungünstige Lichtverhältnisse wie beispielsweise starke Sonneneinstrahlung direkt auf die Kameralinse, wetterbedingt ungünstiger Einfluss auf die Eingangsdaten, beispielsweise schneebedeckte Objekte usw.
-
Um die erste Erkennungseinheit B in diesen ungünstigen Umgebungs-Situationen zu unterstützen, ist eine zweite Erkennungseinheit S dazu vorgesehen, die erwarteten Ergebnisse der ersten Erkennungseinheit B auf Basis von dessen Eingangssignal E, nämlich den von den Sensoren 2 erfassten Umgebungsdaten U zu überwachen. Die zweite Erkennungseinheit S prädiziert also unter anderem zu Zwecken der Absicherung und Redundanz, wie gut die Ergebnisse der ersten Erkennungseinheit B auf Basis der Qualität der Umgebungsdaten U sein werden, und zwar unabhängig von der ersten Erkennungseinheit B. Erkennt die zweite Erkennungseinheit S, dass die erwarteten Ergebnisse der ersten Erkennungseinheit B von geringer Güte unterhalb eines definierten Schwellwerts sein werden, was voraussichtlich negativen Einfluss auf das Fahrverhalten bei automatisiertem oder autonomen Fahren zur Folge hat, so versucht die zweite Erkennungseinheit S die Umgebungsdaten U als Eingangssignal E für die erste Erkennungseinheit B zu modifizieren und erhält so die modifizierten Umgebungsdaten U' bzw. das modifizierte Eingangssignal E', um die erwartete Güte der ersten Erkennungseinheit B zu optimieren und den Schwellwert zu erreichen. Weiter kann bei Unterschreiten des Schwellwerts eine Warnung ausgegeben und die erste Erkennungseinheit B deaktiviert werden.
-
Die zweite Erkennungseinheit S approximiert hierzu in einem Schritt S1 eine zu erwartende Zielgröße Quali(B) der ersten Erkennungseinheit B für die Umgebungsdaten U als Eingangssignal E und erhält so eine Güte Quali_pred(BIU). Hierzu wird die zweite Erkennungseinheit S während ihrer Entwicklung oder mittels Flottendaten (beispielsweise in der Cloud oder einem Rechenzentrum) mit Beispieldaten trainiert. Hierbei sind die Eingangsdaten E durch die Umgebungsdaten U und die Zielgröße (engl. label) durch Quali(B) gegeben. Beispielsweise kann die Zielgröße Quali(B) während der Entwicklung die Abweichung zu einer manuell markierten Musterlösung der Erkennung (engl. ground truth) oder bei Flottendaten eine auf Basis weiterer Sensorik approximierte Musterlösung sein.
-
Die Zielgröße Quali(B) kann beispielsweise als ein Gütemaß des maschinellen Lernens definiert werden, das die Güte einer Klassifikation ausgibt. Mögliche Metriken sind Accuracy, False-Positive und False-Negative Rate, Konfidenzmaße, Intersection-Over-Union als Maß für die Überlappung einer Fläche usw. Quali(B|U) ist die Güte der ersten Erkennungseinheit B, gegeben durch die Umgebungsdaten U als Eingangssignal E. Quali_pred(B|U) ist die von der zweiten Erkennungseinheit S prädizierte Güte der ersten Erkennungseinheit B, gegeben durch die Umgebungsdaten U als Eingangssignal E.
-
Um die erwartete Güte der ersten Erkennungseinheit B zu optimieren und den Schwellwert zu erreichen, setzt die zweite Erkennungseinheit S in einem Schritt S2 verschiedene Verfahren des maschinellen Lernens auf Basis von Bilddaten ein. Auf Basis generativer Methoden werden die Umgebungsdaten U als Eingangssignal E mittels prototypischer Referenzbilder, welche zu einer hohen Ergebnisgüte der ersten Erkennungseinheit B führen, im Stil angepasst. Die dabei erhaltenen modifizierten Umgebungsdaten U' werden erneut von der zweiten Erkennungseinheit S geprüft um zu ermitteln, ob die modifizierten Umgebungsdaten U' als Eingangssignal E für die erste Erkennungseinheit B zu einer besseren, über dem Schwellwert liegenden, Erkennungsgüte führen. In diesem Fall werden die modifizierten Umgebungsdaten U' an die erste Erkennungseinheit B zur zusätzlichen Verwendung bei der Erkennung übermittelt. Auf gleiche Weise werden parallel weitere Eingangssignal-Modifikationen geprüft, um festzustellen, ob diese die Erkennungsgüte positiv beeinflussen. Das erwartet beste Ergebnis der modifizierten Umgebungsdaten U' wird jeweils von der zweiten Erkennungseinheit S an die erste Erkennungseinheit B übermittelt.
-
Ein weiteres paralleles Verfahren neben der genannten Stil-Anpassung besteht darin, einzelne, erkannte Objekte anzupassen oder hervorzuheben, basierend auf der erwarteten Begünstigung der Erkennungsgüte der ersten Erkennungseinheit B. Beispielsweise können Fahrzeuge farblich modifiziert werden, wenn die Umgebung selbst eine farbliche Konzentration aufweist. Dies ist der Fall bei wetterbedingt stark verschneiten Umgebungen, beispielsweise wenn die Umgebung primär helle bis weiße Farbnoten beinhaltet. In diesem Fall sind die Fahrzeuge mit gleicher oder ähnlicher Farbe schlechter zu erkennen und können von der zweiten Erkennungseinheit S farblich angepasst werden, beispielsweise mit einer Farbe, die kaum im Eingangssignal E vorhanden ist. Wirkt sich diese Modifikation positiv auf die Erkennungsgüte der ersten Erkennungseinheit B aus und ist im Vergleich zu anderen Modifikationen am besten, so wird das Ergebnis von der zweiten Erkennungseinheit S an die erste Erkennungseinheit B übermittelt.
-
Weitere parallele Eingangssignal-Modifikationen sind u.a. Kontrastverstärkung oder - abschwächung und grundlegende Bildanpassungen, wie Regelung von Gamma-Werten, Filter und Transformationen.
-
Zusätzlich lernt die zweite Erkennungseinheit S in einem Schritt S3 in Form einer Feedback-Schleife zur Optimierung der eigenen Bewertungsfunktion den positiven oder negativen Einfluss der an die erste Erkennungseinheit B übermittelten Eingangssignale E, E'. Wenn die erste Erkennungseinheit B mittels der modifizierten Eingangssignale E' bessere Ergebnisse erzielen konnte, das heißt wenn eine Güte Quali(B|U') auf Basis der modifizierten Umgebungsdaten U' besser ist als eine Güte Quali(B|U) auf Basis der nicht modifizierten Umgebungsdaten U, insbesondere hinsichtlich des ausgeführten zumindest teilweise automatisierten Fahrverhaltens, dann wird die verwendete Modifikations-Methode positiv gewichtet und die Bewertungsfunktion in der zweiten Erkennungseinheit S aktualisiert.
-
Da es das grundsätzliche Ziel ist, dass die erste Erkennungseinheit B die bestmögliche Erkennungsgüte liefert, behält die zweite Erkennungseinheit S einen Satz an Eingangssignalen E vor, bei denen die Güte Quali(B|U') auf Basis der modifizierten Umgebungsdaten U' zu besseren Ergebnissen als die Güte Quali(B|U) auf Basis der nicht modifizierten Umgebungsdaten U geführt hat. Diese Beispiele können dahingehend ausgewertet werden, ob eine nachträgliche Verbesserung der Erkennungsgüte der ersten Erkennungseinheit B grundsätzlich möglich ist oder ob gezielt potentielle Schwachstellen der ersten Erkennungseinheit B identifiziert werden können. Da dies die Gesamtabsicherung der ersten Erkennungseinheit B betrifft, werden solche Verbesserungsmaßnahmen nicht direkt im Fahrbetrieb vorgenommen, sondern nur zu vorgesehenen Service-Intervallen.
-
In einer weiteren Ausführung kann die zweite Erkennungseinheit S zusätzlich (optional oder als Angebot an die Insassen) in einem Schritt S4 das modifizierte Umgebungssignal U' in einem Innenraum des Fahrzeugs 1 anzeigen. Im Fall von teilautomatisierten Fahrfunktionen kann so auch der Fahrer selbst zusätzlich unterstützt werden, falls dieser ebenfalls Schwierigkeiten hat die Fahrsituation visuell eindeutig zu erkennen. Die zweite Erkennungseinheit S trägt somit mit digitalen Mitteln zu Steigerung des Fahrkomforts bei.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102017124600 A1 [0003]
