DE102021002011A1

DE102021002011A1 - Verfahren zur Annotation von Daten einer Umgebungserfassung

Info

Publication number: DE102021002011A1
Application number: DE102021002011.1A
Authority: DE
Inventors: Florian Pierre Joseph Piewak
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2021-04-16
Filing date: 2021-04-16
Publication date: 2021-08-12

Abstract

Die Erfindung betrifft ein Verfahren zur Annotation von Daten einer Umgebungserfassung, wobei mittels mehrerer Sensoren eine Sensorumgebung erfasst wird. Erfindungsgemäß wird mittels eines gegenüber Wetterphänomenen robusten ersten Sensors, insbesondere einer Kamera, zumindest ein Ausschnitt der Sensorumgebung erfasst. Weiterhin wird mittels eines gegenüber dem ersten Sensor gegenüber Wetterphänomenen weniger robusten zweiten Sensors, insbesondere eines Lidarsensors, zumindest der gleiche Ausschnitt der Sensorumgebung erfasst, wobei erste Distanzinformationen (DI1) aus mittels des ersten Sensors erfassten Daten und zweite Distanzinformationen (DI2) aus mittels des zweiten Sensors erfassten Daten generiert werden und die ersten Distanzinformationen (DI1) in die mittels des zweiten Sensors erfassten und die zweiten Distanzinformationen (DI2) umfassenden Daten projiziert werden. Weiterhin werden die ersten Distanzinformationen (DI1) und die zweiten Distanzinformationen (DI2) in einem automatischen Algorithmus verglichen und aus den zweiten Distanzinformationen (DI2) ermittelte und nicht in den ersten Distanzinformationen (DI1) enthaltene Messpunkte mit einer Distanz, welche kleiner ist als benachbarte Messpunkte der ersten Distanzinformationen und einer größeren Distanzabweichung zu benachbarten Messpunkten der ersten Distanzinformationen als eine vorgegebene Distanzabweichung, werden automatisch als Wetterphänomen klassifiziert.

Description

Die Erfindung betrifft ein Verfahren zur Annotation von Daten einer Umgebungserfassung gemäß dem Oberbegriff des Anspruchs 1.
Aus der DE 10 2019 100 519 A1 ist ein Verfahren zur dynamischen Steuerung eines Betriebs eines Fahrzeugsystems basierend auf erfassten Wetterdaten bekannt. Dabei werden Wetterdaten von einem an einem Fahrzeug befestigten Radar erfasst und Wetterbedingungen aus den erfassten Wetterdaten bestimmt. Basierend auf den bestimmten Wetterbedingungen erfolgt ein dynamisches Steuern des Fahrzeugsystems. Weiterhin erfolgt zur Bestimmung der Wetterbedingungen und zu einer Nachprüfung der bereits bestimmten Wetterbedingungen ein Korrelieren der erfassten Wetterdaten mit Daten eines Lidarsystems und bordeigenen Kameras, die an dem Fahrzeug befestigt sind.
Weiterhin ist aus der EP 3 690 727 A1 ein Verfahren zum Trainieren eines faltenden neuralen Netzwerks, auch als Convolutional Neural Network bezeichnet, unter gemeinsamer Verwendung einer Kamera und eines Radars bekannt. Mittels einer Lernvorrichtung wird eine faltende Schicht angewiesen, eine Faltungsoperation auf ein integriertes Mehrkanalbild anzuwenden, um dadurch eine Merkmalskarte zu erzeugen. Weiterhin wird eine Ausgabeschicht angewiesen, eine Ausgabeoperation auf die Merkmalskarte anzuwenden, um dadurch geschätzte Objektinformationen zu erzeugen. Zusätzlich wird eine Verlustschicht angewiesen, einen Verlust unter Verwendung der geschätzten Objektinformationen und dazu entsprechenden Ground-Truth-Objektinformation zu erzeugen und eine Backpropagation unter Verwendung des Verlusts durchzuführen, um dadurch Parameter in dem neuronalen Netzwerk zu lernen.
Die US 10 445 928 B2 beschreibt ein Verfahren zum Erzeugen einer dreidimensionalen Karte mit hoher Dichte. Dabei wird ein Bild einer Szene mit hoher Dichte unter Verwendung eines passiven Sensors erfasst. Weiterhin wird ein neuer Satz von Entfernungsmessungen der Szene unter Verwendung eines aktiven Sensors erfasst. Ferner erfolgt ein Erfassen einer zuvor erzeugten dreidimensionalen Karte der Szene, die einen vorherigen Satz von Entfernungsmessungen umfasst. Anschließend werden der Satz von Entfernungsmessungen mit dem vorherigen Satz von mit erhöhter Abtastrate erfassten Entfernungsmessungen zusammengeführt, wobei beim Zusammenführen des neuen Satzes von Entfernungsmessungen eine Bewegungstransformation zwischen einem vorherigen Bildframe mit hoher Dichte und dem erfassten Bild mit hoher Dichte und den erfassten Entfernungsmessungen durchgeführt wird. Zusätzlich erfolgt ein Überlagern des neuen Satzes von Entfernungsmessungen auf dem Bild mit hoher Dichte über eine Upsampling-Interpolation, wodurch eine dreidimensionale Ausgabekarte erstellt wird.
Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Annotation von Daten einer Umgebungserfassung anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In einem Verfahren zur Annotation von Daten einer Umgebungserfassung wird mittels mehrerer Sensoren eine Sensorumgebung erfasst.
Erfindungsgemäß wird mittels eines gegenüber Wetterphänomenen robusten ersten Sensors, insbesondere einer Kamera, zumindest ein Ausschnitt der Sensorumgebung erfasst. Weiterhin wird mittels eines gegenüber dem ersten Sensor gegenüber Wetterphänomenen weniger robusten zweiten Sensors, insbesondere eines Lidarsensors, zumindest der gleiche Ausschnitt der Sensorumgebung erfasst. Es werden erste Distanzinformationen aus mittels des ersten Sensors erfassten Daten und zweite Distanzinformationen aus mittels des zweiten Sensors erfassten Daten generiert, wobei die ersten Distanzinformationen in die mittels des zweiten Sensors erfassten Daten, welche die zweiten Distanzinformationen umfassen, projiziert werden. Anschließend werden die ersten Distanzinformationen und die zweiten Distanzinformationen in einem automatischen Algorithmus verglichen und aus den zweiten Distanzinformationen ermittelte und nicht in den ersten Distanzinformationen enthaltene Messpunkte mit einer insbesondere kleineren Distanz als benachbarte Messpunkte der ersten Distanzinformationen und einer größeren Distanzabweichung zu benachbarten Messpunkten der ersten Distanzinformationen, welche größer ist als eine vorgegebene Distanzabweichung, werden automatisch als Wetterphänomen klassifiziert.
Zur Realisierung von robusten und sicheren automatisierten Fahrfunktionen, ist eine zuverlässige Erkennung einer Fahrzeugumgebung erforderlich, welche mittels einer fahrzeugeigenen Sensorik und fahrzeugeigenen Steuergeräten durchgeführt wird. Dabei werden einzelne Messungen mit einem jeweiligen Steuergerät gekoppelter Sensoren klassifiziert, was auch als semantische Segmentierung bezeichnet wird. Hierbei werden Ansätze maschinellen Lernens, beispielsweise tiefe künstliche neuronale Netze, angewendet, um eine hohe Güte der Klassifizierung zu erreichen. Für derartige Ansätze des maschinellen Lernens ist eine große Anzahl von annotierten Daten erforderlich.
Mittels des vorliegenden Verfahrens ist eine zuverlässige Aufnahme und automatische Auswahl von für ein maschinelles Lernen eines Umgebungserfassungsalgorithmus relevanten Daten möglich. Insbesondere ermöglicht das Verfahren, selten auftretende spezielle Wetterphänomene, wie beispielsweise Starkregen, Schnee, Nebel usw., welche mit aus dem Stand der Technik bekannten Verfahren schwierig zu erfassen sind, zu erfassen und die so erhaltenen Messungen anhand von mittels mehreren Sensoren erfassten Daten automatisch und somit einfach sowie kostengünstig annotieren zu können. Dabei wird ein automatisches Labeling von Daten durch die Generierung von Distanz- bzw. Tiefeninformationen ermöglicht. Dadurch ist es möglich, eine große Anzahl von Daten zu generieren, welche alle relevanten Anwendungsfälle abdecken. Somit kann die Robustheit von Ansätzen des maschinellen Lernens, welche zur Klassifikation von Messungen auf Steuergeräten verwendet werden, signifikant erhöht werden. Daraus folgend kann weiterhin eine Robustheit mittels der Steuergeräte gesteuerter automatisierter Fahrfunktionen oder Fahrerassistenzsysteme gegenüber Wetterphänomenen signifikant erhöht werden.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:

1 schematisch ein Bild einer Fahrzeugumgebung und
2 schematisch eine mittels Lidardaten und Kameradaten erzeugte Tiefenkarte der Fahrzeugumgebung gemäß 1.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
In 1 ist ein mittels einer Kamera erfasstes Bild B einer Fahrzeugumgebung dargestellt. 2 zeigt eine mittels Lidardaten und Kameradaten erzeugte Tiefenkarte K der Fahrzeugumgebung gemäß 1.
Um in einem Verfahren zum maschinellen Lernen eines Umgebungserfassungsalgorithmus eine automatische Messung mit speziellen Wetterphänomenen, wie beispielsweise Starkregen, Schnee, Nebel usw., zu ermöglichen, wird die Fahrzeugumgebung mittels mehrerer Sensoren erfasst.
Hierzu wird mittels eines gegenüber Wetterphänomenen robusten ersten Sensors, vorliegend mittels der Kamera, zumindest ein Ausschnitt der Fahrzeugumgebung erfasst.
Weiterhin wird mittels eines gegenüber dem ersten Sensor gegenüber Wetterphänomenen weniger robusten zweiten Sensors, vorliegend mittels des Lidarsensors, zumindest der gleiche Ausschnitt der Fahrzeugumgebung erfasst.
Ferner werden aus den mittels der Kamera erfassten Daten erste Distanzinformationen DI1 generiert. Beispielsweise wird hierzu als Kamera eine Stereokamera verwendet und die ersten Distanzinformationen DI1 werden anhand einer stereoskopischen Bildverarbeitung aus den mittels der Stereokamera erfassten Daten generiert. Alternativ wird als Kamera eine Monokamera verwendet und die ersten Distanzinformationen DI1 werden mittels zumindest eines Distanzschätzers, welcher mittels maschinellen Lernens trainiert ist, generiert.
Auch werden zweite Distanzinformationen DI2 aus mittels des zweiten Lidarsensors erfassten Daten generiert, wobei die ersten Distanzinformationen DI1 in die mittels des Lidarsensors erfassten und die zweiten Distanzinformationen DI2 umfassenden Daten projiziert, wie es in 2 mittels der Tiefenkarte K bespielhaft dargestellt ist.
Anschließend werden die ersten Distanzinformationen DI1 und die zweiten Distanzinformationen DI2 in einem automatischen Algorithmus verglichen und aus den zweiten Distanzinformationen DI2 ermittelte und nicht in den ersten Distanzinformationen DI1 enthaltene nahe Messpunkte, das heißt mit einer Distanz, welche kleiner ist als benachbarte Messpunkte der ersten Distanzinformationen DI1 und einer größeren Distanzabweichung zu benachbarten Messpunkten der ersten Distanzinformationen DI1 als eine vorgegebene Distanzabweichung, werden automatisch als Wetterphänomen klassifiziert. Das heißt, es erfolgt eine Klassifikation der näheren Messungen des für Wetterphänomene anfälligen Sensors, vorliegend des Lidarsensors, als Messungen von Wetterphänomen, wie beispielsweise Messungen von Regentropfen mittels des Lidarsensors. Dies ist dadurch möglich, dass die Wetterphänomene von dem für Wetterphänomene weniger anfälligen Sensors, vorliegend der Kamera, nicht erkannt werden und dadurch die Distanzschätzung nicht die Distanz der Wetterphänomene, beispielsweise der Regentropfen, sondern eine Umgebungsdistanz schätzt. Gleichzeitig kann aber der Lidarsensor die einzelnen Regentropfen anvisieren, wodurch eine kleinere Distanz gemessen wird.
Somit ist es möglich, beispielsweise eine Kamera, welche gegenüber Wetterphänomenen, wie zum Beispiel Regen, robuster ist, zu nutzen, um einzelne Messungen eines gegenüber den Wetterphänomenen weniger robusten Lidarsensors automatisch zu annotieren. Dabei werden die Distanzinformation DI1, DI2 genutzt, um entsprechende Messungen zu klassifizieren.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102019100519 A1 [0002]
EP 3690727 A1 [0003]
US 10445928 B2 [0004]

Claims

Verfahren zur Annotation von Daten einer Umgebungserfassung, wobei mittels mehrerer Sensoren eine Sensorumgebung erfasst wird, dadurch gekennzeichnet, dass - mittels eines gegenüber Wetterphänomenen robusten ersten Sensors, oder einer Kamera, zumindest ein Ausschnitt der Sensorumgebung erfasst wird, - mittels eines gegenüber dem ersten Sensor gegenüber Wetterphänomenen weniger robusten zweiten Sensors, oder eines Lidarsensors, zumindest der gleiche Ausschnitt der Sensorumgebung erfasst wird, - erste Distanzinformationen (DI1) aus mittels des ersten Sensors erfassten Daten und zweite Distanzinformationen (DI2) aus mittels des zweiten Sensors erfassten Daten generiert werden, - die ersten Distanzinformationen (DI1) in die mittels des zweiten Sensors erfassten und die zweiten Distanzinformationen (DI2) umfassenden Daten projiziert werden, - die ersten Distanzinformationen (DI1) und die zweiten Distanzinformationen (DI2) in einem automatischen Algorithmus verglichen werden und aus den zweiten Distanzinformationen (DI2) ermittelte und nicht in den ersten Distanzinformationen (DI1) enthaltene Messpunkte mit einer Distanz, welche kleiner ist als benachbarte Messpunkte der ersten Distanzinformationen (DI1) und einer größeren Distanzabweichung zu benachbarten Messpunkten der ersten Distanzinformationen (DI1) als eine vorgegebene Distanzabweichung, automatisch als Wetterphänomen klassifiziert werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Kamera eine Stereokamera verwendet wird und die ersten Distanzinformationen (DI1) anhand einer stereoskopischen Bildverarbeitung aus den mittels der Stereokamera erfassten Daten generiert werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Kamera eine Monokamera verwendet wird und die ersten Distanzinformationen (DI1) mittels zumindest eines Distanzschätzers, welcher mittels maschinellen Lernens trainiert ist, generiert werden.