DE102018220892A1

DE102018220892A1 - Vorrichtung und Verfahren zur Generierung von Labelobjekten für die Umgebung eines Fahrzeugs

Info

Publication number: DE102018220892A1
Application number: DE102018220892.1A
Authority: DE
Inventors: Oliver Pink; Heinz Hertlein; Elena Pancera; Achim Feyerabend; Thomas Goeppel
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2018-12-04
Filing date: 2018-12-04
Publication date: 2020-06-04
Also published as: US20200175342A1; US11392804B2; CN111274862A

Abstract

Die Erfindung betrifft ein Verfahren und ein Labellingsystem zum Erzeugen eines Labelobjekts zur symbolischen Beschreibung eines Objekts eines Umfelds eines mobilen Gerätes, z.B. eines Roboters oder Fahrzeugs. Das Labelobjekt (620) umfasst mindestens ein Attribut eines Objekts (120) zu einem ersten Zeitpunkt (t1), aus Beobachtungen (420) dieses Objekts (120). Das Verfahren weist folgende Schritte auf:- Auswählen, aus den Beobachtungen (420), einer ersten, zu dem ersten Zeitpunkt (t1) erfassten Beobachtung (421), einer zweiten, zu einem zweiten Zeitpunkt (t2) erfassten Beobachtung (422), wobei der zweite Zeitpunkt (t2) ein Zeitpunkt vor dem ersten Zeitpunkt (t1) ist, sowie einer dritten, zu einem dritten Zeitpunkt (t3) erfassten Beobachtung (423), wobei der dritte Zeitpunkt (t3) ein Zeitpunkt nach dem ersten Zeitpunkt (t1) ist;- Ermitteln, unter Heranziehung der ausgewählten Beobachtungen (421, 422, 423) des mindestens einen Attributs des Objekts (120).

Description

Die vorliegende Erfindung betrifft ein Verfahren und ein Labellingsystem zum Erzeugen eines Labelobjekts zur symbolischen Beschreibung eines Objekts eines Umfelds, oder einer Umgebung, eines mobilen Gerätes, z.B. eines Roboters oder eines Fahrzeugs, insbesondere eines zumindest teilweise automatisiert beweglichen mobilen Gerätes. Weiterhin betrifft die Erfindung ein Programmelement, ein computerlesbares Medium und eine Verwendung.
Stand der Technik
Für ein mobiles Gerät, z.B. für einen Roboter oder ein Fahrzeug, kann eine symbolische Beschreibung eines Objekts, oder einer Vielzahl von Objekten, eines Umfelds oder einer Umgebung des mobilen Gerätes wichtig sein. Zur symbolischen Beschreibung des Objekts wird das Objekt z.B. von einer Kamera erfasst und, z.B. durch menschliche Bearbeiter, z.B. anhand von Bilddaten der Umgebung des Fahrzeugs, mit Attributen versehen. Beispielsweise kann ein erstes erfasstes Objekt attributiert werden als ein „Haus mit einer bestimmten Farbe“, oder ein zweites erfasstes Objekt kann attributiert werden als „Fahrzeug mit einer bestimmten Geschwindigkeit“. Dieser Vorgang wird auch als „Labelling“ des Objekts bezeichnet. Das erfasste und „gelabelte“ Objekt kann als „Labelobjekt“ bezeichnet werden. Diese manuellen Verfahren können allerdings zeit- und kostenaufwändig sein.
Offenbarung der Erfindung
Ein Aspekt der Erfindung betrifft ein Verfahren zum Erzeugen eines Labelobjekts, welches mindestens ein Attribut eines Objekts zu einem ersten Zeitpunkt umfasst, aus Beobachtungen dieses Objekts, mit den Schritten:

- Auswählen, aus den Beobachtungen, einer ersten, zu dem ersten Zeitpunkt erfassten Beobachtung, einer zweiten, zu einem zweiten Zeitpunkt erfassten Beobachtung, wobei der zweite Zeitpunkt ein Zeitpunkt vor dem ersten Zeitpunkt ist, sowie einer dritten, zu einem dritten Zeitpunkt erfassten Beobachtung, wobei der dritte Zeitpunkt ein Zeitpunkt nach dem ersten Zeitpunkt ist;
- Ermitteln, unter Heranziehung der ausgewählten Beobachtungen, z.B. mittels eines Labellingmoduls, des mindestens einen Attributs des Objekts.

Das Labelobjekt verknüpft eine Beobachtung mit einem Label. Ein Label umfasst eine symbolische, insbesondere zeitabhängige, Beschreibung des statischen und/oder dynamischen Objekts. Das Labelobjekt kann als Darstellung eines Objekts in einer Umgebung eines mobilen Gerätes, z.B. eines Roboters oder eines zumindest teilweise automatisiert fahrenden Fahrzeugs, betrachtet werden. Ein Objekt der Umgebung, d.h. gewissermaßen der „realen Welt“, kann beispielsweise ein Haus, ein Baum, ein anderes Fahrzeug, eine Fahrbahn, eine Leitplanke und/oder ein anderes Objekt sein. Ein Attribut kann z.B. „Haus“, „Baum“, „Fahrzeug“ sein; das Attribut kann z.B. eine Farbe umfassen und/oder das Attribut „statisches“ oder „dynamisches“ Labelobjekt. Des Weiteren können sich die Label auch auf regulatorische Elemente beziehen, wie z.B. auf Zufahrtsbeschränkungen oder Geschwindigkeitsbegrenzungen.
Statische Label beschreiben die statischen Objekte mit ihren Attributen. Ein statisches Objekt ist dabei ein Objekt mit Geschwindigkeit Null, z.B. ein Haus, ein Baum, eine Leitplanke, ein Verkehrszeichen, eine Landmarke oder auch eine sog. Ground Plane (befahrbares und nicht befahrbares Bodenprofil). Ein dynamisches oder bewegliches Objekt kann eine Geschwindigkeit verschieden von Null aufweisen, z.B. andere Verkehrsteilnehmer, wie Personen oder andere Fahrzeuge. Das dynamische Objekt kann zeitabhängige Zustände aufweisen; es kann beispielsweise durch Trajektorien beschrieben werden. Die Label der dynamischen Objekte beschreiben die dynamischen Objekte mit ihren Attributen, zum Beispiel Position, Geschwindigkeit, Beschleunigung, Orientierung, etc. Ein dynamisches Objekt kann ein anderes Objekt in einem Raum, z.B. ein anderer Verkehrsteilnehmer sein, beispielsweise eine Person P an dem Ort s (z.B. in x/y-Koordinaten), mit Geschwindigkeit v, Beschleunigung a und Orientierung w.
Ein Roboter kann z.B. ein Räumfahrzeug, ein Rasenmäher, ein Agrargerät sein. Ein Fahrzeug kann ein Landfahrzeug sein, es kann insbesondere ein Personenkraftwagen, ein Transporter, ein Lastwagen, ein landgebundenes Spezialfahrzeug oder ein Amphibienfahrzeug sein.
Die Beobachtungen können beispielsweise mittels eines oder mehrerer Sensoren erfasst worden sein. Der oder die Sensoren kann bzw. können von einem Sensortyp oder von mehreren Sensortypen sein bzw. unterschiedliche oder gleiche Kontrastmechanismen verwenden, beispielsweise von einer Kamera und/oder von einem Radarsensor. Die Sensoren können insbesondere Sensoren eines mobilen Gerätes sein. Das Objekt wird von dem Sensor erfasst und, z.B. in einem Speicher eines Steuerungssystems, als die Beobachtung gespeichert. Der Speicher kann dabei in dem mobilen Gerät, z.B. innerhalb des Roboters oder Fahrzeugs, angeordnet sein, der Speicher kann außerhalb des mobilen Gerätes - z.B. auf einem Server oder einem anderen Fahrzeug - angeordnet seine oder auch auf mehrere Speicher innerhalb und außerhalb des mobilen Gerätes aufgeteilt sein. In diesem Speicher kann die erfasste Umgebung des mobilen Gerätes, z.B. eines eigenen Fahrzeugs („Ego-Fahrzeug“), als eine Sequenz von Beobachtungen gespeichert werden, wobei je nach verwendeter Sensormodalität unterschiedliche Attribute gespeichert werden können. Jedes Element der Sequenz von Beobachtungen kann dabei einen Zeitstempel aufweisen. Im Fall einer Kamera kann die Beobachtung z.B. unverarbeitet als Rohbild („raw image“) oder nach einer Vorverarbeitung, z.B. mittels eines Entzerrers, gespeichert werden.
Die Beobachtung umfasst dabei mindestens eine erste Beobachtung, eine zweite Beobachtung und eine dritte Beobachtung. Die erste Beobachtung wird dabei zu einem ersten Zeitpunkt erfasst. Der erste Zeitpunkt kann dabei z.B. die reale Gegenwart sein. Der erste Zeitpunkt kann, insbesondere bei einer Offline-Bearbeitung, z.B. mit einer Vielzahl von Beobachtungen, ein Zeitpunkt sein, der vor der realen Gegenwart liegt und, z.B. in Form einer Datei, gespeichert wurde. Der erste Zeitpunkt kann in diesem Fall als Referenz-Zeitpunkt - gewissermaßen als „Gegenwart für diese Messung“, d.h. während der Erfassung des Objekts - definiert werden.
Der zweite Zeitpunkt ist ein Zeitpunkt vor dem ersten Zeitpunkt, er liegt also in Bezug auf die erste Beobachtung in der Vergangenheit. Dabei kann der zweite Zeitpunkt Tage, Stunden, Minuten, Sekunden oder nur einen Bruchteil einer Sekunde vor dem ersten Zeitpunkt liegen. Der zweite Zeitpunkt kann - z.B. im Fall einer Kamera und/oder eines Radarsensors, also bei Geräten, die mehrere Bilder pro Sekunde aufnehmen können - der Zeitpunkt sein, an dem das Vorgänger-„Bild“ aufgenommen wurde. Es kann sich auch um eine Sequenz von Bildern handeln, d.h. der zweite Zeitpunkt kann mehrere Zeitpunkte umfassen.
Der dritte Zeitpunkt ist ein Zeitpunkt nach dem ersten Zeitpunkt, d.h. der dritte Zeitpunkt liegt in Bezug auf die erste Beobachtung in der Zukunft. Wenn der erste Zeitpunkt z.B. in der realen Gegenwart liegt, dann kann die dritte Beobachtung beispielsweise von einem Prognosesystem gebildet werden. Im Falle einer Offline-Bearbeitung, z.B. mit einer Vielzahl von Beobachtungen, kann dies, im Vergleich zum ersten Zeitpunkt, ein späterer Zeitpunkt sein. Der dritte Zeitpunkt kann Tage, Stunden, Minuten, Sekunden oder nur einen Bruchteil einer Sekunde vor dem ersten Zeitpunkt liegen. Der dritte Zeitpunkt kann mit der gleichen zeitlichen Entfernung wie der zweite Zeitpunkt von dem ersten Zeitpunkt entfernt sein. Der dritte Zeitpunkt kann mehrere Zeitpunkte umfassen und z.B. eine Sequenz von Zeitpunkten umfassen. Die Zeitpunkte können äquidistante, dynamisch konfigurierte und/oder dynamisch konfigurierbare Zeitabstände aufweisen.
Das Labellingmodul ermittelt unter Heranziehung der ausgewählten Beobachtungen das mindestens eine Attribut des Objekts. Die Beobachtung oder die Vielzahl von Beobachtungen wird gelegentlich als ungelabelte Stichprobe bezeichnet. Die Beobachtung oder die Vielzahl von Beobachtungen mit jeweils mindestens einem Attribut wird gelegentlich als gelabelte Stichprobe bezeichnet. Die gelabelte Stichprobe bezeichnet also eine Vielzahl von aufgezeichneten oder gespeicherten Beobachtungen. Die gelabelte Stichprobe kann eine symbolische Beschreibung des Fahrzeugumfelds umfassen. Diese Ermitteln von Attributen kann z.B. dadurch geschehen, dass zu der Vielzahl von Beobachtungen ein einzelnes oder eine Vielzahl von Objekt-Attributen (Label) hinzugefügt werden. Dadurch können symbolische, abstrahierte Attribute der Objekte generiert werden. Dabei bestimmt das Labellingmodul die Objekte und deren Attribute, beispielsweise indem die Beobachtung mit einem oder mehreren Mustererkennungsalgorithmen und Multi-Target-Tracking-Algorithmen verarbeitet werden. Das Ermitteln verwendet dabei die erste Beobachtung, die zweite Beobachtung und die dritte Beobachtung, betrachtet also gewissermaßen Gegenwart, Vergangenheit und Zukunft der Beobachtung. Dies wird gelegentlich als eine holistische Verarbeitung der Beobachtung bezeichnet. Bei der holistischen Verarbeitung werden also die zu einem bestimmten Zeitpunkt gehörigen Labels automatisch generiert, indem Beobachtungen vor, bei und nach diesem Zeitpunkt herangezogen werden. Durch die holistische Verarbeitung der Beobachtung kann eine besonders hohe Genauigkeit und Zuverlässigkeit der Labels erzielt werden. Insbesondere hat sich gezeigt, dass die erzielbare Genauigkeit und Zuverlässigkeit der auf diese Weise generierten Labels in vielen Fällen höher ist als bei Verwendung von anderen algorithmischen Verfahren, die nur die Beobachtung vor und zum Zeitpunkt der Erfassung berücksichtigen, nicht jedoch nach dem Zeitpunkt, wie dies bei der vorliegenden Erfindung der Fall ist.
Die Label werden auch als Referenz-Label oder Ground-Truth-Label bezeichnet. Die Label beziehen sich dabei auf ein oder mehrere Objekte in einer Umgebung, d.h. in der realen Welt. Das Objekt (oder die Objekte) kann ein statisches Objekt oder ein dynamisches Objekt sein. Die Referenz-Label oder Ground-Truth-Label können beispielsweise zum Trainieren von Vorrichtungen eingesetzt werden, die maschinelle Lernverfahren verwenden.
Das Verfahren kann für ein Offline-Labelling, aber auch für ein Online-Labelling verwendet werden. Für das Online-Labelling könnte eine Variante verwendet werden, welche Spezifika der Online-Bearbeitung und/oder der Bearbeitung in mobilen Geräten, z.B. einem netzunabhängigen Roboter oder einem Fahrzeug, berücksichtigt, wie z.B. beschränkte Rechenzeit und/oder Speicherplatz.
In einer Ausführungsform setzt sich jede der Beobachtungen aus Einzelbeobachtungen, insbesondere aus einer Vielzahl von Einzelbeobachtungen, zusammen, und dabei sind diese Einzelbeobachtungen jeweils mit unterschiedlichen Kontrastmechanismen erfasst. Die Einzelbeobachtungen können beispielsweise mit einer Vielzahl von Sensoren oder Einzelsensoren erfasst werden. Die unterschiedlichen Kontrastmechanismen können beispielsweise mit unterschiedlichen Typen von Sensoren erfasst werden. Eine Beobachtung, die eine Vielzahl von Sensortypen verwendet, wird gelegentlich als „multimodal“ bezeichnet. Die unterschiedlichen Kontrastmechanismen können z.B. mit demselben Sensortyp, der eine unterschiedliche Vor- und/oder Nachbearbeitung aufweist, erfasst werden. Beispiele können verschiedene Vorsatzelemente, bei Kameras z.B. verschiedene Linsen, sein oder verschiedene Filter und/oder Algorithmen zur Nachbearbeitung. Damit können z.B. sensormodalitätsspezifische Messungen, wie zum Beispiel Pixel-Werte, Positionsmessungen, Messungen von Geschwindigkeitskomponenten, etc., durchgeführt werden.
Diese Einzelbeobachtungen können auch jeweils mit dem gleichen Kontrastmechanismus und mit Sensoren unterschiedlicher qualitativer Wertigkeit erfasst werden. Beispielsweise können Standard-Sensoren zusammen mit sog. Referenz-Sensoren verwendet werden. Ein Referenz-Sensor kann dabei eine höhere Qualität aufweisen, z.B. in Hinsicht auf Hinsicht auf einen höheren Rauschabstand, eine höhere Abbildungsgenauigkeit und/oder eine höhere räumliche oder zeitliche Auflösung. Ein Referenz-Sensor kann ein geeichter Sensor sein. Es kann sich dabei um einen oder mehrere Sensoren handeln, die zusätzlich zu den - in einer Ausführungsform multimodalen - Sensoren, die für die automatisierten Fahrfunktionen genutzt wird, in dem Fahrzeug oder in Verbindung mit dem Fahrzeug angeordnet sind. Diese zusätzlichen Referenzsensoren können die Genauigkeit der holistisch generierten Labels verbessern, indem die zusätzlichen Sensordaten mit den Daten des Standard-Sensorsets fusioniert werden. Die Referenzsensoren verfügen über eine Genauigkeit und Reichweite, die mindestens genauso gut ist, in einigen Fällen dediziert besser ist, als die Genauigkeit und/oder Reichweite des Standard-Sensorsets. Die Referenz-Sensoren können zur Überprüfung der Standard-Sensoren verwendet werden.
In einer Ausführungsform werden die Einzelbeobachtungen jeweils zu den Beobachtungen fusioniert, bevor diese Beobachtungen wiederum zur Ermittlung des Attributs des Objekts herangezogen werden. Dabei werden die Daten von unterschiedlichen Sensoren und/oder unterschiedlichen Sensortypen fusioniert. Beispielsweise können die Daten, die von einer Kamera und einem Radar-Sensor geliefert werden, semantisch in einer Weise verbunden werden, dass diese zum dem gleichen Objekt assoziiert werden, so dass die Schätzung der Attribute dieses Objekts auf den Informationen der unterschiedlichen Sensoren basiert. Die Label, welche die Objekte definieren, können für jeden einzelnen der multimodalen Sensoren (wie zum Beispiel Radar, Lidar oder Kameradaten) genutzt werden oder auch für eine Kombination mehrerer Sensortypen. Dies kann für Anwendungen wie zum Beispiel Evaluierung und Validierung oder auch für maschinelle Lernverfahren genutzt werden.
In einer Ausführungsform umfasst das Klassifizieren einen Vergleich der ersten Beobachtung mit der zweiten Beobachtung und/oder der dritten Beobachtung.
In einer Ausführungsform umfasst das Ermitteln einen Schritt des Klassifizierens bzw. einer Regressionsanalyse, wobei das Klassifizieren bzw. die Regressionsanalyse eine Typ-Klassifikation des gebildeten Labelobjekts, und/oder eine Status-Klassifikation des gebildeten Labelobjekts bzw. eine Regressionsanalyse des Status des gebildeten Labelobjekts umfasst. Die Typ-Klassifikation wird gelegentlich auch als „object type classification“ bezeichnet. Die Typ-Klassifikation kann beispielsweise Attribute wie „Haus“, „Fahrzeug“, „gelb“, „reflektierend“, etc. umfassen. Die Status-Klassifikation wird gelegentlich auch als „state type classification“ bezeichnet. Die Status-Klassifikation kann z.B. Attribute wie „statisch“ oder „dynamisch“ umfassen. Es können auch weitere Arten der Klassifikation der Beobachtung verwendet werden.
In einer Ausführungsform umfasst die Status-Klassifikation eine Klassifikation des Labelobjekts als ein statisches Labelobjekt oder als ein dynamisches Labelobjekt. Das statische Labelobjekt kann z.B. ein Haus sein, eine Leitplanke oder ein geparktes Fahrzeug. Das dynamische Labelobjekt kann z.B. ein bewegtes Fahrrad oder ein bewegtes Fahrzeug sein. Die Status-Klassifikation kann mittels einer Vielzahl von Methoden erfolgen. Eine dieser Methoden kann beispielsweise eine Differenzanalyse, z.B. zwischen der ersten, der zweiten und der dritten Beobachtung, oder eine modellbasierte Verarbeitung umfassen. Dabei klassifiziert das Labellingsystem, mittels der Differenzanalyse assoziierter Messungen oder mittels der modellbasierten Verarbeitung, die Beobachtung als ein statisches Labelobjekt, wenn keine Ortsveränderung analysiert wird. Das Labellingsystem klassifiziert eine Beobachtung als dynamisches Labelobjekt, z.B. wenn die Differenzanalyse eine Ortsveränderung analysiert, d.h. wenn die Ortsveränderung der Sensor-Messung nicht ausschließlich durch die Bewegung des eigenen mobilen Gerätes verursacht wurde. Ein statisches Labelobjekt kann ein Update der Klassifizierung erfahren. So kann z.B. ein geparktes Fahrzeug, das als statisches Labelobjekt klassifiziert wurde, sich bewegen; in diesem Fall wird dasselbe Fahrzeug als dynamisches Labelobjekt um-klassifiziert. Wenn ein Fahrzeug, das als dynamisches Labelobjekt klassifiziert wurde, steht, bleibt es jedoch ein dynamisches Labelobjekt, allerdings mit dem Attribut „Geschwindigkeit = Null“.
Das Labellingsystem klassifiziert das Labelobjekt als ein Störobjekt, wenn die Differenzanalyse ein Verschwinden oder ungerechtfertigtes Auftauchen des Speicherobjekts analysiert. Das Störobjekt kann beispielsweise ein temporäres Artefakt (auch „ghost“ genannt) sein, für das es keine Entsprechung in der realen Welt gibt. Die Klassifizierung als statisches, dynamisches oder Clutter-Labelobjekt bildet einen Teil der Attribute des Labelobjekts.
In einer Ausführungsform ist das Labellingsystem weiterhin dazu eingerichtet, die Sequenz von Labeln (Objektattributen) und/oder Beobachtungen mittels einer weiteren Differenzanalyse zu analysieren und/oder Assoziationen von Beobachtungen zu mittels Labels repräsentierter Objekte zu generieren. Die Assoziationen von Messungen zu Objekten können auch zusätzlich in Form von weiteren Labels zur gelabelten Stichprobe hinzugefügt werden, die aus der ungelabelten Stichprobe automatisch erzeugt wird. Die weitere Differenzanalyse und/oder Assoziationsgenerierung kann eine längere Sequenz von Messungen und/oder Labeln umfassen als die (erste) Differenzanalyse. Die weitere Differenzanalyse/Assoziation kann auch von holistischer Verarbeitung profitieren, indem die Schätzung der Attribute zu einem bestimmten Zeitpunkt und/oder die Assoziationen zu diesem Zeitpunkt die Sensordaten vor, bei und nach diesem Zeitpunkt einbezieht. Die weitere Differenzanalyse oder Assoziation kann auch als ein iterativer Prozess realisiert sein. Dabei wird der iterative Prozess beendet, wenn die in der Iteration berechneten Werte - z.B. für bestimmte Attribute - und/oder die Assoziation von Sensor-Messungen zu mittels der Label repräsentierten Objekten konvergieren. Dies kann beispielsweise genutzt werden, um bei Mehrdeutigkeiten in den Beobachtungen zunächst mehrere mögliche Hypothesen zu generieren, die in nachfolgenden Verarbeitungsschritten gegeneinander abgewogen und plausibilisiert, bzw. de-plausibilisiert werden. Dies kann die Genauigkeit der Überführung der Messdaten in eine gelabelte Stichprobe verbessern. In einer Ausführungsform kann der iterative Prozess für die Schätzung von Objektattributen für einen bestimmten Zeitpunkt Sensordaten vor, bei und nach diesem Zeitpunkt verwenden, d.h. eine holistische Verarbeitung kann durchgeführt werden. In einer Ausführungsform (z.B. der Offline-Bearbeitung) muss der iterative Prozess keine Echtzeitbedingungen erfüllen und kann daher verhältnismäßig zeit- und rechenintensiv sein. Der iterative Prozess kann beispielsweise auf einem Server oder einem anderen besonders leistungsfähigen Prozessorsystem ausgeführt werden. Die Ergebnisse des iterativen Prozesses können anschließend einem Prozessorsystem in einem mobilen Gerät zur Verfügung gestellt werden, welches - zumindest in einigen Fällen - weniger Rechenleistung aufweist.
In einer Ausführungsform umfasst das Klassifizieren die Verwendung eines Modells. Dabei können Modelle für die Typ-Klassifikation und/oder für die Status-Klassifikation verwendet werden. So können beispielsweise Modelle für ein Haus oder ein Fahrzeug verwendet werden. Es können auch miteinander interagierende Bewegungsmodelle verwendet werden, z.B. ein sogenanntes Interacting Multiple Model (IMM). Bei dem Modell kann es sich um ein anhand von Trainingsdaten trainiertes Modell handeln. Die Trainingsdaten stellen in diesem Fall eine Stichprobe von aufgezeichneten und gelabelten Sensordaten dar. Beispielsweise kann das Modell die bedingte statistische Verteilung der Sensordaten oder die bedingte statistische Verteilung von aus den Sensordaten extrahierten Merkmalen in Abhängigkeit des zu klassifizierenden bzw. per Regressionsanalyse zu bestimmenden Typs oder Status darstellen. Die bedingte Verteilung wird aus den Trainingsdaten geschätzt.
In einer Ausführungsform umfasst das Klassifizieren die Verwendung eines künstlichen neuronalen Netzes. Dabei wird das künstliche neuronale Netz beispielsweise mit einer Reihe von klassifizierten Labelobjekten geschult, z.B. mit verschiedenen Typen von bewegten und unbewegten Fahrzeugen, Fußgängern, Häusern, Leitplanken, etc. Die Genauigkeit der klassifizierten Labelobjekte kann anschließend mit weiteren Methoden weiter verbessert werden.
In einer Ausführungsform umfasst das Klassifizieren die Verwendung eines Bayesschen Filters, z.B. eines Kalman-Filters. Dabei kann der Bayessche Filter oder der Kalman-Filter z.B. zur Schätzung der Objektattribute verwendet werden. Dadurch können insbesondere Fehler, die sich in einer erratischen Dynamik in der Sequenz von Sensor-Messungen bemerkbar machen, reduziert werden. Zur weiteren Steigerung der Genauigkeit der Beschreibung des zeitlichen Verhaltens können miteinander interagierende Bewegungsmodelle verwendet werden, z.B. ein sogenanntes Interacting Multiple Model (IMM).
In einer Ausführungsform umfasst das Klassifizieren bzw. die Regressionsanalyse die Verwendung eines Bayesschen Glätters (Bayesian Smoother), insbesondere eines Bayesscher Glätters für feste Intervalle (Fixed Interval Bayesian Smoother). In einer Ausführungsform kann ein Rauch-Tung-Striebel-Filter (RTS-Filter) zur Schätzung der Objektattribute verwendet werden. Damit kann das System von höherer Schätzgenauigkeit aufgrund der holistischen Verarbeitung profitieren, weil in diesem Fall in die Schätzung der für einen bestimmten Zeitpunkt gültigen Attribute Messungen vor, zu und nach diesem Zeitpunkt einfließen.
In einer Ausführungsform umfasst das Klassifizieren die Verwendung einer graphbasierten Optimierung. Dabei stellen die Knoten des Graphen Objektattribute (Labels) und dessen Kanten Beobachtungen und physikalische Restriktionen bzw. Bewegungsmodelle der dynamischen Objekte dar. Der Graph definiert eine Fehlerfunktion, welche von den Messdaten, den Objektattributen, den Sensormodellen und den Bewegungsmodellen abhängt. Mittels einer iterativen Optimierung wird der Gesamtfehler des Graphen, der sich aus der Summe der Fehler pro Kante ergibt, minimiert, indem im Zustandsraum der Objektattribute in den Knoten die optimale Lösung gefunden wird. Es handelt sich hierbei um eine holistische Optimierung, weil sich jeder der in einen Graphen einfließenden Messwerte auf alle zu optimierenden Parameter (Attribute) des Graphen auswirken kann.
In einer Ausführungsform umfasst das Klassifizieren und/oder die Regressionsanalyse folgende Schritte:

- Erzeugen eines vorläufigen statischen Labelobjekts, eines vorläufigen dynamischen Labelobjekts oder eines vorläufigen Clutter-Labelobjekts;
- Assoziierung einer Beobachtung zu einem vorläufigen Labelobjekt und hierauf basierend Festlegung, dass die der Beobachung zu Grunde liegende Messung eine statische Messung, eine dynamische Messung, oder eine Clutter-Messung ist;
- Verfeinerung der Typen und Attribute der vorläufigen statischen und/oder dynamischen Labelobjekte anhand der jeweils damit assoziierten Beobachtungen;
- Bewerten des vorläufigen statischen Labelobjekts oder des vorläufigen dynamischen Labelobjekts anhand eines Gütemaßes und/oder Qualitätsmaßes;
- in Antwort darauf, dass das Gütemaß und/oder Qualitätsmaß einen vorgegebenen Schwellwert unterschreitet, Zurückverzweigen zur Assoziierung;
- in Antwort darauf, dass das Gütemaß und/oder Qualitätsmaß den vorgegebenen Schwellwert erreicht oder überschreitet, Erzeugen eines endgültigen Labelobjekts unter Heranziehung des vorläufigen statischen Labelobjekts oder des vorläufigen dynamischen Labelobjekts.

Diese Schritte können auch iterativ mit einer Anzahl von Iterationen durchgeführt werden. Die Anzahl der Iterationen kann als eine vordefinierte Anzahl bestimmt sein. Die Anzahl der Iterationen, bzw. das Ende des iterativen Verfahrens, kann durch ein Abbruch-Kriterium definiert sein. Das Abbruch-Kriterium kann z.B. von einem Qualitäts-Kriterium abgeleitet sein, z.B. von einer Entfernungsschätzung zu einem Objekt, wenn eine erste Entfernungsschätzung zu einer zweiten Entfernungsschätzung eine Abweichung von kleiner 30 cm ergibt.
In einer Ausführungsform umfasst das Heranziehen der ersten Beobachtung einen Abgleich der ersten Beobachtung mit einer Liste von Beispielobjekten. Dabei kann das Labellingmodul bei der Verarbeitung der Sensor-Messungen auf Beispielobjekten, z.B. auf Modelle, zugreifen, die in einem Modell-Speicher abgelegt sind. Bei den Modellen kann es sich um sensormodalitätsspezifische Modelle handeln, also zum Beispiel kann es ein Modell für die Verarbeitung bzw. Erkennung der Kamera-Bilder und ein davon unabhängiges Modell zur Verarbeitung bzw. Erkennung der Radar-Messwerte geben. Zusätzlich kann es Modelle für die Fusion der Sensordaten geben. Außerdem kann es Modelle geben, um das zeitliche Verhalten von dynamischen Objekten zu beschreiben und dadurch das Tracking der Objekte zu ermöglichen oder zu verbessern (Bewegungsmodelle). Bei den Modellen kann es sich um anhand von Trainingsdaten erzeugten Modellen handeln, oder es kann sich um manuell definierte Modelle mit anhand physikalischer Zusammenhänge definierter Parameter oder aufgrund von Erfahrungswerten optimierter Parameter handeln. Bei den automatisch trainierten Modellen kann es sich um mit künstliche Neuronalen Netzen trainierte, zum Beispiel mit sogenannten Deep Neural Networks trainierte, Modelle handeln. Durch die Verwendung einer Liste von Beispielobjekten können z.B. weitere Attribute, beispielsweise Attribute der Typ-Klassifikation, den Attributen des Labelobjekts hinzugefügt werden.
Ein weiterer Aspekt der Erfindung betrifft ein Labellingsystem zum Erzeugen eines Labelobjekts, welches mindestens ein Attribut eines Objekts zu einem ersten Zeitpunkt umfasst, aus Beobachtungen dieses Objekts, das Labellingsystem aufweisend:

einen Speicher, der dazu eingerichtet ist, die Beobachtungen zu speichern,
wobei die Beobachtungen umfassen:
- eine erste, zu dem ersten Zeitpunkt erfasste Beobachtung,
- eine zweite, zu einem zweiten Zeitpunkt erfasste Beobachtung, wobei der zweite Zeitpunkt ein Zeitpunkt vor dem ersten Zeitpunkt ist, sowie
- eine dritte, zu einem dritten Zeitpunkt erfasste Beobachtung, wobei der dritte Zeitpunkt ein Zeitpunkt nach dem ersten Zeitpunkt ist;
- ein Labellingmodul, das dazu eingerichtet ist, unter Heranziehung der ausgewählten Beobachtungen das mindestens eine Attribut des Objekts zu ermitteln.

In einer Ausführungsform setzt sich jede der Beobachtungen aus Einzelbeobachtungen zusammen, und dabei sind diese Einzelbeobachtungen jeweils mit unterschiedlichen Kontrastmechanismen erfasst.
In einer Ausführungsform setzt sich jede der Beobachtungen aus Einzelbeobachtungen zusammen, und dabei sind diese Einzelbeobachtungen jeweils mit dem gleichen Kontrastmechanismus und mit Sensoren unterschiedlicher qualitativer Wertigkeit erfasst.
In einer Ausführungsform werden die Einzelbeobachtungen jeweils zu den Beobachtungen fusioniert, bevor diese Beobachtungen wiederum zur Ermittlung des Attributs des Objekts herangezogen werden.
In einer Ausführungsform umfasst das Ermitteln einen Schritt des Klassifizierens bzw. einer Regressionsanalyse, wobei das Klassifizieren bzw. die Regressionsanalyse eine Typ-Klassifikation des gebildeten Labelobjekts, und/oder eine Status-Klassifikation des gebildeten Labelobjekts bzw. eine Regressionsanalyse des Status des gebildeten Labelobjekts umfasst.
In einer Ausführungsform umfasst die Status-Klassifikation eine Klassifikation des Labelobjekts als ein statisches Labelobjekt oder als ein dynamisches Labelobjekt.
In einer Ausführungsform umfasst das Klassifizieren einen Vergleich der ersten Beobachtung mit der zweiten Beobachtung und/oder der dritten Beobachtung.
In einer Ausführungsform umfasst das Klassifizieren bzw. die Regressionsanalyse die Verwendung eines Modells, und/oder die Verwendung eines künstlichen neuronalen Netzes, und/oder die Verwendung eines Bayesschen Filters, und/oder die Verwendung eines Bayesschen Glätters umfasst, und/oder die Verwendung einer graphbasierten Optimierung.
In einer Ausführungsform ist der Speicher in dem mobilen Gerät, also beispielsweise innerhalb des Roboters oder des Fahrzeugs und/oder verbunden mit dem Roboter oder dem Fahrzeug, und das Labellingmodul auf einem Server außerhalb des mobilen Gerätes angeordnet. Dabei können auch die Listen für Modelle und Objektattribute auf einem Server außerhalb des mobilen Gerätes angeordnet sein. So können bei dieser Ausführungsform die in dem mobilen Gerät gemessenen Sensordaten auf einem persistenten Speichermedium während der Fahrt gespeichert und nach Abschluss der Fahrt auf einem Server-Computer oder auf einen Server-Cluster außerhalb des mobilen Gerätes übertragen werden. Das Erzeugen der Label erfolgt auf diesem Server-Computer oder Server-Cluster. Dabei kann das Labellingsystem Server-Hardware nutzen, die eine höhere Leistungsfähigkeit hat als die Hardware, die üblicherweise in einem mobilen Gerät zur Verfügung steht. Dies erlaubt die Nutzung von Algorithmen, die aufgrund der Anforderungen an die Rechenleistung und Speicherkapazität in einem mobilen Gerät nicht einsetzbar sind, und aufgrund dessen eine höhere Genauigkeit und Zuverlässigkeit der generierten Labels erreichen. Dadurch ist es unter anderem möglich, auch maschinelle Lernverfahren einzusetzen, die basierend auf einer Modalität oder einer Kombination unterschiedlicher Modalitäten und mittels einer holistischen Verarbeitung der Sensordaten zusätzliche Informationen generieren, die zur Erhöhung der Genauigkeit für die automatische Generierung der Referenz-Labels berücksichtigt werden, oder direkt die Referenz-Labels erzeugen.
In einer Ausführungsform ist der Speicher in einer Cloud und das Labellingmodul auf einem Server außerhalb des mobilen Gerätes angeordnet. Auch die Liste der Modell-Parameter und Objekt-Attribute kann auf einem Server außerhalb des mobilen Gerätes angeordnet sein. Dabei können die in dem mobilen Gerät gemessenen Sensordaten z.B. über eine drahtlose Internetanbindung während der Fahrt auf einen Server-Computer oder auf einen Server-Cluster außerhalb des mobilen Gerätes übertragen werden. Das Erzeugen der Label erfolgt auf diesem Server-Computer, einem Server-Cluster, oder in einer Cloud.
In einer Ausführungsform sind der Speicher und das Labellingmodul in dem mobilen Gerät angeordnet. Auch können der Speicher und die Listen in dem mobilen Gerät angeordnet sein. In einer Ausführungsform enthält die Liste in dem mobilen Gerät eine echte Untermenge der Modelle auf dem Server. Dabei wird, um der - gegenüber einem Server - geringeren Rechenleistung und/oder Speicherkapazität von Prozessorsystemen, wie sie oft in mobilen Geräten verwendet werden, Rechnung zu tragen, eine Auswahl aus den gemessenen Daten getroffen, so dass nur für einen Teil der gemessenen Daten Referenz-Labels automatisch generiert werden.
Ein weiterer Aspekt der vorliegenden Erfindung betrifft einen Roboter oder ein Fahrzeug, insbesondere ein zumindest teilweise automatisiert fahrendes Fahrzeug, mit einem Labellingsystem, wie es oben und/oder nachfolgend beschrieben ist.
Ein weiterer Aspekt der vorliegenden Erfindung umfasst ein Programmelement, welches, wenn es auf einer Prozessoreinheit ausgeführt wird, dazu eingerichtet ist, eines der genannten Verfahren durchzuführen.
Ein weiterer Aspekt der vorliegenden Erfindung umfasst ein computerlesbares Medium, auf dem das genannte Programmelement gespeichert ist.
Ein weiterer Aspekt der Erfindung betrifft eine Verwendung eines Labellingsystems wie oben beschrieben für die Erzeugung einer gelabelten Stichprobe, insbesondere zur Verwendung für die Entwicklung eines zumindest teilweise automatisiert fahrenden Fahrzeugs.
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
Figurenliste
Es zeigt:

1 schematisch ein System gemäß einer Ausführungsform der vorliegenden Erfindung;
2 schematisch ein Zeitdiagramm für das Erfassen der Einzelbeobachtungen gemäß einer Ausführungsform der vorliegenden Erfindung;
3 schematisch einen Teil eines Labellingsystems gemäß einer Ausführungsform der vorliegenden Erfindung;
4 schematisch einen Teil des Labellingsystems gemäß einer weiteren Ausführungsform der vorliegenden Erfindung;
5 schematisch eine Konstellation eines Systems gemäß einer Ausführungsform der vorliegenden Erfindung;
6 schematisch eine weitere Konstellation eines Systems gemäß einer Ausführungsform der vorliegenden Erfindung;
7 schematisch eine weitere Konstellation eines Systems gemäß einer Ausführungsform der vorliegenden Erfindung;
8 ein Verfahren gemäß einer Ausführungsform der vorliegenden Erfindung.

1 zeigt schematisch ein System mit einem Labellingsystem 200 gemäß einer Ausführungsform der vorliegenden Erfindung. Das Labellingsystem 200 ist an ein Sensorset 300 angeschlossen, das eine Vielzahl von Einzelsensoren 301, 302 aufweist. Die Einzelsensoren 301, 302 können unterschiedliche Kontrastmechanismen aufweisen bzw. verwenden. Dabei ist in der gezeigten Ausführungsform ein erster Einzelsensor 301 als eine Kamera ausgeführt (durch eine Linse schematisch angedeutet) und der zweite Einzelsensor 302 ist als ein Radar-Sensor ausgeführt; also ist der zweite Einzelsensor 302 von einem anderen Sensortyp als der Einzelsensor 301 und verwendet unterschiedliche Kontrastmechanismen. Das Sensorset 300 ist dazu eingerichtet, Roh-Messwerte eines Objekts 120 in einer Umgebung oder einem Umfeld 100 zu erfassen und über die Leitung oder das Interface 310 an einen Speicher 400 zu übertragen. Worum es sich bei den Roh-Messwerten handelt, ist sensorspezifisch; es kann sich zum Beispiel um Pixel-Werte, Positionsdaten (z.B. Radar-Locations) oder auch bestimmte Attribute eines Objekts (z.B. eine Geschwindigkeitskomponente) usw. handeln. Im Allgemeinen werden nicht nur Messwerte der Objekte, sondern auch Hintergrund-Messungen (z.B. Hintergrund-Pixel im Bild) oder Falsch-Positive Messungen (z.B. Ghost-Locations des Radar-Sensors) erzeugt. Das Objekt 120 kann ein Objekt oder - wie hier dargestellt - auch mehrere Objekte sein. Das Sensorset 300 nimmt jedes der Objekte 120 mehrfach auf, z.B. in einer äquidistanten zeitlichen Abfolge, zu einem ersten Zeitpunkt tl, zu einem zweiten Zeitpunkt t2 und zu einem dritten Zeitpunkt t3. Messungen der Objekte 120 sowie Hintergrund- und Falsch-Positiv-Messungen werden dann in einem Speicher 400 als eine Beobachtung 420 oder als eine Sequenz von Beobachtungen 420 gespeichert. Eine Beobachtung 420 weist dabei eine erste erfasste Beobachtung 421 auf, die zu dem ersten Zeitpunkt t1 erfasst ist, eine zweite erfasste Beobachtung 421, die zu dem zweiten Zeitpunkt t2 erfasst ist, und eine dritte erfasste Beobachtung 423, die zu dem dritten Zeitpunkt t3 erfasst ist.
Das Labellingsystem 200 weist weiterhin ein Labellingmodul 500 auf. Dieses transformiert die Sensor-Beobachtungen 420 in Sequenzen von Labels 620, wobei das Labellingmodul 500 die Beobachtungen 420 mit holistischen Algorithmen verarbeitet, um die Labels 620 zu generieren. Das Labellingmodul 500 greift bei der Verarbeitung der Beobachtungen 420 auf Modelle 570 zu, die in einem Modell-Speicher 550 abgelegt sind. Bei den Modellen kann es sich um sensormodalitätsspezifische Modelle handeln, also zum Beispiel kann es ein Modell für die Verarbeitung bzw. Erkennung der Kamera-Bilder und ein davon unabhängiges Modell zur Verarbeitung bzw. Erkennung der Radar-Messwerte geben. Zusätzlich kann es Modelle für die Fusion der Sensordaten geben. Außerdem kann es Modelle geben, um das zeitliche Verhalten von dynamischen Objekten zu beschreiben und dadurch das Tracking der Objekte zu ermöglichen oder zu verbessern (Bewegungsmodelle). Bei den Modellen kann es sich um anhand von Trainingsdaten erzeugte Modelle handeln, oder es kann sich um manuell definierte Modelle mit anhand physikalischer Zusammenhänge definierter Parameter oder aufgrund von Erfahrungswerten optimierter Parameter handeln. Bei den automatisch trainierten Modellen kann es sich um mit künstlichen Neuronalen Netzen trainierte Modelle, zum Beispiel um Deep Neural Networks, handeln.
2 zeigt, entlang einer mit t bezeichneten Zeitachse, schematisch ein Zeitdiagramm für das Erfassen von Einzelbeobachtungen gemäß einer Ausführungsform der vorliegenden Erfindung. Die Einzelbeobachtungen werden dabei von Einzelsensoren 301 und 302 (siehe 1) zu Zeitpunkten tl, t2, t3 erfasst. Die Einzelsensoren 301, 302 können dabei unterschiedliche Kontrastmechanismen aufweisen bzw. verwenden. So kann zu einem ersten Zeitpunkt t1 der erste Einzelsensor 301 eine Einzelbeobachtung 421a erfassen. Der erste Einzelsensor 301 kann dabei einen ersten Kontrastmechanismus verwenden, um die Einzelbeobachtung 421a zu erfassen; dies ist durch ein Dreieck dargestellt. Der erste Zeitpunkt kann z.B. die reale Gegenwart sein. Der erste Zeitpunkt kann auch, insbesondere bei einer Offline-Bearbeitung, auch ein Zeitpunkt sein, der vor der realen Gegenwart liegt und, z.B. in Form einer Datei, gespeichert wurde. Der erste Zeitpunkt kann in diesem Fall als Referenz-Zeitpunkt - gewissermaßen als „Gegenwart für diese Messung“, d.h. während der Erfassung des Objekts - definiert werden. Zu dem ersten Zeitpunkt t1 erfasst auch der zweite Einzelsensor 302 eine Einzelbeobachtung 421b. Der zweite Einzelsensor 302 kann dabei einen zweiten Kontrastmechanismus verwenden, um die Einzelbeobachtung 421b zu erfassen; dies ist durch einen Kreis dargestellt. Die Einzelbeobachtungen 421a und 421b können dann zu einer Beobachtung 421 zusammengesetzt, insbesondere fusioniert, werden. Die zusammengesetzte Beobachtung 421 ist durch ein Rechteck dargestellt. Der erste Einzelsensor 301 und der zweite Einzelsensor 302 erfassen weiterhin eine Einzelbeobachtung 422a bzw. 422b zu einem zweiten Zeitpunkt t2. Der zweite Zeitpunkt t2 liegt, bezogen auf den ersten Zeitpunkt tl, in der Vergangenheit. Die Einzelbeobachtungen 422a und 422b können zu einer Beobachtung 422 zusammengesetzt, z.B. fusioniert, werden. Der erste Einzelsensor 301 und der zweite Einzelsensor 302 erfassen darüber hinaus Einzelbeobachtungen 423a bzw. 423b zu einem dritten Zeitpunkt t3. Der dritte Zeitpunkt t3 liegt, bezogen auf den ersten Zeitpunkt t1, in der Zukunft. Im Falle einer Offline-Bearbeitung kann der dritte Zeitpunkt t3 ein, im Vergleich zum ersten Zeitpunkt, späterer Zeitpunkt der Erfassung sein. Im Falle einer Online-Bearbeitung kann die Erfassung zu dem dritten Zeitpunkt eine Prognose beinhalten. Der dritte Zeitpunkt kann mit der gleichen zeitlichen Entfernung wie der zweite Zeitpunkt von dem ersten Zeitpunkt entfernt sein. Die Einzelbeobachtungen 423a und 423b können zu einer Beobachtung 423 zusammengesetzt, z.B. fusioniert, werden.
3 zeigt schematisch einen Teil des Labellingsystems 200 gemäß einer Ausführungsform der vorliegenden Erfindung. Dabei ist ein Klassifikations- oder Assoziations-Modul 510 gezeigt, das eine Sensor-Beobachtung 420 - welche die Beobachtungen 421, 422 und 423 aufweist - aus dem Speicher 400 als statische Messung 522, und/oder als dynamische Messung 524 und/oder als Clutter-Messung (Falsch-Positive Messung) 526 klassifiziert. Dies kann zum Beispiel mittels einer Differenzanalyse der Sensor-Beobachtung 420 gegen die Attribute von - vorher durch „Spawning“ erzeugten und, im Falle von dynamischen Objekten, mittels „Tracking“ verfolgten - Objekten erfolgen, deren Attribute durch die Labels 620 repräsentiert sind. Das Ergebnis der Differenzanalyse ist die Assoziation zu vorhandenen Objekten, aus der sich die Zuordnung als statisch, dynamisch oder „Clutter“ ergibt. Bei einigen Sensormodalitäten kann diese Zuordnung zumindest teilweise auch direkt aufgrund gemessener Attribute (zum Beispiel Geschwindigkeit bei Radar) erfolgen, oder diese Zuordnung kann von einem auf Trainingsdaten gelernten modellbasierten Klassifikator vorgenommen werden (z.B. mittels Neuronaler Netze). Wenn die Differenzanalyse eine Assoziation der Sensor-Beobachtung 420 zu einem statischen Objekt ergibt oder wenn die modellbasierte Klassifikation ergibt, dass die Sensor-Beobachtung 420 von einem statischen Objekt stammt, dann wird die Beobachtung 420 als eine statische Messung 522 klassifiziert. Keine Ortsveränderung bedeutet z.B. bei einem unbewegten mobilen Gerät, dass die Sensor-Beobachtung 420 in der Sequenz von mindestens zwei Elementen einer Veränderung nur aufgrund von Sensorrauschen oder veränderten Umgebungsbedingungen unterliegt; bei einem bewegten mobilen Gerät kann die Bewegung aus den mindestens zwei Elementen herausgerechnet werden. Einige Labellingsysteme 200 verwenden bei der Differenzanalyse einen Kalman-Filter; dies verbessert insbesondere die Analyse bei einem bewegten Fahrzeug. Die Beobachtung 522 ist die als statische Messung klassifizierte Sensor-Beobachtung 420. Dagegen ist die Beobachtung 524 die als dynamische Messung klassifizierte Beobachtung 420. Schließlich ist die Beobachtung 526 die als Clutter oder Clutter-Labelobjekt klassifizierte Beobachtung 420. Bezugszeichen 622 bezeichnet aus Messungen abgeleitete Attribute oder angepasste Kopien von vorher abgeleiteten Attributen (z.B. Position, Größe) eines statischen Objekts, dessen Attribute im Objektspeicher 600 abgelegt sind, und Bezugszeichen 624 bezeichnet abgeleitete oder angepasste Attribute (z.B. Geschwindigkeit) eines dynamischen Objekts, dessen Attribute im Objektspeicher 600 abgelegt sind. Die finalen Objektattribute 620 werden unter Berücksichtigung aller über die Zeit hinweg gesetzten oder angepassten Attribute 622 bzw. 624 gesetzt. 622 bzw. 624 sind also die holistisch optimierten Attribute. Die Attribute 622 bzw. 624 werden jeweils unter Berücksichtigung der Beobachtung 522 bzw. 524 gesetzt oder angepasst. Bei einigen Sensor-Modalitäten (zum Beispiel Radar) wird jede Beobachtung 420 (zum Beispiel Radar-Locations) entweder als statische Messung 522 oder als Clutter-Messung 526 oder als dynamische Messung 524 klassifiziert. In diesem Fall ist eine Beobachtung 420 identisch mit einer der Messungen 522, 526 oder 524, die anderen beiden Messungen existieren für diese Beobachtung nicht. Bei anderen Sensor-Modalitäten (zum Beispiel Kamera) können aus einer Beobachtung 420 (zum Beispiel das Bild einer Kamera) mehrere verarbeitete Messungen 522 und 524 resultieren. In diesem Fall werden 522 und 524 auch als Merkmale (Features) bezeichnet. Im Beispiel eines Kamerabildes kann es sich bei 522 zum Beispiel um segmentierte statische Objekte im Bild handeln, bei 524 kann es sich um segmentierte dynamische Objekte im Bild handeln.
Findet eine Klassifizierung der Beobachtungen 420 als statisch, dynamisch oder Clutter statt, können Modelle 570 benutzt werden, die in einem Modell-Speicher 550 abgelegt sind. Werden aus Beobachtungen 420 alternativ (in Abhängigkeit der Sensor-Modalität) verarbeitete Messungen oder Merkmale 522, 526 und/oder 524 erzeugt, werden typischerweise ebenfalls Modelle 570 benutzt, die in einem Modell-Speicher 550 abgelegt sind (siehe auch 1).
4 zeigt schematisch einen Teil des Labellingsystems 200 gemäß einer weiteren Ausführungsform der vorliegenden Erfindung. Die 4 stimmt weitgehend mit der 3 überein; dieselben Bezugszeichen bezeichnen dabei dieselben Komponenten. 4 unterscheidet sich von 3 darin, dass für das Ermitteln der statischen Attribute 622 und der dynamischen Attribute 624 ein iterativer Prozess implementiert ist. Der iterative Prozess berücksichtigt dabei eine längere Sequenz von Beobachtungen 420 als das Klassifikations-/Assoziations-Modul 510. Bei einer Sequenz dynamischer Attribute 624 wird außerdem noch ein Bayesscher Glätter, z.B. ein Rauch-Tung-Striebel-Filter (RTS-Filter), 525 verwendet.
5 zeigt schematisch eine Konstellation eines Systems gemäß einer Ausführungsform der vorliegenden Erfindung. Dabei werden die im Fahrzeug 110 gemessenen Beobachtungen oder Sensordaten 420 auf einem persistenten Speichermedium 400 während der Fahrt gespeichert. Nach Abschluss der Fahrt werden die Sensordaten 420, über die Übertragungsstrecke 401, auf einen Speicher 400a auf einem Server-Computer oder Server-Cluster 150 außerhalb des Fahrzeugs 110 kopiert. Der Server-Computer oder Server-Cluster 150 kann auch als Cloud ausgeführt sein. Anschließend findet auf dem Server 150 die Analyse der Daten und das Erzeugen der Label 620 wie oben beschrieben statt.
6 zeigt schematisch eine weitere Konstellation eines Systems gemäß einer weiteren Ausführungsform der vorliegenden Erfindung. Dabei werden die im Fahrzeug gemessenen Sensordaten während der Fahrt über eine drahtlose Internetanbindung 402 - oder über einen anderen Übertragungsweg - auf einen Speicher 400b auf einem Server-Cluster oder Cloud 160 außerhalb des Fahrzeugs 110 kopiert. Anschließend werden von dort die Daten über die Übertragungsstrecke 403 auf den Speicher 400a auf den Server 150 kopiert. Auf dem Server 150 findet dann die Analyse der Daten und Erzeugen der Label 620 wie oben beschrieben statt. Alternativ kann die Analyse der Daten und Erzeugung der Label direkt auf einem Server-Cluster in der Cloud 160 erfolgen, so dass das Kopieren auf den Speicher 400a über die Übertragungsstrecke 403 entfällt.
7 zeigt schematisch eine weitere Konstellation eines Systems gemäß einer Ausführungsform der vorliegenden Erfindung. Dabei werden die im Fahrzeug 110 gemessenen Sensordaten 420 im Fahrzeug 110 selbst, mittels des Labellingsystems 200, verarbeitet. Die Sensordaten 420 können z.B. mittels dreier Sensoren 300, die an unterschiedlichen Stellen des Fahrzeugs 110 platziert sind, erfasst und als eine Sequenz von Beobachtungen 420 in einem Speicher 400 gespeichert werden. Das Labellingsystem 200 weist die in 3 oder 4 beschriebenen Komponenten auf. Allerdings können - z.B. aus Gründen des Gewichts, des Volumens und/oder des Stromverbrauchs - insbesondere die Speicher zum Beispiel für Modellparameter kleiner und das Prozessorsystem weniger leistungsfähig ausgestaltet sein.
8 zeigt ein Verfahren gemäß einer Ausführungsform der vorliegenden Erfindung. In einem Schritt 701 wird ein Objekt 120 (siehe 1), mittels dreier Sensoren 300, die an unterschiedlichen Stellen des Fahrzeugs 110 platziert sein können (z.B. wie in 7 dargestellt), erfasst und als eine Sequenz von Beobachtungen 420 in einem Speicher 400 gespeichert. In einem Schritt 702 wird das Speicherobjekt 420, mittels eines Labellingsystems 200, in eine Menge von Labeln 620 transformiert und im Labelspeicher 600 abgespeichert. Die Sequenz von Sensor-Beobachtungen wird als ungelabelte Stichprobe bezeichnet. Die Vereinigung der Sequenz von Sensor-Beobachtungen mit den generierten Labels wird als gelabelte Stichprobe bezeichnet. In Abhängigkeit der benötigten Genauigkeit und Zuverlässigkeit der Labels und in Abhängigkeit der mit den verwendeten Sensoren des Sensorsets und der Algorithmen des Labellingsystems erzielbaren Genauigkeit können die Labels 620 in einem weiteren Schritt 703 verbessert werden, indem menschliche Bearbeiter mit einem geeigneten Tool zur Darstellung und Visualisierung der Sensor-Roh-Daten und der generierten Labels eventuell vorhandene Fehler und Ungenauigkeiten der Labels manuell korrigieren, um eine verbesserte Version der Menge an Labeln zu erzeugen. Das Darstellungs-Tool kann hierfür die Änderung der Label gemäß den Eingaben der menschlichen Bearbeiter unterstützen.

Claims

Verfahren zum Erzeugen eines Labelobjekts (620), welches mindestens ein Attribut eines Objekts (120) zu einem ersten Zeitpunkt (t1) umfasst, aus Beobachtungen (420) dieses Objekts (120), mit den Schritten: - Auswählen, aus den Beobachtungen (420), einer ersten, zu dem ersten Zeitpunkt (t1) erfassten Beobachtung (421), einer zweiten, zu einem zweiten Zeitpunkt (t2) erfassten Beobachtung (422), wobei der zweite Zeitpunkt (t2) ein Zeitpunkt vor dem ersten Zeitpunkt (t1) ist, sowie einer dritten, zu einem dritten Zeitpunkt (t3) erfassten Beobachtung (423), wobei der dritte Zeitpunkt (t3) ein Zeitpunkt nach dem ersten Zeitpunkt (t1) ist; - Ermitteln, unter Heranziehung der ausgewählten Beobachtungen (421, 422, 423), des mindestens einen Attributs des Objekts (120).
Verfahren nach Anspruch 1, wobei jede der Beobachtungen (421, 422, 423) sich aus Einzelbeobachtungen (421a, 421b; 422a, 422b; 423a, 423b) zusammensetzt und wobei diese Einzelbeobachtungen (421a, 421b; 422a, 422b; 423a, 423b) jeweils mit unterschiedlichen Kontrastmechanismen erfasst sind, und/oder wobei jede der Beobachtungen (421, 422, 423) sich aus Einzelbeobachtungen (421a, 421b; 422a, 422b; 423a, 423b) zusammensetzt und wobei diese Einzelbeobachtungen (421a, 421b; 422a, 422b; 423a, 423b) jeweils mit dem gleichen Kontrastmechanismus und mit Sensoren unterschiedlicher qualitativer Wertigkeit erfasst sind.
Verfahren nach Anspruch 2, wobei die Einzelbeobachtungen (421a, 421b; 422a, 422b; 423a, 423b) jeweils zu den Beobachtungen (421, 422, 423) fusioniert werden, bevor diese Beobachtungen (421, 422, 423) wiederum zur Ermittlung des Attributs des Objekts (120) herangezogen werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Ermitteln einen Schritt des Klassifizierens bzw. einer Regressionsanalyse umfasst, wobei das Klassifizieren bzw. die Regressionsanalyse eine Typ-Klassifikation des gebildeten Labelobjekts (620), und/oder eine Status-Klassifikation des gebildeten Labelobjekts (620) bzw. eine Regressionsanalyse des Status des gebildeten Labelobjekts (620) umfasst.
Verfahren nach Anspruch 4, wobei das Klassifizieren einen Vergleich der ersten Beobachtung (421) mit der zweiten Beobachtung (422) und/oder der dritten Beobachtung (423) umfasst, und/oder wobei die Status-Klassifikation eine Klassifikation des Labelobjekts (620) als ein statisches Labelobjekt oder als ein dynamisches Labelobjekt umfasst, und/oder wobei das Klassifizieren die Verwendung eines Modells umfasst, und/oder wobei das Klassifizieren die Verwendung eines künstlichen neuronalen Netzes umfasst, und/oder wobei das Klassifizieren die Verwendung eines Bayesschen Filters umfasst, und/oder wobei das Klassifizieren bzw. die Regressionsanalyse die Verwendung eines Bayesschen Glätters umfasst, und/oder wobei das Klassifizieren bzw. die Regressionsanalyse die Verwendung einer graphbasierten Optimierung umfasst.
Verfahren nach Anspruch 4 oder 5, wobei das Klassifizieren und/oder die Regressionsanalyse folgende Schritte umfasst: - Erzeugen eines vorläufigen statischen Labelobjekts (522), eines vorläufigen dynamischen Labelobjekts (524) oder eines vorläufigen Clutter-Labelobjekts (526); - Assoziierung (510) einer Beobachtung (421, 422, 423) zu einem vorläufigen Labelobjekt (522, 524, 526) und hierauf basierend Festlegung, dass die der Beobachung (421, 422, 423) zu Grunde liegende Messung eine statische Messung (522), eine dynamische Messung (524), oder eine Clutter-Messung (526) ist; - Verfeinerung der Typen und Attribute (120) der vorläufigen statischen und/oder dynamischen Labelobjekte (522, 524) anhand der jeweils damit assoziierten Beobachtungen (421, 422, 423); - Bewerten des vorläufigen statischen Labelobjekts (522) oder des vorläufigen dynamischen Labelobjekts (524) anhand eines Gütemaßes und/oder Qualitätsmaßes; - in Antwort darauf, dass das Gütemaß und/oder Qualitätsmaß einen vorgegebenen Schwellwert unterschreitet, Zurückverzweigen zur Assoziierung; - in Antwort darauf, dass das Gütemaß und/oder Qualitätsmaß den vorgegebenen Schwellwert erreicht oder überschreitet, Erzeugen eines endgültigen Labelobjekts (620) unter Heranziehung des vorläufigen statischen Labelobjekts (522) oder des vorläufigen dynamischen Labelobjekts (524).
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Heranziehen der ersten Beobachtung (421) einen Abgleich der ersten Beobachtung (421) mit einer Liste (550) von Beispielobjekten (570) umfasst.
Labellingsystem (200) zum Erzeugen eines Labelobjekts (620), welches mindestens ein Attribut eines Objekts (120) zu einem ersten Zeitpunkt (t1) umfasst, aus Beobachtungen (420) dieses Objekts (120), das Labellingsystem (200) aufweisend: einen Speicher (400), der dazu eingerichtet ist, die Beobachtungen (420) zu speichern, wobei die Beobachtungen (420) umfassen: eine erste, zu dem ersten Zeitpunkt (t1) erfasste Beobachtung (421), eine zweite, zu einem zweiten Zeitpunkt (t2) erfasste Beobachtung (422), wobei der zweite Zeitpunkt (t2) ein Zeitpunkt vor dem ersten Zeitpunkt (t1) ist, sowie eine dritte, zu einem dritten Zeitpunkt (t3) erfasste Beobachtung (423), wobei der dritte Zeitpunkt (t3) ein Zeitpunkt nach dem ersten Zeitpunkt (t1) ist; ein Labellingmodul (500), das dazu eingerichtet ist, unter Heranziehung der ausgewählten Beobachtungen (421, 422, 423) das mindestens eine Attribut des Objekts (120) zu ermitteln.
Labellingsystem (200) nach Anspruch 8, wobei jede der Beobachtungen (421, 422, 423) sich aus Einzelbeobachtungen (421a, 421b; 422a, 422b; 423a, 423b) zusammensetzt und wobei diese Einzelbeobachtungen (421a, 421b; 422a, 422b; 423a, 423b) jeweils mit unterschiedlichen Kontrastmechanismen erfasst sind, und/oder wobei jede der Beobachtungen (421, 422, 423) sich aus Einzelbeobachtungen (421a, 421b; 422a, 422b; 423a, 423b) zusammensetzt und wobei diese Einzelbeobachtungen (421a, 421b; 422a, 422b; 423a, 423b) jeweils mit dem gleichen Kontrastmechanismus und mit Sensoren unterschiedlicher qualitativer Wertigkeit erfasst sind.
Labellingsystem (200) nach Anspruch 9, wobei die Einzelbeobachtungen (421a, 421b; 422a, 422b; 423a, 423b) jeweils zu den Beobachtungen (421, 422, 423) fusioniert werden, bevor diese Beobachtungen (421, 422, 423) wiederum zur Ermittlung des Attributs des Objekts (120) herangezogen werden.
Labellingsystem (200) nach einem der Ansprüche 8 bis 10, das Ermitteln einen Schritt des Klassifizierens bzw. einer Regressionsanalyse umfasst, wobei das Klassifizieren bzw. die Regressionsanalyse eine Typ-Klassifikation des gebildeten Labelobjekts (620), und/oder eine Status-Klassifikation des gebildeten Labelobjekts (620) bzw. eine Regressionsanalyse des Status des gebildeten Labelobjekts (620) umfasst.
Labellingsystem (200) nach Anspruch 11, wobei die Status-Klassifikation eine Klassifikation des Labelobjekts (620) als ein statisches Labelobjekt oder als ein dynamisches Labelobjekt umfasst, und/oder wobei das Klassifizieren bzw. die Regressionsanalyse einen Vergleich der ersten Beobachtung (421) mit der zweiten Beobachtung (422) und/oder der dritten Beobachtung (423) umfasst, und/oder wobei das Klassifizieren bzw. die Regressionsanalyse die Verwendung eines Modells umfasst, und/oder wobei das Klassifizieren bzw. die Regressionsanalyse die Verwendung eines künstlichen neuronalen Netzes umfasst, und/oder wobei das Klassifizieren bzw. die Regressionsanalyse die Verwendung eines Bayesschen Filters umfasst, und/oder wobei das Klassifizieren bzw. die Regressionsanalyse die Verwendung eines Bayesschen Glätters umfasst, und/oder wobei das Klassifizieren bzw. die Regressionsanalyse die Verwendung einer graphbasierten Optimierung umfasst.
Labellingsystem (200) nach einem der Ansprüche 8 bis 12, weiterhin aufweisend einen Speicher (400), in dem die Beobachtungen (420) gespeichert sind, wobei der Speicher (400) in einem Fahrzeug (110) und das Labellingmodul (500) auf einem Server (150) außerhalb des Fahrzeugs (110) angeordnet ist, und/oder wobei der Speicher (400) in einer Cloud (160) und das Labellingmodul (500) auf einem Server (150) außerhalb des Fahrzeugs (110) angeordnet ist, und/oder wobei der Speicher (400) und das Labellingmodul (500) in dem Fahrzeug (110) angeordnet sind.
Programmelement, welches, wenn es auf einem Server (150) oder einem anderen Prozessorsystem ausgeführt wird, dazu eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 7 durchzuführen.
Computerlesbares Medium, auf dem ein Programmelement nach Anspruch 14 gespeichert ist.
Verwendung eines Labellingsystems (200) nach einem der Ansprüche 8 bis 13 oder eines Verfahrens nach einem der Ansprüche 1 bis 7 für die Erzeugung einer gelabelten Stichprobe, insbesondere zur Verwendung für die Entwicklung eines zumindest teilweise automatisiert fahrenden Fahrzeugs.