DE102019120440A1

DE102019120440A1 - Verfahren und System zum automatisierten Erstellen von Objektmarkierungen für die Verwendung in einem Fahrassistenzsystem eines Fahrzeugs

Info

Publication number: DE102019120440A1
Application number: DE102019120440.2A
Authority: DE
Inventors: Fabian Netzler; Felix Klanner; Horst KLOEDEN
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2019-07-29
Filing date: 2019-07-29
Publication date: 2021-02-04

Abstract

Die vorliegende Offenbarung betrifft ein Verfahren zum automatisierten Erstellen von Objektmarkierungen für die Verwendung in einem Fahrassistenzsystem eines Fahrzeugs, umfassend: Empfangen von ersten Umfelddaten einer ersten Datenquelle in einer zentralen Einheit, wobei die erste Datenquelle einem ersten Fahrzeug entspricht; Empfangen von zweiten Umfelddaten wenigstens einer zweiten Datenquelle in der zentralen Einheit, wobei die erste Datenquelle von der wenigstens einen zweiten Datenquelle verschieden ist, und wobei die ersten Umfelddaten und die zweiten Umfelddaten zumindest teilweise einem selben Umfeld entsprechen; und Bestimmen von Objektmarkierungen basierend auf einer Kombination aus den ersten Umfelddaten und den zweiten Umfelddaten durch eine Prozessoreinheit der zentralen Einheit, um gelabelte Daten für die Verwendung in einem Fahrassistenzsystem zu erstellen, wobei die Objektmarkierungen Bounding Boxes umfassen.

Description

Die vorliegende Offenbarung betrifft ein Verfahren und System zum automatisierten Erstellen von Objektmarkierungen für die Verwendung in einem Fahrassistenzsystem eines Fahrzeugs. Die vorliegende Offenbarung betrifft insbesondere ein automatisches Erstellen von gelabelten Daten zur Verwendung in Fahrassistenzsystemen, wie einem Fahrassistenzsystem zum automatisierten Fahren.
Stand der Technik
Damit ein Fahrerassistenzsystem ein Objekt im Umfeld des Fahrzeugs rechtzeitig erkennen kann und z.B. ein Brems- oder Ausweichmanöver einleiten kann, ist es erforderlich, einen Verkehrsteilnehmer möglichst früh zu erkennen und zu bewerten, wie kritisch ein Verhalten des Verkehrsteilnehmers für das Fahrzeug oder den Fahrtverlauf ist. Dabei ist es möglich, dass durch Anwendung von Bildanalyseverfahren auch Teile des Objekts im Umfeld des Fahrzeuges erkannt werden können, wie zum Beispiel Körperteile einer Person.
Die Objekte werden normalerweise durch eine Objektmarkierung beschrieben, die auch als „Bounding Box“ bezeichnet wird. Die Objektmarkierung wird im Allgemeinen durch manuelles Markieren des Objekts mit der Objektmarkierung, dem so genannten „Labeln“ erstellt. Das Labeln erfolgt entweder durch einen Experten oder durch einen Laien (Bearbeiter). Ein Label enthält folglich das abgebildete Objekt und ist definiert durch die Bildkoordinaten des Polygonlinienzugs, der das Objekt umgibt.
Das manuelle Labeln ist aufgrund des manuellen Einsatzes mit hohen Kosten verbunden. Zudem ist es bei entsprechender Datendichte (beispielsweise hohe Framerate der Kamera) entsprechend langsam. Da es sich um ein manuelles Verfahren handelt, ist es zusätzlich fehleranfällig und eine gleichbleibende Qualität kann nur durch wiederholtes Labeln der gleichen Szene erreicht werden.
Offenbarung der Erfindung
Es ist eine Aufgabe der vorliegenden Offenbarung, ein Verfahren und System anzugeben, die ein schnelles und effizientes Erstellen von Objektmarkierungen für die Verwendung in einem Fahrassistenzsystem eines Fahrzeugs ermöglichen. Es ist eine weitere Aufgabe der vorliegenden Offenbarung, ein Verfahren und System anzugeben, die eine Verbesserung von Erkennungsalgorithmen von Sensorsystemen ermöglichen.
Die Aufgaben werden durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
Gemäß einem unabhängigen Aspekt der vorliegenden Offenbarung ist ein Verfahren zum automatisierten Erstellen von Objektmarkierungen für die Verwendung in einem Fahrassistenzsystem eines Fahrzeugs angegeben. Das Verfahren umfasst ein Empfangen von ersten Umfelddaten einer ersten Datenquelle in einer zentralen Einheit, wobei die erste Datenquelle einem ersten Fahrzeug entspricht; ein Empfangen von zweiten Umfelddaten wenigstens einer zweiten Datenquelle in der zentralen Einheit, wobei die erste Datenquelle von der wenigstens einen zweiten Datenquelle verschieden ist, und wobei die ersten Umfelddaten und die zweiten Umfelddaten zumindest teilweise einem selben Umfeld entsprechen; und ein Bestimmen von Objektmarkierungen basierend auf einer Kombination aus den ersten Umfelddaten und den zweiten Umfelddaten durch eine Prozessoreinheit der zentralen Einheit, um gelabelte (End-)Daten für die Verwendung in einem Fahrassistenzsystem zu erstellen, wobei die Objektmarkierungen Bounding Boxes umfassen oder sind.
Die erste Datenquelle kann das erste Fahrzeug mit einem ersten Sensor oder einem ersten Sensorsystem sein, oder kann der erste Sensor oder das erstes Sensorsystem des ersten Fahrzeugs sein. Das erste Fahrzeug kann als „erster Sensorträger“ bezeichnet werden. Die zweite Datenquelle kann eine Vorrichtung mit einem zweiten Sensor oder einem zweiten Sensorsystem sein, oder kann der erste Sensor oder das erstes Sensorsystem der Vorrichtung sein. Die Vorrichtung kann als „zweiter Sensorträger“ bezeichnet werden.
Erfindungsgemäß werden Umfelddaten, die von mehreren Sensoren von verschiedenen Sensorträgern bereitgestellt werden, in der zentralen Einheit kombiniert, um gelabelte Daten zu erzeugen. Dadurch kann in der zentralen Einheit ein großes globales Umfeldmodell erzeugt werden, das örtliche und zeitliche Komponenten umfasst. Das Umfeldmodell ist fahrzeugübergreifend, wobei komplementäre und/oder redundante Umfeld-Erfassungssensoren eine Datengrundlage bereitstellen. Rechenintensive Algorithmen können basierend auf dieser Datengrundlage verwendet werden, um eine hohe Präzision von geometrischen Daten und Klassifikationsdaten zu erzielen. Dementsprechend kann ein schnelles und effizientes Erstellen von Objektmarkierungen ermöglicht werden. Die gelabelten Daten können in einem Fahrassistenzsystem zur Objekterkennung verwendet werden, wodurch eine Verbesserung von Erkennungsalgorithmen von Sensorsystemen ermöglicht wird.
Insbesondere ist mit den Ausführungsformen der vorliegenden Offenbarung ein automatisches Labeln von Daten möglich. Anders gesagt erfolgt kein manuelles Labeln, so dass die Nachteile einer geringen Skalierbarkeit und hohen Kosten beim manuellen Labeln vermieden werden können. Zudem kann das automatische Labeln - im Gegensatz zum manuellen Labeln - schnell auf neue Anforderungen angepasst werden.
Der Begriff „Umfelddaten“ bezeichnet Daten, die eine Umgebung einer entsprechenden Datenquelle angeben. Die Datenquelle kann dabei ein Sensor oder Sensorsystem sein. Insbesondere können die Umfelddaten Objekte angeben, die sich in einem Erfassungsbereich des Sensors oder Sensorsystems befinden.
Die erste Datenquelle (bzw. der erste Sensor / das erste Sensorsystem) und die zweite Datenquelle (bzw. der zweite Sensor / das zweite Sensorsystem) erfassen zumindest teilweise dasselbe Umfeld. Beispielsweise kann ein Objekt, das durch die erste Datenquelle erfasst wird, auch durch die zweite Datenquelle erfasst werden. Das Erfassen des Objekts kann gleichzeitig oder mit einem zeitlichen Abstand erfolgen.
Der Begriff „Objekt“, wie er im Rahmen der vorliegenden Offenbarung verwendet wird, kann sich auf alle physischen Einheiten beziehen, die durch den ersten Sensor bzw. das erste Sensorsystem sowie den zweiten Sensor bzw. das zweiten Sensorsystem erfassbar sind. Das Objekt kann zum Beispiel eine Person, ein Fahrzeug, eine Ampel, ein Fahrrad, ein Motorrad, etc. sein.
Die zweiten Umfelddaten werden von der wenigstens einen zweiten Datenquelle bereitgestellt. Insbesondere können die zweiten Umfelddaten von mehreren zweiten Datenquellen bereitgestellt werden. Eine Anzahl der zweiten Datenquellen kann beliebig sein. Die mehreren zweiten Datenquellen können Sensoren bzw. Sensorsysteme vom selben Typ und/oder Sensoren bzw. Sensorsysteme von verschiedenen Typen umfassen oder sein.
Beispielsweise umfassen die mehreren zweiten Datenquellen ein Fahrzeug mit einem Radar und eine Ampel mit einer Kamera, wobei das Radar und die Kamera verschiedene Sensortypen sind. Hier können die zweiten Umfelddaten Sensordaten von verschiedenen Sensortypen umfassen, also Sensordaten unterschiedlicher Art. In einem weiteren Beispiel umfassen die mehreren zweiten Datenquellen ein Fahrzeug mit einer ersten Kamera und eine Ampel mit einer zweiten Kamera, wobei die erste Kamera und die zweite Kamera derselbe Sensortyp sind. Die Umfelddaten der Sensoren bzw. Sensorsysteme werden in der zentralen Einheit fusioniert, um ein automatisches Labeln durchzuführen.
Vorzugsweise werden die ersten Umfelddaten und die zweiten Umfelddaten (zumindest teilweise) von verschiedenen Sensortypen bereitgestellt. Anders gesagt können die ersten Umfelddaten und die zweiten Umfelddaten zumindest teilweise Umfelddaten von verschiedenen Sensortypen (z.B. Kamera und Radar) umfassen. Ergänzend oder alternativ können die ersten Umfelddaten und die zweiten Umfelddaten (zumindest teilweise) vom selben Sensortyp bereitgestellt werden. Anders gesagt können die ersten Umfelddaten und die zweiten Umfelddaten zumindest teilweise Umfelddaten vom selben Sensortyp (z.B. Kamera) umfassen.
Insbesondere können die ersten Umfelddaten zumindest teilweise von einem ersten Sensortyp bereitgestellt werden, und die zweiten Umfelddaten können zumindest teilweise von einem zweiten Sensortyp bereitgestellt werden, der vom ersten Sensortyp verschieden ist. Ergänzend oder alternativ können die ersten Umfelddaten zumindest teilweise vom ersten Sensortyp (oder zweiten Sensortyp) bereitgestellt werden, und die zweiten Umfelddaten können zumindest teilweise vom ersten Sensortyp (oder zweiten Sensortyp) bereitgestellt werden.
Durch die Fusion von Daten gleicher und/oder verschiedener Sensoren von verschiedenen Sensorträgern kann eine Präzision des globalen Umfeldmodells, das in der zentralen Einheit erstellt wird, verbessert werden.
Vorzugsweise sind die ersten Umfelddaten und/oder die zweiten Umfelddaten, die in der zentralen Einheit empfangen werden, mit einem jeweiligen Situationslabel versehen. Die Situationslabel können den ersten Umfelddaten und/oder den zweiten Umfelddaten bereits von der Datenquelle bzw. dem Sensorträger hinzugefügt werden. Die Situationslabel können eine Situation angeben, in der die Umfelddaten aufgenommen wurden. Die Situationslabel können zum Beispiel eine Zeit, eine Geschwindigkeit, ein Ort, etc. sein, sind jedoch nicht hierauf begrenzt. Insbesondere können die Situationslabel Metadaten entsprechen, die beim Sensorträger bereits vorhanden sind. Beispielsweise bringt ein Messfahrzeug von einer Messfahrt Rohdaten sowie Objektlisten des Umfeldmodells und höhere Applikationsdaten mit, sowie automatisiert gelabelte Labels der Objektdaten.
In der zentralen Einheit erfolgt eine Fusion der ersten Umfelddaten und der zweiten Umfelddaten, die bereits die Situationslabel enthalten können. Basierend auf der Fusion kann in der zentralen Einheit ein weiteres Labeln der Daten durch ein Erstellen von Bounding Boxes erfolgen, um die gelabelten (End-)Daten zur Verwendung im Fahrassistenzsystem zu erzeugen. Damit können die gelabelten (End-)Daten sowohl die Situationslabel als auch die Bounding Boxes umfassen.
Vorzugsweise umfasst das Verfahren weiter ein Durchführen von Forward-Backward-Filtering, um die ersten Umfelddaten und/oder die zweiten Umfelddaten von einem zweiten Zeitpunkt auf einen ersten, früheren Zeitpunkt zurückzurechnen. Insbesondere kann in der zentralen Einheit keine Echtzeitanforderung bestehen, so dass auch Daten von späteren Zeitpunkten verwendet werden können, um das Umfeldmodell eines früheren Zeitpunkts zu bestimmen.
Vorzugsweise umfasst das Verfahren weiter ein Projizieren der gelabelten Daten in einen oder mehrere Sensorräume, die das Fahrassistenzsystem verwendet. Beispielsweise werden aus dem globalen Umfeldmodell mit Metainformationen Projektionen erstellt, die auf die physikalischen Eigenschaften schließen lassen, die ein Sensor wahrnehmen kann, und die eine Berechnung zurück in den jeweiligen Sensorraum erlauben. Hierdurch können gelabelte Daten in den Sensorräumen der beitragenden Sensoren bzw. Sensorsysteme erreicht werden.
Vorzugsweise ist die wenigstens eine zweite Datenquelle eine bewegte oder stationäre Vorrichtung. Die bewegte Vorrichtung kann beispielsweise ein Fortbewegungsmittel, wie ein Fahrzeug sein. Die stationäre Vorrichtung kann beispielsweise eine Verkehrsregelvorrichtung, wie zum Beispiel eine Ampel sein.
Vorzugsweise ist die wenigstens eine zweite Datenquelle aus der Gruppe ausgewählt, die ein zweites Fahrzeug, eine Kamera, einen optischen Sensor, einen akustischen Sensor, einen Ultraschallsensor, ein Lidar-System, oder Kombinationen umfasst, oder die daraus besteht. Die vorliegende Offenbarung ist jedoch nicht hierauf begrenzt und es können andere Arten von Sensorträgern verwendet werden, die geeignet sind, um Umfelddaten bereitzustellen.
Gemäß einem weiteren unabhängigen Aspekt ist ein Speichermedium angegeben. Das Speichermedium kann ein Software-Programm umfassen, welches eingerichtet ist, um auf einem oder mehreren Prozessoren in der zentralen Einheit ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
Gemäß einem weiteren unabhängigen Aspekt ist ein System zum automatisierten Erstellen von Objektmarkierungen für die Verwendung in einem Fahrassistenzsystem eines Fahrzeugs angegeben. Das System umfasst eine Empfangseinheit, die eingerichtet ist, um erste Umfelddaten einer ersten Datenquelle und zweite Umfelddaten wenigstens einer zweiten Datenquelle zu empfangen, wobei die erste Datenquelle einem ersten Fahrzeug entspricht, wobei die erste Datenquelle von der wenigstens einen zweiten Datenquelle verschieden ist, und wobei die ersten Umfelddaten und die zweiten Umfelddaten zumindest teilweise einem selben Umfeld entsprechen; und eine Prozessoreinheit, die eingerichtet ist, um Objektmarkierungen basierend auf einer Kombination aus den ersten Umfelddaten und den zweiten Umfelddaten zu bestimmen, um gelabelte Daten für die Verwendung in einem Fahrassistenzsystem zu erstellen, wobei die Objektmarkierungen Bounding Boxes umfassen.
Das System ist insbesondere eingerichtet, das in diesem Dokument beschriebene Verfahren zum automatisierten Erstellen von Objektmarkierungen für die Verwendung in einem Fahrassistenzsystem eines Fahrzeugs auszuführen.
Vorzugsweise ist das System ein Server, und insbesondere ein Backend beispielsweise eines Fahrzeugherstellers. Die durch das System automatisch gelabelten Daten können in einem Fahrassistenzsystem zum automatisierten Fahren für eine Objekterkennung in einem Fahrzeugumfeld verwendet werden.
Die erste Datenquelle und/oder die zweite Datenquelle kann die Umfelddaten drahtgebunden und/oder drahtlos an die zentrale Einheit senden. Beispielsweise können die Umfelddaten drahtlos über ein mobiles Netzwerk bereitgestellt werden. Das mobile Netzwerk kann ein Long-Term Evolution (LTE)-Mobilfunksystem oder ein 5G-Mobilfunksystem implementieren.
Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Fahrassistenzsystem zum automatisierten Fahren angegeben. Das Fahrassistenzsystem umfasst ein Speichermodul, das die gemäß den Ausführungsformen der vorliegenden Offenbarung gelabelten Daten enthält.
Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Fahrzeug angegeben. Das Fahrzeug umfasst ein Fahrassistenzsystem zum automatisierten Fahren. Beim automatisierten Fahren erfolgt die Längs- und Querführung des Fahrzeugs automatisch. Das Fahrassistenzsystem übernimmt also die Fahrzeugführung. Das Fahrassistenzsystem kann mittels Sensorsystemen eine Objekterkennung durchführen, basierend auf der die Fahrzeugsteuerung erfolgt. Die Objekterkennung wird dabei unter Verwendung der gemäß den Ausführungsformen der vorliegenden Offenbarung gelabelten Daten durchgeführt.
Der Begriff Fahrzeug umfasst PKW, LKW, Busse, Wohnmobile, Krafträder, etc., die der Beförderung von Personen, Gütern, etc. dienen. Insbesondere umfasst der Begriff Kraftfahrzeuge zur Personenbeförderung.
Figurenliste
Ausführungsbeispiele der Offenbarung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben. Es zeigen:

1 ein Flussdiagramm eines Verfahrens zum automatisierten Erstellen von Objektmarkierungen für die Verwendung in einem Fahrassistenzsystem eines Fahrzeugs gemäß Ausführungsformen der vorliegenden Offenbarung,
2 schematisch ein System zum automatisierten Erstellen von Objektmarkierungen für die Verwendung in einem Fahrassistenzsystem eines Fahrzeugs gemäß Ausführungsformen der vorliegenden Offenbarung, und
3 schematisch ein Fahrzeug mit einem Fahrassistenzsystem gemäß Ausführungsformen der vorliegenden Offenbarung.

Ausführungsformen der Offenbarung
Im Folgenden werden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente gleiche Bezugszeichen verwendet.
Bei der Umfelderfassung von Fahrzeugen ist es erforderlich, dass Objekte im Umfeld des Fahrzeugs erfasst und insbesondere nachverfolgt werden können. Dies ist für Fahrassistenzsysteme von Bedeutung, die direkt oder indirekt das Verhalten des Fahrzeugs beeinflussen bzw. eine Information an einen Fahrzeugnutzer ausgeben können. Die Fahrassistenzsysteme weisen dafür Sensoren und insbesondere optische Sensoren, wie Kameras, auf, um das Fahrzeugumfeld zu erfassen und Objekte im Fahrzeugumfeld zu erkennen. Beispiele für Objekte im Fahrzeugumfeld sind andere Objekte bzw. Verkehrsteilnehmer, wie beispielsweise Personen und insbesondere Fahrradfahrer oder Fußgänger.
Damit ein Fahrassistenzsystem ein Objekt im Umfeld des Fahrzeugs rechtzeitig erkennen kann und z.B. ein Brems- oder Ausweichmanöver einleiten kann, ist es erforderlich, einen Verkehrsteilnehmer möglichst früh zu erkennen und zu bewerten, wie kritisch ein Verhalten des Verkehrsteilnehmers für das Fahrzeug oder den Fahrtverlauf ist. Dabei ist es möglich, dass durch Anwendung von Bildanalyseverfahren auch Teile des Objekts im Umfeld des Fahrzeuges erkannt werden können, und insbesondere Körperteile einer Person. Auf Basis der Stellung der Körperteile bzw. einer Bewegung der Teile kann eine Aussage über ein mögliches Vorhaben bzw. Verhalten des Objekts getroffen werden. So kann z.B. aus der Stellung des Kopfes eines Verkehrsteilnehmers abgeleitet werden, ob er beabsichtigt eine Straße zu überqueren.
Fahrassistenzsysteme können dabei auf ihren Einsatz mit Methoden des Maschinenlernens vorbereitet werden. Diese basieren auf der automatischen Erkennung von Mustern in Daten von Bildern und dem Bestimmen von Modellen zur Unterscheidung von Daten unterschiedlicher Klassen. Diese Unterscheidung kann ohne Vorwissen (unsupervised) oder mit Vorwissen (supervised) über die zu unterscheidenden Klassen erfolgen. Insbesondere kann ein Fahrassistenzsysteme mit Modellen ausgestattet sein, die vorgeben, wie ein Fahrerassistenzsystem Bilddaten auszuwerten hat und welche Objektklassen von dem Fahrassistenzsysteme detektiert werden sollen bzw. wie die Objekte detektiert werden sollen.
Ein Training erfolgt in diesem Fall mit einer Vielzahl von Bildern, die jeweils Objekte der zu erkennenden Objektklassen aufweisen. Beispielsweise kann ein Fahrassistenzsysteme so auf die Erkennung von Fahrradfahrern oder Fußgängern trainiert werden bzw. konfiguriert sein.
Die Objekte werden normalerweise durch eine Objektmarkierung beschrieben, die auch als „Bounding Box“ bezeichnet wird. Bei der Bounding Box handelt es sich um einen Polygonlinienzug, der das zu erkennende Objekt umgibt. Insbesondere ist der Polygonlinienzug als ein Rechteck ausgebildet, das das Objekt umschließt. Entsprechend kann das Objekt durch die Objektmarkierung beschrieben werden. Die Objektmarkierung kann dabei durch Markieren des Objekts mit der Objektmarkierung, dem so genannten „Labeln“ erstellt werden. Das Labeln erfolgt herkömmlicherweise entweder durch einen Experten oder durch einen Laien (Bearbeiter). Ein Label enthält folglich das abgebildete Objekt und ist definiert durch die Bildkoordinaten des Polygonlinienzugs, der das Objekt umgibt.
1 zeigt ein Flussdiagramm eines Verfahrens 100 zum automatisierten Erstellen von Objektmarkierungen für die Verwendung in einem Fahrassistenzsystem eines Fahrzeugs gemäß Ausführungsformen der vorliegenden Offenbarung.
Das Verfahren 100 umfasst im Block 110 ein Empfangen von ersten Umfelddaten einer ersten Datenquelle in einer zentralen Einheit, wobei die erste Datenquelle einem ersten Fahrzeug entspricht; im Block 120 ein Empfangen von zweiten Umfelddaten wenigstens einer zweiten Datenquelle in der zentralen Einheit, wobei die erste Datenquelle von der wenigstens einen zweiten Datenquelle verschieden ist, und wobei die ersten Umfelddaten und die zweiten Umfelddaten zumindest teilweise einem selben Umfeld entsprechen; und im Block 130 ein Bestimmen von Objektmarkierungen basierend auf einer Kombination aus den ersten Umfelddaten und den zweiten Umfelddaten durch eine Prozessoreinheit der zentralen Einheit, um gelabelte (End-)Daten für die Verwendung in einem Fahrassistenzsystem zu erstellen, wobei die Objektmarkierungen Bounding Boxes umfassen oder sind.
2 zeigt schematisch ein System 200 zum automatisierten Erstellen von Objektmarkierungen für die Verwendung in einem Fahrassistenzsystem eines Fahrzeugs gemäß Ausführungsformen der vorliegenden Offenbarung.
Das System 200 umfasst eine Empfangseinheit 210, die eingerichtet ist, um erste Umfelddaten einer ersten Datenquelle 201 und zweite Umfelddaten wenigstens einer zweiten Datenquelle 203, 205, 207 zu empfangen, wobei die erste Datenquelle 201 einem ersten Fahrzeug entspricht, wobei die erste Datenquelle 201 von der wenigstens einen zweiten Datenquelle 203, 205, 207 verschieden ist, und wobei die ersten Umfelddaten und die zweiten Umfelddaten zumindest teilweise einem selben Umfeld entsprechen; und eine Prozessoreinheit 220, die eingerichtet ist, um Objektmarkierungen basierend auf einer Kombination aus den ersten Umfelddaten und den zweiten Umfelddaten zu bestimmen, um gelabelte Daten für die Verwendung in einem Fahrassistenzsystem zu erstellen, wobei die Objektmarkierungen Bounding Boxes umfassen oder sind.
Die zweite Datenquelle kann eine bewegte Vorrichtung bzw. ein bewegter Sensorträger 203, 207 oder eine stationäre Vorrichtung bzw. stationärer Sensorträger 205 sein. Die bewegte Vorrichtung bzw. der bewegte Sensorträger kann ein zweites Fahrzeug 203, ein Fortbewegungsmittel 207, etc. sein. Die stationäre Vorrichtung bzw. der stationäre Sensorträger 205 kann ein Verkehrsregelvorrichtung sein, wie zum Beispiel eine Ampel.
Die zentrale Einheit bzw. das System 200 kann ein Server sein, und insbesondere ein Backend beispielsweise eines Fahrzeugherstellers. Die durch das System 200 automatisch gelabelten Daten können in einem Fahrassistenzsystem zum automatisierten Fahren für eine Objekterkennung in einem Fahrzeugumfeld verwendet werden.
Die erste Datenquelle 201 und/oder die zweite Datenquelle 203, 205, 207 kann die Umfelddaten drahtgebunden und/oder drahtlos an die zentrale Einheit 200 senden. Beispielsweise können die Umfelddaten drahtlos über ein mobiles Netzwerk bereitgestellt werden, das in der 2 durch Pfeile angedeutet ist. Das mobile Netzwerk kann ein Long-Term Evolution (LTE)-Mobilfunksystem oder ein 5G-Mobilfunksystem implementieren.
Die erste Datenquelle 201 (bzw. der erste Sensor / das erste Sensorsystem) und die wenigstens eine zweite Datenquelle 203, 205, 207 (bzw. der zweite Sensor / das zweite Sensorsystem) erfassen zumindest teilweise dasselbe Umfeld. Beispielsweise kann ein Objekt, das durch die erste Datenquelle 201 erfasst wird, auch durch die wenigstens eine zweite Datenquelle 203, 205, 207 erfasst werden. Das Erfassen des Objekts kann gleichzeitig oder mit einem zeitlichen Abstand erfolgen.
Die zweiten Umfelddaten werden von der wenigstens einen zweiten Datenquelle 203, 205, 207 bereitgestellt. Insbesondere können die zweiten Umfelddaten von mehreren zweiten Datenquellen 203, 205, 207 bereitgestellt werden. Eine Anzahl der zweiten Datenquellen 203, 205, 207 kann beliebig sein. Die mehreren zweiten Datenquellen 203, 205, 207 können Sensoren bzw. Sensorsysteme vom selben Typ und/oder Sensoren bzw. Sensorsysteme von verschiedenen Typen umfassen oder sein.
In einigen Ausführungsformen werden die ersten Umfelddaten und die zweiten Umfelddaten (zumindest teilweise) von verschiedenen Sensortypen bereitgestellt. Anders gesagt können die ersten Umfelddaten und die zweiten Umfelddaten zumindest teilweise Umfelddaten von verschiedenen Sensortypen (z.B. Kamera und Radar) umfassen. Ergänzend oder alternativ können die ersten Umfelddaten und die zweiten Umfelddaten (zumindest teilweise) vom selben Sensortyp bereitgestellt werden. Anders gesagt können die ersten Umfelddaten und die zweiten Umfelddaten zumindest teilweise Umfelddaten vom selben Sensortyp (z.B. Kamera oder Radar) umfassen.
Insbesondere können die ersten Umfelddaten zumindest teilweise von einem ersten Sensortyp bereitgestellt werden, und die zweiten Umfelddaten können zumindest teilweise von einem zweiten Sensortyp bereitgestellt werden, der vom ersten Sensortyp verschieden ist. Ergänzend oder alternativ können die ersten Umfelddaten zumindest teilweise vom ersten Sensortyp (oder zweiten Sensortyp) bereitgestellt werden, und die zweiten Umfelddaten können zumindest teilweise vom ersten Sensortyp (oder zweiten Sensortyp) bereitgestellt werden.
Durch die Fusion von Daten gleicher und/oder verschiedener Sensortypen von verschiedenen Sensorträgern in der zentralen Einheit 200 kann eine Präzision des globalen Umfeldmodells, das in der zentralen Einheit 200 erstellt wird, verbessert werden.
In einigen Ausführungsformen sind die ersten Umfelddaten und/oder die zweiten Umfelddaten, die in der zentralen Einheit 200 empfangen werden, mit einem jeweiligen Situationslabel versehen. Die Situationslabel können den ersten Umfelddaten und/oder den zweiten Umfelddaten bereits von der Datenquelle bzw. dem Sensorträger hinzugefügt werden. Die Situationslabel können eine Situation angeben, in der die Umfelddaten aufgenommen wurden. Die Situationslabel können zum Beispiel eine Zeit, eine Geschwindigkeit, ein Ort, etc. sein, sind jedoch nicht hierauf begrenzt. Insbesondere können die Situationslabel Metadaten entsprechen, die beim Sensorträger bereits vorhanden sind. Beispielsweise bringt ein Messfahrzeug (z.B. das erste Fahrzeug 201) von einer Messfahrt Rohdaten sowie Objektlisten des Umfeldmodells und höhere Applikationsdaten mit, sowie automatisiert gelabelte Labels der Obj ektdaten.
In der zentralen Einheit 200 erfolgt eine Fusion der ersten Umfelddaten und der zweiten Umfelddaten, die bereits die Situationslabel enthalten können. Basierend auf der Fusion kann durch die zentrale Einheit 200 ein weiteres Labeln der Umfelddaten durch ein Erstellen von Bounding Boxes erfolgen, um die gelabelten (End-)Daten zur Verwendung im Fahrassistenzsystem zu erzeugen. Damit können die gelabelten (End-)Daten sowohl die Situationslabel als auch die Bounding Boxes umfassen.
In einigen Ausführungsformen erfolgt ein Forward-Backward-Filtering, um die ersten Umfelddaten und/oder die zweiten Umfelddaten von einem zweiten Zeitpunkt auf einen ersten, früheren Zeitpunkt zurückzurechnen. Insbesondere kann in der zentralen Einheit keine Echtzeitanforderung bestehen, so dass auch Daten von späteren Zeitpunkten verwendet werden können, um das Umfeldmodell eines früheren Zeitpunkts zu bestimmen.
Typischerweise erfolgt ein Projizieren der gelabelten Daten in einen oder mehrere Sensorräume, die das Fahrassistenzsystem verwendet. Das Projizieren kann unter Verwendung eines Sensormodells erfolgen, das einen Zusammenhang zwischen einem globalen Umfeldmodell, das auf den gelabelten Daten basiert, und Rohdaten eines Sensors angibt. Beispielsweise werden aus dem globalen Umfeldmodell mit Metainformationen Projektionen erstellt, die auf die physikalischen Eigenschaften schließen lassen, die ein Sensor wahrnehmen kann, und die eine Berechnung zurück in den jeweiligen Sensorraum erlauben. Hierdurch können gelabelte Daten in den Sensorräumen der beitragenden Sensoren bzw. Sensorsysteme erreicht werden.
Bezugnehmend auf die 2 kann das erste Fahrzeug 201 Informationen über gelabelte Daten an das Backend 200 senden. Im Backend 200 werden alle Informationen vom (z.B. autonomen) ersten Fahrzeug 201 zusammen mit den Daten von anderen verbundenen Sensorträgern 203, 205, 207, z.B. anderen autonomen Fahrzeugen, Sensoren/Kameras im Straßenumfeld, etc., gesammelt, um ein präziseres Umfeldmodell als das im ersten Fahrzeug 201 vorhandene zu errechnen. Die Präzision resultiert aus der Kombination von verschiedenen Messdaten aus verschiedenen Einheiten (Fusion), sowie dem Einsatz von fortgeschrittenen rechenintesiveren Algorithmen, wie zum Beispiel dichte Punktwolke, semantische Segmentierung, Agglomerative Hierarchical Clustering, etc.
Auf Grundlage dieses Umfeldmodells findet eine Projektion der Objekte auf die Rohdaten der Sensoren statt. Diese Projektion erfordert ein Sensormodell, das den Zusammenhang zwischen dem globalen Umfeldmodell und Rohdaten des Sensors herstellt. Zusätzlich werden auch die im Umfeldmodell klassifizierten Objekte in den Sensorraum projiziert, die das Label darstellen.
3 zeigt schematisch ein Fahrzeug 300 gemäß Ausführungsformen der vorliegenden Offenbarung.
Das Fahrzeug 300 umfasst ein Fahrassistenzsystem 400 zum automatisierten Fahren. Beim automatisierten Fahren erfolgt die Längs- und Querführung des Fahrzeugs 200 automatisch. Das Fahrassistenzsystem 400 übernimmt also die Fahrzeugführung. Hierzu steuert das Fahrassistenzsystem 400 den Antrieb 20, das Getriebe 22, die hydraulische Betriebsbremse 24 und die Lenkung 26 über nicht dargestellte Zwischeneinheiten.
Zur Planung und Durchführung des automatisierten Fahrens werden Umfeldinformationen einer Umfeldsensorik, die das Fahrzeugumfeld beobachtet, vom Fahrerassistenzsystem 400 entgegengenommen. Insbesondere kann das Fahrzeug 300 wenigstens einen Umgebungssensor 12 umfassen, der zur Aufnahme von Umgebungsdaten, die das Fahrzeugumfeld angeben, eingerichtet ist. Der wenigstens eine Umgebungssensor 12 kann beispielsweise ein LiDAR-System, ein oder mehrere Radar-Systeme und/oder eine oder mehrere Kameras umfassen.
Zudem umfasst das Fahrzeug 300, und insbesondere das Fahrassistenzsystem 400, ein Speichermodul 14, das die gemäß den Ausführungsformen der vorliegenden Offenbarung gelabelten Daten enthält. Die gelabelten Daten können zusammen mit den durch die Umfeldsensorik des Fahrzeugs 300 erfassten Umgebungsdaten zur Objekterkennung verwendet werden, wodurch eine Verbesserung der Erkennungsalgorithmen des Fahrassistenzsystems 400 und damit eine verbesserte automatisierte Steuerung des automatisierten Fahrzeugs 300 ermöglicht wird.
Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Bei dem automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad.
Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012).
Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich.
Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.
Erfindungsgemäß werden Umfelddaten, die von mehreren Sensoren von verschiedenen Sensorträgern bereitgestellt werden, in der zentralen Einheit kombiniert, um gelabelte Daten zu erzeugen. Dadurch kann in der zentralen Einheit ein großes globales Umfeldmodell erzeugt werden, das örtliche und zeitliche Komponenten umfasst. Das Umfeldmodell ist fahrzeugübergreifend, wobei komplementäre und/oder redundante Umfeld-Erfassungssensoren eine Datengrundlage bereitstellen. Rechenintensive Algorithmen können basierend auf dieser Datengrundlage verwendet werden, um eine hohe Präzision von geometrischen Daten und Klassifikationsdaten zu erzielen. Dementsprechend kann ein schnelles und effizientes Erstellen von Objektmarkierungen ermöglicht werden. Die gelabelten Daten können in einem Fahrassistenzsystem zur Objekterkennung verwendet werden, wodurch eine Verbesserung von Erkennungsalgorithmen von Sensorsystemen ermöglicht wird.

Claims

Verfahren (100) zum automatisierten Erstellen von Objektmarkierungen für die Verwendung in einem Fahrassistenzsystem (400) eines Fahrzeugs (300), umfassend: Empfangen (110) von ersten Umfelddaten einer ersten Datenquelle in einer zentralen Einheit (200), wobei die erste Datenquelle (201) einem ersten Fahrzeug entspricht; Empfangen (120) von zweiten Umfelddaten wenigstens einer zweiten Datenquelle (203, 205, 207) in der zentralen Einheit (200), wobei die erste Datenquelle von der wenigstens einen zweiten Datenquelle verschieden ist, und wobei die ersten Umfelddaten und die zweiten Umfelddaten zumindest teilweise einem selben Umfeld entsprechen; und Bestimmen (130) von Objektmarkierungen basierend auf einer Kombination aus den ersten Umfelddaten und den zweiten Umfelddaten durch eine Prozessoreinheit (220) der zentralen Einheit (200), um gelabelte Daten für die Verwendung in einem Fahrassistenzsystem (400) zu erstellen, wobei die Objektmarkierungen Bounding Boxes umfassen.
Verfahren (100) nach Anspruch 1, wobei die ersten Umfelddaten und die zweiten Umfelddaten zumindest teilweise von verschiedenen Sensortypen bereitgestellt werden.
Verfahren (100) nach Anspruch 1 oder 2, wobei die ersten Umfelddaten und/oder die zweiten Umfelddaten, die in der zentralen Einheit (200) empfangen werden, mit einem jeweiligen Situationslabel versehen sind.
Verfahren (100) nach einem der Ansprüche 1 bis 3, weiter umfassend: Durchführen von Forward-Backward-Filtering, um die ersten Umfelddaten und/oder die zweiten Umfelddaten von einem zweiten Zeitpunkt auf einen ersten, früheren Zeitpunkt zurückzurechnen.
Verfahren (100) nach einem der Ansprüche 1 bis 4, weiter umfassend: Projizieren der gelabelten Daten in einen oder mehrerer Sensorräume, die das Fahrassistenzsystem (400) verwendet.
Das Verfahren (100) nach Anspruch 5, wobei das Projizieren unter Verwendung eines Sensormodells erfolgt, das einen Zusammenhang zwischen einem globalen Umfeldmodell, das auf den gelabelten Daten basiert, und Rohdaten eines Sensors angibt.
Verfahren (100) nach einem der Ansprüche 1 bis 6, wobei die wenigstens eine zweite Datenquelle (203, 205, 207) eine bewegte oder stationäre Vorrichtung ist.
Verfahren (100) nach einem der Ansprüche 1 bis 7, wobei die wenigstens eine zweite Datenquelle (203, 205, 207) aus der Gruppe ausgewählt ist, die aus einem zweiten Fahrzeug, einer Kamera, einem optischen Sensor, einem akustischen Sensor, einem Ultraschallsensor, einem Lidar-System, oder Kombinationen daraus besteht.
Speichermedium, umfassend ein Software-Programm, das eingerichtet ist, um auf einem oder mehreren Prozessoren (220) ausgeführt zu werden, und um dadurch das Verfahren (100) gemäß einem der Ansprüche 1 bis 8 auszuführen.
System (100) zum automatisierten Erstellen von Objektmarkierungen für die Verwendung in einem Fahrassistenzsystem (400) eines Fahrzeugs (300), umfassend: eine Empfangseinheit (210), die eingerichtet ist, um erste Umfelddaten einer ersten Datenquelle (201) und zweite Umfelddaten wenigstens einer zweiten Datenquelle (203, 205, 207) zu empfangen, wobei die erste Datenquelle (201) einem ersten Fahrzeug entspricht, wobei die erste Datenquelle (201) von der wenigstens einen zweiten Datenquelle (203, 205, 207) verschieden ist, und wobei die ersten Umfelddaten und die zweiten Umfelddaten zumindest teilweise einem selben Umfeld entsprechen; und eine Prozessoreinheit (210), die eingerichtet ist, um Objektmarkierungen basierend auf einer Kombination aus den ersten Umfelddaten und den zweiten Umfelddaten zu bestimmen, um gelabelte Daten für die Verwendung in einem Fahrassistenzsystem (400) zu erstellen, wobei die Objektmarkierungen Bounding Boxes umfassen.