DE102019130204A1

DE102019130204A1 - Verfahren und System zum Erstellen dynamischer Karteninformation, die zum Bereitstellen von Umgebungsinformationen geeignet ist

Info

Publication number: DE102019130204A1
Application number: DE102019130204.8A
Authority: DE
Inventors: Hsuan-Ta LIN; Cheng-Kai Wang; Chun-Yao Shih
Original assignee: Automotive Research and Testing Center
Current assignee: Automotive Research and Testing Center
Priority date: 2019-11-08
Filing date: 2019-11-08
Publication date: 2021-05-12
Anticipated expiration: 2039-11-09
Also published as: DE102019130204B4

Abstract

Ein System zum Erstellen von dynamischen Karteninformationen mit Umgebungsinformationen weist einen Cloud-Server (30), mehrere in der Umgebung verteilte Relay-Hosts (20) und mehrere Fahrzeuggeräte (10), wobei jedes jeweils in anderen Fahrzeugen installiert ist, auf. Jedes Fahrzeuggerät (10) weist einen LiDAR-Sensor (11) und eine Kamera (12) zum Umgebungserfassen auf, um Punktwolkendaten und Bilddaten zu erstellen. Wenn die Punktwolkendaten von verschiedenen Fahrzeugen an einen benachbarten Relay-Host (20) übertragen werden, führt der Relay-Host (20) einen Multi-Fahrzeug-Datenintegration-Modus aus, um die Punktwolkendaten zusammenzuführen und um, gemäß der zusammengeführten Daten, 3D-Koordinateninformationen von Objekten in der Umgebung zu erhalten. Basierend auf den 3D-Koordinateninformationen von Objekten, erstellt und überträgt der Cloud-Server (30) die dynamischen Karteninformationen zu den Fahrzeugen. Durch das Teilen von Erfassungsdaten verschiedener Fahrzeuge, wird der Erfassungsbereich jedes Fahrzeugs erweitert um Dunkelbereiche oder Totbereiche abzumildern.

Description

Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein Verfahren zum automatischen Identifizieren von Umgebungsinformation, und insbesondere auf ein Verfahren zum Identifizieren von Hindernissen unter Verwendung von LiDAR-Informationen und Bildinformationen.
Beschreibung der verwandten Technik
Mit der sich ständig wandelnden und schnell entwickelnden künstlichen Intelligenz (KI) und den Maschinenlernen-Technologien wenden viele internationale Unternehmen dieses neue Maschinenlernen in Forschung und Entwicklung des Selbstfahrens (z.B. autonomen Fahrens) an. Ein in Fahrzeugen eingerichtetes selbstfahrendes System ist in der Lage, Umgebungssituationen um die Fahrzeuge durch Sensorfusion zu detektieren und basierend auf Erfassungsergebnissen trifft es eine angemessene Beurteilung, um das Fahrzeug zu steuern.
Wenn alle Erfassungsergebnisse durch Sensoren erlangt werden, die in einem einzigen Fahrzeug zur Erfassung der Umgebung bereitgestellt sind, können der Beobachtungswinkel und die Bewegungsrichtung des Fahrzeugs zu einem Dunkelbereich oder einem Totbereich für das Fahrzeug führen, wenn mehrere Hindernisse zueinander benachbart sind. Zum Beispiel, mit Bezug auf 10, wenn ein erstes Hindernis O1 und ein zweites Hindernis O2 sich vor einem Fahrzeug A befinden, kann das Fahrzeug A nur das erste Hindernis O1 erkennen. Das zweite Hindernis O2 hinter dem ersten Hindernis O1 befindet sich für das Fahrzeug A im Dunkelbereich (z.B. im Schatten) Z und ist nicht erfassbar.
Ein Gerät zur Detektion von Licht und Abstand (kurz: LiDAR, abgeleitet vom englischen Begriff „Light detection and ranging“) wird häufig in selbstfahrenden Systemen verwendet. Es kann schnell die umliegende Umgebung erkennen und Punktwolkendaten erzeugen, die die umliegende Umgebung darstellen. Entsprechend der Punktwolkendaten, werden dreidimensionale (3D) geometrische Informationen über die umliegende Umgebung erlangt.
Die LiDAR hat jedoch noch immer das oben beschriebene Problem. Wenn es mehrere benachbarte bzw. aneinander angrenzende Objekte gibt, können die geometrischen Informationen nicht vollständig erfasst werden. Daher ist es ungünstig, anschließend zu bestimmen, ob die Objekte ein Hindernis sind.
Ein Ziel der vorliegenden Erfindung ist, ein System zum Erstellen von dynamischen Karteninformationen bereitzustellen, das zum Bereitstellen von Umgebungsinformationen geeignet ist. Das System weist mehrere Fahrzeuggeräte, mehrere Relay-Hosts und einen Cloud-Server auf.
Die mehreren Fahrzeuggeräte sind jeweils in unterschiedlichen Fahrzeugen installiert. Jedes der Fahrzeuggeräte weist einen Sensor zur Detektion von Licht und Abstand (LiDAR) auf, der die Umgebung um das Fahrzeug erfasst, um Punktwolkendaten zu erzeugen, sowie eine Kamera, die die Umgebung um das Fahrzeug aufnimmt, um Bilddaten zu erzeugen, ein mit dem LiDAR-Sensor, der Kamera und einer Datenübertragungseinheit verbundenes Fahrzeugsteuerungsgerät, das steuert, dass die Punktwolkendaten und die Bilddaten über die Übertragungseinheit übertragen werden, bzw. das die Punktwolkendaten und die Bilddaten steuert, die mittels der Übertragungseinheit übertragen werden sollen, und
eine Mensch-Maschine-Schnittstelle, die mit dem Fahrzeugsteuerungsgerät verbunden ist.
Jeder Relay-Host erhält die Punktwolkendaten und die Bilddaten von den Fahrzeugen um den betreffenden Relay-Host und führt einen Multi-Fahrzeug-Datenintegration-Modus aus, um die von den Fahrzeugen erhaltenen Punktwolkendaten zusammenzuführen, um ein Verarbeitungsergebnis zu erzeugen, das 3D-Koordinateninformationen von Objekten in der Umgebung enthält.
Der Cloud-Server kommuniziert mit den mehreren Relay-Hosts und den mehreren Fahrzeuggeräten, erhält das Verarbeitungsergebnis des Multi-Fahrzeug-Datenintegration-Modus und integriert die 3D-Koordinateninformationen von Objekten in eine Basiskarte, um dynamische Karteninformationen zu erstellen. Der Cloud-Server übermittelt die dynamischen Karteninformationen an die Mensch-Maschine-Schnittstelle jedes Fahrzeuggeräts.
Ein weiteres Ziel der vorliegenden Erfindung ist, ein Verfahren zum Erstellen von dynamischen Karteninformationen bereitzustellen, das zum Bereitstellen von Umgebungsinformationen geeignet ist.
Das Verfahren weist folgende Schritte auf:

(a)Senden einer Bestätigungsanforderung von einem Fahrzeuggerät, das in einem Fahrzeug installiert ist, zu einem Cloud-Server;
(b)Benennen eines Relay-Host unter mehreren Relay-Hosts und Informieren des Fahrzeuggeräts, dass der Relay-Host benannt worden ist, durch den Cloud-Server, wobei der Cloud-Server sich auf einen Standort des Fahrzeugs bezieht, um den Relay-Host in der Nähe des Fahrzeugs zu benennen;
(c)Übertragen von Punktwolkendaten und Bilddaten vom Fahrzeug zum benannt gewordenen Relay-Host durch das Fahrzeuggerät, wobei die Punktwolkendaten von einem LiDAR-Sensor bereitgestellt werden, der die Umgebung um das Fahrzeug erfasst, und die Bilddaten von einer Kamera bereitgestellt werden, die die Umgebung um das Fahrzeug aufnimmt;
(d) wenn der Relay-Host die Punktwolkendaten und die Bilddaten von mehreren Fahrzeugen empfängt, Ausführen eines Multi-Fahrzeug-Datenintegration-Modus durch den Relay-Host, um die von den mehreren Fahrzeugen erhaltenen Punktwolkendaten zusammenzuführen, um ein Verarbeitungsergebnis zu erzeugen, welches 3D-Koordinateninformationen über Objekte in der Umgebung enthält;
(e) Erhalten des Verarbeitungsergebnisses des Multi-Fahrzeug-Datenintegration-Modus vom Relay-Host durch den Cloud-Server, und Integrieren der 3D-Koordinateninformationen von Objekten mit einer Basiskarte, um dynamische Karteninformationen zu erstellen; und
(f) Übermittlung der dynamischen Karteninformationen an die Mensch-Maschine-Schnittstelle eines jeden Fahrzeuggeräts durch den Cloud-Server, wobei die dynamischen Karteninformationen 3D-Koordinateninformationen der Objekte in der Umgebung enthalten.

Durch Integrieren der durch die LiDAR-Sensoren der verschiedenen Fahrzeuge erfassten Punktwolkendaten kann der Erfassungsbereich eines jeden Fahrzeugs erweitert werden, um mehr Objekte um das Fahrzeug zu identifizieren. Die 3D-Koordinateninformationen der Objekte können mit einer Basiskarte kombiniert werden, um dynamische Karteninformationen zu erstellen. Die dynamischen Karteninformationen werden an jedes Fahrzeug übertragen, um das Ziel des Teilens von Umgebungsinformationen zu erreichen.
Wenn die Erfindung auf selbstfahrende Fahrzeuge angewendet wird, sind die bevorzugten dynamischen Karteninformationen eine hochauflösende Karte (HD MAP). Die HD MAP kann vom Steuersystem im selbstfahrenden Fahrzeug zum automatischen Programmieren von sicheren Fahrstrecken und zum Vermeiden von Kollisionen mit identifizierten Hindernissen verwendet werden.
In den Figuren:

ist 1 eine schematische Darstellung eines Systems in Übereinstimmung mit der vorliegenden Erfindung,
ist 2 ein Blockdiagramm des erfindungsgemäßen Systems,
zeigt 3 ein Flussdiagramm zur Zusammenarbeit zwischen einem Fahrzeuggerät, einem Relay-Host und einem Cloud-Server in Übereinstimmung mit der vorliegenden Erfindung,
zeigt 4 zwei Gruppen von Punktwolkendaten PA, PB, die jeweils von zwei LiDAR gewonnen sind,
ist 5 ein Flussdiagramm eines iterativen Nächstgelegenen-Punkt-Algorithmus (ICP-Algorithmus), der in der vorliegenden Erfindung verwendet wird,
zeigt 6 die zwei Cluster an Punktwolkendaten PA, PB, die in 4 durch eine Berechnung des ICP-Algorithmus zueinander ausgerichtet worden sind,
zeigt 7A von LiDAR in Übereinstimmung mit der vorliegenden Erfindung gewonnene Punktwolkendaten der Umgebung,
zeigt 7B von einer Kamera in Übereinstimmung mit der vorliegenden Erfindung gewonnene Bilddaten der Umgebung,
ist 8 ein Flussdiagramm zu einer Datenverarbeitung, die von einem einzelnen Fahrzeug ausgeführt wird,
ist 9 eine schematische Ansicht, die durch mehrere Fahrzeuge in Übereinstimmung mit der vorliegenden Erfindung identifizierte Hindernisse zeigt, und
ist 10 eine schematische Ansicht, die eine Dunkelbereich bzw. einen Todbereich eines Fahrzeugs zeigt.

Mit Bezug auf 1 und 2 weist ein erfindungsgemäßes System zum Erstellen von dynamischen Karteninformationen Fahrzeuggeräte 10 auf, wobei jedes jeweils in Fahrzeugen installiert ist, sowie mehrere Relay-Hosts 20, die in der Umgebung bereitgestellt sind und sich vorzugsweise in der Nähe von Straßen befinden, und einen Cloud-Server 30.
Jedes Fahrzeuggerät 10 weist einen Sensor zur Detektion von Licht und Abstand (LiDAR) 11, eine Kamera 12, ein Fahrzeugsteuerungsgerät 13, eine Datenübertragungseinheit 14, und eine Mensch-Maschine-Schnittstelle (HCI) 15 auf. Der LiDAR-Sensor 11 ist mit dem Fahrzeugsteuerungsgerät 13 verbunden und erfasst die Umgebung um das Fahrzeug, um Punktwolkendaten zu erzeugen. Die Kamera 12 ist mit dem Fahrzeugsteuerungsgerät 13 verbunden und nimmt Bilder um das Fahrzeug auf, um Bilddaten zu erzeugen. Das Fahrzeugsteuerungsgerät 13 übermittelt die Punktwolkendaten und die Bilddaten über die Datenübertragungseinheit 14, wobei ein eindeutiger Fahrzeug-Identifikations-Code für das Fahrzeug in dem Fahrzeugsteuerungsgerät 13 vorgespeichert ist, um das Fahrzeug unter mehreren Fahrzeugen zu identifizieren. Die Datenübertragungseinheit 14 ist eine drahtlose Kommunikationseinheit zur Datenübertragung zwischen dem Fahrzeuggerät 10, dem Relay-Host 20 und dem Cloud-Server 30.
Die Relay-Hosts 20 sind in der Umgebung aufgebaut und verteilt, um eine Fahrzeug-zur-Infrastruktur-Kommunikation (V21-Kommunikation) mit dem Fahrzeuggerät 10 zu bilden. Jeder der Relay-Hosts 20 hat einen eindeutigen Host-Identifikations-Code. Die Relay-Hosts 20 kommunizieren auch mit dem Cloud-Server 30.
Der Cloud-Server 30 ist in der Lage, auf die Kartendatenbank 31 zuzugreifen, in der Basisumgebungsinformationen, die als eine Basiskarte verwendet werden, gespeichert sind. Der Cloud-Server 30 integriert Daten, die von den Relay-Hosts 20 mit der Basiskarte in der Kartendatenbank 31 verarbeitet werden, um dynamische Karteninformationen zu erstellen, und überträgt dann die dynamischen Karteninformationen an die Mensch-Maschine-Schnittstelle 15 eines jeden Fahrzeuggeräts 10.
Mit Bezug auf 3 schließt die Zusammenarbeit zwischen dem Fahrzeuggerät 10, den Relay-Hosts 20 und dem Cloud-Server 30 die folgenden Schritte mit ein:

S31: Das Fahrzeuggerät 10 eines Fahrzeugs sendet eine Bestätigungsanforderung an einen Cloud-Server 30, um anzufragen, ob es einen Relay-Host 20 um das selbige Fahrzeug herum gibt. Für den Cloud-Server bedeutet das, dass der Cloud-Server 30 mehr als eine Bestätigungsanforderung von verschiedenen Fahrzeuggeräten 10 zur gleichen Zeit erhalten kann/ könnte.

S32: Der Cloud-Server 30 benennt einen Relay-Host 20, der für das Fahrzeug erreichbar ist, entsprechend eines Standorts des die Bestätigungsanforderung schickenden Fahrzeugs und stellt dem die Bestätigungsanforderung schickenden Fahrzeug den Host-Identifikations-Code des benannten Hosts 20 zur Verfügung, wobei der Cloud-Server 30 den Standort des die Bestätigungsanforderung schickenden Fahrzeugs entsprechend seiner GPS-Information erhält.
S33: Nachdem das Fahrzeuggerät 10 die Bestätigungsanforderung gesendet hat, empfängt es die Antwortinformation von dem Cloud-Server 30, das Fahrzeuggerät 10 lädt seine Erfassungsdaten inklusive der Punktwolkendaten und der Bilddaten sowie den Fahrzeug-Identifikations-Code des Fahrzeugs auf den Relay-Host 20 hoch, der vom Cloud-Server 30 benannt ist. Wenn es nur ein Fahrzeug gibt, welches die Bestätigungsanforderung nahe des Relay-Hosts 20 versendet, empfängt der Relay-Host nur die Erfassungsdaten von dem Fahrzeug. Wenn es mehrere Fahrzeuge gibt, die ihre Bestätigungsanforderungen nahe des Relay-Hosts 20 versenden, empfängt der Relay-Host 20 die Erfassungsdaten von den mehreren Fahrzeugen.
S34: Basierend auf den Erfassungsdaten, die ausgehend von jedem der Fahrzeuggeräte 10 empfangen werden, bestimmt der benannte Relay-Host 20, ob ein „Mono-Fahrzeug-Datenverarbeitung-Modus“ oder ein „Multi-Fahrzeug-Datenintegration-Modus“ ausgeführt werden und abgearbeitet werden soll, und überträgt die verarbeiteten Ergebnisse entweder des „Mono-Fahrzeug-Datenverarbeitung-Modus“ oder des „Multi-Fahrzeug-Datenintegration-Modus“ sowie den Host-Identifikations-Code an den Cloud-Server 30. Wenn es nur ein Fahrzeug um den Relay-Host 20 gibt, empfängt der Relay-Host 20 die Erfassungsdaten von nur dem einzelnen Fahrzeuggerät 10 und führt den „Mono-Fahrzeug-Datenverarbeitung-Modus“ aus. Anderenfalls, wenn es mehr als zwei verschiedene Fahrzeuge um den Relay-Host 20 gibt, empfängt der Relay-Host 20 mehrere Teile von Erfassungsdaten von den unterschiedlichen Fahrzeugen und führt den „Multi-Fahrzeug-Datenintegration-Modus“ aus. Der „Mono-Fahrzeug-Datenverarbeitung-Modus“ oder der „Multi-Fahrzeug-Datenintegration-Modus“ werden untenstehend im Detail beschrieben.
S35: Der Cloud-Server 30 empfängt die verarbeiteten Ergebnisse des Relay-Hosts 20 und kombiniert die verarbeiteten Daten mit der Basiskarte, um dynamische Karteninformationen zu erstellen. Da die verarbeiteten Ergebnisse die dreidimensionalen (3D) Koordinateninformationen der das Fahrzeug umgebenden Hindernisse enthalten, werden dementsprechend die dynamische Karteninformationen die Koordinateninformationen der das Fahrzeug umgebenden Hindernisse enthalten.
S36: Der Cloud-Server 30 überträgt die dynamischen Karteninformationen zurück an die Mensch-Maschine-Schnittstelle 15 des Fahrzeugs. Beim Übertragen der dynamischen Karteninformationen, bestimmt der Cloud-Server das empfangende Fahrzeug, an das die dynamischen Karteninformationen gemäß des Fahrzeug-Identifikations-Codes übertragen werden sollen.
In Bezug auf das Multi-Fahrzeug-Datenintegration-Modus in Schritt S34, wenn der Relay-Host 20 Daten von mehr als zwei unterschiedlichen Fahrzeugen empfängt, können sich die für dasselbe Objekt von den LiDAR-Sensoren 11 an den Fahrzeugen erfassten Punktwolkendaten voneinander unterscheiden, weil sich die Fahrzeuge an unterschiedlichen Standorten befinden. Mit Bezug auf 4 wird eine erste Gruppe von Punktwolkendaten PA und eine zweite Gruppe von Punktwolkendaten PB für dasselbe Zielobjekt schematisch gezeigt. Die erste Gruppe von Punktwolkendaten PA und die zweite Gruppe von Punktwolkendaten PB sind von zwei LiDAR-Sensoren 11 erzeugt, welche sich an unterschiedlichen Positionen befinden, wobei jede Gruppe von Punktwolkendaten PA, PB sich aus einer Vielzahl an Datenpunkten zusammensetzt. Die vorliegende Erfindung verwendet den iterativen Nächstgelegenen-Punkt-Algorithmus (ICP-Algorithmus), um den Abstand zwischen den jeweiligen Datenpunkten in den beiden Gruppen von Punktwolkendaten PA, PB zu reduzieren. In anderen Worten, die jeweiligen Datenpunkte in den beiden Gruppen von Punktwolkendaten PA, PB können zueinander so nah wie möglich ausgerichtet werden.
Mit Bezug auf 5 ist der iterative Nächstgelegenen-Punkt-Algorithmus (ICP-Algorithmus) nicht das Hauptmerkmal der vorliegenden Erfindung. Die Abläufe des ICP-Algorithmus weisen hauptsächlich die folgenden Schritte auf:

S51: Erhalten der ersten Gruppe von Punktwolkendaten PA und der zweiten Gruppe von Punktwolkendaten PB;
S52: Bestimmen der Datenpunkte, die in den beiden Gruppen von Punktwolkendaten PA, PB miteinander übereinstimmen, um Übereinstimmung zwischen der ersten Gruppe an Punktwolkendaten PA und der zweiten Gruppe an Punktwolkendaten PB zu erhalten;
S53: Berechnen einer Transformationsmatrix entsprechend der Übereinstimmung zwischen den zwei Gruppen an Punktwolkendaten PA, PB;
S54: Ausführen einer Transformation, um die Koordinaten eines jeden Datenpunkts in der ersten Gruppe von Punktwolkendaten PA durch die Transformationsmatrix zu transformieren;
S55: Berechnen eines aktuellen quadratischen Mittelwerts in der aktuellen Transformation und eines vorherigen quadratischen Mittelwerts der vorherigen Transformation, um den Fehler zwischen den beiden quadratischen Mittelwerten zu erhalten;
S56: Bestimmen, ob der berechnete Fehler kleiner als ein vorgegebener Grenzwert ist; wenn ja, ist die erste Gruppe von Punktwolkendaten PA zu der zweiten Gruppe von Punktwolkendaten PB ausgerichtet und Beenden der Berechnung; wenn nein, Wiederholen des Schritts S52.

Mit Bezug auf 6 sind die beiden Gruppen von Punktwolkendaten PA, PB nach der Ausführung der ICP-Berechnung zueinander ausgerichtet. In anderen Worten, wenn die von den LiDAR-Sensoren 11 an beiden Fahrzeugen gemessenen Erfassungsdaten einen gemeinsamen Erfassungsbereich haben, können die Erfassungsdaten miteinander zusammengeführt werden und die Koordinatenfehler zwischen den Erfassungsdaten können reduziert werden. Weil sich die Erfassungsbereiche verschiedener Fahrzeuge voneinander unterscheiden, kann, wenn die Erfassungsbereiche der Fahrzeuge kombiniert werden, ein größerer Erfassungsbereich erreicht werden und der Blindbereich bzw. der Totbereich kann für jedes Fahrzeug abgemildert werden. Wenn der Relay-Host 20 das Multi-Fahrzeug-Datenintegration-Modus beendet, werden die integrierten Punktwolkendaten zur Berechnung der Karteninformationen an den Cloud-Server 30 übertragen. Da jeder Datenpunkt in den Punktwolkendaten 3D-Informationen darstellt, könnten auch die integrierten Punktwolkendaten die 3D-Koordinateninformationen eines Objektes darstellen.
In Bezug auf den Mono-Fahrzeug-Datenverarbeitung-Modus in Schritt S34, wenn der Relay-Host 20 nur die Erfassungsdaten von einem (insbesondere einem einzigen) Fahrzeug erhält, verarbeitet der Relay-Host 20 die Punktwolkendaten und die Bilddaten, die vom Fahrzeug zur Verfügung gestellt werden. Wie in den 7A und 7B gezeigt wird, können der LiDAR-Sensor 11 und die Kamera 12 jeweils die Punktwolkendaten und die Bilddaten zu Verfügung stellen, wenn sie dieselbe Umgebung erfassen. Den Bilddaten zufolge wurde festgestellt, dass sich ein Fußgänger hinter dem Auto befindet. Da der Fußgänger jedoch teilweise durch das Auto verdeckt wird, ist es schwierig, anhand der Punktwolkendaten zu bestimmen, ob es einen Fußgänger gibt oder nicht. Um ein verdecktes Objekt korrekt erkennen zu können, führt der Relay-Host 20 mit Bezug auf 8 den Mono-Fahrzeug-Datenverarbeitung-Modus aus, welcher die folgenden Schritte hat:

S81: Identifizieren von ersten Verbindungsboxen für Objekte in den Bilddaten, wobei die Objekte zum Beispiel Fahrzeugobjekte, Fußgängerobjekte und Quasi-Fußgängerobjekte, wie beispielsweise Motorradfahrer und Radfahrer, sein können und durch bekannte Bilderkennungstechnologie zum Identifizieren einer Verbindungsbox erkennbar sein können.
S82: Identifizieren von Objekten in den Punktwolkendaten, um ihre zweite Verbindungsboxen zu erhalten, und Abbilden der zweiten Verbindungsboxen in den Bilddaten, um die Bilddaten mit den Punktwolkendaten zu vergleichen.
S83: Bestimmen, ob das durch die zweite Verbindungsbox in den Punktwolkendaten identifiziere Objekt in den Bilddaten existiert; wenn dasselbe Objekt existiert, gehört das Objekt zu einem Hellbereich-Objekt, wobei, weil jeder Datenpunkt in den Punktwolkendaten 3D-Informationen darstellt, die 3D-Koordinateninformationen des Hellbereich-Objekts basierend auf den Punktwolkendaten gewonnen werden können. Zum Beispiel, weil ein Fahrzeug in den Bilddaten und den Punktwolkendaten identifiziert werden kann, ist das Fahrzeug eine Art Hellbereich-Objekt. Wenn das identifizierte Fahrzeug in den Bilddaten dasselbe ist wie in den Punktwolkendaten, können die 3D-Koordinateninformationen des Fahrzeugs basierend auf den Punktwolkendaten gewonnen werden.
S84: Bestimmen, ob die Bilddaten ein Objekt enthalten, das nicht in den Punktwolkendaten identifiziert ist. Wenn es ein Objekt gibt, das nicht in den Punktwolkendaten identifiziert ist, aber in den Bilddaten existiert, gehört das Objekt zu einem Dunkelbereich-Objekt. Zum Beispiel ein Fußgänger hinter dem Fahrzeug könnte zu einem Dunkelbereich-Objekt in den Punktwolkendaten gehören. Wenn der Fußgänger in den Bilddaten identifiziert ist, ist der Fußgänger als ein Dunkelbereich-Objekt bestätigt.
S85: Abbilden der ersten Verbindungsbox des Dunkelbereich-Objekts in den Punktwolkendaten, um 3D-Koordinateninformationen des Dunkelbereich-Objekts zu erhalten. Weil der Fußgänger und seine erste Verbindungsbox im vorangehenden Schritt S84 bestätigt werden können, werden die Koordinaten der in den Bilddaten identifizierten ersten Verbindungsbox in den entsprechenden Koordinaten in den Punktwolkendaten abgebildet, um den Standort des Dunkelbereich-Objektes in den Punktwolkendaten zu lokalisieren.

Nachdem der Relay-Host 20 den Mono-Fahrzeug-Datenverarbeitung-Modus abgeschlossen hat, können die 3D-Koordinateninformationen des Hellbereich-Objekts und des Dunkelbereich-Objekts aus den Punktwolkendaten gewonnen werden. Die 3D-Koordinateninformationen der Objekte werden zur Berechnung der dynamischen Karteninformationen an den Cloud-Server 30 übertragen.
Wenn der Cloud-Server 20 die 3D-Koordinateninformationen der berechneten Objekte erhält, kombiniert der Cloud-Server die 3D-Koordinateninformationen mit der Basiskarte, um dynamische Karteninformationen zu erstellen und überträgt dann die dynamischen Karteninformationen an die Mensch-Maschine-Schnittstelle 15 jedes Fahrzeugs. In einem anderen Ausführungsbeispiel sind die dynamischen Karteninformationen eine hochauflösende Karte (HD MAP) zur automatischen Steuerung von selbstfahrenden Fahrzeugen. In noch einem anderen Ausführungsbeispiel, sind die dynamischen Karteninformationen eine für den Fahrzeuglenker sichtbare Karte.
Kurz, durch das Intergieren von Erfassungsdaten verschiedener Fahrzeuge oder eines einzelnen Fahrzeugs kann die vorliegende Erfindung folgende Effekte erzielen:

1. Erfassungsoptimierung von Dunkelbereichen oder Totbereichen: Mit Bezug auf 9A kann ein Fahrzeug A selbst nur das erste Objekt O1 detektieren, aber kann nicht das zweite Objekt O2 im Dunkelbereich Z erkennen. Durch das Intergieren der Punktwolkendaten von verschiedenen Fahrzeugen gemäß der vorliegenden Erfindung, zum Beispiel durch das Integrieren von Erfassungsdaten des Fahrzeugs B, das das zweite Objekt O2 detektieren kann, kann der Erfassungsbereich für Fahrzeug A effektiv vergrößert werden. Nach dem Bereitstellen der integrierten Punktwolkendaten an jedes der Fahrzeuge, kann Fahrzeug A das zweite Objekt O2 im Dunkelbereich erfolgreich erkennen. Für das selbstfahrende Fahrzeug kann seine Erfassungsfähigkeit verbessert werden, um das Programmieren der Fahrstrecken zu verbessern.
2. Erhöhen der dynamischen Informationen der hochauflösenden Karte: Durch die Fahrzeug-zu-Infrastruktur-Kommunikation (V21-Kommunikation) kann jeder Relay-Host 20 verschiedene Arten von dynamischen Informationen, wie beispielsweise Dunkelbereiche, Hindernisidentifikation und befahrbare Bereiche, von verschiedenen Autos empfangen. Die integrierten dynamischen Karteninformationen enthalten Echtzeitinformationen als Hinweise für das selbstfahrende Fahrzeug, um bevorzugte Fahrstrecken zu bestimmen.
3. Verteilte Datenberechnungsarchitektur: Jeder der Relay-Hosts 20 führt die Anfang-bis-Ende-Datenverarbeitung durch, um die Rechenleistungsbelastung des Cloud-Servers 30 zu minimieren, so dass jedes Fahrzeug schnell Umgebungsinformationen in Echtzeit erhalten kann.

Claims

System zum Erstellen dynamischer Karteninformationen geeignet zum Bereitstellen von Umgebungsinformationen, wobei das System aufweist: mehrere Fahrzeuggeräte (10), die in verschiedenen Fahrzeugen installiert werden sollen, wobei jedes der Fahrzeuggeräte aufweist: einen Sensor (11) zur Detektion von Licht und Abstand (LiDAR), der die Umgebung um das Fahrzeug erfasst, um Punktwolkendaten zu erstellen, eine Kamera (12), die die Umgebung um das Fahrzeug aufnimmt, um Bilddaten zu erstellen, ein Fahrzeugsteuerungsgerät (13), das mit dem LiDAR-Sensor (11), der Kamera (12) und einer Datenübertragungseinheit (14) verbunden ist und das steuert, dass die Punktwolkendaten und die Bilddaten durch die Datenübertragungseinheit (14) übermittelt werden, und eine Mensch-Maschine-Schnittstelle (15), die mit dem Fahrzeugsteuerungsgerät (13) verbunden ist, mehrere Relay-Hosts (209, wobei jeder Relay-Host (20) die Punktwolkendaten und die Bilddaten der Fahrzeuge um den betreffenden Relay-Host (20) empfängt und einen Multi-Fahrzeug-Datenintegration-Modus ausführt, um die von den Fahrzeugen empfangenen Punktwolkendaten zusammenzuführen, um ein Verarbeitungsergebnis zu erzeugen, das 3D-Koordinateninformation der Objekte in der Umgebung enthält; und ein Cloud-Server (30), der mit den mehreren Relay-Hosts (20) und den mehreren Fahrzeuggeräten (10) kommuniziert und der das Verarbeitungsergebnis des Multi-Fahrzeug-Datenintegration-Modus, welches von den Relay-Hosts (20) ausgeführt wird, empfängt und der die 3D-Koordinateninformationen der Objekte mit einer Basiskarte verknüpft, um dynamische Karteninformationen zu erstellen; und der Cloud-Server (30), der die dynamischen Karteninformationen an die Mensch-Maschine-Schnittstelle eines jeden Fahrzeuggeräts (10) überträgt.
System gemäß Anspruch 1, wobei, wenn der Relay-Host (20) die Punktwolkendaten und die Bilddaten nur von einem einzelnen Fahrzeug erhält, der Relay-Host (20) einen Mono-Fahrzeug-Datenverarbeitung-Modus ausführt, um die 3D-Koordinateninformationen der Objekte in der Umgebung zu erstellen, und die 3D-Koordinateninformationen an den Cloud-Server (30) bereitstellt.
System gemäß Anspruch 1 oder 2, wobei die dynamischen Karteninformationen, die vom Cloud-Server (30) erstellt worden sind, hochauflösende (HD) Karteninformationen sind.
System gemäß Anspruch 1 oder 2, wobei der Relay-Host (20) im Multi-Fahrzeug-Datenintegration-Modus einen iterativen Nächstgelegenen-Punkt-Algorithmus (ICP-Algorithmus) verwendet, um die Punktwolkendaten zusammenzuführen.
System gemäß Anspruch 4, wobei die vom Relay-Host (20) empfangenen Punktwolkendaten eine erste Gruppe von Punktwolkendaten aufweisen, die mehrere von einem ersten Fahrzeug erfasste Datenpunkte aufweist, sowie eine zweite Gruppe von Punktwolkendaten, die mehrere von einem zweiten Fahrzeug erfasste Datenpunkte aufweist, und der ICP-Algorithmus für den Multi-Fahrzeug-Datenintegration-Modus weist folgende Schritte auf: (a)Erhalten der ersten Gruppe von Punktwolkendaten und der zweiten Gruppe von Punktwolkendaten; (b)Bestimmen der in der ersten Gruppe von Punktwolkendaten und der zweiten Gruppe von Punktwolkendaten miteinander übereinstimmenden Datenpunkte, um Übereinstimmung und/ oder Gemeinsamkeiten zwischen der ersten Gruppe von Punktwolkendaten und der zweiten Gruppe von Punktwolkendaten zu erzielen oder zu erhalten; (c) Berechnen einer Transformationsmatrix entsprechend der Übereinstimmung und/ oder Gemeinsamkeiten zwischen der ersten Gruppe von Punktwolkendaten und der zweiten Gruppe von Punktwolkendaten; (d) Ausführen einer Transformation, um die Koordinaten jedes Datenpunktes in der ersten Gruppe von Punktwolkendaten durch die Transformationsmatrix zu transformieren; (e) Berechnen eines aktuellen quadratischen Mittelwerts in der aktuellen Transformation und eines vorherigen quadratischen Mittelwerts der vorherigen Transformation, um einen und/ oder den Fehler zwischen dem aktuellen quadratischen Mittelwerten und dem vorherigen quadratischen Mittelwert zu erhalten; (f) Bestimmen, ob der berechnete Fehler kleiner als ein vorgegebener Grenzwert ist; wenn ja, ist die erste Gruppe von Punktwolkendaten zu der zweiten Gruppe von Punktwolkendaten ausgerichtet und Beenden des Multi-Fahrzeug-Datenintegration-Modus; wenn nein, Wiederholen des Schritts (b).
System gemäß Anspruch 1 oder 2, wobei der Cloud-Server (30) auf eine Karten-Datenbank (31) zugreift, in der die Basiskarte gespeichert ist.
Ein Verfahren zum Erstellen von dynamischen Karteninformationen geeignet zum Bereitstellen von Umgebungsinformationen, wobei das Verfahren die folgenden Schritte aufweist: (a) Senden einer Bestätigungsanforderung von einem Fahrzeuggerät (10), das in einem Fahrzeug installiert ist, zu einem Cloud-Server (30); (b)Benennen eines Relay-Host (20) unter mehreren Relay-Hosts (20) und Informieren des die Bestätigungsanforderung sendenden Fahrzeuggeräts (10), dass der Relay-Host (20) benannt worden ist, durch den Cloud-Server(30), wobei der Cloud-Server (30) sich auf einen Standort des Fahrzeugs bezieht, um den Relay-Host (20) in der Nähe des die Bestätigungsanforderung schickenden Fahrzeugs zu benennen; (c) Übertragen von Punktwolkendaten und Bilddaten vom Fahrzeug zum vom Fahrzeuggerät (10) benannten Relay-Host (20), wobei die Punktwolkendaten von einem LiDAR-Sensor (11) bereitgestellt werden, der die Umgebung um das Fahrzeug erfasst, und die Bilddaten von einer Kamera (12) bereitgestellt werden, die die Umgebung um das Fahrzeug aufnimmt; (d) wenn der Relay-Host (20) die Punktwolkendaten und die Bilddaten von den mehreren Fahrzeugen empfängt, Ausführen eines Multi-Fahrzeug-Datenintegration-Modus durch den Relay-Host (20), um die von den mehreren Fahrzeugen erhaltenen Punktwolkendaten zusammenzuführen, um ein Verarbeitungsergebnis zu erzeugen, welches 3D-Koordinateninformationen von Objekten in der Umgebung enthält; (e) Erhalten des Verarbeitungsergebnisses des Multi-Fahrzeug-Datenintegration-Modus durch den Cloud-Server (30), und Integrieren der 3D-Koordinateninformationen von Objekten in eine Basiskarte, um dynamische Karteninformationen zu erstellen; und (f) Übermitteln der dynamischen Karteninformationen an eine Mensch-Maschine-Schnittstelle (15) eines Fahrzeuggeräts (10) durch den Cloud-Server (30), wobei die dynamische Karteninformationen 3D-Koordinateninformationen der Objekte in der Umgebung enthalten.
Verfahren gemäß Anspruch 7, wobei, wenn der Relay-Host (20) die Punktwolkendaten und die Bilddaten nur von einem einzelnen Fahrzeug erhält, der Relay-Host (20) einen Mono-Fahrzeug-Datenverarbeitung-Modus ausführt, um 3D-Koordinateninformationen der Objekte in der Umgebung zu erstellen, und die 3D-Koordinateninformationen dem Cloud-Server (30) bereitstellt.
Verfahren gemäß Anspruch 7 oder 8, wobei, wenn der Cloud-Server (30) das Fahrzeuggerät (10) informiert, dass der Relay-Host (20) benannt worden ist, der Cloud-Server (30) einen Host-Identifikations-Code des Relay-Hosts (20), der benannt worden ist, an das Fahrzeuggerät (10) übermittelt; und das Fahrzeuggerät (10), entsprechend des Host-Identifikations-Codes, seine Punktwolkendaten und Bilddaten an den Relay-Host (29), der benannt worden ist, übermittelt, und ferner einen Fahrzeug-Identifikations-Code des Fahrzeuggeräts (10) an den Relay-Host (20), der benannt worden ist, übermittelt.
Verfahren gemäß Anspruch 7, wobei der Relay-Host (20) im Multi-Fahrzeug-Datenintegration-Modus einen iterativen Nächstgelegenen-Punkt-Algorithmus (ICP-Algorithmus) verwendet, um die Punktwolkendaten zusammenzuführen.
Verfahren gemäß Anspruch 10, wobei die vom Relay-Host (20) empfangenen Punktwolkendaten eine erste Gruppe von Punktwolkendaten aufweisen, die mehrere von einem ersten Fahrzeug erfasste Datenpunkte aufweist, sowie eine zweite Gruppe von Punktwolkendaten, die mehrere von einem zweiten Fahrzeug erfasste Datenpunkte aufweist, und der ICP-Algorithmus für den Multi-Fahrzeug-Datenintegration-Modus weist folgende Schritte auf: (a)Erhalten der ersten Gruppe von Punktwolkendaten und der zweiten Gruppe von Punktwolkendaten; (b)Bestimmen der in der ersten Gruppe von Punktwolkendaten und der zweiten Gruppe von Punktwolkendaten miteinander übereinstimmenden Datenpunkte, um eine Übereinstimmung und/ oder Entsprechung zwischen der ersten Gruppe von Punktwolkendaten und der zweiten Gruppe von Punktwolkendaten zu erzielen; (c) Berechnen einer Transformationsmatrix entsprechend der Übereinstimmung zwischen der ersten Gruppe von Punktwolkendaten und der zweiten Gruppe von Punktwolkendaten; (d) Ausführen einer Transformation, um die Koordinaten jedes Datenpunktes in der ersten Gruppe von Punktwolkendaten durch die Transformationsmatrix zu transformieren; (e) Berechnen eines aktuellen quadratischen Mittelwerts in der aktuellen Transformation und eines vorherigen quadratischen Mittelwerts der vorherigen Transformation, um den Fehler zwischen dem aktuellen quadratischen Mittelwert und dem vorherigen quadratischen Mittelwert zu erhalten; (f) Bestimmen, ob der berechnete Fehler kleiner als ein vorgegebener Grenzwert ist; wenn ja, ist die erste Gruppe von Punktwolkendaten zu der zweiten Gruppe von Punktwolkendaten ausgerichtet und Beenden des Multi-Fahrzeug-Datenintegration-Modus; wenn nein, Wiederholen des Schritts (b).
Verfahren gemäß Anspruch 8, wobei der Mono-Fahrzeug-Datenverarbeitung-Modus, das vom Relay-Host (2) ausgeführt wird, folgende Schritte aufweist: Identifizieren von ersten Verbindungsboxen für Objekte in den Bilddaten, um Standorte der Objekte in den Bilddaten zu erhalten; Identifizieren von Objekten in den Punktwolkendaten, um zweite Verbindungsboxen der Objekte in den Punktwolkendaten zu erhalten; Bestimmen, ob das durch die zweite Verbindungsbox in den Punktwolkendaten identifiziere Objekt in den Bilddaten existiert; wobei, wenn dasselbe Objekt sowohl in den Punktwolkendaten als auch in den Bilddaten existiert, gehört das selbige Objekt zu einem Hellbereich-Objekt und die 3D-Koordinateninformationen des Hellbereich-Objekts werden gemäß der Punktwolkendaten erhalten; Bestimmen, ob die Bilddaten ein Objekt enthalten, das nicht in den Punktwolkendaten identifiziert ist; wenn es ein Objekt gibt, das nicht in den Punktwolkendaten identifiziert ist, aber in den Bilddaten existiert, gehört das Objekt zu einem Dunkelbereich-Objekt; Abbilden der ersten Verbindungsbox des Dunkelbereich-Objekts in den Punktwolkendaten, um 3D-Koordinateninformationen des Dunkelbereich-Objektes zu erhalten;
Verfahren gemäß Anspruch 12, wobei die in den Bilddaten erkennbaren Objekte Fahrzeugobjekte, Fußgängerobjekte und Quasi-Fußgängerobjekte aufweisen.
Verfahren gemäß Anspruch 7 oder 8, wobei die vom Cloud-Server (30) erstellten dynamischen Karteninformationen hochauflösende (HD) Karteninformationen sind.