DE102019126631A1

DE102019126631A1 - Verbesserte Trajektorienschätzung basierend auf Ground Truth

Info

Publication number: DE102019126631A1
Application number: DE102019126631.9A
Authority: DE
Inventors: Cesar Lobo-Castillo; Pavel Jiroutek; Jan Olsina; Miroslav Zima
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2019-10-02
Filing date: 2019-10-02
Publication date: 2021-04-08
Also published as: WO2021063756A1

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Bereitstellen genauer Trajektorieninformation, insbesondere zur Verwendung bei der Validierung eines Fahrunterstützungssystems eines Fahrzeugs (10), mit den Schritten zum Empfangen von Odometrieinformation in Bezug auf eine Bewegung des Fahrzeugs (10), Bestimmen einer Trajektorie (42) basierend auf der Odometrieinformation, Ausführen einer Datenerfassung von Sensorinformation von mindestens einem Umgebungssensor (14), der eine Umgebung (16) des Fahrzeugs (10) abdeckt, wobei die Sensorinformation einzelne Abtastpunkte (38) enthält, Erzeugen einer globalen Karte (40), die die Abtastpunkte (38) der Sensorinformation enthält, Extrahieren von Ground-Truth-Daten als Referenzdaten basierend auf der Sensorinformation, Ausführen einer Datennachverarbeitung als eine Second-Level-Odometriekorrektur der Trajektorie (42) basierend auf den Ground-Truth-Daten und der globalen Karte (40) und Bereitstellen der genauen Trajektorieninformation basierend auf der Second-Level-Odometriekorrektur. Die vorliegende Erfindung betrifft auch ein Validierungssystem (12) zum Ausführen des vorstehenden Verfahrens.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Bereitstellen genauer Trajektorieninformation, insbesondere zur Verwendung bei einer Validierung eines Fahrunterstützungssystems eines Fahrzeugs.
Die vorliegende Erfindung betrifft auch ein Validierungssystem, insbesondere zum Validieren eines fortschrittlichen Fahrerassistenzsystems, basierend auf genauer Trajektorieninformation, mit einem Empfänger zum Empfangen von Positionsinformation von einem globalen Navigationssatellitensystem, mindestens einem Umgebungssensor zum Bereitstellen von Sensorinformation, die eine Umgebung des Fahrzeugs abdeckt, wobei die Sensorinformation einzelne Abtastpunkte enthält, mindestens einem Odometriesensor zum Bereitstellen von Odometrieinformation und einer mit dem Empfänger, dem mindestens einen Umgebungssensor und dem mindestens einen Odometriesensor verbundene Verarbeitungseinheit, wobei das Validierungssystem dazu eingerichtet ist, das obige Verfahren auszuführen.
Teilautonomes und autonomes Fahren gelten im Automobilsektor als bahnbrechende Technologien. Teilautonomes und autonomes Fahren erhöhen die Sicherheit auf Straßen. Der zunehmende Automatisierungsgrad von Systemen, die in der modernen Automobilindustrie eingesetzt werden, erhöht jedoch die Anforderungen an die Validierung dramatisch. Die internationale Norm für funktionale Sicherheit ISO 26262 definiert den Entwicklungs- und Validierungsprozess. Insbesondere schreibt sie vor, dass für alle möglichen Gefahrensituationen ein geeignet validiertes Sicherheitsziel vorhanden sein muss. Eine Verminderung der Möglichkeit des Auftretens unbekannter Gefahrensituationen wird z.B. unter Verwendung redundanter Erfassungssysteme und durch statistische Validierung erreicht.
Ein effektiver statistischer Validierungsprozess sollte einen hohen Automatisierungsgrad ermöglichen, um eine wiederholbare Analyse der Systemleistung und eine präzise Anwendung der Validierungsregeln, auch als Key Performance Indicators (KPI) bezeichnet, zu ermöglichen. Der erste Schritt eines typischen statistischen Validierungsprozesses besteht in der Erfassung von Daten offener Straßen, bei der die Daten gemäß dem definierten statistischen Modell aufgezeichnet werden. Das Messfahrzeug ist mit einem Primärsystem, das Gegenstand der Systemvalidierung ist, und einem Referenzsystem ausgestattet, das die Quelle von Rohdaten als Referenzdaten für Ground Truth darstellt. Bei der Ground-Truth-Extraktion werden verschiedene Merkmale in den gesammelten Referenzdaten gelabelt. Dieser Schritt kann manuelle und automatisierte Labeltechniken kombinieren. Die gelabelten Daten werden dann mit der Systemausgabe unter Verwendung definierter KPls verglichen, die den Systemanforderungen zugeordnet werden sollen.
Die KPls werden häufig basierend auf vielen tausend Kilometern auf offenen Straßen mit hoher Genauigkeit berechnet. Dies stellt hohe Anforderungen an die Ausrichtung zwischen Primär- und Referenzsystem sowie an die Messungen der Fahrzeugodometrie unter Bedingungen, unter denen eine genaue Kalibrierung schwieriger ist als unter Laborbedingungen. Das Erhalten präziser Trajektorieninformation ist ein Schlüssel für autonomes Fahren.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Bereitstellen von Trajektorieninformation, insbesondere zur Verwendung in einem Validierungssystem zum Validieren eines Primärsystems, und ein Validierungssystem, insbesondere zum Validieren eines fortschrittlichen Fahrerassistenzsystems, anzugeben, die eine verbesserte Trajektorienschätzung mit erhöhter Genauigkeit ermöglichen.
Die Lösung der Aufgabe erfolgt durch die unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
Insbesondere ist durch die vorliegende Erfindung ein Verfahren zum Bereitstellen genauer Trajektorieninformation, insbesondere zur Verwendung bei einer Validierung eines Fahrunterstützungssystems eines Fahrzeugs, angegeben, mit den Schritten zum Empfangen von Odometrieinformation in Bezug auf eine Bewegung des Fahrzeugs. Bestimmen einer Trajektorie basierend auf der Odometrieinformation, Ausführen einer Datenerfassung von Sensorinformation von mindestens einem Umgebungssensor, der eine Umgebung des Fahrzeugs abdeckt, wobei die Sensorinformation einzelne Abtastpunkte enthält, Erzeugen einer globalen Karte, die die Abtastpunkte der Sensorinformation enthält, Extrahieren von Ground-Truth-Daten als Referenzdaten basierend auf der Sensorinformation, Ausführen einer Datennachverarbeitung als Second-Level-Odometriekorrektur der Trajektorie basierend auf den Ground-Truth-Daten und der globalen Karte und Bereitstellen der genauen Trajektorieninformation basierend auf der Second-Level-Odometriekorrektur.
Durch die vorliegende Erfindung ist auch ein Validierungssystem, insbesondere zum Validieren eines fortschrittlichen Fahrerassistenzsystems basierend auf genauer Trajektorieninformation, angegeben, mit einem Empfänger zum Empfangen von Positionsinformation von einem globalen Navigationssatellitensystem, mindestens einem Umgebungssensor zum Bereitstellen von Sensorinformation, die eine Umgebung des Fahrzeugs abdeckt, wobei die Sensorinformation einzelne Abtastpunkte enthält, mindestens einem Odometriesensor zum Bereitstellen von Odometrieinformation und einer mit dem Empfänger, dem mindestens einen Umgebungssensor und dem mindestens einen Odometriesensor verbundenen Verarbeitungseinheit, wobei das Validierungssystem dazu eingerichtet ist, das obige Verfahren auszuführen.
Grundidee der Erfindung ist es, genaue Trajektorieninformation basierend auf einer Kombination von Odometrieinformation des Fahrzeugs, die durch den mindestens einen Odometriesensor bereitgestellt wird und eine Trajektorie bereitstellt, und Sensorinformation von dem mindestens einen Umgebungssensor bereitzustellen, die zum Korrigieren der Odometrie verwendet wird. Die einzelnen Abtastpunkte können an die Ground-Truth-Daten angepasst werden, und es kann ein Score-Wert berechnet werden, um Korrekturinformation als Basis für die genaue Trajektorieninformation bereitzustellen. Dies macht das Verfahren robust gegen Fehler, die sich aus der Integration und ungenauen Odometriemessungen ergeben.
Die Transformation eines Fahrzeugkoordinatensystems (VCS) in ein globales Koordinatensystem (GCS) erfolgt durch Integration. Diese Transformation ist wichtig, um einen vollständigen Überblick über die Umgebung des Fahrzeugs zu erhalten, insbesondere unter Verwendung mehrerer Umgebungssensoren. Dieses Verfahren leidet jedoch unter ungenauen Messungen und Rundungsfehlern. Mit dem Verfahren und dem Validierungssystem der vorliegenden Erfindung kann die Trajektorie des Fahrzeugs mit erhöhter Genauigkeit bestimmt werden, so dass diese Fehler reduziert werden können.
Darüber hinaus kann das Verfahren verwendet werden, um eine Ausgabe genauer vorannotierter Merkmale, wie beispielsweise Straßenbegrenzungen, in einem globalen Koordinatenrahmen bereitzustellen, die direkt in einer späteren Systemleistungsbewertung verwendet werden können.
Die Odometrieinformation bezüglich der Bewegung des Fahrzeugs kann beispielsweise Momentanmessungen von Größen erster Ordnung, wie beispielsweise der Geschwindigkeit und der Gierrate, beinhalten. Die Geschwindigkeit kann basierend auf Raddrehwinkel-Impulsmessungen (Wheel-Ticks) bestimmt werden, die durch einen jeweiligen Sensor, d.h. einen Radsensor, bereitgestellt werden. Die Gierrate kann als ein Lenkradwinkel bestimmt werden, z.B. durch einen Lenkradsensor.
Die Trajektorie zeigt eine Bewegung des Fahrzeugs an, z.B. eine durch das Fahrzeug gefahrene Trajektorie: Die Trajektorie basiert auf der Odometrieinformation. Die Trajektorie endet an einer aktuellen Position des Fahrzeugs. Die Trajektorie wird zunächst basierend auf der Odometrieinformation bestimmt und im Verlauf des spezifizierten Verfahrens verbessert.
Die Sensorinformation des mindestens einen Umgebungssensors, der eine Umgebung des Fahrzeugs abdeckt, weist die einzelnen Abtastpunkte auf, die Abstandsinformation in einer vorgegebenen Auflösung im Sichtfeld im Vergleich zu einer Position des jeweiligen Umgebungssensors bereitstellt. Zusätzlich zur Abstandsinformation können die Abtastpunkte zusätzliche Information, wie beispielsweise einen Intensitätswert für jeden Abtastpunkt, bereitstellen. Der mindestens eine Umgebungssensor kann z.B. ein Umgebungssensor auf LiDAR-Basis oder ein Radarsensor sein, die jeweils wie vorstehend beschrieben Abtastpunkte bereitstellen. Jeder unter dem mindestens einen Umgebungssensor deckt ein individuelles Sichtfeld ab. Das Sichtfeld mehrerer Umgebungssensoren kann sich zumindest teilweise überlappen oder nicht.
Das Erzeugen der globalen Karte beinhaltet das Transformieren der Abtastpunkte des jeweiligen Umgebungssensors, die in einem jeweiligen Sensorkoordinatensystem bereitgestellt werden, in ein globales Koordinatensystem (GCS), wie vorstehend diskutiert wurde. Die Abtastpunkte des jeweiligen Umgebungssensors können zunächst in ein Fahrzeugkoordinatensystem (VCS) transformiert werden, das im Fall mehrerer einzelner Umgebungssensoren ein gemeinsames Koordinatensystem bereitstellt. Der Begriff globale Karte bezieht sich hier auf eine Karte, die eine nähere Umgebung des Fahrzeugs abdeckt und auf Sensorinformation von verschiedenen Typen und Anzahlen von unterschiedlich angeordneten Umgebungssensoren basieren kann.
Basierend auf den Ground-Truth-Daten und der globalen Karte wird die Second-Level-Odometriekorrektur ausgeführt. Der Schritt kann auf Ground-Truth-Daten wie extrahierten Merkmalen einschließlich Straßenbegrenzungen sowie auf beweglichen Merkmalen basieren. Er verarbeitet insbesondere rohe Abtastpunkte, um eine Odometriekorrektur auszuführen und die korrigierte Trajektorie des Ego-Fahrzeugs bereitzustellen. Die Second-Level-Odometriekorrektur kann unabhängig von weiteren Odometriekorrekturschritten ausgeführt werden. Die Second-Level-Odometriekorrektur liefert Odometrieinformation, die eine gute Qualität hat und für Validierungszwecke von Primärsystemen geeignet ist. Eine derartige Validierung des Fahrunterstützungssystems als das Primärsystem im Vergleich zum vorliegenden Validierungssystem als Referenzsystem kann in nachfolgenden Verarbeitungsschritten ausgeführt werden, wenn die Validierung basierend auf KPI- (Key Performance Indicator) Werten ausgeführt wird. Eine derartige Validierung ist für solche Primärsysteme allgemein bekannt.
Zum Ausführen der Second-Level-Odometriekorrektur können Score-Werte für die Ground-Truth-Daten im Vergleich zur globalen Karte bestimmt werden. Der Score-Wert kann gemäß einer beliebigen geeigneten vorherigen Definition berechnet werden. Der Score-Wert sollte bestimmt werden, um eine Optimierung der Trajektorieninformation zu ermöglichen, und kann z.B. als ein Abstandswert definiert sein, der eine Differenz zwischen den Ground-Truth-Daten, z.B. statischen Merkmalen, wie sie von der Sensorinformation extrahiert werden, wie nachstehend diskutiert wird, und den Abtastpunkten anzeigt. Vorzugsweise werden mehrere Sätze von Sensorinformation im Laufe der Zeit erfasst und gemeinsam verarbeitet, um die Second-Level-Odometriekorrektur auszuführen. Ein einzelner Satz von Sensorinformation bezieht sich auf Sensorinformation, die zu einem bestimmten Zeitpunkt erfasst wird. Mehrere Sätze von Sensorinformation können eine Folge von Sensorinformation bilden. Ein Satz von Sensorinformation kann auch als Frame bezeichnet werden. Der Score-Wert basiert auf den einzelnen Abtastpunkten der Sensorinformation, die im VCS für jeden Satz von Sensorinformation bereitgestellt wird, und den Ground-Truth-Daten, z.B. den statischen Funktionen, die im GCS G_i bereitgestellt werden.
Daher wird der Score-Wert durch Vergleichen der Ground-Truth-Daten und der Sensorinformation bestimmt, die von dem mindestens einen Umgebungssensor bereitgestellt wird, d.h. der Abtastpunkte, wie sie in VCS-Koordinaten erhalten werden. Insbesondere können die Ground-Truth-Daten, z.B. die statischen Merkmale, im G_i definiert sein. Zum Bestimmen des Score-Wertes werden die Ground-Truth-Daten in das jeweilige VCS transformiert.
Der Score-Wert, der auf Abständen zwischen den Abtastpunkten und den jeweiligen Ground-Truth-Daten basiert, kann definiert werden als $Score = \sum_{\begin{array}{l} i \in Abtastpunkte \\ j \in Frames \end{array}} \frac{{| r_{j}^{i} |}^{3}}{ξ^{3}}$
wobei die Summe über die Abtastpunkte $r_{j}^{i}$
gebildet wird. Die Konstante ξ liefert einen Skalierungsfaktor. Die dritte Potenz in der Score-Wert-Formel wird basierend auf empirischen Regeln ausgewählt und berücksichtigt, dass die Dichte der Abtastpunkte der zweiten Potenz des inversen Abstands d umgekehrt proportional ist.
Basierend auf dem vorstehenden Score-Wert weist das Ausführen der Datennachverarbeitung vorzugsweise eine Score-Wert-Maximierung für die extrahierten Ground-Truth-Daten im Vergleich zu den Abtastpunkten auf, um Korrekturinformation zum Bereitstellen der genauen Trajektorie zu erhalten. Daher stimmen mit dem besten Score-Wert die Ground-Truth-Daten am besten mit den Abtastpunkten überein. Der am besten passende Score-Wert wird als beste Wahl betrachtet. Die zugrundeliegende Verarbeitung gibt die Korrekturinformation zur weiteren Verwendung an.
Die Score-Wert-Optimierung bezieht sich auf eine Korrektur des GCS als ein Prozess mit dem GCS G_i am Eingang und einem GCS G_o am Ausgang. Beide repräsentieren eine Annäherung an das reale GCS. Im Allgemeinen wird G_o durch Transformation erzeugt $φ_{i} (t), Δ x_{i} (t), Δ y_{i} (t) \to φ_{o} (t), Δ x_{o} (t), Δ y_{o} (t)$
wobei φ_o(t), Δx_o(t), Δy_o(t) den Score-Wert unter bestimmten Bedingungen maximieren. Falls die Ground-Truth-Daten bereits im Eingangs-GCS bereitgestellt werden, ist es erforderlich zu bestimmen, wie die Ground-Truth-Daten in das neue Koordinatensystem übertragen werden sollen. Während es ein G_i-Koordinatensystem und ein G_o-Koordinatensystem gibt, gibt es ein VCS pro Mess-Frame. Die Ground-Truth-Daten beinhalten ein oder mehrere statische Merkmale, beispielsweise Straßenbegrenzungen, die durch einen Satz von Punkten $[x_{j}^{i}, y_{j}^{i}]$
dargestellt werden. Der obere Index i bezeichnet die Nummer des Punktes und der untere Index j ist die Frame-Nummer des lokalen Koordinatensystems. Die Punkte ergeben sich nicht aus Messungen, wie die Abtastpunkte, sondern aus Ground-Truth, z.B. durch Labeln, und es ist daher nicht angegeben, zu welchem VCS sie gehören. Für einen Punkt [xj, yj] wird VCS $V (t_{j}^{i})$
gewählt, wobei die Zeit t_j so gewählt wird, dass der Abstand von $[x_{j}^{i}, y_{j}^{i}]$
vom Ursprung des V(t_j) minimal ist. Vorzugsweise wird angenommen, dass der Punkt im lokalen Koordinatensystem am besten dargestellt wird, wo er aufgrund seines Sensorbeobachtungsmodells dem Ego-Fahrzeug am nächsten liegt. Dies kann jedoch eine Designwahl sein, da die Transformation nicht eindeutig gegeben ist.
Gemäß einer modifizierten Ausführungsform der Erfindung weist das Verfahren die Schritte zum Bestimmen einer Position des Fahrzeugs basierend auf Positionsinformation von einem globalen Navigationssatellitensystem und das Ausführen einer First-Level-Odometriekorrektur der Trajektorie basierend auf der bestimmten Positionsinformation auf. Globale Navigationssatellitensysteme (GNSS) stellen eine direkte und genaue Messung einer Position für lange Zeitintervalle bereit, wodurch Integrationsfehler vermieden werden. Auf kurzen Zeitskalen ist die Positionsinformation basierend auf GNSS jedoch im Allgemeinen aufgrund von Rauschen ungenau. Daher ist es wichtig, Bewegungen des Fahrzeugs insbesondere für Kurzzeitskalen mit hoher Genauigkeit zu bestimmen, so dass die Position basierend auf einer Kombination der bestimmten Bewegung auf der Basis der Odometrieinformation und der Positionsinformation auf der Basis des GNSS immer genau bestimmt werden kann.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Bestimmen einer Position des Fahrzeugs basierend auf Positionsinformation von einem globalen Navigationssatellitensystem das Ausführen eines Korrekturschritts der bestimmten Position auf. Es können verschiedenartige Korrekturschritte angewendet werden, die z.B. als differentielles GNSS oder satellitenbasierte Ergänzungssysteme, Satellite Based Augmentation Systems, (SBAS) bekannt sind. Der Korrekturschritt kann auf einer Fusion von Positionsinformation vom GNSS mit Information von einer Trägheitsmesseinheit (IMU) basieren. Eine weitere Möglichkeit, genauere Positionsinformation vom GNSS zu erhalten, besteht in der Verwendung von Echtzeitkinematik- (RTK) Techniken, die eine trägerbasierte Entfernungsmessung verwenden, um Positionen bereitzustellen, die um Größenordnungen präziser sind als die standardmäßige codebasierte Positionsbestimmung vom GNSS. Der Korrekturschritt kann durch hochpräzise Sensoren zum Erfassen einer Relativbewegung unterstützt werden, wie beispielsweise Ringlasergyroskope (RLG), mit einer Genauigkeit von mehr als 0,01 Grad/Stunde oder Radvektorsensoren, die Radbewegungen in mehreren Achsen präzise messen können. Eine weitere Möglichkeit zum Ausführen eines Korrekturschritts der bestimmten Position weist einen Korrekturschritt basierend auf GNSS-Daten unter Verwendung herkömmlicher Glättungstechniken wie (erweiterter) Rauch-Tung-Striebel- (RTS) Glättung auf.
Alternativ oder zusätzlich weist das Ausführen einer First-Level-Odometriekorrektur der Trajektorie basierend auf der bestimmten Positionsinformation das Ausführen einer First-Level-Odometriekorrektur unter Verwendung von visueller Odometrie und/oder simultaner Positionsbestimmung und Kartendarstellung (SLAM) auf. Daher können Folgen von Sätzen von Sensorinformation der Umgebung des Fahrzeugs analysiert werden. Daher kann die First-Level-Odometriekorrektur die Konsistenz lokaler und globaler Positionsbestimmung basierend auf Umgebungserfassung verbessern. Die Sensorinformation kann z.B. durch optische Kameras, Umgebungssensoren auf LiDAR-Basis oder Radarsensoren bereitgestellt werden. Im Fall von Umgebungssensoren auf LiDAR-Basis kann Odometrieinformation aus einer affinen Transformation abgeleitet werden, die punktweise Differenzen von Abtastpunkten aufeinanderfolgender Abtastungen optimiert. Diese Technik beruht auf der Annahme, dass der größte Teil der erfassten Umgebung statisch ist. Die Transformation kann durch den Iterative-Closest-Point-Algorithmus mit Erwartungsmaximierung berechnet werden. Die Erwartungsmaximierung filtert Ausreißer aus Quell- und Zielpunktwolken heraus, d.h. Abtastpunkte, die nach der Transformation keine nahe gelegenen Punkte in der Zielpunktwolke enthalten. Eine weitere Stabilität des Algorithmus kann durch Akkumulieren mehrerer Sätze von Umgebungsinformation über die Zeit erzielt werden. Auch eine Kartendarstellung von Abtastpunkten von weiter entfernten Orten, z.B. 20 m oder mehr, erzwingt eine Konsistenz der statischen Umgebung in einem größeren Maßstab. Dieser Verfahrensschritt basiert auf roher Sensorinformation, d.h. rohen Abtastpunkten. Es optimiert direkt eine Größe von Interesse. Die Transformation gibt dann einen Hinweis darauf, wie sich das Fahrzeug bewegt hat und wie die vorhergesagte Trajektorieninformation basierend auf momentanen Messungen der Geschwindigkeit und der Gierrate korrigiert werden soll. Die Transformation optimiert direkt eine Größe von Interesse durch Prüfen der Konsistenz der Abtastpunkte, die von verschiedenen Positionen empfangen werden. Es hat auch eine gewisse Robustheit gegen Rauschen, Okklusion und dynamische Einwirkungen auf die Szene aufgrund einer Zurückweisung von Ausreißern.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Extrahieren von Ground-Truth-Daten als Referenzdaten basierend auf der Sensorinformation das Ausführen einer automatischen Merkmalsextraktion, insbesondere einer Straßenbegrenzungsextraktion und/oder einer Objektextraktion, basierend auf der Sensorinformation auf. Die Merkmalsextraktion kann das Extrahieren statischer Merkmale aufweisen, z.B. der Straßenbegrenzungen, von Gebäuden, von Bäumen und dergleichen, und von beweglichen Merkmalen wie beispielsweise weiteren Verkehrsteilnehmern, insbesondere von Fahrzeugen Dritter. Die Straßenbegrenzungsextraktion ist für die Extraktion der Straßenbegrenzungen von der vorgegebenen Sensorinformation verantwortlich. Die Ausgabe der Straßenbegrenzungsextraktion weist das Extrahieren von zwei Straßenbegrenzungen in globalen Koordinaten auf, die der linken und der rechten Straßenbegrenzung der jeweiligen Straße entsprechen. Andere Objekte können z.B. in Abhängigkeit von ihrer Form auf verschiedene Weisen extrahiert werden.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Ausführen einer Straßenbegrenzungsextraktion das Ausführen einer Straßenbegrenzungserfassung und das Ausführen einer Straßenbegrenzungspolylinienextraktion auf. Straßenbegrenzungserfassung bezieht sich auf das Erzeugen von Straßenerfassungen von der vorgegebenen Sensorinformation. Die Straßenbegrenzungserfassung kann eine Nachverarbeitung unter Verwendung z.B. von Bildverarbeitungstechniken zum Entfernen oder Abschwächen von Erfassungsartefakten beinhalten.
Straßenbegrenzungspolylinienextraktion bezieht sich auf das Extrahieren von Straßenbegrenzungspolylinien von der Straßenbegrenzungserfassung. Daher werden erste Straßenkonturen unter Verwendung von z.B. Standard-Bildverarbeitungs-Randerfassungstechniken vom eingegebenen Straßenerfassungsgitter extrahiert. Verwischungs- und Sobel-Operatoren können auf die extrahierten Straßenbegrenzungen angewendet werden. Die Konturen werden dann unter Verwendung eines hierarchischen Clustering-Algorithmus geclustert. Die Mitten der Cluster werden für jeden Frame, d.h. jeden Satz von Sensorinformation, extrahiert und in linke bzw. rechte Begrenzungspunkte getrennt. Die linken und rechten Straßenbegrenzungen werden dann in globalen Koordinaten akkumuliert, geclustert, und die entsprechenden Straßenbegrenzungspolylinien werden schließlich unter Verwendung eines Algorithmus auf der Basis von Graph-Traversing bezüglich der extrahierten Cluster in globalen Koordinaten extrahiert. Die Polylinien entsprechen vorannotierten oder gelabelten Straßenbegrenzungen.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Ausführen einer Straßenbegrenzungserfassung das Anwenden eines tiefen neuronalen Netzwerks auf. Vorzugsweise verwendet das tiefe neuronale Netzwerk einen semantischen Segmentierungsansatz eines vollständig konvolutionellen Netzwerks, Fully Convolutional Network (FCN).
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Ausführen einer Straßenbegrenzungsextraktion das Ausführen einer Straßenbegrenzungspolylinienvereinfachung auf. Straßenbegrenzungspolylinienvereinfachung bezieht sich auf eine Vereinfachung der extrahierten Straßenbegrenzungspolylinien. Die Straßenbegrenzungspolylinienvereinfachung kann unter Verwendung des Ramer-Douglas-Peucker-Algorithmus ausgeführt werden, um den Annotatoren vorannotierte Straßenbegrenzungen mit einer Anzahl von Abtastpunkten zur Verfügung zu stellen, die einfach zu handhaben sind.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Extrahieren von Ground-Truth-Daten als Referenzdaten basierend auf der Sensorinformation automatisches Datenlabeln auf. Das Datenlabeln bezieht sich auf ein korrektes Labeln der Abtastpunkte, um Merkmale darin zu identifizieren. Das Labeln kann als ausschließlich automatisches Labeln oder als durch einen Menschen unterstütztes Labeln ausgeführt werden. Daher kann das automatische Labeln auf automatisch vorannotierten Merkmalen basieren, die durch einen Menschen gelabelt werden. Das automatische Datenlabeln beinhaltet vorzugsweise das Anwenden eines tiefen neuronalen Netzwerks. Tiefe neuronale Netzwerke werden bei der Erkennung von Merkmalen in Sensorinformation immer wichtiger und leistungsfähiger. Das tiefe neuronale Netzwerk führt das Labeln auf eine effiziente und automatische Weise aus.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Ausführen einer Datennachverarbeitung als eine Second-Level-Odometriekorrektur der Trajektorie basierend auf den Ground-Truth-Daten und der globalen Karte das Herausfiltern von Abtastpunkten von extrahierten statischen Merkmalen, Abtastpunkten beweglicher Merkmale und/oder Abtastpunkten außerhalb eines relevanten Abstandsbereichs auf. Im Allgemeinen werden Abtastpunkte, die keine relevante Information über die extrahierten Merkmale enthalten, für die Weiterverarbeitung ignoriert. Insbesondere ist, wenn der Score-Wert auf der Basis der extrahierten Merkmale berechnet wird, z.B. durch Ausführen der Abstandsminimierung, lediglich Information in Bezug auf die extrahierten statischen Merkmale erforderlich. Dies bezieht sich insbesondere auf Abtastpunkte, die nicht weit von extrahierten statischen Merkmalen entfernt sind. Ein Abstandsmaß und ein Abstandsschwellenwert werden zum Trennen der Abtastpunkte definiert. Darüber hinaus sind Abtastpunkte beweglicher Merkmale Abtastpunkte innerhalb eines Bereichs, der keine Information in Bezug auf statische Merkmale, wie beispielsweise Straßenbegrenzungen, bereitstellen kann. Die als Abtastpunkte beweglicher Merkmale herausgefilterten Abtastpunkte können Abtastpunkte enthalten, die diese Objekte überlappen, oder z.B. entsprechende Begrenzungsrahmen, die die beweglichen Merkmale abdecken, oder Abtastpunkte, die näher an ihnen liegen als ein vorgegebener Abstandsschwellenwert. Der Abstandsbereich ist durch einen oberen Schwellenwert und einen unteren Schwellenwert definiert, die ein Abstandsintervall $x_{j}^{i} \in [d_{min}, d_{max}]$
definieren. Durch Herausfiltern der Abtastpunkte aus dem relevanten Abstandsbereich werden nur die Abtastpunkte innerhalb des Abstandsintervalls $x_{j}^{i} \in [d_{min}, d_{max}]$
berücksichtigt. Der obere Schwellenwert dmax wird gewählt, um Messungenauigkeiten und Rauschen der Abtastpunkte zu begrenzen. Der untere Schwellenwert dmin wird gewählt, weil Abtastpunkte in größerem Abstand vom Ego-Fahrzeug relevantere Trajektorieninformation enthalten. In einem Extremfall, in dem die Abtastpunkte im Ursprung des VCS lokalisiert wären, würden sie keine für die Trajektorienkorrektur verwendbare Information enthalten. Insgesamt wird die Relevanz der verarbeiteten Information erhöht, indem diese Abtastpunkte herausgefiltert werden.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Ausführens einer Datennachverarbeitung als eine Second-Level-Odometriekorrektur der Trajektorie basierend auf den Ground-Truth-Daten und der globalen Karte das Anpassen von Positionen der Abtastpunkte der globalen Karte mit Positionen der extrahierten statischen Merkmale auf. Die extrahierten statischen Merkmale sind Teil der Ground-Truth-Daten. Eine mögliche Korrektur G_o kann beispielsweise in der Form $\begin{array}{l} φ_{o}^{'} (t) = φ_{i}^{'} (t) + a_{φ} τ^{2} + b_{φ} τ + c_{φ} \\ υ_{o} (t) = υ_{i} (t) + a_{υ} τ^{2} + b_{υ} τ + c_{υ} \\ τ = \frac{t - t_{min}}{t_{max} - t_{min}} \end{array}$
gefunden werden, wobei v(t) eine Tangentialgeschwindigkeit des Punktes [Δx(t), Δy(t)] ist und φ'(t) die zeitliche Ableitung von φ(t) ist, wobei eine Monte-Carlo-Technik zum Maximieren eines Score-Wertes angewendet wird. In jedem Schritt werden Parameter a_φ, b_φ, c_φ, a_v, b_v, c_v aus einer zufälligen Gleichverteilung erzeugt. Aus der vorstehenden Gleichung werden die Matrizen der affinen Transformation des Kandidaten-GCS Go((p(t), Δx(t), Δy(t)) berechnet. Die Lösung mit niedrigerem Score-Wert wird immer akzeptiert, und die bereits akzeptierte Lösung wird als ein Mittelwert für die folgende Parametererzeugung verwendet. Ein Simulated Annealing Schedule wird verwendet, um einen Einfang in einem lokalen Minimum zu verhindern. Vorzugsweise ist die Streuung der erzeugten Parameter anfangs groß, um eine höhere Abtastung des Zustandsraums zu ermöglichen, und sie wird allmählich vermindert, um eine Konvergenz zu ermöglichen. Der gesamte Anpassungs- oder Matching-Algorithmus kann wie folgt aussehen:
Für D in [D₁, D₂], wobei D₁ > D₂:

Für i von 1 bis N:
1. a. Erzeuge a_φ, b_φ, c_φ, a_v, b_v, c_v von einer zufälligen Gleichverteilung mit a_φ ^best, a_φ ^best, b_φ ^best, c_φ ^best, a_v ^best, c_v ^best b_v ^best, c_v ^best
2. b. Berechne Score-Wert Score
3. c. Wenn Score > Score^best:
  1. i. a_φ ^best, b_φ ^best, c_φ ^best, a_v ^best, c_v ^best b_v ^best, c_v ^best, Score^best: = a_φ, b_φ ^best c_φ, a_v, b_φ ^best _v, c_v, Score
4. d. Wenn Score^best für M Zyklen nicht zugewiesen wurde, Half Spread der Verteilungen ab Punkt a,

Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Abgleichen von Positionen der Abtastpunkte der globalen Karte mit Positionen der extrahierten statischen Merkmale das Ausführen einer Maximierung des Score-Wertes in Abhängigkeit von den Positionen der Abtastpunkte der globalen Karte und den Positionen der extrahierten statischen Merkmale auf. Dies ermöglicht ein einfaches Mittel zum Abgleichen der Positionen der Abtastpunkte in der globalen Karte mit den Positionen der extrahierten Merkmale. Die Maximierung wird vorzugsweise als iterativer Schritt ausgeführt, der einen detaillierten Abgleich ermöglicht.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Ausführen einer Datennachverarbeitung als eine Second-Level-Odometriekorrektur der Trajektorie basierend auf den Ground-Truth-Daten und der globalen Karte das Bereitstellen einer korrigierten globalen Karte auf. Die korrigierte globale Karte kann für weitere Zwecke verwendet werden, z.B. für Validierungszwecke.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der mindestens eine Umgebungssensor mindestens einen Umgebungssensor auf LiDAR-Basis und/oder einen Radarsensor auf.
Diese und andere Aspekte der Erfindung werden anhand der nachstehend beschriebenen Ausführungsformen ersichtlich und erläutert. Einzelne Merkmale, die in den Ausführungsformen dargestellt sind, können für sich alleine oder in Kombination einen Aspekt der vorliegenden Erfindung bilden. Merkmale der verschiedenen Ausführungsformen können von einer Ausführungsform auf eine andere Ausführungsform übertragen werden.
Es zeigen:

1 eine schematische Ansicht eines Fahrzeugs mit einem Fahrunterstützungssystem gemäß einer ersten bevorzugten Ausführungsform;
2 ein detailliertes Ablaufdiagramm einer Implementierung einer Straßenbegrenzungsextraktion gemäß dem Verfahren der ersten Ausführungsform;
3 eine schematische Ansicht eines tiefen neuronalen Netzwerks unter Verwendung einer semantischen FCN-, Fully Convolutional Network, Segmentierung zum Ausführen der Straßenbegrenzungserfassung gemäß dem Verfahren der ersten Ausführungsform;
4 drei Bilder, links eine Modelleingabe, in der Mitte eine Modelausgabe und rechts eine Überlagerung der Modelleingabe und der Modelleingabe;
5 in der oberen Zeichnung eine Straße mit Straßenbegrenzungen, die mit extrahierten Polylinien in globalen Koordinaten markiert sind, in der unteren linken Zeichnung Sensorinformation einschließlich Abtastpunkten von der Umgebung des Fahrzeugs zusammen mit einer Straßenerfassungskurve in Ego-Koordinaten, in der unteren mittleren Zeichnung eine erfasste Straße zusammen mit extrahierten Straßenbegrenzungspunkten, die die Polylinie in Ego-Koordinaten bilden, und in der unteren rechten Zeichnung Sensorinformation, einschließlich Abtastpunkten von der Umgebung des Fahrzeugs zusammen mit extrahierten Straßenbegrenzungspunkten, die die Polylinie in Ego-Koordinaten bilden;
6 das in der Umgebung fahrende Fahrzeug mit der in Fahrtrichtung ausgerichteten x-Achse auf der Straße zusammen mit Straßenbegrenzungen als Merkmalen, die durch Polylinien angezeigt sind;
7 eine Teilansicht einer globalen Karte zusammen mit einer Trajektorie und einer korrigierten Trajektorie mit Abtastpunkten vor der Korrektur;
8 eine Teilansicht einer globalen Karte zusammen mit der korrigierten Trajektorie von 7 mit Abtastpunkten nach der Korrektur; und
9 ein detailliertes Ablaufdiagramm des Verfahrens zum Bereitstellen genauer Trajektorieninformation gemäß der ersten Ausführungsform.

1 zeigt ein Fahrzeug 10, das auch als Ego-Fahrzeug bezeichnet wird, mit einem Validierungssystem 12 gemäß einer ersten bevorzugten Ausführungsform. Das Validierungssystem 12 der ersten Ausführungsform ist zum Ausführen einer Validierung eines Fahrunterstützungssystems, z.B. eines fortschrittlichen Fahrerassistenzsystems (ADAS) als Primärsystem, vorgesehen.
Das Validierungssystem 12 weist einen Umgebungssensor 14 auf LiDAR-Basis als Umgebungssensor zum Bereitstellen von Sensorinformation auf, der eine Umgebung 16 des Ego-Fahrzeugs 10 abdeckt. Das Validierungssystem 12 weist ferner einen Empfänger 18 zum Empfangen von Positionsinformation von einem globalen Navigationssatellitensystem auf. Das Validierungssystem 12 weist außerdem eine Verarbeitungseinheit 20 auf, die über einen Kommunikationsbus 22 mit dem Empfänger 18 und dem Umgebungssensor 14 auf LiDAR-Basis verbunden ist. Das Validierungssystem 12 weist ferner Odometriesensoren zum Bereitstellen von Odometrieinformation des Ego-Fahrzeugs 10 auf. Die Odometriesensoren sind in Fig, 1 nicht dargestellt und umfassen Sensoren für momentane Messungen von Größen erster Ordnung, wie beispielsweise der Geschwindigkeit und der Gierrate. Daher umfassen die Odometriesensoren einen Wheel-Tick-Sensor zum Bereitstellen von Raddrehwinkel-Impulsmesswerten und einen Lenkradsensor zum Bereitstellen eines Lenkradwinkels. Auch der Wheel-Tick-Sensor und der Lenkradsensor sind über den Kommunikationsbus 22 mit der Verarbeitungseinheit 20 verbunden.
Nachstehend wird ein Verfahren zum Bereitstellen genauer Trajektorieninformation, insbesondere zur Verwendung bei einer Validierung eines Fahrunterstützungssystems eines Fahrzeugs 10, beschrieben. Das Verfahren wird unter Verwendung des Validierungssystems 12 der ersten Ausführungsform ausgeführt. Ablaufdiagramme zum Darstellen des Verfahrens sind in den 2 und 9 dargestellt. Das Verfahren wird unter zusätzlicher Bezugnahme auf die 1 und 3 bis 8 beschrieben.
Das Verfahren beginnt mit Schritt S100, der sich auf das Empfangen von Odometrieinformation in Bezug auf eine Bewegung des Ego-Fahrzeugs 10 bezieht. Daher wird Odometrieinformation vom Wheel-Tick-Sensor und vom Lenkradsensor empfangen, die eine Geschwindigkeit und eine Gierrate anzeigen.
Schritt S110 bezieht sich auf das Bestimmen einer Trajektorie 42 basierend auf der Odometrieinformation. Die Trajektorieninformation bezieht sich auf eine Trajektorie 42, die durch das Ego-Fahrzeug 10 gefahren worden ist. Die über die Zeit bereitgestellte Odometrieinformation liefert die Trajektorie 42. Die Trajektorie endet an einer Ist-Position des Ego-Fahrzeugs 10.
Schritt S120 bezieht sich auf das Ausführen einer Datenerfassung von Sensorinformation vom Umgebungssensor 14 auf LiDAR-Basis, der die Umgebung 16 des Ego-Fahrzeugs 10 abdeckt. Die Sensorinformation beinhaltet einzelne Abtastpunkte 38, die ein individuelles Sichtfeld als Teil der Umgebung 16 abdecken. Die Abtastpunkte 38 liefern Abstandsinformation in einer vorgegebenen Winkelauflösung im Sichtfeld. Zusätzlich zur Abstandsinformation können die Abtastpunkte 38 optional zusätzliche Information, wie beispielsweise einen Intensitätswert, für jeden Abtastpunkt 38 bereitstellen.
Schritt S130 bezieht sich auf das Bestimmen einer Position des Ego-Fahrzeugs 10 basierend auf Positionsinformation von einem globalen Navigationssatellitensystem (GNSS). Die Positionsinformation wird vom Empfänger 18 empfangen und über den Kommunikationsbus 22 an die Verarbeitungseinheit 20 übertragen, wo die weitere Datenverarbeitung ausgeführt wird. Um genaue Positionsinformation zu erhalten, ist ein Korrekturschritt der bestimmten Position vorgesehen. Der Korrekturschritt beinhaltet in einer Ausführungsform die Verwendung differentieller GNSS- oder satellitenbasierter Ergänzungssysteme (SBAS). In einer anderen Ausführungsform basiert die Korrektur auf einer Fusion von Positionsinformation vom GNSS und Information von einer Trägheitsmesseinheit (IMU). In einer noch anderen Ausführungsform werden EchtzeitKinematik-Techniken (RTK-Techniken) verwendet, die eine trägerbasierte Entfernungsmessung verwenden, um Positionen bereitzustellen, die um Größenordnungen präziser sind als eine standardmäßige codebasierte Positionsbestimmung durch GNSS. In einer weiteren Ausführungsform wird ein Korrekturschritt basierend auf GNSS-Daten unter Verwendung herkömmlicher Glättungstechniken wie (erweiterte) Rauch-Tung-Striebel- (RTS) Glättung ausgeführt. Der Korrekturschritt kann jeweils durch hochpräzise Sensoren zum Erfassen einer Relativbewegung unterstützt werden, wie beispielsweise Ringlasergyroskope (RLG) mit einer Genauigkeit besser als 0,01 Grad/Stunde oder Radvektorsensoren, die Radbewegungen in mehreren Achsen präzise messen können. In einer alternativen Ausführungsform ist der Korrekturschritt Teil der First-Level-Odometriekorrektur von Schritt S140.
Schritt S140 bezieht sich auf das Ausführen einer First-Level-Odometriekorrektur der Trajektorie 42. In dieser Ausführungsform beinhaltet die First-Level-Odometriekorrektur eine Korrektur der Trajektorie 42 basierend auf der bestimmten Positionsinformation. Weiterhin wird in dieser Ausführungsform die First-Level-Odometriekorrektur der Trajektorie 42 unter Verwendung von z.B. visueller Odometrie, Visual Odometry, und/oder simultaner Positionsbestimmung und Kartendarstellung, Simultaneous Localization and Mapping, (SLAM) ausgeführt. Daher werden Folgen von Sensorinformation der Umgebung 16 des Ego-Fahrzeugs 10, d.h. Sensorinformation vom Umgebungssensor 14 auf LiDAR-Basis, analysiert. Für den Umgebungssensor 14 auf LiDAR-Basis kann Odometrieinformation von einer affinen Transformation abgeleitet werden, die punktweise Differenzen von Abtastpunkten 38 aufeinanderfolgender Sätze von Sensorinformation basierend auf der Annahme optimiert, dass der größte Teil der erfassten Umgebung 16 statisch ist. Ein Satz von Sensorinformation bezieht sich auf Sensorinformation, die zu einem bestimmten Zeitpunkt erfasst wird, so dass mehrere Sätze von Sensorinformation eine Folge bilden können. Die Transformation wird durch einen Iterative-Closest-Point-Algorithmus mit Erwartungsmaximierung berechnet, der Ausreißer von Quell- und Zielpunktwolken herausfiltert, d.h. Abtastpunkte 38, die nach der Transformation keine nahegelegenen Punkte in der Zielpunktwolke aufweisen. Eine weitere Stabilität des Algorithmus wird erhalten, indem mehrere Sätze von Sensorinformation über die Zeit akkumuliert werden und Abtastpunkte 38 von weiter entfernten Orten, z.B. 20 Meter oder mehr, abgebildet werden, was die Konsistenz der statischen Umgebung in einem größeren Maßstab erzwingt. Dieser Unterschritt basiert auf roher Sensorinformation, d.h. den Abtastpunkten 38. Er optimiert direkt eine Größe von Interesse. Die Transformation gibt dann einen Hinweis darauf, wie sich das Ego-Fahrzeug 10 bewegt hat und wie die vorhergesagten Trajektorieninformation basierend auf momentanen Messungen der Geschwindigkeit und der Gierrate korrigiert werden soll.
Schritt S150 bezieht sich auf das Erzeugen einer globalen Karte 40, die die Abtastpunkte 38 der Sensorinformation enthält. Solche globalen Karten 40 mit den Abtastpunkten 38 sind beispielhaft in den 7 und 8 dargestellt. Das Erzeugen der globalen Karte 40 beinhaltet das Transformieren der Abtastpunkte 38 des Umgebungssensors 14 auf LiDAR-Basis, die jeweils in einer jeweiligen Sensorkoordinate bereitgestellt werden, in ein globales Koordinatensystem (GCS), wie oben diskutiert wurde. Die Abtastpunkte 38 vom Umgebungssensor 14 auf LiDAR-Basis können zunächst in ein Fahrzeugkoordinatensystem (VCS) transformiert werden, das ein gemeinsames Koordinatensystem bereitstellt, z.B. im Fall mehrerer einzelner Umgebungssensoren 14.
Schritt S160 bezieht sich auf das Extrahieren von Ground-Truth-Daten als Referenzdaten basierend auf der Sensorinformation. Dieser Schritt beinhaltet das Ausführen einer automatischen Merkmalsextraktion, insbesondere einer Straßenbegrenzungsextraktion und einer Objektextraktion, basierend auf der Sensorinformation. Merkmalsextraktion beinhaltet das Extrahieren statischer Merkmale, einschließlich der Straßenbegrenzungen 28, und beweglicher Merkmale wie weiterer Verkehrsteilnehmer, insbesondere von Fahrzeugen Dritter. Die Straßenbegrenzungsextraktion ist, wie in 2 dargestellt ist, für die Extraktion der Straßenbegrenzungen 28 von der vorgegebenen Sensorinformation verantwortlich. Die Ausgabe der Straßenbegrenzungsextraktion beinhaltet die Extraktion von zwei Straßenbegrenzungen 28 in globalen Koordinaten, die der linken und der rechten Straßenbegrenzung 28 der jeweiligen Straße 26 entsprechen.
Im Einzelnen beinhaltet das Extrahieren der Straßenbegrenzungen 28 das Ausführen einer Straßenbegrenzungserfassung und das Ausführen einer Straßenbegrenzungspolylinienextraktion. Straßenbegrenzungserfassung bezieht sich auf das Erzeugen von Straßenerfassungen aus der erfassten Sensorinformation. Die Straßenbegrenzungserfassung kann eine Nachbearbeitung unter Verwendung z.B. von Bildverarbeitungstechniken zum Entfernen oder Abschwächen von Erfassungsartefakten beinhalten.
Die Straßenbegrenzungserfassung beinhaltet das Anwenden eines tiefen neuronalen Netzwerks, wie in 3 dargestellt ist. Das tiefe neuronale Netzwerk verwendet einen semantischen Segmentierungsansatz mit einem vollständig konvolutionellen Netzwerk, Fully Convolutional Network, (FCN) und mehreren einzelnen Schichten. Die Straßenbegrenzungserfassung basiert auf der Sensorinformation vom Umgebungssensor 14 auf LiDAR-Basis. Die Eingabe in dieser Ausführungsform ist ein Graustufenbild mit mittleren akkumulierten Belegungswerten der neu abgetasteten Abtastpunkte 38 für einen vorgegebenen Bereich von Interesse (ROI), einem Frame-Bereich und einer Auflösung für eine Neuabtastung. Konfigurationswerte sind beispielsweise ein ROI von [0, 64] x [-16, 16], ein Frame-Bereich von 80 Frames (70 Frames vorwärts und 10 Frames rückwärts) und eine Rasterauflösung von 0,2 Metern, was eine Eingabebildgröße von 320x160 Pixeln ergibt. Die Ausgabe ist die Wahrscheinlichkeit für das Vorhandensein einer Straßenerfassung in jeder Rasterzelle. Der Decoderblock des Modells extrahiert Merkmale und führt ein Downsampling bezüglich der extrahierten Merkmale aus, um den Speicherbedarf zu verringern, das Kontextmodul aggregiert Multi-Scale-Kontextinformation unter Verwendung erweiterter Faltungen, und schließlich führt der Decoderblock ein Upsampling der Merkmalskarten zurück auf die Eingabegröße unter Verwendung der durch die Max-Pooling-Schicht bereitgestellten Maske aus.
Um das obige Modell zu trainieren, wird ein Satz manuell annotierter Spuren verwendet, um den Trainingsdatensatz zu erzeugen. Der vorstehende Schritt wird unter Verwendung der akkumulierten Abtastpunkte 38 ausgeführt. Eine Datenerweiterung wird ausgeführt, um eine Überanpassung zu vermeiden und die Generalisierung des Modells zu verbessern. Der Datensatz wird gemischt und die Aufteilung zwischen Trainings- und Validierungsdatensatzes beträgt 80% für das Training und 20% für die Validierung. Das Modell wird mit dem Adam-Optimierer unter Verwendung der Cross-Entropy-Loss-Funktion trainiert.
4 zeigt eine Eingabe und eine Ausgabe der Straßenbegrenzungserfassung. Das linke Bild von 4 zeigt eine Modelleingabe, das mittlere Bild zeigt eine Modellausgabe mit der Straße 26 und den Straßenbegrenzungen 28, und das rechte Bild zeigt eine Überlagerung der Modelleingabe und der Modellausgabe.
Das Extrahieren von Straßenbegrenzungspolylinien bezieht sich auf ein Extrahieren von Straßenbegrenzungspolylinien 30 von der Straßenbegrenzungserfassung, wie in 5 dargestellt ist. Die Polylinien 30 beziehen sich auf einen Satz einzelner Punkte, die zusammen eine Linie definieren. Daher werden erste Straßenkonturen von einem Eingabestraßenerfassungsraster unter Verwendung von Standard-Bildverarbeitungsranderfassungstechniken extrahiert. Dann können Verwischungs- und Sobel-Operatoren auf die extrahierten Straßenbegrenzungen 28 angewendet werden. Die Konturen werden dann unter Verwendung eines hierarchischen Cluster-Algorithmus geclustert. Die Mitten der Cluster werden extrahiert und in linke bzw. rechte Begrenzungspunkte für jeden Frame getrennt. Die linken und rechten Straßenbegrenzungen 28 werden dann in globalen Koordinaten akkumuliert und geclustert, und die entsprechenden Straßenbegrenzungspolylinien 30 werden schließlich unter Anwendung eines Graph-Traversal-Algorithmus bezüglich der extrahierten Cluster in globalen Koordinaten extrahiert. Die Polylinien 30 entsprechen vorannotierten oder gelabelten Straßenbegrenzungen 28.
5 zeigt in der oberen Zeichnung eine Straße 26, wobei die Straßenbegrenzungen 28 durch extrahierte Polylinien 30 in globalen Koordinaten markiert sind. Die untere linke Zeichnung zeigt Sensorinformation, die Abtastpunkte 38 von der Umgebung 16 des Ego-Fahrzeugs 10 enthält, zusammen mit einer Straßenerfassungskurve in Ego-Koordinaten. Die untere mittlere Zeichnung zeigt eine erfasste Straße 26 zusammen mit extrahierten Straßenbegrenzungspunkten, die die Polylinie 30 bilden, in Ego-Koordinaten. Die untere rechte Zeichnung zeigt Sensorinformation, die Abtastpunkte 38 von der Umgebung 16 des Ego-Fahrzeugs 10 enthält, zusammen mit extrahierten Straßenbegrenzungspunkten, die die Polylinie 30 in Ego-Koordinaten bilden.
Das Extrahieren der Straßenbegrenzungen 28 beinhaltet ferner das Ausführen einer Straßenbegrenzungspolylinienvereinfachung. Die Straßenbegrenzungspolylinienvereinfachung bezieht sich auf eine Vereinfachung der extrahierten Straßenbegrenzungspolylinien 30. Die Straßenbegrenzungspolylinienvereinfachung kann z.B. unter Verwendung des Ramer-Douglas-Peucker-Algorithmus ausgeführt werden, um den Annotatoren vorannotierte Straßenbegrenzungen 28 mit einer Anzahl von Abtastpunkten 38 zur Verfügung zu stellen, die einfach zu handhaben sind.
Die erfassten Straßenbegrenzungen 28 werden zur Weiterverarbeitung bereitgestellt. Daher wird ein automatisches Datenlabeln der Straßenbegrenzungen 28 als Merkmale ausgeführt.
Weiterhin kann die Extraktion der Ground-Truth-Daten automatisches Datenlabeln aufweisen. Das Datenlabeln bezieht sich auf ein korrektes Labeln der Abtastpunkte 38 gemäß Merkmalen, damit diese in geeigneter Weise weiterverarbeitet werden können. Das Labeln kann nur als automatisches Labeln oder auch als durch einen Menschen unterstütztes Labeln ausgeführt werden. Daher kann das automatische Labeln auf automatisch vorannotierten Merkmalen basieren, die durch einen Menschen gelabelt werden. Das automatische Datenlabeln beinhaltet vorzugsweise das Anwenden eines tiefen neuronalen Netzwerks.
Schritt S170 bezieht sich auf das Ausführen einer Datennachverarbeitung als eine Second-Level-Odometriekorrektur der Trajektorie 42 basierend auf den Ground-Truth-Daten und der globalen Karte 40. Sie basiert auf den Ground-Truth-Daten, d.h. annotierten statischen Merkmalen, wie beispielsweise den Straßenbegrenzungen 28, beweglichen Merkmalen und rohen Referenzabtastpunkten 38. Sie führt eine Korrektur einer Trajektorie 42 des Ego-Fahrzeugs 10 aus und extrahiert eine korrigierte Trajektorie 44 des Ego-Fahrzeugs 10 unter Verwendung der Ground-Truth-Daten, wie in den 7 und 8 dargestellt ist. Dadurch wird die extrahierte Odometrie durch die First-Level-Odometriekorrektur weiter verbessert.
Zunächst werden Abtastpunkte 38, die von extrahierten statischen Merkmalen entfernt sind, Abtastpunkte 38 beweglicher Merkmale und/oder Abtastpunkte 38 außerhalb eines relevanten Abstandsbereichs herausgefiltert, um einige der Abtastpunkte 38 zu entfernen. Allgemein werden Abtastpunkte 38, die keine relevante Information in Bezug auf die extrahierten Merkmale tragen, herausgefiltert und für die weitere Verarbeitung ignoriert.
Daher werden Abtastpunkte 38 herausgefiltert, die von extrahierten statischen Merkmalen wie Straßenbegrenzungen 28 weit entfernt sind. 7 zeigt das Ego-Fahrzeug 10, das in der Umgebung 16 fährt, wobei die x-Achse in Fahrtrichtung ausgerichtet ist. 6 zeigt ferner die Straße 26 und die Straßenbegrenzungen 28 als Merkmale, die durch die Polylinien 30 angezeigt sind. Abtastpunkte 38, die für die Score-Wert-Berechnung relevant sind, befinden sich im Abstand D von irgendeiner der Straßenbegrenzungen 28. Für den Abstand D sind ein Abstandsmaß und ein Abstandsschwellenwert zum Trennen der Abtastpunkte 38 definiert.
Weiterhin werden Abtastpunkte 38 beweglicher Merkmale herausgefiltert. Abtastpunkte 38 beweglicher Merkmalen sind Abtastpunkte 38 innerhalb eines Bereichs extrahierter beweglicher Objekte, insbesondere von anderen Fahrzeugen, Fußgängern, Fahrrädern und dergleichen. Die beweglichen Objekte können durch Begrenzungsrahmen markiert werden. Die als Abtastpunkte 38 beweglicher Merkmale herausgefilterten Abtastpunkte 38 können Abtastpunkte 38, die diese Merkmale oder die jeweiligen Begrenzungsrahmen überlappen, oder Abtastpunkte 38 aufweisen, die näher an ihnen liegen als ein vorgegebener Abstandsschwellenwert.
Weiterhin werden Abtastpunkte 38 außerhalb eines relevanten Abstandsintervalls 32 herausgefiltert. Das Abstandsintervall 32 ist durch einen oberen Schwellenwert dmax und einen unteren Schwellenwert d_min definiert, die ein Abstandsintervall $x_{j}^{i} \in [d_{min}, d_{max}]$
definieren. 6 zeigt den oberen Schwellenwert dmax und den unteren Schwellenwert dmin, die das Abstandsintervall 32 dazwischen definieren.
Nach dem Filtern kann der Score-Wert basierend auf Abständen zwischen den Abtastpunkten 38 und den jeweiligen Ground-Truth-Daten als $Score = \sum_{\begin{array}{l} i \in Abtastpunkte \\ j \in Frames \end{array}} \frac{{| r_{j}^{i} |}^{3}}{ξ^{3}}$
definiert und zuverlässig berechnet werden, wobei die Summe über die Abtastpunkte 38 $r_{j}^{i}$
berechnet wird. Die Konstante ξ ist ein Skalierungsfaktor. Die dritte Potenz in der Score-Wert-Formel wird basierend auf empirischen Regeln ausgewählt und berücksichtigt, dass die Dichte der Abtastpunkte der zweiten Potenz des inversen Abstands d umgekehrt proportional ist. Daher wird der Score-Wert für die Sensorinformation, die durch den Umgebungssensor 14 auf LiDAR-Basis bereitgestellt wird, d.h. die jeweiligen Abtastpunkte 38, wie sie in VCS-Koordinaten erhalten werden, für die jeweiligen statischen Merkmale bestimmt, die in dieser Ausführungsform die Straßenbegrenzungen 28 sind. Insbesondere können die Merkmale in G_i definiert werden. Zum Bestimmen des Score-Wertes werden die Merkmale in das jeweilige VCS transformiert.
Es wird eine Score-Wert-Maximierung ausgeführt. Die Score-Wert-Maximierung bezieht sich auf eine Korrektur des GCS als ein Prozess mit GCS G_i am Eingang und GCS G_o am Ausgang. Beide repräsentieren eine Annäherung an das reale GCS. Im Allgemeinen wird G_o durch eine Transformation $φ_{i} (t), Δ x_{i} (t), Δ y_{i} (t) \to φ_{o} (t), Δ x_{o} (t), Δ y_{o} (t)$
erzeugt, wobei φ_o(t), Δx_o(t), Δy_o(t) den Score-Wert unter bestimmten Bedingungen maximieren. Falls die Ground-Truth-Daten bereits im Eingangs-GCS bereitgestellt werden, ist es erforderlich zu bestimmen, wie die Ground-Truth-Daten in das neue Koordinatensystem übertragen werden sollen. Während es ein G_i-Koordinatensystem und ein G_o-Koordinatensystem gibt, gibt es ein VCS pro Mess-Frame. Die Ground-Truth-Daten beinhalten ein oder mehrere statische Merkmale, beispielsweise Straßenbegrenzungen 28, die durch einen Satz von Punkten $[x_{j}^{i}, y_{j}^{i}]$
dargestellt werden. Der obere Index i bezeichnet die Nummer des Punktes, und der untere Index j ist die Frame-Nummer des lokalen Koordinatensystems. Die Punkte ergeben sich nicht aus einer Messung, sondern von Ground-Truth-Daten, so dass nicht angegeben ist, zu welchem VCS sie gehören. Für einen Punkt $[x_{j}^{i}, y_{j}^{i}]$
wird VCS $V (t_{j}^{i})$
gewählt, wobei die Zeit t_j so gewählt wird, dass der Abstand von $[x_{j}^{i}, y_{j}^{i}]$
vom Ursprung des V(t_j) minimal ist. In der vorliegenden Ausführungsform wird angenommen, dass der Punkt im lokalen Koordinatensystem am besten dargestellt wird, wo er aufgrund seines Sensorbeobachtungsmodells dem Ego-Fahrzeug am nächsten liegt.
Wie vorstehend diskutiert wurde, werden im Laufe der Zeit mehrere Sätze von Sensorinformation erfasst und gemeinsam verarbeitet, um die Second-Level-Odometriekorrektur auszuführen. Der Score-Wert basiert auf den einzelnen Abtastpunkten 38 der im VCS bereitgestellten Sensorinformation für jeden Satz von Sensorinformation und den im GCS G_i bereitgestellten Ground-Truth-Daten.
Es wird ein bester Score-Wert bestimmt, der mit den Ground-Truth-Daten übereinstimmt, d.h., es wird bestimmt, wann die Positionen der Abtastpunkte 38 der globalen Karte 40 am besten mit Positionen der Ground-Truth-Daten übereinstimmen, d.h. in der vorliegenden Ausführungsform mit den Positionen der extrahierten Straßenbegrenzungen 28. Der Minimalwert des Score-Wertes zeigt die Odometriekorrektur für die weitere Verwendung an.
Eine mögliche Korrektur G_o kann beispielsweise in der Form $\begin{array}{l} φ_{o}^{'} (t) = φ_{i}^{'} (t) + a_{φ} τ^{2} + b_{φ} τ + c_{φ} \\ υ_{o} (t) = υ_{i} (t) + a_{υ} τ^{2} + b_{υ} τ + c_{υ} \\ τ = \frac{t - t_{min}}{t_{max} - t_{min}} \end{array}$
gefunden werden, wobei v(t) eine Tangentialgeschwindigkeit des Punktes [Δx(t), Δy(t)] ist und φ'(t) die zeitliche Ableitung von φ(t) ist, wobei eine Monte-Carlo-Technik zum Maximieren eines Score-Wertes angewendet wird. In jedem Schritt werden Parameter a_φ, b_φ, c_φ, a_v, b_v, c_v aus einer zufälligen Gleichverteilung erzeugt. Aus der vorstehenden Gleichung werden die Matrizen der affinen Transformation des Kandidaten-GCS Go((φ(t), Δx(t), Δy(t)) berechnet. Die Lösung mit niedrigerem Score-Wert wird immer akzeptiert, und die bereits akzeptierte Lösung wird als Mittelwert für die folgende Parametererzeugung verwendet. Ein Simulated Annealing Schedule wird verwendet, um einen Einfang in einem lokalen Minimum zu verhindern. Vorzugsweise ist die Streuung der erzeugten Parameter anfangs groß, um eine höhere Abtastung des Zustandsraums zu ermöglichen, und sie wird allmählich vermindert, um eine Konvergenz zu ermöglichen. Die Maximierung des Score-Wertes in Abhängigkeit von den Positionen der Ground-Truth-Daten und den Positionen der Abtastpunkte 38 wird als ein iterativer Schritt ausgeführt. Der gesamte Anpassungs- oder Matching-Algorithmus, der die Maximierung des Score-Wertes in Abhängigkeit von den Positionen der Abtastpunkte 38 der globalen Karte 40 und den Positionen der extrahierten statischen Merkmale ausführt, kann wie folgt aussehen:

Für D in [D₁, D₂], wobei D₁ > D₂:
- Für i von 1 bis N:
  1. a. Erzeuge a_φ, b_φ, c_φ, a_v, b_v, c_v von einer zufälligen Gleichverteilung mit a_φ ^best, a_φ ^best, b_φ ^best, c_φ ^best, a_v ^best, c_v ^best , c_v ^best
  2. b. Berechne Score-Wert Score
  3. c. Wenn Score > Score^best:
    1. i. α_φ ^best, b_φ ^best, c_φ ^best, a_v ^best, c_v ^best b_φ ^best, c_v ^best c_v ^best, c_v ^best a_φ, b_φ, c_φ, a_v, b_v, b_φ ^best _v, Score
  4. d. Wenn Score^best für M Zyklen nicht zugewiesen wurde, Half-Spread von Verteilungen ab Punkt a,

Die Second-Level-Odometriekorrektur der Trajektorie 42 basierend auf den Ground-Truth-Daten und der globalen Karte 40 stellt auch eine korrigierte globale Karte 40 bereit, die für weitere Zwecke verwendet werden kann, z.B. für Validierungszwecke. Daher wird die in 7 dargestellte globale Karte wie in 8 dargestellt korrigiert.
Schritt S180 bezieht sich auf das Bereitstellen der genauen Trajektorieninformation basierend auf der Second-Level-Odometriekorrektur. Daher wird die in Schritt S170 erhaltene Korrekturinformation angewendet, so dass die Trajektorieninformation der Trajektorie 42 korrigiert und mit der besten verfügbaren Genauigkeit bereitgestellt werden kann. Die Trajektorie 42, wie sie vor der Second-Level-Odometriekorrektur bereitgestellt wurde, ist beispielhaft in 7 in der jeweiligen globalen Karte 40 zu sehen. Basierend auf der Korrekturinformation von Schritt S170 wird eine korrigierte Trajektorie 44 als genaue Trajektorieninformation bereitgestellt.
Wie ferner in den 7 und 8 zu sehen ist, erleichtert die Kenntnis der korrigierten Trajektorie 44 eine korrekte Bestimmung einer Ist-Position des Ego-Fahrzeugs 10 in der globalen Karte 40 und z.B. die Erzeugung der globalen Karte, wodurch die Umgebung 16 des Ego-Fahrzeugs 10 mit einem hohen Genauigkeitsgrad dargestellt wird. Die globale Karte 40 ist in 7 vor und in 8 nach der Korrektur dargestellt.
Bezugszeichenliste

10: Fahrzeug, Ego Fahrzeug
12: Validierungssystem
14: Umgebungssensor auf LiDAR-Basis, Umgebungssensor
16: Umgebung
18: Empfänger
20: Verarbeitungseinheit
22: Kommunikationsbus
26: Straße
28: Straßenbegrenzung
30: Polylinie
32: Abstandsintervall
38: Abtastpunkt
40: globale Karte
42: Trajektorie
44: korrigierte Trajektorie

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

ISO 26262 [0003]

Claims

Verfahren zum Bereitstellen genauer Trajektorieninformation, insbesondere zur Verwendung bei einer Validierung eines Fahrunterstützungssystems eines Fahrzeugs (10), mit den Schritten: Empfangen von Odometrieinformation in Bezug auf eine Bewegung des Fahrzeugs (10); Bestimmen einer Trajektorie (42) basierend auf der Odometrieinformation; Ausführen einer Datenerfassung von Sensorinformation von mindestens einem Umgebungssensor (14), der eine Umgebung (16) des Fahrzeugs (10) abdeckt, wobei die Sensorinformation einzelne Abtastpunkte (38) enthält; Erzeugen einer globalen Karte (40) mit den Abtastpunkten (38) der Sensorinformation; Extrahieren von Ground-Truth-Daten als Referenzdaten basierend auf der Sensorinformation; Ausführen einer Datennachverarbeitung als eine Second-Level-Odometriekorrektur der Trajektorie (42) basierend auf den Ground-Truth-Daten und der globalen Karte (40); und Bereitstellen der genauen Trajektorieninformation basierend auf der Second-Level-Odometriekorrektur.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Verfahren die Schritte aufweist: Bestimmen einer Position des Fahrzeugs (10) basierend auf Positionsinformation von einem globalen Navigationssatellitensystem; und Ausführen einer First-Level-Odometriekorrektur der Trajektorie (42) basierend auf der bestimmten Positionsinformation.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der Schritt zum Bestimmen einer Position des Fahrzeugs (10) basierend auf Positionsinformation von einem globalen Navigationssatellitensystem das Ausführen eines Korrekturschritts der bestimmten Position aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt zum Extrahieren von Ground-Truth-Daten als Referenzdaten basierend auf der Sensorinformation das Ausführen einer automatischen Merkmalsextraktion, insbesondere einer Straßenbegrenzungsextraktion und/oder einer Objektextraktion basierend auf der Sensorinformation, aufweist.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Schritt zum Ausführen einer Straßenbegrenzungsextraktion das Ausführen einer Straßenbegrenzungserfassung und das Ausführen einer Straßenbegrenzungspolylinienextraktion aufweist.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der Schritt zum Ausführen einer Straßenbegrenzungserfassung das Anwenden eines tiefen neuronalen Netzwerks aufweist.
Verfahren nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass der Schritt zum Ausführen einer Straßenbegrenzungsextraktion das Ausführen einer Straßenbegrenzungspolylinienvereinfachung aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt zum Extrahieren von Ground-Truth-Daten als Referenzdaten basierend auf der Sensorinformation das automatische Labeln von Daten aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt zum Ausführen einer Datennachverarbeitung als eine Second-Level-Odometriekorrektur der Trajektorie (42) basierend auf den Ground-Truth-Daten und der globalen Karte (40) das Herausfiltern von Abtastpunkten (38), die von extrahierten statischen Merkmalen entfernt sind, von Abtastpunkten (38) beweglicher Merkmale und/oder von Abtastpunkten (38) außerhalb eines relevanten Abstandsbereichs aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt zum Ausführen einer Datennachverarbeitung als eine Second-Level-Odometriekorrektur der Trajektorie (42) basierend auf den Ground-Truth-Daten und der globalen Karte (40) das Abgleichen von Positionen der Abtastpunkte (38) der globalen Karte (40) mit Positionen extrahierter statischer Merkmale aufweist.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass der Schritt zum Abgleichen der Positionen der Abtastpunkte (38) der globalen Karte (40) mit den Positionen der extrahierten statischen Merkmale das Ausführen einer Maximierung eines Score-Wertes in Abhängigkeit von den Positionen der Abtastpunkte (38) der globalen Karte (40) und den Positionen der extrahierten statischen Merkmale aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt zum Ausführen einer Datennachverarbeitung als eine Second-Level-Odometriekorrektur der Trajektorie (42) basierend auf den Ground-Truth-Daten und der globalen Karte (40) das Bereitstellen einer korrigierten globalen Karte (40) aufweist.
Validierungssystem (12), insbesondere zum Validieren eines fortschrittlichen Fahrerassistenzsystems basierend auf genauer Trajektorieninformation, mit: einem Empfänger (18) zum Empfangen von Positionsinformation von einem globalen Navigationssatellitensystem; mindestens einem Umgebungssensor (14) zum Bereitstellen von Sensorinformation, die eine Umgebung (16) des Fahrzeugs (10) abdeckt, wobei die Sensorinformation einzelne Abtastpunkte (38) enthält; mindestens einem Odometriesensor zum Bereitstellen von Odometrieinformation; und einer Verarbeitungseinheit (20), die mit dem Empfänger (18), dem mindestens einen Umgebungssensor (14) und dem mindestens einen Odometriesensor verbunden ist, wobei das Validierungssystem (12) dazu eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 12 auszuführen.
Validierungssystem (12) nach Anspruch 13, dadurch gekennzeichnet, dass der mindestens eine Umgebungssensor (14) einen Umgebungssensor (14) auf LiDAR-Basis und/oder einen Radarsensor aufweist.