-
Die Erfindung betrifft ein Verfahren zur Bestimmung von falsch-positiven Erkennungen eines Lidarsensors bei einem Scanvorgang einer Fahrzeugumgebung.
-
Aus der
DE 199 47 593 A1 ist ein Radargerät für ein Fahrzeug, welches an einem Fahrzeug zu befestigen ist, bekannt. Das Radargerät weist eine Radarstrahlabtasteinrichtung zur Abtastung eines Abtastbereichs mit einem Radarstrahl parallel zu einer Fahrbahnoberfläche, auf der das Fahrzeug fährt, auf. Weiterhin weist das Radargerät eine Objekterfassungseinrichtung zum Empfangen reflektierter Wellen des Radarstrahls zum Erstellen eines erfassten Objektbildes, beruhend auf den reflektierten Wellen, auf, wobei die Objekterfassungseinrichtung eine Geisterechobestimmungseinrichtung zur Bestimmung, ob ein erstelltes erfasstes Objektbild ein Geisterecho ist, umfasst.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Bestimmung von falsch-positiven Erkennungen eines Lidarsensors anzugeben.
-
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegeben Merkmale aufweist.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In dem Verfahren zur Bestimmung von falsch-positiven Erkennungen eines Lidarsensors bei einem Scanvorgang einer Fahrzeugumgebung werden erfindungsgemäß in einem Objekterkennungsverfahren und/oder anhand semantischer Segmentierung Fahrzeuge in mittels des Lidarsensors erfassten Daten erkannt. Anschließend werden aus Sicht des Lidarsensors alle durch erkannte Fahrzeuge verdeckten Lidarmessungen als potenzielle falsch-positive Erkennungen markiert und/oder Lidarmessungen, welche vollständig von Messpunkten umgeben sind, die zu erkannten Fahrzeugen gehören, einer Fahrzeug-Objektklasse zugeordnet.
-
Mittels des Verfahrens ist in zuverlässiger Weise eine Bestimmung von falsch-positiven Erkennungen, auch als Geisterziele oder Geisterecho bezeichnet, eines Lidars bei einem Scanvorgang einer Fahrzeugumgebung realisierbar. Somit ist es möglich, schwerwiegende Einschränkungen eines Lidars in realen Verkehrsszenen zu vermeiden und eine sichere und robuste Umgebungserfassung zu realisieren. Somit kann eine Zuverlässigkeit eines Betriebs von Fahrerassistenzsystemen, insbesondere auch von automatisiert, insbesondere hochautomatisiert oder autonom fahrenden Fahrzeugen erhöht werden.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
- 1 schematisch einen Lidarsensor, ein Objekt und einen Verlauf von Laserstrahlung bei einer diffusen Reflexion an dem Objekt,
- 2 schematisch einen Lidarsensor, zwei Objekte und einen Verlauf von Laserstrahlung bei einer spiegelähnlichen Reflexion an einem der Objekte und einer diffusen Reflexion an dem anderen Objekt,
- 3 schematisch einen Lidarsensor, zwei Objekte und ein Geisterobjekt sowie einen Verlauf von Laserstrahlung,
- 4 schematisch eine Seitenansicht eines Verkehrsszenarios,
- 5 schematisch eine Draufsicht eines Verkehrsszenarios,
- 6 schematisch eine Seitenansicht eines Verkehrsszenarios nach einer Durchführung einer semantischen Segmentierung,
- 7 schematisch eine Seitenansicht des Verkehrsszenarios gemäß 6 nach einer Durchführung eines Flutfüllalgorithmus,
- 8 schematisch eine Seitenansicht des Verkehrsszenarios gemäß 6 nach einer Durchführung eines Clustering und
- 9 schematisch eine Seitenansicht des Verkehrsszenarios gemäß 6 nach einer Durchführung eines Labelings.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 sind ein Lidarsensor 1, ein Objekt 2 und ein Verlauf von Laserstrahlung L1 , L2 bei einer diffusen Reflexion an dem Objekt 2 dargestellt.
-
Lidarsensoren 1 sind für in 4 näher dargestellte Fahrzeuge 5 und deren Fahrerassistenzsysteme, beispielsweise für automatisiert, insbesondere hochautomatisiert oder autonom fahrende Fahrzeuge 5, sehr wichtig zu einer Erfassung einer Fahrzeugumgebung, da mittels Lidarsensoren 1 ein präzises dreidimensionales Verständnis einer das Fahrzeug 5 umgebenden Verkehrsszene möglich ist. Um in einem solchen sicherheitskritischen Szenario eingesetzt zu werden, ist es jedoch entscheidend, in 5 näher dargestellte falsch-positive Erkennungen E, so genannte Geisterziele oder Geisterechos, bzw. falsch-positive Abstandsmessungen der Lidarsensoren 1 zu bestimmen. Eine Nicht-Erfassung solcher falsch-positiver Erkennungen E kann zu gefährlichen automatischen Eingriffen in eine Längs- und/oder Querführung des Fahrzeugs 5 führen, woraus gefährliche Situationen, beispielsweise ungerechtfertigte Notbremsungen, resultieren können.
-
Lidarsensoren 1 zeichnen sich im Allgemeinen durch sehr kleine falsch-positive Raten, das heißt niedrige Rauschpegel, aus. Bei den meisten Zielmaterialien wird die einfallende Laserstrahlung L1 , L2 diffus reflektiert, d. h. in alle möglichen Richtungen. Dies bedeutet, dass ein Teil des Lichts direkt in den Lidarsensor 1 zurückreflektiert wird, was eine präzise Entfernungsmessung ermöglicht.
-
Auf stark reflektierenden Oberflächen kann jedoch eine Spiegelreflexion dominieren. Dies ist in 2 näher dargestellt, wobei 2 einen Lidarsensor 1, zwei Objekte 2, 3 und einen Verlauf von Laserstrahlung L1 , L2 bei einer spiegelähnlichen Reflexion an einem der Objekte 3 und einer diffusen Reflexion an dem anderen Objekt 2 zeigt.
-
Dabei wird die Laserstrahlung L1 vom Lidarsensor 1 weggelenkt, wo diese als Laserstrahlung L2 möglicherweise auf andere nicht spiegelnd reflektierende Oberflächen, wie beispielsweise das Objekt 2 treffen kann. Dabei misst der Lidarsensor 1 nicht einen Abstand der Laserstrahlung L1 zur Oberfläche des Objekts 3, sondern eine Gesamtlänge eines Zick-Zack-Pfades beider Laserstrahlungen L1 , L2 .
-
Dem Lidarsensor 1 liegt dabei keine Information vor, die darauf hinweist, dass die Laserstrahlung L2 umgeleitet wurde, so dass von einer Entfernungsmessung entlang einer geraden Linie ausgegangen wird. Somit ergibt sich eine falsch-positive Erkennung E entlang einer anfänglichen Aussenderichtung entlang der Laserstrahlung L1 , woraus eine Erkennung eines in 3 gezeigten Geisterobjekts 4 resultiert.
-
Dies stellt ein grundlegendes Problem dar, welches unbeachtet zu kritischen Fehlern führen kann. In realen Verkehrsszenen erscheinen stark spiegelnde reflektierende Oberflächen häufig in Form von Fensterscheiben 7 anderer Fahrzeuge 6 (dargestellt in 4). Selbst wenn diese nicht perfekt spiegelnd reflektieren, lenken sie jedoch zumindest einen Teil der einfallenden Laserstrahlung L1 ab. Wenn die abgelenkte Laserstrahlung L2 dann auf ein stark reflektierendes sekundäres Objekt 2 trifft, beispielsweise ein Verkehrszeichen 8, kann ein daraus resultierender indirekter Pfad einen direkten Pfad, beispielsweise gebildet durch eine diffuse Reflexion an der Fensterscheibe eines Fahrzeugs, dominieren.
-
Eine solche Situation ist beispielhaft in 4 dargestellt. 4 zeigt dabei ein Verkehrsszenario mit einem Fahrzeug 5, welches den Lidarsensor 1 aufweist, einem vor diesem befindlichen, als weiteres Fahrzeug 6 ausgebildeten Objekt 3, einem als Verkehrszeichen 8 ausgebildeten weiteren Objekt 2 und einem Geisterobjekt 4.
-
Ein solches Geisterobjekt 4 erscheint dabei auf einer Fahrbahn FB vor dem Fahrzeug 5. Solche falsch-positiven Erkennungen E können über längere Zeiträume konsistent sein, können jedoch auch eine ungewöhnliche Dynamik aufweisen, da eine genaue Position von einer relativen Entfernung zwischen den beiden Fahrzeugen 5, 6 und einer Entfernung zwischen einem primären und einem sekundären Ziel, beispielsweise der Fensterscheibe 7 und dem Verkehrszeichen 8, abhängt. Werden derartige Reflexionseffekte nicht erkannt, besteht die Gefahr, dass ein Fahrerassistenzsystem oder ein System zum automatisierten Fahrbetrieb des Fahrzeugs 5 auf das Geisterobjekt 4 reagiert, und einen falschen Eingriff in eine Längs- und/oder Quersteuerung des Fahrzeugs 5, beispielsweise eine Notbremsung oder ein Ausweichmanöver, einleitet.
-
Um eine Erkennung von falsch-positiven Erkennungen E und daraus folgend eine zuverlässige Erkennung von Geisterobjekten 4 zu ermöglichen, ist eine Bestimmung von falsch-positiven Erkennungen E eines Lidarsensors 1 bei einem Scanvorgang einer Fahrzeugumgebung vorgesehen, welche anhand der folgenden 5 bis 9 beschrieben wird.
-
In 5 ist eine Draufsicht eines Verkehrsszenarios dargestellt. In dem Verkehrsszenario befindet sich ein Fahrzeug 5 mit einem Lidarsensor 1 auf einer Fahrbahn FB. Rechts vor dem Fahrzeug 5 befindet sich ein als weiteres Fahrzeug 9 ausgebildetes Objekt 10. Links vor dem Fahrzeug 5 befindet sich ein als weiteres Fahrzeug 6 ausgebildetes Objekt 3. Vor dem Fahrzeug 5 über der Fahrbahn befindet sich ein als Verkehrszeichen 8 ausgebildetes stark reflektierendes sekundäres Objekt 2. Links neben dem Fahrzeug 5 befindet sich ein als Fußgänger 11 ausgebildetes Objekt 12.
-
In realen Verkehrsszenarien werden fahrrelevante Spiegelreflexionsartefakte am häufigsten von anderen Fahrzeugen 6, 9 verursacht. Trifft beispielsweise von einer Fensterscheibe 7 des Fahrzeugs 6 abgelenkte Laserstrahlung L2 auf ein stark reflektierendes sekundäres Objekt 2, hier das Verkehrszeichen 8, kann ein daraus resultierender indirekter Pfad einen direkten Pfad, beispielsweise gebildet durch eine diffuse Reflexion an der Fensterscheibe 7 des Fahrzeugs 6, dominieren.
-
Es gibt auch einige Reflexionen, die von anderen reflektierenden Oberflächen wie Glasscheiben oder Schaufenstern erzeugt werden. Daraus resultierende Reflexionsartefakte sind jedoch für ein Fahrzeugverhalten, insbesondere eine Trajektorieplanung, im Allgemeinen irrelevant, da sie häufig innerhalb oder hinter Gebäuden auftreten, in denen ein Betrieb des Fahrzeugs 5 nicht möglich ist. In ähnlicher Weise erscheinen Spiegelreflexionen von nassen Fahrbahnoberflächen unterhalb der realen Fahrbahnoberfläche und sind daher in einfacher Weise filterbar.
-
Um verbleibende Reflexionsartefakte von anderen Verkehrsteilnehmern zu erkennen, werden vorliegend allgemein verfügbare Objekterkennungsverfahren und/oder semantische Segmentierungsnetzwerke verwendet, um Fahrzeuge 6, 9 in mittels des Lidarsensors 1 erfassten Daten zu erkennen. Anschließend werden aus Sicht des Lidarsensors 1 alle durch erkannte Fahrzeuge 6, 9 verdeckten Lidarmessungen M als potenzielle falsch-positive Erkennungen E markiert und/oder Lidarmessungen M, welche vollständig von Messpunkten umgeben sind, die zu erkannten Fahrzeugen 6, 9 gehören, werden einer Fahrzeug-Objektklasse zugeordnet.
-
Hierbei werden in einem möglichen Ausführungsbeispiel des erfindungsgemäßen Verfahrens beispielsweise allgemein bekannte Objekterkennungsverfahren bzw. Objekterkennungsnetzwerke verwendet, mittels welcher Fahrzeuge 6, 9, beispielsweise Personenkraftwagen, Busse, Lastkraftwagen usw., in den vom Lidarsensor 1 erfassten Daten erkannt werden. Eine Ausgabe der erkannten Fahrzeuge 6, 9 erfolgt beispielsweise als Liste von so genannten 3D-Boundingboxen, welche die Fahrzeuge 6, 9 umgeben.
-
Treten an diesen erkannten Fahrzeugen 6, 9 Spiegelreflexionsartefakte auf, welche durch reflektierende Oberflächen erzeugt werden, erscheinen diese immer hinter der entsprechenden reflektierenden Oberfläche und folglich hinter der das jeweilige Fahrzeug 6, 9 umschließenden 3D-Boundingbox B1, B2. Deshalb werden alle Lidarmessungen M, die sich im dreidimensionalen Schatten S1, S2 jeder 3D-Boundingbox befinden, als potenzielles Reflexionsartefakt bzw. potenzielle falsch-positive Erkennung E markiert.
-
In einer möglichen Weiterbildung werden die markierten potenziellen falsch-positiven Erkennungen E in einer weiterführenden Verarbeitung verwendet, um die Rohmessungen mit zusätzlichen Informationen anzureichern. Diese können in einer Sensorfusionskomponente verwendet werden, um Objekte - beispielsweise unter Verwendung anderer Sensormodalitäten - mittels einer Klassifizierung in tatsächliche Objekte und Geisterobjekte 4 zu unterteilen.
-
In 6 ist eine Seitenansicht eines mittels eines Lidarsensors 1 erfassten Verkehrsszenarios nach einer Durchführung einer semantischen Segmentierung darstellt, welche gemäß eines weiteren möglichen Ausführungsbeispiels des erfindungsgemäßen Verfahrens alternativ oder zusätzlich zur zuvor beschriebenen Verwendung von Objekterkennungsverfahren mit 3D-Boundingboxen B1, B2 durchgeführt wird.
-
In dem Verkehrsszenario befinden sich auf einer Fahrbahn FB ein als Fahrzeug 6 ausgebildetes Objekt 3 mit reflektierenden Fensterscheiben 7, ein als weiteres Fahrzeug 9 ausgebildetes Objekt 10 und ein als weiteres Fahrzeug 13 ausgebildetes Objekt 14 mit einer geöffneten Fensterscheibe. Weiterhin befinden sich in dem Verkehrsszenario ein als Verkehrszeichen 8 ausgebildetes Objekt 2 und ein beispielsweise als Baum 15 ausgebildetes weiteres Objekt 16.
-
In der semantischen Segmentierung wird jeder Lidar-Entfernungsmessung eine semantische Bezeichnung, wie beispielsweise Personenkraftwagen, Vegetation oder Straße, hinzugefügt, so dass sich als resultierender Lidar-Scan beispielsweise die in 6 gezeigte Darstellung als zylindrische Projektion eines dreidimensionalen Lidar-Scans ergibt.
-
Ziel ist es hierbei, mögliche Reflexionsartefakte zu erkennen, welche im dargestellten Ausführungsbeispiel beispielsweise an den Fensterscheiben 7 des Fahrzeugs 6 entstehen. Da die Reflexionsartefakte ungewöhnliche Formen haben, werden sie vom Objekterkennungsnetzwerk normalerweise nicht korrekt klassifiziert und können daher eine beliebige Beschriftung aufweisen, hier dargestellt durch ein Schachbrettmuster.
-
Um solche potenziellen Reflexionsartefakte zu erkennen, werden alle Lidarmessungen M gekennzeichnet, welche vollständig von Messpunkten umgeben sind, die zu erkannten Fahrzeugen 6, 9, 13 gehören.
-
Zu diesem Zweck wird ein so genannter Flutfüllalgorithmus, auch als Flood-Fill-Algorithmus, verwendet, welcher an einer Bildgrenze beginnt und iterativ jede benachbarte Lidarmessung M markiert, die nicht als zu einem Fahrzeug 6, 9, 13 gehörig gekennzeichnet ist.
-
Ein mögliches Ergebnis eines solchen Flutfüllalgorithmus zeigt 7, in welcher eine Seitenansicht des Verkehrsszenarios gemäß 6 nach der Durchführung des Flutfüllalgorithmus dargestellt ist.
-
Anschließend werden alle Lidarmessungen, welche nicht im Flutfüllalgorithmus markiert wurden, erneut betrachtet und es wird eine einfache Clusterbildung basierend auf einer Entfernung zum Lidarsensor 1 durchgeführt. Dies zeigt 8 in einer Seitenansicht des Verkehrsszenarios gemäß 6 nach einer Durchführung eines Clustering. Für jede verbundene Region ist der Cluster, welcher dem Lidarsensor 1 am nächsten liegt, speziell markiert (hier mit einer nach rechts gerichteten Linienschraffur). Die anderen Cluster sind zur Veranschaulichung mit anderen Schraffuren dargestellt.
-
Darauf folgend wird jeder Cluster geprüft, ob er vollständig von zu Fahrzeugen 6, 9, 13 gehörigen Messpunkten umschlossen ist. Hierzu wird eine weitere Flutfüllung an einem beliebigen Punkt im Cluster gestartet und geprüft, ob sie eine Außenseite des jeweiligen Fahrzeugs 6, 9, 13 erreicht.
-
Cluster, welche vollständig von zu Fahrzeugen 6, 9, 13 gehörigen Messpunkten umschlossen sind, hier die Fensterscheiben 7 des Fahrzeugs 6 und die geöffnete Fensterscheibe des Fahrzeugs 13, werden anschließend als potenzielles Reflexionsartefakt bzw. potenzielle falsch-positive Erkennung E markiert. Dies zeigt 8 in einer Seitenansicht des Verkehrsszenarios gemäß 6 nach einer Durchführung eines Labelings. Es werden hierbei auch Cluster markiert, die durch geöffnete Fensterscheiben anderer Fahrzeugen 6, 9, 13, hier des Fahrzeugs 13, sichtbar sind. Vorliegend handelt es sich hierbei um Lidarmesspunkte M des Baums 15.
-
Das Fahrzeug 9 wird dabei nicht markiert, da die Cluster desselben mit dessen Außenseite verbunden sind.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
