DE102018117934A1

DE102018117934A1 - Aspektverhältnis und EPW-Modulations basierte Erkennung von Landmarken aus digitalen Daten-Punktwolken

Info

Publication number: DE102018117934A1
Application number: DE102018117934.0A
Authority: DE
Inventors: Sebastian Koslowski; Sebastian Zuther; Phan-Lam Huynh; Fabian Thunert; Henner Schmidt; Andre Posch; Martin Kiemes; Sergio Fernandez; Bharath Amarendra
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2018-07-25
Filing date: 2018-07-25
Publication date: 2020-01-30

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Erkennung und Kategorisierung von Landmarken auf Basis fahrzeuggestützter Sensordaten, wobei in einem ersten Schritt a) 3-dimensionale Umgebungssignale eines Fahrzeugs mittels eines Fahrzeugsensors aufgenommen, im Schritt b) die 3-dimensionalen Umgebungssignale in statische und dynamische Signale aufgeteilt und im Schritt c) die statischen 3-dimensionalen Umgebungssignale zur Erkennung und Kategorisierung von Landmarken verarbeitet werden. Die Kategorisierung der erkannten Umgebungssignale erfolgt mittels mehrerer Kategorien. Die erfindungsgemäßen Kategorien beinhalten Objekte mit einem großen Aspektverhältnis, welche mit einer Fläche den Boden berühren; Objekte welche zumindest zwei zueinander rechtwinklige Oberflächen; Objekte deren Sensorsignale Amplituden-Sprünge an mindestens einer Objektoberfläche; und nicht unmittelbar mit dem Boden verbundene Objekte die mindestens eine ebene Fläche und die ebene Fläche Amplituden-Änderungen der Sensorsignale aufweisen. Des Weiteren betrifft die vorliegende Erfindung ein Fahrassistenzsystem mit mindestens einem Modul, welches dazu eingerichtet ist das erfindungsgemäße Verfahren auszuführen, die Verwendung besagten Verfahrens zur Positionsbestimmung eines Fahrzeuges, sowie ein Fahrzeug mit einem erfindungsgemäßen Fahrassistenzsystem.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Erkennung und Kategorisierung von Landmarken auf Basis fahrzeuggestützter Sensordaten, wobei in einem ersten Schritt a) 3-dimensionale Umgebungssignale eines Fahrzeugs mittels eines Fahrzeugsensors aufgenommen, im Schritt b) die 3-dimensionalen Umgebungssignale in statische und dynamische Signale aufgeteilt und im Schritt c) die statischen 3-dimensionalen Umgebungssignale zur Erkennung und Kategorisierung von Landmarken verarbeitet werden. Die Kategorisierung der erkannten Umgebungssignale erfolgt mittels mehrerer Kategorien. Die erfindungsgemäßen Kategorien beinhalten Objekte mit einem großen Aspektverhältnis, welche mit einer Fläche den Boden berühren; Objekte welche zumindest zwei zueinander rechtwinklige Oberflächen; Objekte deren Sensorsignale Amplituden-Sprünge an mindestens einer Objektoberfläche; und nicht unmittelbar mit dem Boden verbundene Objekte die mindestens eine ebene Fläche und die ebene Fläche Amplituden-Änderungen der Sensorsignale aufweisen. Des Weiteren betrifft die vorliegende Erfindung ein Fahrassistenzsytem mit mindestens einem Modul, welches dazu eingerichtet ist das erfindungsgemäße Verfahren auszuführen, die Verwendung besagten Verfahrens zur Positionsbestimmung eines Fahrzeuges, sowie ein Fahrzeug mit einem erfindungsgemäßen Fahrassistenzsytem.
Eine Schlüsselaufgabe bei der Entwicklung von Fahrassistenzsystemen für autonomes oder semi-autonomes Fahren ist die reproduzierbare und hochgenaue Feststellung der Fahrzeugposition in dessen Umgebung. Lokal betrachtet dient das Wissen über die horizontale und vertikale Position zur Orientierung. Global betrachtet wird die Positionsbestimmung innerhalb eines fahrzeugunabhängigen Koordinatensystems, beispielsweise für die Lokalisierung in einer Karte, genutzt. Gebräuchliche Systeme sind heutzutage GPS („global positioning system“) oder GNSS („global navigation satellite system“). Ein entscheidender Nachteil dieser satellitengestützten Systeme ist die (technisch bedingte) Ungenauigkeit im Bereich mehrerer Meter, welche den Einsatz dieser Technologien im Bereich hochautomatisierten Fahrens deutlich einschränkt. Zusätzlich zur systembedingten Ungenauigkeit wird der GNSS-Einsatz durch dichte Umgebungen, wie beispielsweise Wälder oder urbane Räume (Häuserschluchten), beeinträchtigt, sodass eine permanent genaue Positionierung nicht gewährleistet werden kann. So sind Signalabbrüche, Signalverzögerungen und Ungenauigkeiten im Betrieb an der Tagesordnung.
Eine mögliche Alternative zu diesen Systemen bietet die Positionierung und Lokalisierung durch eine fahrzeugbasierte (on-board) Sensorik und Odometrie (Aufzeichnung der Eigenbewegung). Mittels dieser Techniken können Features im direkten Fahrzeugumfeld, sog. Landmarken, extrahiert und mit einer vorher aufgezeichneten Karte abgeglichen werden. Die aktuelle Fahrzeugposition in einer Karte kann dadurch berechnet oder abgeleitet werden.
Aus dem Stand der Technik sind schon Verfahren bekannt, welche sich mit der Aufnahme und Verarbeitung von Fahrzeug-Sensordaten beschäftigen.
In der DE 10 2007 012 458 A1 wird beispielsweise ein Verfahren zur Objektbildung für eine Umfeldmodellierung offenbart, bei dem eine Handhabe von Informationen eines Sensors unter Berücksichtigung einer mindestens bereichsweise nichtlinearen Segmentierungsschwelle ausgeführt wird.
Die DE 10 2013 200 387 A1 betrifft ein Verfahren zum Erstellen einer Hinderniskarte einer Umgebung eines Kraftfahrzeugs auf einer Straße umfassend die Schritte des Bereitstellens einer gerasterten Hinderniskarte, des Abtastens einer Umgebung des Kraftfahrzeugs, wobei die Umgebung in Zellen unterteilt ist, des Erfassens von Zellen, die durch ein Hindernis belegt sind, und des Kennzeichnens von Rasterpunkten der Hinderniskarte, die zu belegten Zellen in der Umgebung korrespondieren. Dabei werden Ausdehnungen der Zellen in Abhängigkeit ihrer Lage bezüglich des Verlaufs der Straße bestimmt.
Derartige aus dem Stand der Technik bekannte Lösungen können noch weiteres Verbesserungspotential bieten, insbesondere hinsichtlich der Effizienz in der Datenbehandlung sowie der Schnelligkeit des Verfahrens mit besonderem Augenmerk auf eine Datenreduktion der Sensordaten.
Es ist die Aufgabe der vorliegenden Erfindung, die aus dem Stand der Technik bekannten Nachteile zumindest teilweise zu überwinden. Es ist insbesondere die Aufgabe der vorliegenden Erfindung eine Lösung bereitzustellen, durch welche das die Vielzahl unterschiedlicher Sensordaten schnell und signifikant reduziert werden können, so dass schon in sehr früher Verfahrensschritten eine deutliche Reduzierung an Rechenoperationen erreicht werden kann.
Die Lösung der Aufgabe erfolgt erfindungsgemäß durch ein Verfahren mit den Merkmalen des Anspruchs 1. Die Lösung der Aufgabe erfolgt erfindungsgemäß ferner durch ein Fahrassistenzsystem mit den Merkmalen des Anspruchs 11, sowie ein Fahrzeug mit einem solchen System nach Anspruch 12. Bevorzugte Ausgestaltungen der Erfindung sind in den Unteransprüchen, in der Beschreibung oder den Figuren beschrieben, wobei weitere in den Unteransprüchen oder in der Beschreibung oder den Figuren beschriebene oder gezeigte Merkmale einzeln oder in einer beliebigen Kombination einen Gegenstand der Erfindung darstellen können, wenn sich aus dem Kontext nicht eindeutig das Gegenteil ergibt.
Erfindungsgemäß wird ein Verfahren zur Erkennung und Kategorisierung von Landmarken auf Basis fahrzeuggestützter Sensordaten vorgeschlagen, welches mindestens die Schritte umfasst:

a) Aufnahme 3-dimensionaler Umgebungssignale eines Fahrzeugs mittels mindestens eines Fahrzeugsensors,
b) Aufteilen der 3-dimensionalen Umgebungssignale in statische und dynamische Signale,
c) Verarbeitung der statischen 3-dimensionalen Umgebungssignale zur Erkennung und Kategorisierung von Landmarken, wobei die Kategorisierung der erkannten Umgebungssignale in Schritt c) in eine oder in mehrere der folgenden Klassen c1-c4 oder deren Kombinationen erfolgt:
- c1) Objekte mit einem Aspektverhältnis von größer oder gleich 10 und kleiner oder gleich 1000, welche mit einer Fläche den Boden berühren,
- c2) Objekte welche zumindest zwei zueinander rechtwinklige Oberflächen aufweisen,
- c3) Objekte deren Sensorsignale Amplituden-Sprünge an mindestens einer Objektoberfläche aufweisen, und
- c4) nicht unmittelbar mit dem Boden verbundene Objekte die mindestens eine ebene Fläche und die ebene Fläche Amplituden-Änderungen der Sensorsignale aufweist.

Ein derartiges Verfahren kann gegenüber den Lösungen aus dem Stand der Technik signifikante Vorteile aufweisen, insbesondere hinsichtlich der Verarbeitungsschnelligkeit und der Signifikanz der erkannten und klassifizierten Objekte. Mittels des erfindungsgemäßen Verfahrens lassen sich beispielsweise nur diejenigen Objekte weiterverarbeiten, welche sich per se zur Positionserkennung von Fahrzeugen besonders eignen. Die ermittelte Anzahl an Objekten und die über die Objekteigenschaften einbezogene Genauigkeit und Zuverlässigkeit zur Nutzung, beispielsweise im Rahmen einer Positionsbestimmung, kann so zu einer deutlichen Erhöhung der Ortsauflösung und zu einer deutlichen Erhöhung der Verfahrensgeschwindigkeit beitragen. Aus einer vorgefilterten 3D-Punktwolke des Fahrzeug-Umfelds, welche beispielsweise noch in Nah-, Mittel- und Fernbereiche aufgeteilt werden kann, können so Landmarken schnell und zuverlässig erkannt werden. Diese Landmarken können als Schnittstelle zu einer Karte dienen, wodurch unmittelbar die lokale Positionierung erfolgen kann. Mit Hilfe kartierter Landmarken kann auch eine globale Lokalisierung (Ortung) des Fahrzeuges erfolgen. Die Schnittstelle der Landmarken als statische und wiedererkennbare Objekte in der Umgebung dient zur Datenreduktion, welche einer begrenzten Kapazität bei Speicherung, Übertragung und Auswertung der Rohdaten Rechnung trägt, ohne kritische Informationsverluste verzeichnen zu müssen. Insbesondere der Einbezug der Wiedererkennbarkeit von Landmarken ist eine sinnvolle Eigenschaft, welche die Reproduzierbarkeit des Verfahrens auch bei erhöhtem (Mess-)Rauschen und wechselnden Perspektiven erhöhen kann. Das erfindungsgemäße Verfahren extrahiert Landmarken und ermöglicht eine Klassifikation, wobei diese Daten zur weiteren Verwendung zur Verfügung gestellt werden. Die vorgeschlagene Lösung ermöglicht eine verlässliche Erkennung unter Reduzierung des rechnerischen Aufwands.
Das erfindungsgemäße Verfahren ist zur Erkennung und Kategorisierung von Landmarken geeignet. Dies bedeutet, dass mittels einer Datenverarbeitung Landmarken aus Sensordaten extrahiert werden, wobei Landmarken fixe, d.h. unbewegliche, Objekte in der Nähe einer Fahrbahn sind, welche optische Charakteristika aufweisen. Die Position der Landmarken kann sehr genau relativ zum Fahrzeug bestimmt werden und in dem Fall, in dem die Position der Landmarken bekannt ist, kann auf eine Fahrzeugposition zurückgerechnet werden. Landmarken können in unterschiedliche Kategorien eingeteilt werden. Geeignete Landmarken können beispielsweise Straßenlaternen, Straßenschilder, Werbetafel, allgemeine Hinweisschilder, Straßenpfosten, Bäume oder Bauwerke, wie beispielsweise Brücken und Häuser sein.
Die Landmarkenerkennung erfolgt auf Basis fahrzeuggestützter Sensordaten. Dies bedeutet, dass die verarbeiteten Daten von Sensoren geliefert werden, welche sich am oder im Fahrzeug befinden und sich mit diesem fortbewegen. Eine Verarbeitung von Daten, welche durch externe, beispielsweise durch satellitengestützte Verfahren, geliefert werden, ist dabei nicht umfasst. Dies bedeutet allerdings nicht, dass diese externen, also nicht fahrzeuggestützten Daten, nicht als weitere Informationsquelle, beispielsweise zur Verifikation der Landmarken, genutzt werden können.
Im ersten Schritt a) erfolgt Aufnahme 3-dimensionaler Umgebungssignale eines Fahrzeugs mittels mindestens eines Fahrzeugsensors. Geeignete Fahrzeugsensoren sind dazu ausgebildet die Daten in Form von Punktwolken oder mittels mathematischer Transformationen als Punktwolken aufgearbeitete Daten bereitzustellen. Ein möglicher Sensortyp sind beispielsweise LIDAR-(light detection and ranging) Sensoren oder Kameras mit Bildsensoren. Das Fahrzeug kann dabei ein oder mehrere dieser Sensoren aufweisen. So ist es beispielsweise möglich, dass das Fahrzeug mehrere Sensoren aufweist, wobei die Sensoren jeweils unterschiedliche Richtungen überwachen. Geeignete Fahrzeuge sind beispielsweise Kraftfahrzeuge, LKW oder ähnliche Fahrzeugtypen.
Im zweiten Schritt b) werden die 3-dimensionalen Umgebungssignale in statische und dynamische Signale aufgeteilt. Statische Signale sind Sensorsignale von unbeweglichen Objekten, während dynamische Signale von Objekten herrühren, welche eigenständig ihren Ort während des Messintervalls verändern. Die Relativbewegung des Fahrzeuges als Träger der Sensoren wird für die Klassifizierung dynamisch/unbeweglich keine Rolle. Im erfindungsgemäßen Verfahren werden nur die Daten berücksichtigt, welche von Umgebungsobjekten herrühren, welche während der Messung ortsfest sind.
Im dritten Schritt c) erfolgt die Verarbeitung der statischen 3-dimensionalen Umgebungssignale zur Erkennung und Kategorisierung von Landmarken. Die Sensorinformation soll nach Landmarken gefiltert werden. Einzelne Datenpunkte sind hierbei mit Rausch-Signalen überlagert, d.h. sie können fehlerhafte Informationen beinhalten. Als Fehlerquellen kommen sowohl externe Faktoren wie Umwelteinflüsse (Wetterbedingungen, Lichteinfall etc.), Fahrzeugbewegungen und wechselnde räumliche Beziehung zwischen Fahrzeug und Landmarke in Betracht. Des Weiteren muss auch das generelle Messrauschen berücksichtigt werden. Eine adaptierte und schnelle Vorverarbeitung (Pre-Processing) ist deshalb essentiell, um eine reproduzierbare LandmarkenErkennung unter üblichen Umgebungsbedingungen zu garantieren. Innerhalb dieses Schrittes werden also den Sensordaten mittels Mustererkennung Objekte generiert, wobei die einzelnen Objekte des Weiteren in unterschiedliche Landmarkenkategorien einsortiert werden. Die Einsortierung in die unterschiedlichen Klassen erleichtert die weitere Datenverarbeitung und ist zudem in der Lage, eine genauere Ortsbestimmung zu ermöglichen, da die Klassifikation neben den Objekteigenschaften als solchen mit einbezogen werden können.
Die Kategorisierung der erkannten Umgebungssignale in Schritt c) erfolgt in eine oder in mehrere der folgenden Klassen c1-c4 oder deren Kombinationen. Insbesondere die folgenden Kategorien haben sich weiteren Verarbeitung der Sensordaten als besonders geeignet erwiesen. Die Kategorien ermöglichen eine besonders signifikante Zuordnung der einzelnen Objekte mit einer möglichst großen Aufspreizung der Objekteigenschaften zwischen den einzelnen Kategorien. Auf diese Art kann die Reproduzierbarkeit des gesamten Verfahrens unter Beibehaltung einer möglichst effizienten Datenreduktion erhöht werden.
In den erfindungsgemäß einsetzbaren Kategorien werden unterschiedliche Objekte erkannt. In der Kategorie

c1) werden Objekte mit einem Aspektverhältnis von größer oder gleich 10 und kleiner oder gleich 1000, welche mit einer Fläche den Boden berühren,
c2) werden Objekte welche zumindest zwei zueinander rechtwinklige Oberflächen aufweisen,
c3) werden Objekte deren Sensorsignale Amplituden-Sprünge an mindestens einer Objektoberfläche aufweisen, und
c4) werden nicht unmittelbar mit dem Boden verbundene Objekte die mindestens eine ebene Fläche und die ebene Fläche Amplituden-Änderungen der Sensorsignale aufweist; zusammengefasst. Es werden anhand der Kategorien als Landmarken hohe und schmale Objekte, Objekte mit EPW (Lichtintensitäts)-sprüngen in der Umgebung, Objekte mit rechtwinkligen Ecken, Objekte mit reflektiven Flächen, erkannt. Objekte, welche als Landmarken erkannt werden sind beispielsweise: Schilder auf Stangen, Schilderbrücken, Randpfosten mit Reflektoren (reflector posts), (Straßen-)Lampen, Reflektoren an Leitplanken, Brückenpfeiler, Infrastruktur wie Bushaltestellen und Werbetafeln. Als mögliche Ausgabe für diese Objektklassen eignet sich beispielsweise die 3D Punktwolke als solche oder die erkannten Linefeatures (Set of points), der Basispunkt (3-dim, unterster Punkt der erkannten Struktur als Position); die Bounding Box (Höhe, Breite, Tiefe) des Objektes, die Gestalt unter Berücksichtigung der Reflektivität; Farbe, Oberflächen-Normale; und schlussendlich der Objekttyp wie beispielsweise Ampel, Schild, Brücke.

Innerhalb einer bevorzugten Ausführungsform des Verfahrens kann die Aufnahme 3-dimensionaler Umgebungssignale in Schritt a) über mindestens einen LIDAR-Sensor erfolgen. Insbesondere LIDAR-Sensoren können mit der erforderlichen zeitlichen sowie auch der örtlichen Auflösung Daten bereitstellen, welche sich für das erfindungsgemäße Verfahren eignen. LIDAR-Systeme senden Laserimpulse aus und detektieren das aus der Umgebung zurückgestreute Licht. Aus der Lichtlaufzeit der Signale kann die Entfernung zum Ort der Streuung berechnet werden. Der LIDAR empfängt die mit Laser ausgesendeten Signale mittels Multispektralkameras, welche das Licht in mehreren Wellenlängen aufnehmen kann. Das zurückfallende Licht des Lasers von der Oberfläche des Objekts, lässt Rückschlüsse auf die Geschwindigkeit und die Position der umgebenden Objekte zu. Es ist aber auch möglich, dass das Lidar System APDs (Avalanche Photodiodes) als Sensoren verwendet. Diese sind in einem engen Frequenzbereich sensitiv und können nur die Intensität, aber nicht die Wellenlänge zurückliefern. Dies ermöglicht „nur“ die Positionsbestimmung des Fahrzeuges.
Im Rahmen eines weiteren Aspektes des Verfahrens können die 3-dimensionalen Umgebungssignale mindestens LIDAR-Signale in Form einer Daten-Punktwolke umfassen. Aufgrund der hohen Sensor-Taktzeiten und der Scanner-Auflösung ergibt sich eine sehr große Datenmenge, welches schnelle und signifikante Aussagen über die Fahrzeugumgebung erschwert. Insofern ist es eine herausfordernde Aufgabe, aus den LIDAR-Sensordaten sinnvolle und verlässliche Landmarken zu erkennen. Typischerweise liefert ein LIDAR-Sensor Rohdaten in der Form ungefilterter, dichter 3D-Punktwolken, die sehr viel Information beinhaltet. Es hat sich gezeigt, dass insbesondere diese LIDAR-Daten in Form von Punktwolken zur Erkennung und erfindungsgemäßen Klassifizierung geeignet sind. Durch die schiere Menge der auflaufenden Daten hatte sich als besonders günstig erwiesen, die Datenmenge durch die Erkennung von Gegenständen und deren Kategorisierung auf eine deutlich geringere Datenmenge zurückzuführen. Des Weiteren ist durch die Kategorisierung gewährleistet, dass weitere digitale Informationsquellen, wie beispielsweise digitale Karten oder insgesamt digitalen Landkarten, durch diesen reduzierten Informationsgehalt in sehr guter Weise ergänzt werden können.
Innerhalb einer weiteren Charakteristik des Verfahrens können die Sensordaten vor dem Schritt c) in Winkelabschnitte unterteilt und Schritt c) für die Sensordaten jedes Winkelabschnitts einzeln durchgeführt werden. Für das erfindungsgemäße Erkennen und die erfindungsgemäße Kategorisierung hat sich als besonders günstig erwiesen, dass die Verarbeitung der Sensordaten nicht an einen gesamten Datensatz der Umgebung des Fahrzeuges durchgeführt wird. Das Erkennen und die Kategorisierung kann auch innerhalb bestimmter Winkelsegmente des gesamten aufgenommenen Bereiches erfolgen. Wird durch die eingesetzten Sensoren die gesamte Fahrzeugumgebung erfasst, so kann das Aufteilen der Datensätze rein mathematisch als Funktion bestimmter Winkelbereiche in Abhängigkeit einer beliebigen Fahrzeugachse erfolgen. Der gesamte aufgenommene Bereich kann dabei in zwei oder mehr Winkelbereiche unterteilt werden. Die Winkelbereiche müssen nicht gleich groß sein. So ist es beispielsweise möglich, dass erst die Sensordaten einer rechten Fahrzeugumgebung und im Anschluss daran die Daten der linken Fahrzeugumgebung ausgewertet werden. Es ist aber auch möglich, dass erst die Objekte vor dem Fahrzeug mathematisch behandelt werden und daran anschließend die Objekte die sich hinter dem Fahrzeug befinden. Je nach Fahrzeugsituation kann es auch sinnvoll sein, dass rechte, linke sowie vordere Objektdaten behandelt, wohingegen die Daten aus dem rückwärtigen Fahrzeugbereich verworfen werden. Auf diese Art und Weise lässt sich die zu verarbeitenden Datenmenge als Funktion der Fahrsituation reduzieren.
In einer weiteren Ausgestaltung des Verfahrens können in der Klasse c1) Objekte erkannt und kategorisiert werden, welche mit dem Boden verbunden sind, sich rechtwinklig von diesen erstrecken und deren Basisflächenprojektion größer ist als eine vorbestimmte Konstante b. In diese Kategorie lassen sich insbesondere hohe, schmale und senkrechte Objekte einordnen, welche mit dem Boden (ground plane) oder mit der Infrastruktur verbunden sind. Die Objekte, wie beispielsweise auf Stangen montierte Schilder, können auch nach oben breiter werden. In die Gruppe können beispielsweise auch Leitpfosten eingeordnet werden, welche in weiterer Entfernung vom Fahrzeug als einzelne Objekte erkannt werden. Auf kurze Distanz erscheinen diese Objekte oft im Verbund mit Leitplanken oder Infrastrukturobjekten. Diese sind dennoch durch ihre Höhe über dem Boden unterscheid- und klassifizierbar. Als mögliche Eingabe für das Verfahren kann sich die Ground plane, die Punktwolke dieser Objekte als solche, sowie möglicherweise die (je nach Sensor) segmentierte Umgebung anbieten. Optional lassen sich auch die erkannten Konturen als Eingabe für das erfindungsgemäße Verfahren nutzen. Ein möglicher Algorithmus kann folgende Klassifizierungsabfolge beinhalten:

- Verwende Segmente welche mit dem Boden verbunden, aber nicht als Boden identifiziert sind;
- Akzeptiere Segmente deren Projektionsfläche größer ist als eine bestimmte Konstante und/oder deren layer Anzahl größer ist als eine festgelegte Layerkonstante (Base Size > Konstante b und/oder Anzahl layers > Layerkonstante.

Die verbleibenden Segmente können noch spezifischer analysiert werden. Beispielsweise können Sub-Segmente innerhalb jedes Segments auf die oben genannten Charakteristika überprüft werden, wobei es möglich ist auch diese Sub-Segmente als Objekte dieser Klasse zu kategorisieren. Es ist aber auch möglich, ausgehend von dem unterstem (Punktwolken-)Layer in einem Segment individuelle Cluster zu bilden und diese Cluster zu expandieren. Die Größe der Konstante b richtet sich nach der jeweiligen Fahrsituation und kann von einem Fachmann frei gewählt werden. Als mögliche und sinnvolle Größe der Konstante b hat sich für viele Fahrsituationen ein Wert für die Basisprojektionsfläche von größer oder gleich 5 cm² und kleiner oder gleich 250 cm², bevorzugt größer oder gleich 10 cm² und kleiner oder gleich 150 cm² und des Weiteren von größer oder gleich 25 cm² und kleiner oder gleich 100 cm² herausgestellt.
In einer weiteren bevorzugten Ausführungsform des Verfahrens können in der Klasse c2) Objekte erkannt und kategorisiert werden deren Objektkonturen im Wesentlichen rechtwinklig zueinander angeordnet sind und die eine Mindesthöhe h aufweisen. Die Objekte weisen also zwei rechtwinklig zueinander angeordnete Oberflächen auf, beispielsweise Brückenpfeiler oder allgemeiner vertikale Strukturen mit rechteckigen Oberflächen. Als Eingabe für das Verfahren eignen sich dabei die Daten in Form einer Punktwolke, Segmente, erkannte statische Konturen oder die Objektliste als solche. Im Verfahren können in einem ersten Schritt die Daten dynamischer Objekte und der Boden aussortiert werden. Anschließend kann ein Winkel α zwischen erkannten Konturen bestimmt werden, wobei im Falle rechtwinkliger Strukturen α = 90° ist. Je nach Fahrzeugumgebung ist es aber auch möglich den Winkel als α = 90°+- β zu definieren. Die erlaubte Abweichung β kann beispielsweise größer oder gleich 1° und kleiner oder gleich 15°, bevorzugt 10° betragen. In einem darauf folgenden Schritt kann die Höhe der gefundenen Konturen bestimmt werden. Dies kann über die Anzahl der involvierten Layer oder Schussebenen des Objektes erfolgen. Bevorzugt kann die Anzahl der ermittelten Konturpunkte des Objektes kleiner oder gleich 4 betragen. Es ist auch möglich die Konturpunkte als Objektfeature zu definieren, wenn die Anzahl der Layer des Objektes 2, 3, 4 beträgt. Die Layer sind dabei proportional zur Höhe des Objektes und aus dem Abstand zum Objekt und der Anzahl der Layer kann die Objekthöhe abgeschätzt werden. Bevorzugte Mindesthöhen h können größer oder gleich 5 cm und kleiner oder gleich 2000 cm; größer oder gleich 50 cm und kleiner oder gleich 1500 cm, des Weiteren bevorzugt größer oder gleich 100 cm und kleiner oder gleich 1000 cm betragen.
Weiterhin können in einer Ausgestaltung des Verfahrens in der Klasse c3) Objekte erkannt und kategorisiert werden die mindestens eine ebene Fläche aufweisen, wobei die Amplitude der Sensorsignale auf dieser Fläche ein Maximum oder ein Minimum aufweist. Unter der Amplitude der Sensorsignale kann dabei beispielsweise die detektierte Intensität verstanden werden. In dieser Kategorie können Objekte eingeordnet werden, welche relativ ebene Strukturen aufweisen, wobei die ebenen Strukturen unterschiedliche Reflektivitäten besitzen, sodass sich auf der Oberfläche Amplituden-Sprünge, beispielsweise geringe - hohe - geringe Reflektivitäten, ergeben. Eine solche Abfolge findet man beispielsweise für Reflektoren auf Leitplanken. Als Eingabe in das erfindungsgemäße Verfahren eignen sich beispielsweise eine Daten-Punktwolke mit EPW-Werten, sowie die Objektsegmente der statischen Konturen. Die Echopulsbreite (EPW) ergibt sich aus der Helligkeit sowie der Dauer des reflektierten Laserpulses. Je höher die Reflektivität des Objektes und somit je heller die Reflektion oder je länger die Pulsdauer, desto höher ist die gemessene EPW. Als Verarbeitungsalgorithmus innerhalb des erfindungsgemäßen Verfahrens kann sich folgende Abfolge anbieten. In einem ersten Schritt werden die Segmente als Eingabe verarbeitet, welche nicht zur Bodenfläche gehören. Pro Segment wird dann über sämtliche Volleys iteriert und der aktuelle EPW-Durchschnitt jedes Volleys berechnet. Ein Volley entspricht dabei einem Schritt im horizontalen (Yaw) Winkelbereich (z.B. 0.25° in Bereichen mit niedriger Auflösung und 0.125° in Bereichen mit hoher Auflösung). Auf Basis dieser Datenlage werden dann EPW-Sprünge (Spitzen/Extrema) gesucht und der Ort dieser Sprünge als Reflektor-Feature klassifiziert. Ein Maximum oder ein Minimum in der Amplitude der Sensorsignale ergibt sich nach mathematischen Kriterien dann, wenn die Unterschiede in den Amplituden signifikant, also nicht durch statistisches Rauschen verursacht, sind und die Amplitudenänderung der Sensorsignale (Verhältnis geänderter Amplitude zur mittleren Objektamplitude) beispielsweise größer ist als ein Faktor von 2, bevorzugt 3, des Weiteren bevorzugt größer als 5.
Nach einer bevorzugten Charakteristik des Verfahrens können in der Klasse c4) Objekte erkannt und kategorisiert werden die nicht mit unmittelbar dem Boden verbunden sind, wobei die Objekte mehrere benachbarte Konturpunkte mit derselben Tiefe aufweisen und die mittlere EPW (Echopulsbreite) der benachbarten Konturpunkte oberhalb eines Schwellwertes c liegt. In dieser Kategorie können reflektive und ebene Oberflächen zusammengefasst werden, welche mehr oder minder senkrecht zum Fahrzeug stehen. In diese Kategorie können auch Objekte fallen, welche reproduzierbar in einem bestimmten/konstanten Winkel zum Fahrzeug stehen. Des Weiteren lassen sich optional noch weitere Randbedingungen einfügen, beispielsweise dass die Objekte größer (höher) sind als 1 m. Ein weiteres Kriterium könnte sein, dass diese Konturen nicht unmittelbar mit dem Boden verbunden sind oder als unterfahrbar erkannt werden. Beispielsweise: In diese Kategorie können beispielsweise ebene Oberflächen wie Schilderbrücken und Werbetafeln (Billboards) einsortiert werden. Als mögliche Verarbeitungsschritte zur Einordnungen kommen beispielsweise in Frage: Die Dateneingabe statischer Konturen über eine Punktwolke oder die entsprechenden Segmente dieser. In einem ersten Schritt können dann Segmente mit einer kleinen Tiefe extrahiert werden. Anschließend kann optional die Höhe der Segmente überprüft werden, wobei weiterverarbeitbare Segmente beispielsweise größer als 100 cm, bevorzugt 200 cm, des Weiteren bevorzugt größer als 300 cm sein können. Ein weiterer Ausschlussparameter kann die Höhe über dem Boden sein. Es ist möglich Objekte in dieser Gruppe zu berücksichtigen, deren Höhe über dem Boden größer ist als 50 cm, bevorzugt 150 cm, des Weiteren bevorzugt über 250 cm. Es ist auch möglich die Höhe über die Anzahl der Layer der Struktur festzulegen, wobei sich dann die Layeranzahl aus der gewünschten Objekthöhe ergibt. In einem weiteren Schritt können dann flache Konturen aufgefunden werden, wobei flache Konturen als mehrere benachbarte Konturpunkte mit ähnlicher Tiefe definiert werden können. Im nächsten Schritt werden dann die durchschnittlichen EPW dieser Punkte überprüft, wobei diese über einem gerätespezifischen Schwellwert c liegen müssen. Dieser Schwellwert kann beispielsweise relativ zur Maximalintensität des Sensors oder als Kontrast zur Bodenfläche angegeben werden. Beispielsweise kann der Schwellwert c vorzugsweise größer als die doppelte mittlere Reflektivität der Fahrbahn, bevorzugt als das dreifache und bevorzugt größer als das Vierfache der mittleren Fahrbahnreflektivität angenommen werden. Es ist aber auch möglich, diesen Schwellwert vorab an unterschiedlichen Reflektoren und unterschiedlichen Sensorsystemen einzukalibrieren. Im letzten Schritt können dann die Objektkanten als Features extrahiert werden.
Nach einem weiteren Aspekt des Verfahrens können die kategorisierten Landmarken in einem weiteren Schritt an eine digitale Karte übergeben werden. Gerade die Weitergabe erkannter Landmarken und deren Kategorisierung an digitale Landkarten kann zu einem deutlichen Informationsgewinn sowohl für die Landkarte als auch für das Fahrzeug als solches beitragen. Die Reduzierung der Datenmengen auf die Position erkannter Objekte kann die Bestimmung der Position des Fahrzeuges deutlich erleichtern. Die durch die Vielzahl der möglichen Landmarken erreichbare Präzision in der Ortsbestimmung des Fahrzeuges ist dabei deutlich größer als eine sattelitengestützte Ortsbestimmung. Zudem kann durch die Reduzierung auf nur signifikante, d.h. erkannte Landmarken die gesamte Größe der digitalen Landkarte reduziert werden. Des Weiteren können die Karten immer aktuell gehalten werden, da ein und dieselbe Strecke von einer Vielzahl an Fahrzeugen mit Sensoren befahren wird.
Weiterhin im Sinne der Erfindung ist die Verwendung des erfindungsgemäßen Verfahrens zur Bestimmung der Fahrzeugposition relativ zu den erkannten Landmarken. Neben der Tatsache, dass im urbanen und ländlichen Raum eine Vielzahl ortsfester Landmarken existieren kann die erfindungsgemäß vorgeschlagene Klassifizierung weiter dazu beitragen, dass Fahrzeugpositionen relativ zu den erkannten Landmarken deutlich besser bestimmt werden können. Zum einen lassen sich Fehler dadurch verhindern, dass die Ortspositionen nicht nur relativ zu einer einzigen Landmarke bestimmt wird. Es ist möglich, dass die Ortsposition des Fahrzeuges auf Basis mehrerer Landmarken festgelegt wird. Des Weiteren kann die vorgenommene Klassifizierung dazu beitragen, dass zur Positionsbestimmung nur Landmarken genutzt werden, deren Wahrscheinlichkeit für einen Ortswechsel oder aber signifikante Abweichungen der Position, sehr gering ist. So kann es beispielsweise vorteilhaft sein, die Ortsbestimmung des Fahrzeuges eher auf Objekte der Infrastruktur wie Brücken zu stützen, wohingegen eine Bestimmung beispielsweise in Abhängigkeit der Position von Straßenschildern weniger geeignet sein kann, da diese sich beispielsweise stärker bewegen als die genannten Bauwerke.
Im Sinne der Erfindung ist auch ein Fahrassistenzsystem mindestens aufweisend ein Modul, welches dazu ausgebildet ist das erfindungsgemäße Verfahren auszuführen. Fahrassistenzsysteme können als Systemkomponenten Sensoren, Speicher, und Recheneinheiten sowie Ausgabegeräte beinhalten, welche das semi-autonome oder autonome Führen eines Fahrzeuges unterstützen. Im Bereich des semi-autonomen Fahrens ist immer noch ein Eingriff des Fahrzeugführers erforderlich, wohingegen beim autonomen Fahren das Fahrzeug zumindest eine bestimmte Strecke ohne einen aktiven Eingriff eines Fahrzeugführers zurücklegen kann. Bei dem Modul kann es sich beispielsweise um einen Sensor mit integriertem Prozessor und Speicher zur Verarbeitung der Programminformationen handeln. Es ist aber auch möglich, dass die Sensoren ihre Daten an einen fahrzeuginternen Speicher und eine fahrzeuginterne Datenverarbeitungseinheit liefern, welcher den Programmcode zur Abarbeitung des erfindungsgemäßen Verfahrens aufweist. Das Fahrerassistenzsystem kann als Ausgabe Steuerbefehle an das Fahrzeug geben oder aber auch Informationen für einen Fahrer bereitstellen. Es ist beispielsweise vorstellbar, dass das Fahrerassistenzsystem autonom steuert oder beschleunigt/bremst oder Vorschläge zu diesen Fahrmanövern an einen Fahrzeugführer weitergibt.
Des Weiteren ist ein Fahrzeug aufweisend ein erfindungsgemäßes Fahrassistenzsystem im Sinne der Erfindung. Zu den Vorteilen von Fahrzeugen mit dem erfindungsgemäßen Fahrassistenzsystem wird explizit auf die Vorteile der erfindungsgemäßen Fahrassistenzsysteme und die Vorteile des erfindungsgemäßen Verfahrens verwiesen.
Weitere Vorteile und vorteilhafte Ausgestaltungen der erfindungsgemäßen Gegenstände werden durch die Zeichnungen veranschaulicht und in der nachfolgenden Beschreibung erläutert. Dabei ist zu beachten, dass die Zeichnungen nur beschreibenden Charakter haben und nicht dazu gedacht sind, die Erfindung in irgendeiner Form einzuschränken.
Es zeigen die

1 ein mögliches Ablaufdiagramm des erfindungsgemäßen Verfahrens unter Verwendung von LIDAR-Punktwolkedaten;
2 eine mögliche erfindungsgemäße Klassifizierung der erkannten Landmarken.

Die 1 zeigt einen möglichen Prozessablauf für das erfindungsgemäße Verfahren. Die Basis des Verfahrens bilden beispielsweise LIDAR-Daten, welche üblicherweise die Umgebung in Form einer Punktwolke darstellen. In einem ersten Schritt werden die Signale sich bewegender Objekte herausgerechnet werden. Dies kann beispielsweise über eine Abfolge Segmentierung → Konturbildung → Objekterkennung/-tracking → Klassifizierung erfolgen, wobei nach ein paar Scans ein Objekt als statisch oder dynamisch beurteilt werden kann. Es verbleiben insofern die Daten, welche durch statische Objekte erzeugt werden. Statische Objekte sind Objekte, welche sich nicht selbst eigenständig bewegen. Die Relativbewegung der Objekte, welche durch die Eigenbewegung des Fahrzeuges erzeugt werden, bleibt in dieser Betrachtung außen vor. Auf Basis eines Datensatzes, welcher nur die statischen Objekte der Umgebung beinhält wird nun in einem zweiten Schritt eine statische Klassifizierung der Daten vorgenommen. Dieser Schritt kann zu einer weiteren Reduzierung der Datenmenge beitragen. In diesem Schritt werden beispielsweise die Daten, welche die Boden- oder Fahrbahnfläche abbilden verworfen. Im letzten Schritt werden anhand des verbleibenden Datensatzes über eine Strukturerkennung und über die erfindungsgemäße Klassifizierung die Landmarken erkannt und in die unterschiedlichen erfindungsgemäßen Kategorien eingeordnet. Wichtige Erkennung- und Klassifizierungskriterien können beispielsweise das Aspektverhältnis der erkannten Objekte sein oder bestimmte Muster im EPW-Wert der Objektflächen. Unter Berücksichtigung dieser Kriterien lässt sich eine schnelle und einfache Zuordnung erzielen, welches zudem zu einer sichereren Identifizierung der Landmarken führt. In einem optionalen weiteren Schritt können die erkannten und klassifizierten Objekte an eine digitale Landkarte übergeben werden. Es ist möglich, anhand der Landmarken und der Kartendaten eine exakte Position des sich bewegenden Fahrzeuges zu erhalten. Diese Position ist deutlich genauer als die über eine satellitengestützte Navigation erhältliche Position und ermöglicht eine sichere autonome oder semi-autonome Navigation des Fahrzeuges.
In der 2 ist eine mögliche erfindungsgemäße Landmarkenklassifizierung dargestellt. Die aus den folgenden Daten der Fahrzeugumgebung erkannten Objekte können dabei in eine oder mehrere der angegebenen Klassen eingeordnet werden. Die angegebene Klassifizierung mit den speziellen Unterklassen hat sich als sehr hilfreich erwiesen, da diese Objekte schnell und einfach erkannt werden können und so eine genaue Positionsbestimmung des Fahrzeugs in der momentanen Umgebung ermöglichen. Des Weiteren ist vorteilhaft, dass üblicherweise in der Fahrzeugumgebung sich eine oder mehrere dieser Objekte befinden, so dass durch das erfindungsgemäße Verfahren eine kontinuierlich genaue Bestimmung der Fahrzeugposition ermöglicht wird. In der ersten Klasse werden Objekte erkannt und kategorisiert, welche mit dem Boden verbunden sind, sich rechtwinklig von diesen erstrecken und deren Basisflächenprojektion größer ist als eine vorbestimmte Konstante ist. In diese Kategorie fallen beispielsweise auf Stangen montierte Schilder oder Straßenlampen. Diese weisen ein hohes Aspektverhältnis auf und lassen sich leicht erkennen und klassifizieren. In der zweiten Klasse werden Objekte erkannt und kategorisiert deren Objektkonturen im Wesentlichen rechtwinklig zueinander angeordnet sind und die eine Mindesthöhe h aufweisen. Zu dieser Klasse gehören beispielsweise Brückenpfeiler oder allgemein Infrastrukturen wie Bushaltestellen. In der 3. Klasse werden Objekte erkannt und kategorisiert, die mindestens eine ebene Fläche aufweisen, wobei die Amplitude der Sensorsignale auf dieser Fläche ein Maximum oder ein Minimum aufweist. Dies können beispielsweise Leitplanken mit darauf befindlichen Reflektoren sein. In der 4. Klasse werden Objekte erkannt und kategorisiert, die nicht mit unmittelbar dem Boden verbunden sind, wobei die Objekte mehrere benachbarte Konturpunkte mit derselben Tiefe aufweisen und die mittlere EPW (Echopulsbreite) der benachbarten Konturpunkte oberhalb eines Schwellwertes liegt. Diese Objekte können beispielsweise ebene Oberflächen wie Schilderbrücken oder Werbetafeln sein.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102007012458 A1 [0005]
DE 102013200387 A1 [0006]

Claims

Verfahren zur Erkennung und Kategorisierung von Landmarken auf Basis fahrzeuggestützter Sensordaten, mindestens umfassend die Schritte: a) Aufnahme 3-dimensionaler Umgebungssignale eines Fahrzeugs mittels mindestens eines Fahrzeugsensors, b) Aufteilen der 3-dimensionalen Umgebungssignale in statische und dynamische Signale, c) Verarbeitung der statischen 3-dimensionalen Umgebungssignale zur Erkennung und Kategorisierung von Landmarken, dadurch gekennzeichnet, dass die Kategorisierung der erkannten Umgebungssignale in Schritt c) in eine oder mehrere der folgenden Klassen c1-c4 oder deren Kombinationen erfolgt: c1) Objekte mit einem Aspektverhältnis von größer oder gleich 10 und kleiner oder gleich 1000, welche mit einer Fläche den Boden berühren, c2) Objekte welche zumindest zwei zueinander rechtwinklige Oberflächen aufweisen, c3) Objekte deren Sensorsignale Amplituden-Sprünge an mindestens einer Objektoberfläche aufweisen, und c4) nicht unmittelbar mit dem Boden verbundene Objekte die mindestens eine ebene Fläche und die ebene Fläche Amplituden-Änderungen der Sensorsignale aufweist.
Verfahren nach Anspruch 1, wobei die Aufnahme 3-dimensionaler Umgebungssignale in Schritt a) über mindestens einen LIDAR-Sensor erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die 3-dimensionalen Umgebungssignale mindestens LIDAR-Signale in Form einer Daten-Punktwolke umfassen.
Verfahren nach einem der vorhergehenden Ansprüchen, wobei die Sensordaten vor dem Schritt c) in Winkelabschnitte unterteilt und Schritt c) für die Sensordaten jedes Winkelabschnitts einzeln durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüchen, wobei in der Klasse c1) Objekte erkannt und kategorisiert werden, welche mit dem Boden verbunden sind, sich rechtwinklig von diesen erstrecken und deren Basisflächenprojektion größer ist als eine vorbestimmte Konstante b.
Verfahren nach einem der vorhergehenden Ansprüchen, wobei in der Klasse c2) Objekte erkannt und kategorisiert werden deren Objektkonturen im Wesentlichen rechtwinklig zueinander angeordnet sind und die eine Mindesthöhe h aufweisen.
Verfahren nach einem der vorhergehenden Ansprüchen, wobei in der Klasse c3) Objekte erkannt und kategorisiert werden die mindestens eine ebene Fläche aufweisen, wobei die Amplitude der Sensorsignale auf dieser Fläche ein Maximum oder ein Minimum aufweist.
Verfahren nach einem der vorhergehenden Ansprüchen, wobei in der Klasse c4) Objekte erkannt und kategorisiert werden die nicht mit unmittelbar dem Boden verbunden sind, wobei die Objekte mehrere benachbarte Konturpunkte mit derselben Tiefe aufweisen und die mittlere EPW (Echopulsbreite) der benachbarten Konturpunkte oberhalb eines Schwellwertes c liegt.
Verfahren nach einem der vorhergehenden Ansprüchen, wobei die kategorisierten Landmarken in einem weiteren Schritt an eine digitale Karte übergeben werden.
Verwendung des Verfahrens nach einem der Ansprüche 1-9 zur Bestimmung der Fahrzeugposition relativ zu den erkannten Landmarken.
Fahrassistenzsystem mindestens aufweisend ein Modul, welches dazu ausgebildet ist das Verfahren nach einem der Ansprüche 1-9 auszuführen.
Fahrzeug mit Fahrassistenzsystem nach Anspruch 11.