DE102019219750B4

DE102019219750B4 - Fahrerassistenzsystem und Verfahren zum Detektieren von Objektbarrieren in 3D-Punktewolken

Info

Publication number: DE102019219750B4
Application number: DE102019219750.7A
Authority: DE
Inventors: Jannik Metzner; Daniel Fafula
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-12-16
Filing date: 2019-12-16
Publication date: 2021-11-25
Anticipated expiration: 2039-12-17
Also published as: DE102019219750A1

Abstract

Fahrerassistenzsystem (1a,1b,1c) zum Detektieren von Objektbarrieren in 3D-Punktewolken entlang einer Fahrzeugtrajektorie (3) eines Fahrzeugs (2) umfassend ein erstes Erfassungssystem zum Bereitstellen eines Umgebungsbildes entlang der Fahrzeugtrajektorie (3) als erste 3D-Punktewolke in einer ersten Sensorart und ein zumindest zweites, zum ersten unterschiedliches Erfassungssystem zum Bereitstellen des im wesentlichen identischen Umgebungsbildes als eine, zu der ersten 3D-Punktewolke zeitsynchronen zweiten 3D-Punktewolke, in einer zweiten Sensorart, die sich von der ersten Sensorart in ihrem Messverfahren unterscheidet, einen Prozessor (6), der dazu ausgebildet ist, ein Clusterverfahren auf die erste 3D-Punktewolke zur Erzeugung ein oder mehrerer erster Cluster anzuwenden, und ferner das Clusterverfahren auf die zumindest eine zweite 3D-Punktewolke zur Erzeugung ein oder mehrerer zweiter Cluster anzuwenden,wobei der Prozessor (6) ferner dazu ausgebildet ist, Ebenen durch die Konturpunkte eines jeweiligen ersten Clusters zu ermitteln und diese Ebenen als eine jeweils erste Zwischenschrittbarriere zusammenzuführen und Ebenen durch die Konturpunkte eines jeweiligen zweiten Clusters zu ermitteln und diese Ebenen als eine jeweils zweite Zwischenschrittbarriere zusammenzuführen,und wobei der Prozessor (6) ferner dazu ausgebildet ist, eine jeweils erste Zwischenschrittbarriere mit einer jeweils zweiten Zwischenschrittbarriere mittels eines Assoziationsalgorithmus zu assoziieren,und eine jeweils erste Zwischenschrittbarriere mit der assoziierten zweiten Zwischenschrittbarriere zueinander als Objektbarriere zu fusionieren,wobei ferner das zweite Erfassungssystem dazu ausgebildet ist, eine Radar-3D-Punktewolke bereitzustellen und der Prozessor (6) dazu ausgebildet ist, ein oder mehrere Radar-Cluster zu erzeugen als auch jeweils Radar-Ebenen und Radar-Zwischenschrittbarrieren (10) anhand der ein oder mehreren Radar-Cluster auszubilden,der Prozessor (6) dazu ausgebildet ist, eine Bewegung der Objektbarrieren (11) anhand der Doppler-Verschiebung bei den zu den Objektbarrieren (11) gehörenden Radar-3D-Punktewolken und/oder Radar-Ebenen und/oder Radar-Zwischenschrittbarrieren (10) zu bestimmen und als Assoziationsalgorithmus den Nächsten Nachbarn- Algorithmus zu verwenden (Nearest-Neigbour- Algorithmus).

Description

Die Erfindung betrifft ein Fahrerassistenzsystem zum Detektieren von Objektbarrieren in 3D-Punktewolken entlang einer Fahrzeugtrajektorie eines Fahrzeugs. Ferner betrifft die Erfindung ein Verfahren zum Detektieren von Objektbarrieren in 3D-Punktewolken.
Autonome Fahrzeuge werden derzeit entwickelt und eingesetzt um eine Menge von erforderlichen Benutzereingaben zu verringern oder eine Benutzerbeteiligung sogar gänzlich zu eliminieren. Hierfür muss die Umgebung des Fahrzeugs jedoch von einem Fahrerassistenzsystem überwacht werden, um Kollisionen mit Hindernissen zu vermeiden. Normalerweise werden die Hindernisse in der geplanten Fahrzeugtrajektorie, die von dynamischen oder statischen Objekten stammen, von den detektierten und getrackten Objekten abgeleitet. Die Objekte werden mithilfe von Künstlicher Intelligenz, beispielsweise einem neuronalen Netz, erkannt.
Bei einer Fehlfunktion eines Objekttrackings oder einer Objektdetektion wird jedoch nicht oder nur verspätet das nächste Objekt detektiert, wodurch ruckhafte Bremsungen oder sogar eine Kollision mit dem Objekt auftreten können.
Die DE 10 2018 205 539 A1 offenbart eine Vorrichtung zur Erkennung eines Objekts oder einer Situation aus einem Datensatz, welcher Messdaten mindestens einer physikalischen Messgröße umfasst, mit einem Künstlichen-Intelligenz-Modul.
Weiterer Stand der Technik ist offenbart in

• US 2018 / 0 364 717 A1 ,
• DIETERLE, T., et al.. Sensor data fusion of LIDAR with stereo RGB-D camera for object tracking. In: 2017 Ieee Sensors. IEEE, 2017. S. 1-3. doi: 10.1109/ICSENS.2017.8234267 (URL: https://ieeexplore.ieee.orq/stamp/stamp.isp?tp=&arnumber=8234267),
• US 2019 /0 273 871 A1 ,
• YONEDA, K., et al.. Urban road localization by using multiple layer map matching and line segment matching. In: 2015 IEEE Intelligent Vehicles Symposium (IV). IEEE, 2015. S. 525-530. doi: 10.1109/IVS.2015.7225738 (URL: https://ieeexplore.ieee.org/stamp/stamp.isp?tp=&arnumber=7225738)_.
• HAAG, S., et al.. Radar and idar target signatures of various object types and evaluation of extended object tracking methods for autonomous driving applications. In: 2018 21 st International Conference on Information Fusion (FUSION). IEEE, 2018. S. 1746-1755. doi: 10.23919/ICIF.2018.8455395 (URL: https://ieeexplore.ieee.org/stamp/stamp.jsp? tp=&arnumber=8455395),
• BROßEIT, P., et al.. Fusion of doppler radar and geometric attributes for motion estimation of extended objects. In: 2015 Sensor Data Fusion: Trends, Solutions, Applications (SDF). IEEE, 2015. S. 1-5. doi: 10.11 09/SDF .2015. 7347694 (URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7347694).

Es ist eine Aufgabe dieser Erfindung Mittel anzugeben, welche die Verkehrssicherheit eines Fahrzeugs, insbesondere bei autonomer Betriebsweise, verbessern.
Diese Aufgabe wird durch ein Fahrerassistenzsystem mit den Merkmalen des Anspruchs 1 sowie ein Verfahren mit den Merkmalen nach Anspruch 12 gelöst.
In den Unteransprüchen sind weitere vorteilhafte Maßnahmen aufgelistet, die geeignet miteinander kombiniert werden können, um weitere Vorteile zu erzielen.
Die Aufgabe wird gelöst durch ein Fahrerassistenzsystem zum Detektieren von Objektbarrieren in 3D-Punktewolken entlang einer Fahrzeugtrajektorie eines Fahrzeugs umfassend
ein erstes Erfassungssystem zum Bereitstellen eines Umgebungsbildes entlang der Fahrzeugtrajektorie als erste 3D-Punktewolke in einer ersten Sensorart und ein zumindest zweites, zum ersten unterschiedliches Erfassungssystem zum Bereitstellen des im wesentlichen identischen Umgebungsbildes als eine, zu der ersten 3D-Punktewolke zeitsynchronen zweiten 3D-Punktewolke, in einer zweiten Sensorart, die sich von der ersten Sensorart in ihrem Messverfahren unterscheidet, ferner umfassend einen Prozessor, der dazu ausgebildet ist, ein Clusterverfahren auf die erste 3D-Punktewolke zur Erzeugung ein oder mehrerer erster Cluster anzuwenden, und das Clusterverfahren auf die zumindest eine zweite 3D-Punktewolke zur Erzeugung ein oder mehrerer zweiter Cluster anzuwenden,
wobei der Prozessor ferner dazu ausgebildet ist, Ebenen durch die Konturpunkte eines jeweiligen ersten Clusters zu ermitteln und diese Ebenen als eine jeweils erste Zwischenschrittbarriere zusammenzuführen und Ebenen, durch die Konturpunkte eines jeweiligen zweiten Clusters zu ermitteln und diese Ebenen als eine jeweils zweite Zwischenschrittbarriere zusammenzuführen,
wobei der Prozessor ferner dazu ausgebildet ist, eine jeweils erste Zwischenschrittbarriere mit einer jeweils zweiten Zwischenschrittbarriere mittels eines Assoziationsalgorithmus zu assoziieren,
und eine jeweils erste Zwischenschrittbarriere mit der assoziierten zweiten Zwischenschrittbarriere zueinander als Objektbarriere zu fusionieren.
Vorzugsweise ist das Fahrzeug als Fahrzeug mit einer autonomen Betriebsweise ausgebildet.
Unter Erfassungssysteme sind beispielsweise Sensorsysteme oder Sensordaten verarbeitende Schnittstellen zu verstehen.
Unter Assoziation ist der Zusammenhang/Zugehörigkeit der Zwischenschrittbarrieren zu verstehen. Als Assoziationsalgorithmus wird erfindungsgemäß der Nearest-Neighbour-Algorithmus verwendet werden. Die Assoziationsgüte kann durch Vergleich mehrerer Eigenschaften der zueinander assoziierten Zwischenschrittbarrieren und die beispielsweise mittels eines Matching/Fusions-Algorithmus in Übereinstimmung gebrachten Zwischenschrittbarrieren bestimmt werden. Unter Assoziationsgüte ist die Güte des Zusammenpassens der verschiedenen Zwischenschrittbarrieren zu verstehen. Diese Eigenschaften können die Größe der Zwischenschrittbarrieren, Orientierung der Zwischenschrittbarrieren, kartesischer Abstand der Zwischenschrittbarrieren zueinander sein.
Unter Objektbarrieren sind im weitesten Sinn Hindernisse oder potentielle Hindernisse/Gefahren (andere Verkehrsteilnehmer, Fußgänger etc.) zu verstehen. Eine Fahrzeugtrajektorie ist im weitesten Sinn der Fahrschlauch/Fahrzeugweg/Fahrzeugbewegung, den ein Fahrzeug entlangfährt oder plant entlang zu fahren.
Konturpunkte sind im Wesentlichen Umrisspunkte oder Randpunkte. Vorzugsweise werden die Ebenen parallel zueinander und auf gleicher Höhe, das heißt berechnet vom Straßenboden an, durch die Konturpunkte, hindurchgelegt.
Durch das erfindungsgemäße Fahrerassistenzsystem werden Objektbarrieren entlang der Fahrzeugtrajektorie eines autonom fahrenden Fahrzeugs detektiert.
Die Detektion ist vollkommen unabhängig von letzten Zeitschritten und Fehlern in regel- als auch machine-learning basierten Detektionen und kann somit beispielsweise parallel zur Objekterkennung durch machine-learning Methoden verwendet werden. Insbesondere bei einer Fehlfunktion der Objekterkennung durch machine-learning Methoden bei der nicht oder nur verspätet das nächste Objekt detektiert wird, und wodurch ruckhafte Bremsungen oder sogar eine Kollision mit dem Objekt auftreten können, kann das erfindungsgemäße Fahrerassistenzsystem eine erhöhte Sicherheit für das autonome Fahren bieten.
Durch das erfindungsgemäße Fahrerassistenzsystem kann eine schnelle Detektion von Objektbarrieren gewährleistet werden. Dies trägt ebenfalls zur Sicherheit des Fahrzeugs insbesondere in einer autonomen Betriebsweise bei.
Es werden durch die Fusion von Zwischenschrittbarrieren auf Punktewolkenbasis basierend auf einem Zeitschritt Hindernisse in Form von Objektbarrieren in der Fahrzeugtrajektorie schneller und mit höherer Genauigkeit als aus regel- und machine-learning basierten Algorithmen ermittelt. Die erkannten Objektbarrieren können in die weitere Fahrzeugtrajektorieplanung miteinbezogen werden.
Vorzugsweise ist der Prozessor dazu ausgebildet, die Anzahl der Objektbarrieren durch die größte Anzahl der zueinander assoziierbaren Zwischenschrittbarrieren der ersten Cluster und der zweiten Cluster zu bestimmen. Dadurch kann die Sicherheit erhöht werden, alle Objektbarrieren entlang der Fahrzeugtrajektorie erkannt zu haben.
In weiterer Ausgestaltung ist das erste Erfassungssystem dazu ausgebildet, eine Lidar-3D-Punktewolke bereitzustellen und der Prozessor dazu ausgebildet, ein oder mehrere Lidar-Cluster zu erzeugen als auch jeweils Lidar-Ebenen und Lidar-Zwischenschrittbarrieren anhand der ein oder mehreren Lidar-Cluster auszubilden. Vorzugsweise ist das erste Erfassungssystem als Lidarsensorsystem ausgebildet. Dieses kann ein oder mehrere Lidarsensoren umfassen.
Diese Lidarsensoren stellen die Lidardaten bereits ohne Umwandlung als 3D-Punktewolke bereit, so dass dies eine schnelle Auswertung ermöglicht. Ferner können durch Lidarsensorsysteme große Flächen wie die Umgebung des Fahrzeugs überwacht werden.
In weiterer bevorzugter Ausgestaltung ist der Prozessor dazu ausgebildet, die Orientierung der Objektbarrieren anhand der Orientierung der Lidar-Zwischenschrittbarrieren zu bestimmen.
Erfindungsgemäß ist das zweite Erfassungssystem dazu ausgebildet, eine Radar-3D-Punktewolke bereitzustellen, wobei der Prozessor dazu ausgebildet ist, ein oder mehrere Radar-Cluster zu erzeugen als auch jeweils Radar-Ebenen und Radar-Zwischenschrittbarrieren anhand der ein oder mehreren Radar-Cluster auszubilden. Vorzugsweise ist das zweite Erfassungssystem als Radarsensorsystem ausgebildet. Dieses kann ein oder mehrere Radarsensoren umfassen. Diese Radarsensoren stellen die Radardaten bereits ohne Umwandlung als 3D-Punktewolke bereit, so dass dies eine schnelle Auswertung ermöglicht.
Vorzugsweise ist das erste Erfassungssystem als Lidarsensorsystem und das zweite Erfassungssystem als Radarsensorsystem ausgestaltet. Dadurch ist eine besonders schnelle Auswertung möglich. Weiterhin vorzugsweise ist der Prozessor dazu ausgebildet, eine Bewegung der Objektbarrieren anhand der Doppler-Verschiebung bei den zu den Objektbarrieren gehörenden Radar-3D-Punktewolken und/oder Radar-Ebenen und/oder Radar-Zwischenschrittbarrieren zu bestimmen.
Anhand der gemessenen Dopplergeschwindigkeiten der Radar-3D-Punkte in den erkannten Radar-Zwischenschrittbarrieren oder in den erkannten Radar-Clustern wird erfindungsgemäß bestimmt, ob sich die Zwischenschrittbarrieren bewegen oder statisch sind. Dies kann weiter zur Bestimmung der Zustandsvarianzen der Objektbarrieren verwendet werden.
Erfindungsgemäß ist der Prozessor dazu ausgebildet, als Assoziationsalgorithmus den Nearest-Neighbour-Algorithmus zu verwenden.
Weiterhin vorzugsweise ist der Prozessor dazu ausgebildet, die Ebenen so durch die Konturpunkte eines jeweiligen ersten Clusters hindurchzulegen, dass diese Ebenen im Wesentlichen parallel zueinander und/oder parallel zu dem Straßenboden angeordnet sind, und wobei der Prozessor ferner dazu ausgebildet ist, die Ebenen, so durch die Konturpunkte eines jeweiligen zweiten Clusters hindurchzulegen, dass diese Ebenen ebenfalls im Wesentlichen parallel zueinander und/oder parallel zu dem Straßenboden angeordnet sind. Dadurch können die Ebenen vereinfacht zu Zwischenschrittbarrieren zusammengefügt werden.
Vorzugsweise ist ein Ultraschallsensorsystem vorgesehen, zum Bereitstellen des im wesentlichen identischen Umgebungsbildes entlang der Fahrzeugtrajektorie als Ultraschall-3D-Punktewolke, wobei die Ultraschall-3D-Punktewolke zu der ersten und zweiten 3D-Punktewolke zeitsynchron ist, und
wobei der Prozessor dazu ausgebildet ist, ein Clusterverfahren auf die Ultraschall-3D-Punktewolke zur Erzeugung ein oder mehrerer Ultraschall-Cluster anzuwenden, wobei der Prozessor ferner dazu ausgebildet ist, Ebenen durch die Konturpunkte eines jeweiligen Ultraschall-Clusters zu ermitteln und diese Ebene jeweils als Ultraschall-Zwischenschrittbarriere zusammenzufügen,
und wobei der Prozessor ferner dazu ausgebildet ist, jeweilige identifizierte Objektbarrieren mittels der Ultraschall-Zwischenschrittbarrieren zu plausibilisieren.
Somit werden die Ultraschall-Zwischenschrittbarrieren verwendet, um eine mögliche erkannte Objektbarriere vorzugsweise in kurzer Distanz zu plausibilisieren, wodurch eine höhere Sicherheit in nahem Umgebungsbild erreicht wird
Alternativ können die Ultraschall-Cluster und die Ultraschall-Ebenen/Ultraschall-Zwischenschrittbarrieren mit in die Fusion einbezogen werden.
Weiterhin vorzugsweise ist der Prozessor dazu ausgebildet, bei Auftreten von unassoziierten ersten Zwischenschrittbarrieren und/oder zweiten Zwischenschrittbarrieren mittels einer Plausibilitätskontrolle festzustellen, ob eine Objektbarriere vorliegt. Dabei kann als Plausibilitätskontrolle die 3D-Punktedichte der unassoziierten Zwischenschrittbarrieren bzw. der dazugehörigen Cluster über der Fahrbahnoberfläche herangezogen werden. Bei hoher Punktedichte kann auf eine Objektbarriere geschlossen werden.
In weiterer bevorzugter Ausgestaltung sind ein oder mehrere Bildsensoren vorgesehen, zur Erzeugung eines im wesentlichen identischen Umgebungsbildes als Kamera-Umgebungsbildes entlang der Fahrzeugtrajektorie, wobei der Prozessor dazu ausgebildet ist, anhand des Kamera-Umgebungsbildes Kamera-Objekte zu extrahieren und diese in eine Kamera-Objektklasse zu klassifizieren, wobei der Prozessor ferner dazu ausgebildet ist, eine Zuordnung der Kamera-Objekte mit den entsprechenden Objektbarrieren zu bewerkstelligen. Vorzugsweise ist der Prozessor dazu ausgebildet, die Zuordnung der Kamera-Objekte zu den entsprechenden identifizierten Objektbarrieren anhand von einem Vergleich von einem Kamera-Winkel, wobei der Kamera-Winkel denjenigen Winkel angibt, den ein entsprechendes Kamera-Objekt in Bezug auf das Fahrzeug aufweist, mit denjenigen Winkel, welches die entsprechende Objektbarriere zu dem Fahrzeug aufweist, zu bewerkstelligen.
Wegen der hohen Abstandsungenauigkeit von Kamera-Objekten aus Kameraalgorithmen werden für die Assoziation der Kamera-Objekten zu den Objektbarrieren nur die Winkel genutzt. Der geschätzte Abstand der Kamera-Objekte zu dem Fahrzeug wird daher nur zur groben Aussortierung von Assoziationshypothesen verwendet.
Weiterhin ist der Prozessor dazu ausgebildet, bei identifizierten Objektbarrieren, welche Kamera-Objekten zugeordnet sind, diese identifizierten Objektbarrieren in dieselbe Objektklasse wie die zugehörigen Kamera-Objekte einzuteilen.
Vorzugsweise ist das Fahrerassistenzsystem dazu ausgebildet, bei Detektion von Objektbarrieren innerhalb der Fahrzeugtrajektorie eine Plausibilitätskontrolle vorzunehmen und/oder eine Umplanung der Fahrzeugtrajektorie vorzunehmen. Dazu kann das Fahrerassistenzsystem ein Steuergerät aufweisen.
Ferner wird die Aufgabe gelöst durch ein Verfahren zum Detektieren von Objektbarrieren in 3D-Punktewolken entlang einer Fahrzeugtrajektorie eines Fahrzeugs umfassend der Schritte:

- Bereitstellen eines Umgebungsbildes entlang der Fahrzeugtrajektorie als erste 3D-Punktewolke in einer ersten Sensorart und
- Bereitstellen des im wesentlichen identischen Umgebungsbildes als zumindest eine, zu der ersten 3D-Punktewolke zeitsynchronen zweiten 3D-Punktewolke, in einer zweiten Sensorart, die sich von der ersten Sensorart in ihrem Messverfahren unterscheidet,
- Erzeugen ein oder mehrerer erster Cluster durch Anwenden eines Clusterverfahrens auf die erste 3D-Punktewolke,
- Erzeugen ein oder mehrerer zweiter Cluster durch Anwenden eines Clusterverfahrens auf die zumindest eine zweite 3D-Punktewolke,
- Ermitteln von Ebenen durch Konturpunkte eines jeweiligen ersten Clusters und zusammenführen der Ebenen als eine jeweils erste Zwischenschrittbarriere,
- Ermitteln von Ebenen durch Konturpunkte eines jeweiligen zweiten Clusters und zusammenführen der Ebenen als eine jeweils zweite Zwischenschrittbarriere,
- Assoziieren einer jeweils ersten Zwischenschrittbarriere mit einer zweiten Zwischenschrittbarriere,
- Fusionieren einer jeweils ersten Zwischenschrittbarriere mit der assoziierten zweiten Zwischenschrittbarriere als Objektbarriere,
- wobei ferner das zweite Erfassungssystem dazu ausgebildet ist, eine Radar-3D-Punktewolke bereitzustellen und der Prozessor (6) dazu ausgebildet ist, ein oder mehrere Radar-Cluster zu erzeugen als auch jeweils Radar-Ebenen und Radar-Zwischenschrittbarrieren (10) anhand der ein oder mehreren Radar-Cluster auszubilden, der Prozessor (6) dazu ausgebildet ist, eine Bewegung der Objektbarrieren (11) anhand der Doppler-Verschiebung bei den zu den Objektbarrieren (11) gehörenden Radar-3D-Punktewolken und/oder Radar-Ebenen und/oder Radar-Zwischenschrittbarrieren (10) zu bestimmen und als Assoziationsalgorithmus den Nächsten Nachbarn-Algorithmus zu verwenden (Nearest-Neigbour-Algorithmus).

Die Vorteile des Fahrerassistenzsystems können auch auf das Verfahren übertragen werden. Insbesondere kann das Verfahren auf dem erfindungsgemäßen Fahrerassistenzsystem ausgeführt werden.
Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Variationen hiervon können vom Fachmann abgeleitet werden, ohne den Schutzumfang der Erfindung, wie er durch die nachfolgenden Patentansprüche definiert wird, zu verlassen.
Die Figuren zeigen schematisch:

1: ein Blockschaltbild eines erfindungsgemäßen Fahrerassistenzsystems 1a in einer ersten Ausgestaltung,
2: ein Blockschaltbild eines erfindungsgemäßen Fahrerassistenzsystems 1b in einer zweiten Ausgestaltung,
3: ein Blockschaltbild eines erfindungsgemäßen Fahrerassistenzsystems 1c in einer dritten Ausgestaltung,
4: ein Fahrzeug 2 mit einer Lidar-Ebene als auch einer Radar-Ebene,
5: die Lidar-Ebene als auch die Radar-Ebene und die fusionierte Objektbarriere im Detail,
6: das erfindungsgemäße Verfahren.

1 zeigt ein Blockschaltbild eines erfindungsgemäßen Fahrerassistenzsystems 1a in einer ersten Ausgestaltung.
Das erfindungsgemäße Fahrerassistenzsystem 1a ist in einem Fahrzeug 2 integriert. Das Fahrzeug 2 fährt entlang einer berechneten Fahrzeugtrajektorie 3. Das Fahrzeug 2 ist als autonom fahrendes Fahrzeug 2, insbesondere als autonom fahrendes Fahrzeug 2 des Autonomielevels vier oder fünf, ausgebildet.
Das Fahrerassistenzsystem 1a weist als erstes Erfassungssystem ein Lidarsensorsystem 4 auf, welches ein Umgebungsbild des Fahrzeugs 2 als hochaufgelöste Lidar-3D-Punktewolke aufnimmt.
Ferner weist das Fahrerassistenzsystem 1a als zweites Erfassungssystem ein Radarsensorsystem 5 auf, welches das identische oder nahezu identische Umgebungsbild als Radar-3D-Punktewolke zur selben Zeit aufnimmt. Die Lidar-3D-Punktewolke ist somit zeitsynchron zu der zweiten Radar-3D-Punktewolke.
Ferner weist das Fahrerassistenzsystem 1a einen Prozessor 6 zum Verarbeiten der Lidar-3D-Punktewolke und der Radar-3D-Punktewolke auf.
Der Prozessor 6 ist dazu ausgebildet, ein Clusterverfahren auf die Lidar-3D-Punktewolke zur Erzeugung ein oder mehrerer Lidar-Cluster anzuwenden. Ferner ist der Prozessor 6 dazu ausgebildet, das Clusterverfahren auf die zumindest eine Radar-3D-Punktewolke zur Erzeugung ein oder mehrerer Radar-Cluster anzuwenden. Als Clusterverfahren kann beispielsweise das DBSCAN-Verfahren (Density-Based Spatial Clustering of Applications with Noise) verwendet werden. Dieses arbeitet dichtebasiert und ist in der Lage, mehrere Cluster zu erkennen, wobei Rauschpunkte ignoriert und separat zurückgeliefert werden.
Auch können Abwandlungen des DBSCAN-Verfahrens, wie beispielsweise HDBSCAN, Shared-Nearest-Neighbor-Clustering etc. verwendet werden.
Das Clusterverfahren für die Radar-3D-Punktewolke und die Lidar-3D-Punktewolke können, aufgrund der unterschiedlichen Auflösung, auch verschieden sein.
Nach dem Clusterverfahren liegen ein oder mehrere Lidar-Cluster, d.h. Cluster in der Lidar-3D-Punktewolke, und ein oder mehrere Radar-Cluster, d.h. Cluster in der Radar-3D-Punktewolke vor.
Anschließend werden durch die Kontur der einzelnen Lidar-Cluster Lidar-Ebenen gelegt, und mit diesen Lidar-Ebenen Lidar-Zwischenschrittbarrieren 9 (4) ausgebildet.
Die Lidar-Ebenen können beispielsweise parallel zur Straßenfläche/Straßenebene bzw. Straßenboden angeordnet sein.
Ferner werden durch die Kontur der einzelnen Radar-Cluster Radar-Ebenen gelegt und mit diesen Radar-Ebenen Radar-Zwischenschrittbarrieren 10 (4) ausgebildet. Diese Radar-Ebenen können beispielsweise parallel zur Straßenfläche/Straßenebene bzw. Straßenboden angeordnet sein.
Anschließend werden die Lidar-Zwischenschrittbarrieren 9 (4) und die Radar-Zwischenschrittbarrieren 10 (4) verwendet, um die einzelnen Lidar-Cluster und Radar-Cluster zueinander zu assoziieren.
Als Assoziationsalgorithmus kann beispielsweise der Nearest-Neighbour-Algorithmus verwendet werden.
Die Assoziationsgüte kann durch Vergleich mehrerer Eigenschaften der zueinander assoziierten und mittels eines Matching/Fusions-Algorithmus in Übereinstimmung gebrachten Radar-Zwischenschrittbarrieren 10 (4) mit den Lidar-Zwischenschrittbarrieren 9 (4) bestimmt werden.
Unter Assoziationsgüte ist die Güte des Zusammenpassens der verschiedenen Zwischenschrittbarrieren zu verstehen. Dies können beispielsweise die Größe der beiden Zwischenschrittbarrieren, die Orientierung der beiden Zwischenschrittbarrieren und der kartesische Abstand der beiden Zwischenschrittbarrieren zueinander sein. Dies bedeutet, dass beispielsweise bei großer Übereinstimmung der Größe der zueinander assoziierten Radar-Zwischenschrittbarrieren 10 (4) und Lidar-Zwischenschrittbarrieren 9 (4) eine große Assoziationsgüte vorliegt. Ferner ist die Assoziationsgüte groß, wenn der kartesische Abstand der zueinander assoziierten Radar-Zwischenschrittbarrieren 10 (4) und Lidar-Zwischenschrittbarrieren 9 (4) klein ist.
Es können einige Radar-Zwischenschrittbarrieren 10 (4) und/oder Lidar-Zwischenschrittbarrieren 9 (4) unassoziiert bleiben.
Der Prozessor 6 ist dazu ausgebildet, bei Auftreten von solchen unassoziierten Radar-Zwischenschrittbarrieren 10 (4) und/oder Lidar-Zwischenschrittbarrieren 9 (4) mittels einer Plausibilitätskontrolle festzustellen, ob eine Objektbarriere vorliegt. Dabei kann als Plausibilitätskontrolle die 3D-Punktedichte der unassoziierten Radar-Zwischenschrittbarrieren 10 (4) oder Lidar-Zwischenschrittbarrieren 9 (4) bzw. der dazugehörigen Radar- oder Lidar-Cluster über der Fahrbahnoberfläche herangezogen werden. Bei hoher Punktedichte kann auf eine Objektbarriere geschlossen werden.
Ferner werden die Radar-Zwischenschrittbarrieren 10 (4) mit den dazu assoziierten Lidar-Zwischenschrittbarrieren 9 (4) als Objektbarrieren 11 (4) vom Prozessor 6 fusioniert.
Ferner ist der Prozessor 6 dazu ausgebildet, die Orientierung der zu ermittelnden Objektbarrieren 11 (4) anhand der dazu korrespondierenden Orientierung der zu den Objektbarrieren 11 (4) gehörenden Lidar-Zwischenschrittbarrieren 9 (4) zu bestimmen. Dies bedeutet, dass bei der Fusion der Radar-Zwischenschrittbarrieren 10 (4) mit den Lidar-Zwischenschrittbarrieren 9 (4) die Orientierung der Lidar-Zwischenschrittbarrieren 9 (4) dominant ist.
Weiterhin ist der Prozessor 6 dazu ausgebildet, eine Bewegung der ermittelten Objektbarrieren 11 (4) anhand der Bewegung in Form einer Doppler-Verschiebung der zu den Objektbarrieren 11 (4) gehörenden Radar-3D-Punktewolke zu bestimmen. Anhand der gemessenen Dopplergeschwindigkeiten der gemessenen Radar-3D-Punkte kann zusätzlich bestimmt werden, ob sich die Objektbarrieren 11 (4) bewegen oder statisch sind. Dies kann weiter zur Bestimmung der Bewegungsvarianzen, hier als Zustandsvarianz bezeichnet, der Objektbarrieren 11 (4) verwendet werden.
Dabei beschreibt der Doppler-Effekt die zeitliche Stauchung bzw. Dehnung des Radarsignals bei Veränderungen des Abstands zwischen der Objektbarriere 11 (4) und dem Fahrzeug 2 während der Dauer des Radarsignals. Diese hat die Veränderung der Laufzeit als Ursache. Daraus kann eine Geschwindigkeit der Objektbarriere 11 (4) abgeleitet werden. Bei reflektiertem Radarsignal, wie beim Radar-Doppler, verdoppelt sich mit der Laufzeit auch die Doppler-Verschiebung.
Ferner ist der Prozessor 6 dazu ausgebildet, die Anzahl der Objektbarrieren 11 ( 4) durch die größte Anzahl der zueinander assoziierbaren Zwischenschrittbarrieren 9,10 des Lidar-Clusters und des Radar-Clusters zu bestimmen. Dadurch kann die Sicherheit erhöht werden, alle Objektbarrieren 11 (4) entlang der Fahrzeugtrajektorie 3 erkannt zu haben.
Durch das erfindungsgemäße Fahrerassistenzsystem 1a werden Objektbarrieren 11 (4) entlang der Fahrzeugtrajektorie 3 eines autonom fahrenden Fahrzeugs 2 detektiert.
Die Detektion ist vollkommen unabhängig von letzten Zeitschritten und Fehlern in regel- als auch machine-learning basierten Detektionen und kann somit beispielsweise parallel zur Objekterkennung durch machine-learning Methoden verwendet werden. Insbesondere bei einer Fehlfunktion der Objekterkennung durch machine-learning Methoden bei der nicht oder nur verspätet das nächste Objekt detektiert wird, und wodurch ruckhafte Bremsungen oder sogar eine Kollision mit dem Objekt auftreten können, kann das erfindungsgemäße Fahrerassistenzsystem 1a eine erhöhte Sicherheit für das autonome Fahren bieten.
Durch das erfindungsgemäße Fahrerassistenzsystem 1a kann eine schnelle Detektion von Objektbarrieren 11 (4) gewährleistet werden. Dies trägt zur Sicherheit des Fahrzeugs 2 in einer autonomen Betriebsweise bei.
Es wird durch die Fusion von Zwischenschrittbarrieren auf der Basis von einer Lidar-3D-Punktewolke und einer Radar-3D-Punktewolke basierend auf einem Zeitschritt, das heißt auf einem nahezu identischen Umgebungsbild, welches zeitsynchron zur selben Zeit aufgenommen worden ist, ein Hindernis in Form einer Objektbarriere 11 (4) in der Fahrzeugtrajektorie 3 mit hoher Genauigkeit schnell detektiert.
Die detektierten Objektbarrieren 11 (4) können als hochpriore Hindernisse in der Trajektorieplanung und in der Sicherheits-Notbremsapplikation verwendet werden.
2 zeigt eine weitere Ausgestaltung eines erfindungsgemäßen Fahrerassistenzsystems 1b.
Das erfindungsgemäße Fahrerassistenzsystem 1b ist in dem Fahrzeug 2 integriert, welches entlang der berechneten Fahrzeugtrajektorie 3 fährt. Das Fahrzeug 2 ist als autonom fahrendes Fahrzeug 2 ausgebildet.
Das Fahrerassistenzsystem 1b weist als erstes Erfassungssystem ein Lidarsensorsystem 4 auf, welches ein Umgebungsbild des Fahrzeugs 2 als hochaufgelöste Lidar-3D-Punktewolke aufnimmt.
Ferner weist das Fahrerassistenzsystem 1b als zweites Erfassungssystem ein Radarsensorsystem 5 auf, welches das identische oder nahezu identische Umgebungsbild als Radar-3D-Punktewolke zur selben Zeit aufnimmt. Die Lidar-3D-Punktewolke ist somit zeitsynchron zu der zweiten Radar-3D-Punktewolke.
Ferner weist das Fahrerassistenzsystem 1b als drittes Erfassungssystem ein Ultraschallsensorsystem 7, beispielsweise bestehend aus 3D-Ultraschallsensoren, auf, welches das identische oder nahezu identische Umgebungsbild als Ultraschall-3D-Punktewolke zur selben Zeit aufnimmt. Die Lidar-3D-Punktewolke, die Radar-3D-Punktewolke und die Ultraschall-3D-Punktewolke sind somit zeitsynchron zueinander.
Ferner weist das Fahrerassistenzsystem 1b den Prozessor 6 zum Verarbeiten der Lidar-3D-Punktewolke und der Radar-3D-Punktewolke und der Ultraschall-3D-Punktewolke auf.
Der Prozessor 6 ist dazu ausgebildet, ein Clusterverfahren auf die Lidar-3D-Punktewolke zur Erzeugung ein oder mehrerer Lidar-Cluster anzuwenden. Ferner ist der Prozessor 6 dazu ausgebildet, das Clusterverfahren auf die zumindest eine Radar-3D-Punktewolke zur Erzeugung ein oder mehrerer Radar-Clusters anzuwenden. Ferner ist der Prozessor 6 dazu ausgebildet, das Clusterverfahren auf die zumindest eine Ultraschall-3D-Punktewolke zur Erzeugung ein oder mehrerer Ultraschall-Cluster anzuwenden.
Nach dem Clusterverfahren liegen ein oder mehrere Lidar-Cluster, d.h. Cluster in der Lidar-3D-Punktewolke, und ein oder mehrere Radar-Cluster, d.h. Cluster in der Radar-3D-Punktewolke und ein oder mehrere Ultraschall-Cluster, d.h. Cluster in der Ultraschall-3D-Punktewolke vor.
Anschließend werden durch die Kontur der einzelnen Lidar-Cluster Lidar-Ebenen gelegt und diese Lidar-Ebenen als Lidar-Zwischenschrittbarrieren 9 (4) zusammengefügt sowie durch die Kontur der einzelnen Radar-Cluster Radar-Ebenen gelegt und diese Radar-Ebenen als Radar-Zwischenschrittbarrieren 10 (4) zusammengefügt. Ferner werden durch die Kontur der einzelnen Ultraschall-Cluster Ultraschall-Ebenen gelegt und diese jeweils als Ultraschall-Zwischenschrittbarrieren zusammengefügt.
Anschließend werden die Lidar-Zwischenschrittbarrieren 9 (4) und/oder Radar-Zwischenschrittbarrieren 10 (4) und/oder Ultraschall-Zwischenschrittbarrieren zueinander assoziiert.
Ferner werden die Radar-Zwischenschrittbarrieren 10 (4) und/oder die entsprechend assoziierten Lidar-Zwischenschrittbarrieren 9 (4) des Lidar-Clusters und/oder die assoziierten Ultraschall-Zwischenschrittbarrieren des Ultraschall-Clusters als Objektbarrieren 11 (4) vom Prozessor 6 fusioniert.
Ferner ist der Prozessor (6) dazu ausgebildet, die Anzahl der Objektbarrieren 11 (4) durch die größte Anzahl der zueinander assoziierbaren Zwischenschrittbarrieren des Lidar-Clusters und des Radar-Clusters und des Ultraschall-Clusters zu bestimmen. Dadurch kann die Sicherheit erhöht werden, alle Objektbarrieren 11 (4) entlang der Fahrzeugtrajektorie 3 erkannt zu haben.
Durch das erfindungsgemäße Fahrerassistenzsystem 1b wurden Objektbarrieren 11 (4) entlang der Fahrzeugtrajektorie 3 eines autonom fahrenden Fahrzeugs 2 detektiert.
Die detektierten Objektbarrieren 11 (4) können als hochpriore Hindernisse in der Trajektorieplanung und in der Sicherheits-Notbremsapplikation verwendet werden. Durch die Verwendung von 3D-Ultraschallsensoren werden sehr robust gegenüber externen Einflüssen -beispielsweise Dunkelheit oder direkte Lichteinstrahlung- Objektbarrieren 11 (4) erkannt.
Ferner ist eine schnelle Verarbeitung möglich, da die 3D-Ultraschallsensoren lediglich kleine Datenmengen von tatsächlich existierenden Objekten liefern.
Anstatt die Ultraschall-Cluster und die Ultraschall-Ebenen mit in die Fusion mit einzubeziehen, können die Ultraschall-Zwischenschrittbarrieren verwendet werden, um eine mögliche erkannte Objektbarriere 11 zu plausibilisieren, wodurch vor allem eine höhere Sicherheit in nahem Umgebungsbild erreicht wird.
3 zeigt eine weitere Ausgestaltung eines erfindungsgemäßen Fahrerassistenzsystems 1c.
Dieses ist analog zu 2 aufgebaut. Alternativ kann dieses auch analog zu 1 aufgebaut sein.
Zusätzlich weist das Fahrerassistenzsystem 1c ein oder mehrere Bildsensoren 8 auf, zur Erzeugung des im wesentlichen identischen Umgebungsbildes als Kamera-Umgebungsbildes entlang der Fahrzeugtrajektorie 3. Ferner ist der Prozessor 6 dazu ausgebildet, anhand des Kamera-Umgebungsbildes Kamera-Objekte zu extrahieren und in Kamera-Objektklassen zu klassifizieren.
Die Extraktion von Kamera-Objekten kann durch verschiedene Kameraalgorithmen erfolgen.
Weiterhin ist der Prozessor 6 dazu ausgebildet, eine Zuordnung der Kamera-Objekte zu den entsprechenden identifizierten Objektbarrieren 11 (4) anhand von einem Vergleich von Kamera-Winkeln mit dem Winkel, welche die entsprechenden Objektbarrieren 11 (4) in Bezug auf das Fahrzeug 2 aufweisen, zu bewerkstelligen. Dabei ist ein Kamera-Winkel derjenige Winkel, welches ein entsprechendes Kamera-Objekt von oder zu dem Fahrzeug 2 aufweist.
Anschließend kann der Prozessor 6 bei identifizierten Objektbarrieren 11 (4), welche eindeutig Kamera-Objekten zugeordnet worden ist, diese identifizierten Objektbarrieren 11 (4) in dieselbe Objektklasse wie die zugehörigen Kamera-Objekte einteilen.
Wegen der hohen Abstandsungenauigkeit von extrahierten Objekten durch Kameraalgorithmen wird für die Zuordnung der Kamera-Objekte nur der Winkel der extrahierten Objekte zu dem Fahrzeug 2 genutzt. Der geschätzte Abstand der Kamera-Objekte zum Fahrzeug 2 wird nur zur groben Aussortierung von Assoziationshypothesen verwendet. Kann ein Kamera-Objekt eindeutig zu einer Objektbarriere 11 (4) assoziiert werden, so kann die Objektklasse des Kamera-Objektes der Objektbarriere 11 (4) zugewiesen werden.
4 zeigt schematisch ein Fahrzeug 2, welches entlang einer Fahrzeugtrajektorie 3 (1) fährt. Ferner zeigt 4 einer der Lidar-Zwischenschrittbarrieren 9 als auch einer der Radar-Zwischenschrittbarrieren 10.
Die Lidar-Zwischenschrittbarrieren 9 und die Radar-Zwischenschrittbarrieren 10 werden verwendet, um die einzelnen Lidar-Cluster und Radar-Cluster zueinander zu assoziieren.
Ferner werden die Zwischenschrittbarrieren 10 des Radar-Clusters und die dazu assoziierten Lidar-Zwischenschrittbarrieren 9 des Lidar-Clusters zu Objektbarrieren 11 vom Prozessor 6 (1) fusioniert.
Ferner ist der Prozessor 6 (1) dazu ausgebildet, die Orientierung von Objektbarrieren 11 anhand der Orientierung der Lidar-Zwischenschrittbarrieren 9 zu bestimmen. Dies bedeutet, dass bei der Fusion der Radar-Zwischenschrittbarrieren 10 mit den Lidar-Zwischenschrittbarrieren 9 die Orientierung der Lidar-Zwischenschrittbarrieren 9 dominant ist.
Weiterhin ist der Prozessor 6 dazu ausgebildet, eine Bewegung der ermittelten Objektbarrieren 11 anhand der Doppler-Verschiebung der zu dem Objektbarrieren 11 gehörenden Radar-3D-Punktewolken zu bestimmen. Anhand der gemessenen Dopplergeschwindigkeiten der gemessenen Radar-3D-Punkte kann zusätzlich bestimmt werden, ob sich die Objektbarrieren 11 bewegen oder statisch sind. Dies kann weiter zur Bestimmung der Bewegungsvarianzen, hier als Zustandsvarianz bezeichnet, der Objektbarrieren 11 verwendet werden.
5 zeigt einer der Lidar-Zwischenschrittbarrieren 9 und einer der Radar-Zwischenschrittbarrieren 10 sowie die dazugehörenden Objektbarriere 11 im Detail. Durch das erfindungsgemäße Fahrerassistenzsystem 1a,1b,1c werden Objektbarrieren 11 entlang der Fahrzeugtrajektorie 3 (1) eines autonom fahrenden Fahrzeugs 2 (1) detektiert.
Die Detektion ist vollkommen unabhängig von letzten Zeitschritten und Fehlern in regel- als auch machine-learning basierten Detektionen und kann somit beispielsweise parallel zur Objekterkennung durch machine-learning Methoden verwendet werden. Insbesondere bei einer Fehlfunktion der Objekterkennung durch machine-learning Methoden bei der nicht oder nur verspätet das nächste Objekt detektiert wird, und wodurch ruckhafte Bremsungen oder sogar eine Kollision mit dem Objekt auftreten können, kann das erfindungsgemäße Fahrerassistenzsystem 1a, 1b, 1c eine erhöhte Sicherheit für das autonome Fahren bieten.
Durch das erfindungsgemäße Fahrerassistenzsystem 1a,1b,1c kann eine schnelle Detektion von Objektbarrieren gewährleistet werden, welche ebenfalls zur Sicherheit des Fahrzeugs 2 in einer autonomen Betriebsweise beiträgt.
Es wird durch die Fusion von Ebenen auf der Basis von einer Lidar-3D-Punktewolke und einer Radar-3-DPunktewolke basierend auf einem Zeitschritt, das heißt auf einem nahezu identischen Umgebungsbild, welches zeitsynchron zu selben Zeit aufgenommen worden ist, ein Hindernis in Form einer Objektbarriere in der Fahrzeugtrajektorie mit hoher Genauigkeit schnell detektiert.
Die detektierten Objektbarrieren können als hochpriore Hindernisse in der Trajektorieplanung und in der Sicherheits-Notbremsapplikationen verwendet werden.
6 zeigt das erfindungsgemäße Verfahren mit einer Lidar-3D-Punktewolke und einer Radar-3D-Punktewolke schematisch. Dabei werden in einem ersten Schritt S1 das Umgebungsbild entlang der Fahrzeugtrajektorie 3 (1) als Lidar-3D-Punktewolke und das im wesentlichen identische Umgebungsbild zeitsynchron als Radar-3D-Punktewolke aufgenommen.
In einem zweiten Schritt S2 werden ein oder mehrere erste Lidar-Cluster durch Anwenden eines Clusterverfahrens auf die Lidar-3D-Punktewolke und ein oder mehrere zweite Radar-Cluster durch Anwenden des Clusterverfahrens auf die Radar-3D-Punktewolke erzeugt.
Anschließend werden durch die Kontur der einzelnen Lidar-Cluster Lidar-Ebenen gelegt und diese Lidar-Ebenen als Lidar-Zwischenschrittbarrieren 9 (4) zusammengefügt sowie durch die Kontur der einzelnen Radar-Cluster Radar-Ebenen gelegt und diese Radar-Ebenen als Radar-Zwischenschrittbarrieren 10 (4) zusammengefügt.
In einem dritten Schritt S3 wird jeweils eine Lidar-Zwischenschrittbarriere 9 mit einer Radar-Zwischenschrittbarriere 10 (4) mittels eines Assoziationsalgorithmus assoziiert. Dieser kann beispielsweise als Nearest-Neighbour-Algorithmus ausgebildet sein.
In einem vierten Schritt S4 wird bei Auftreten von solchen unassoziierten Radar-Zwischenschrittbarrieren 10 (4) und/oder Lidar-Zwischenschrittbarrieren 9 (4) mittels einer Plausibilitätskontrolle festgestellt, ob eine Objektbarriere 11 (FGI 4) vorliegt. Dabei kann als Plausibilitätskontrolle die 3D-Punktedichte der unassoziierten Radar-Zwischenschrittbarrieren 10 (4) und/oder Lidar-Zwischenschrittbarrieren 9 (4) bzw. der dazugehörigen Radar- oder Lidar-Cluster über der Fahrbahnoberfläche herangezogen werden. Bei hoher Punktedichte kann auf eine Objektbarriere geschlossen werden.
In einem fünften Schritt S5 wird eine jeweils erste Radar-Zwischenschrittbarriere 10 (4) mit der assoziierten Lidar-Zwischenschrittbarriere 9 als Objektbarriere 11 fusioniert.
In einem sechsten Schritt S6 wird eine Zuordnung von vorab extrahierten und klassifizierten Kamera-Objekten mit den entsprechenden Objektbarrieren anhand von Kamera-Winkeln, welche denjenigen Winkel angeben, den ein entsprechendes Kamera-Objekt in Bezug auf das Fahrzeug aufweist, bewerkstelligt. Anhand von der Zuordnung werden die Objektbarrieren 11 (4) klassifiziert.
Die detektierten Objektbarrieren 11 (4) können in einem siebten Schritt S7 als hochpriore Hindernisse in der Trajektorieplanung und in der Sicherheits-Notbremsapplikation verwendet werden.

Claims

Fahrerassistenzsystem (1a,1b,1c) zum Detektieren von Objektbarrieren in 3D-Punktewolken entlang einer Fahrzeugtrajektorie (3) eines Fahrzeugs (2) umfassend ein erstes Erfassungssystem zum Bereitstellen eines Umgebungsbildes entlang der Fahrzeugtrajektorie (3) als erste 3D-Punktewolke in einer ersten Sensorart und ein zumindest zweites, zum ersten unterschiedliches Erfassungssystem zum Bereitstellen des im wesentlichen identischen Umgebungsbildes als eine, zu der ersten 3D-Punktewolke zeitsynchronen zweiten 3D-Punktewolke, in einer zweiten Sensorart, die sich von der ersten Sensorart in ihrem Messverfahren unterscheidet, einen Prozessor (6), der dazu ausgebildet ist, ein Clusterverfahren auf die erste 3D-Punktewolke zur Erzeugung ein oder mehrerer erster Cluster anzuwenden, und ferner das Clusterverfahren auf die zumindest eine zweite 3D-Punktewolke zur Erzeugung ein oder mehrerer zweiter Cluster anzuwenden, wobei der Prozessor (6) ferner dazu ausgebildet ist, Ebenen durch die Konturpunkte eines jeweiligen ersten Clusters zu ermitteln und diese Ebenen als eine jeweils erste Zwischenschrittbarriere zusammenzuführen und Ebenen durch die Konturpunkte eines jeweiligen zweiten Clusters zu ermitteln und diese Ebenen als eine jeweils zweite Zwischenschrittbarriere zusammenzuführen, und wobei der Prozessor (6) ferner dazu ausgebildet ist, eine jeweils erste Zwischenschrittbarriere mit einer jeweils zweiten Zwischenschrittbarriere mittels eines Assoziationsalgorithmus zu assoziieren, und eine jeweils erste Zwischenschrittbarriere mit der assoziierten zweiten Zwischenschrittbarriere zueinander als Objektbarriere zu fusionieren, wobei ferner das zweite Erfassungssystem dazu ausgebildet ist, eine Radar-3D-Punktewolke bereitzustellen und der Prozessor (6) dazu ausgebildet ist, ein oder mehrere Radar-Cluster zu erzeugen als auch jeweils Radar-Ebenen und Radar-Zwischenschrittbarrieren (10) anhand der ein oder mehreren Radar-Cluster auszubilden, der Prozessor (6) dazu ausgebildet ist, eine Bewegung der Objektbarrieren (11) anhand der Doppler-Verschiebung bei den zu den Objektbarrieren (11) gehörenden Radar-3D-Punktewolken und/oder Radar-Ebenen und/oder Radar-Zwischenschrittbarrieren (10) zu bestimmen und als Assoziationsalgorithmus den Nächsten Nachbarn- Algorithmus zu verwenden (Nearest-Neigbour- Algorithmus).
Fahrerassistenzsystem (1a,1b, 1c) nach Anspruch 1, dadurch gekennzeichnet, dass erste Erfassungssystem dazu ausgebildet ist, eine Lidar-3D-Punktewolke bereitzustellen und der Prozessor (6) dazu ausgebildet ist, ein oder mehrere Lidar-Cluster zu erzeugen als auch jeweils Lidar-Ebenen und Lidar-Zwischenschrittbarrieren (9) anhand der ein oder mehreren Lidar-Cluster auszubilden.
Fahrerassistenzsystem (1a,1b,1c) nach Anspruch 2, dadurch gekennzeichnet, dass das erste Erfassungssystem als Lidarsensorsystem ausgebildet ist.
Fahrerassistenzsystem (1a,1b,1c) nach einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, dass der Prozessor (6) dazu ausgebildet ist, die Orientierung der Objektbarrieren 11 anhand der Orientierung der Lidar-Zwischenschrittbarrieren 9 zu bestimmen.
Fahrerassistenzsystem (1a, 1b, 1c) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zweite Erfassungssystem als Radarsensorsystem ausgebildet ist.
Fahrerassistenzsystem (1a,1b,1c) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Ultraschallsensorsystem (7) vorgesehen ist, zum Bereitstellen des im wesentlichen identischen Umgebungsbildes entlang der Fahrzeugtrajektorie als Ultraschall-3D-Punktewolke, wobei die Ultraschall-3D-Punktewolke zu der ersten 3D-Punktewolke und zweiten 3D-Punktewolke zeitsynchron ist, wobei der Prozessor (6) dazu ausgebildet ist, ein Clusterverfahren auf die Ultraschall-3D-Punktewolke zur Erzeugung ein oder mehrerer Ultraschall- Cluster anzuwenden, wobei der Prozessor (6) ferner dazu ausgebildet ist, Ebenen durch die Konturpunkte eines jeweiligen Ultraschall-Clusters zu ermitteln und diese Ebene jeweils als Ultraschall- Zwischenschrittbarriere zusammenzufügen, und wobei der Prozessor (6) dazu ausgebildet ist, jeweilige identifizierte Objektbarrieren (11) mittels der Ultraschall-Zwischenschrittbarrieren zu plausibilisieren.
Fahrerassistenzsystem (1a,1b,1c) nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass der Prozessor (6) dazu ausgebildet ist, bei Auftreten von unassoziierten ersten Zwischenschrittbarrieren und/oder zweiten Zwischenschrittbarrieren mittels einer Plausibilitätskontrolle festzustellen, ob eine Objektbarriere (11) vorliegt.
Fahrerassistenzsystem (1a,1b,1c) nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass ein oder mehrere Bildsensoren vorgesehen sind, zur Erzeugung eines im wesentlichen identischen Umgebungsbildes als Kamera-Umgebungsbildes entlang der Fahrzeugtrajektorie, wobei der Prozessor (6) dazu ausgebildet ist, anhand des Kamera-Umgebungsbildes Kamera-Objekte zu extrahieren und diese in eine Kamera-Objektklasse zu klassifizieren, wobei der Prozessor (6) ferner dazu ausgebildet ist, eine Zuordnung der Kamera-Objekte mit den entsprechenden Objektbarrieren (11) zu bewerkstelligen.
Fahrerassistenzsystem (1a,1b,1c) nach Anspruch 8, dadurch gekennzeichnet, dass der Prozessor (6) dazu ausgebildet ist, die Zuordnung der Kamera-Objekte zu den entsprechenden identifizierten Objektbarrieren (11) anhand von einem Vergleich von einem Kamera-Winkel, wobei der Kamera-Winkel denjenigen Winkel angibt, das ein entsprechendes Kamera-Objekt in Bezug auf das Fahrzeug (2) aufweist, mit denjenigen Winkel, welches die entsprechende Objektbarriere (11) zu dem Fahrzeug (2) aufweist, zu bewerkstelligen.
Fahrerassistenzsystem (1a, 1b,1 c) nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass der Prozessor (6) dazu ausgebildet ist, bei identifizierten Objektbarrieren (11), welche Kamera-Objekten zugeordnet sind, diese identifizierten Objektbarrieren (11) in dieselbe Objektklasse wie die zugehörigen Kamera-Objekte einzuteilen.
Fahrerassistenzsystem (1a,1b,1c) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (1a,1b,1c) dazu ausgebildet ist, bei Detektion von Objektbarrieren (11) innerhalb der Fahrzeugtrajektorie eine Plausibilitätskontrolle vorzunehmen und/oder eine Umplanung der Fahrzeugtrajektorie vorzunehmen.
Verfahren zum Detektieren von Objektbarrieren (11) in 3D-Punktewolken entlang einer Fahrzeugtrajektorie (3) eines Fahrzeugs (2) mit den Schritten: - Bereitstellen eines Umgebungsbildes entlang der Fahrzeugtrajektorie als erste 3D-Punktewolke in einer ersten Sensorart und - Bereitstellen des im wesentlichen identischen Umgebungsbildes als zumindest eine, zu der ersten 3D-Punktewolke zeitsynchronen zweiten 3D-Punktewolke, in einer zweiten Sensorart, die sich von der ersten Sensorart in ihrem Messverfahren unterscheidet, - Erzeugen ein oder mehrerer erster Cluster durch Anwenden eines Clusterverfahrens auf die erste 3D-Punktewolke, - Erzeugen ein oder mehrerer zweiter Cluster durch Anwenden eines Clusterverfahrens auf die zumindest eine zweite 3D-Punktewolke, - Ermitteln von Ebenen durch Konturpunkte eines jeweiligen ersten Clusters und zusammenführen der Ebenen als eine jeweils erste Zwischenschrittbarriere, - Ermitteln von Ebenen durch Konturpunkte eines jeweiligen zweiten Clusters und zusammenführen der Ebenen als eine jeweils zweite Zwischenschrittbarriere, - Assoziieren einer jeweils ersten Zwischenschrittbarriere mit einer zweiten Zwischenschrittbarriere, - Fusionieren einer jeweils ersten Zwischenschrittbarriere mit der assoziierten zweiten Zwischenschrittbarriere als Objektbarriere - wobei ferner das zweite Erfassungssystem dazu ausgebildet ist, eine Radar-3D-Punktewolke bereitzustellen und der Prozessor (6) dazu ausgebildet ist, ein oder mehrere Radar-Cluster zu erzeugen als auch jeweils Radar-Ebenen und Radar-Zwischenschrittbarrieren (10) anhand der ein oder mehreren Radar-Cluster auszubilden, der Prozessor (6) dazu ausgebildet ist, eine Bewegung der Objektbarrieren (11) anhand der Doppler-Verschiebung bei den zu den Objektbarrieren (11) gehörenden Radar-3D-Punktewolken und/oder Radar-Ebenen und/oder Radar-Zwischenschrittbarrieren (10) zu bestimmen und als Assoziationsalgorithmus den Nächsten Nachbarn- Algorithmus zu verwenden (Nearest-Neigbour- Algorithmus).