-
Die Erfindung betrifft ein Umfelderfassungssystem für Kraftfahrzeuge, mit mehreren Sensoren, die für elektromagnetische Strahlung in unterschiedlichen Bereichen des elektromagnetischen Spektrums empfindlich sind, und mit zugehörigen Auswertemodulen zur Ortung und/oder Klassifizierung von im Umfeld vorhandenen Objekten anhand der von den Sensoren gelieferten Daten.
-
Stand der Technik
-
In Fahrerassistenzsystemen für Kraftfahrzeuge ist wichtig, das Umfeld des Fahrzeugs mit Hilfe einer geeigneten Sensorik möglichst präzise zu erfassen. Im Zuge zunehmender Automatisierung der Fahrzeugführung werden an die Präzision und Verlässlichkeit des Umfelderfassungssystems immer strengere Anforderungen gestellt.
-
Es ist bekannt, unterschiedliche Typen von Sensoren zu verwenden, die in unterschiedlichen Bereichen des elektromagnetischen Spektrums arbeiten, beispielsweise langreichweitige und kurzreichweitige Radarsensoren mit unterschiedlichen Radarfrequenzen, Lidarsensoren und optische Kameras. Wenn die von den verschiedenen Sensoren erhaltenen Daten miteinander fusioniert werden, lässt sich das Bild des erfassten Umfelds vervollständigen.
-
Ein Problem besteht jedoch darin, dass die von den Objekten emittierte oder reflektierte Strahlung an Oberflächen anderer Objekte reflektiert werden kann und dann auf mehreren Wegen zum Sensor gelangt, wodurch im Sensor Scheinobjekte vorgetäuscht werden, die in Wahrheit nicht existieren. Beispiele sind etwa die Reflexion von Radarstrahlung an der Fahrbahnoberfläche oder an Leitplanken, die Reflexion von sichtbarem Licht an Schaufensterscheiben und dergleichen. Die auf diese Weise vorgetäuschten Scheinobjekte sind oft nur schwer von echten Objekten zu unterscheiden, so dass man ein unzutreffendes Bild des Umfelds gewinnt.
-
Offenbarung der Erfindung
-
Aufgabe der Erfindung ist es, ein Umfelderfassungssystem zu schaffen, das eine bessere Unterscheidung zwischen echten Objekten und reflexionsbedingten Artefakten ermöglicht.
-
Diese Aufgabe wird erfindungsgemäß gelöst durch ein Modellmodul, in dem ein Umfeldmodell gespeichert ist, das neben 3D-Positionensdaten der Objekte auch Daten über die spektralen Reflexionseigenschaften von Oberflächen der Objekte enthält, wobei das Modellmodul in der Lage ist, diese Daten den Auswertemodulen zur Verfügung zu stellen.
-
Anhand des im Modellmodul gespeicherten Modells ist es dann möglich, die Stahlausbreitung in den Wellenlängenbereichen, in denen die betreffenden Sensoren empfindlich sind, zu simulieren und so das Auftreten von durch Mehrfachreflexion erzeugten Scheinobjekten vorherzusagen. Anhand dieser Information lassen sich dann bei der Auswertung der Sensordaten die Scheinobjekte leichter ausfiltern, so dass die Wahrscheinlichkeit von Fehlinterpretationen deutlich verringert wird.
-
Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.
-
In dem Umfeldmodell können Daten gespeichert werden, die die Positionen und, mit mehr oder weniger hoher räumlicher Auflösung, die Geometrien der im Umfeld vorhandenen Objekte charakterisieren. Anhand dieser Daten lassen sich dann auch die Orte, Geometrien und Orientierungen von Objektoberflächen bestimmen, an denen potentiell Reflexionen auftreten können. Zusätzlich wird für jede dieser Oberflächen wenigstens ein Parameter gespeichert, der die Reflexionseigenschaften der Oberfläche bei einer oder mehreren der in den Sensoren verwendeten Wellenlängen charakterisiert. Beispielsweise kann zu jeder Oberfläche und für jede interessierende Frequenz ein Reflexionskoeffizient und/oder ein Glanzparameter gespeichert werden, wobei der Glanzparameter das Verhältnis zwischen gerichteter Reflexion und diffuser Streuung der Strahlung angibt.
-
In einer Ausführungsform kann das Modellmodul im Fahrzeug implementiert sein. Die Daten zur Konstruktion des Modells werden dann von den zur Umfelderfassung eingesetzten Sensoren geliefert und gegebenenfalls ergänzt durch „Vorwissen“ über die typische Beschaffenheit von Objekten. Wenn beispielsweise mit einem Kamerasystem eine Lärmschutzwand, eine Leitplanke oder eine Gebäudefront erkannt wird, so lässt sich anhand der Kameradaten die Lage und Orientierung der reflektierenden Flächen erkennen und im Modell eintragen. Zugleich können die Reflexionseigenschaften für sichtbares Licht und für Radarstrahlung bei den interessierenden Frequenzen geschätzt und ebenfalls in das Modell eingetragen werden, so dass Vorhersagen über reflexionsbedingte Artefakte gemacht werden können.
-
Umgekehrt können die von einem Radarsensor oder Lidarsensor gelieferten Daten für eine genaue Bestimmung der Entfernung der Objekte genutzt werden, um Entfernungsinformation zu erhalten, die mit einem Kamerasystem, auch mit einer Stereokamera, unter Umständen nur schwer mit der nötigen Präzision zu erhalten wäre. Durch Zugriff auf das Umfeldmodell können dem Auswertungsmodul des Kamerasystems dann Entfernungsdaten zur Verfügung gestellt werden, die die Interpretation des Kamerabildes erleichtern.
-
Das Umfeldmodell kann dynamisch an dem jeweiligen Ort des mit dem Umfelderfassungssystem ausgerüsteten Fahrzeugs sowie an die Orte beweglicher Objekte (wie z. B. anderer Fahrzeuge) angepasst werden.
-
In einer anderen Ausführungsform kann das Modellmodul jedoch auch ortsfest außerhalb des Fahrzeugs in einem Server implementiert sein, der drahtlos mit dem Umfelderfassungssystem im Fahrzeug kommuniziert. Ein solches ortsfestes Modellmodul eignet sich insbesondere zur Speicherung eines Umfeldmodells für einen gegebenen Streckenabschnitt im Verkehrsnetz und kann seine Daten den Umfelderfassungssystemen mehrerer Fahrzeuge zur Verfügung stellen. Der Vorteil besteht darin, dass in diesem Fall die Reflexionseigenschaften der Oberflächen wie auch die Orte und Geometrien der Objekte gemessen oder aus anderen Quellen bezogen und manuell in das Model eingegeben werden können, wodurch eine größere Genauigkeit des Modells erreicht wird. Da Aktualisierungen dieser Daten allenfalls von Zeit zu Zeit vorgenommen werden können, handelt es sich in diesem Fall bei dem Modell allerdings um ein eher statisches Modell.
-
Besonders vorteilhaft ist es, die beiden Ausführungsformen miteinander zu kombinieren, so dass die Auswertemodule einerseits Zugriff auf ein dynamisches Modell im lokalen Modellmodul und andererseits Zugriff auf ein statisches aber genaueres Modell im ortsfesten Modul haben.
-
Im folgenden werden Ausführungsbeispiele anhand der Zeichnung näher erläutert.
-
Es zeigen:
- 1 ein Blockdiagramm eines erfindungsgemäßen Umfelderfassungssystems;
- 2 ein Beispiel einer Datenstruktur eines Umfeldmodells;
- 3 ein Flussdiagramm für eine in dem Umfelderfassungssystem nach 1 ablaufende Routine zur Prädiktion von Reflexionsartefakten, und
- 4 und 5 Skizzen von Verkehrssituationen zur Illustration von Anwendungen der Erfindung.
-
In 1 ist schematisch ein Umriss eines Kraftfahrzeugs 10 dargestellt, in dem verschiedene Sensoren zur Umfelderfassung installiert sind. Bei den Sensoren handelt es sich im gezeigten Beispiel um langreichweitige Radarsensoren 12, 14, die mit einer Frequenz von beispielsweise 76 GHz arbeiten und insbesondere zur Erfassung des vorausfahrenden Verkehrs und des nachfolgenden Verkehrs dienen, kurzreichweitige Radarsensoren 16, die mit einer Frequenz von beispielsweise 24 GHz arbeiten und an den vier Ecken des Fahrzeugs installiert sind, um das nähere Umfeld des Fahrzeugs zu überwachen, ein StereoKamerasystem mit zwei an der Frontseite des Fahrzeugs installierten optischen Kameras 18 und einen Lidarsensor 20 zur Rundum-Überwachung des Umfelds mit einem Lidar-Strahl, der eine bestimmte Frequenz im sichtbaren Bereich des Spektrums oder im Infrarotbereich hat. Jedem dieser Sensoren ist ein Auswertemodul 22 zur Vorauswertung der vom Sensor gelieferten Daten zugeordnet. Die Ergebnisse dieser Vorauswertung werden dann an eine zentrale Auswerteeinheit 24 übermittelt und dort weiter verarbeitet und miteinander fusioniert, damit ein möglichst vollständiges Bild des Fahrzeugumfelds gewonnen wird, das dann die Grundlage für verschiedene Fahrerassistenzfunktionen oder autonome Fahrzeugsteuerungsfunktionen bildet.
-
In der zentralen Auswerteeinheit 24 ist ein lokales Modellmodul 26 implementiert, in dem ein Umfeldmodell gespeichert ist, das die Positionen und Geometrien der von den fahrzeugeigenen Sensoren georteten Objekte im aktuellen Umfeld des Fahrzeugs 10 angibt. Das Modell wird anhand der von den Auswertemodulen 22 gelieferten Daten fortlaufend aktualisiert.
-
Im gezeigten Beispiel kommuniziert die zentrale Auswerteeinheit 24 drahtlos mit einem ortsfesten Modellmodul 28, das beispielsweise in einem Server außerhalb des Fahrzeugs implementiert ist und in dem ein statisches Modell der Verkehrsinfrastruktur und statischer Objekte in dem von dem Fahrzeug 10 durchfahrenen Streckenabschnitt gespeichert ist.
-
2 zeigt ein Beispiel einer Datenstruktur eines in dem Modellmodul 26 oder 28 gespeicherten Umfeldmodells 30. Das Modell enthält eine Liste von im Umfeld vorhandenen Objekten 32.
-
Beispiele für solche Objekte wären im Fall des lokalen Modellmoduls 26 etwa: „unmittelbar vorausfahrendes Fahrzeug“, „Fahrzeug auf der Nebenspur“, „Fußgänger am Fahrbahnrand“, „Leitplanke“, „Fahrbahnoberfläche“ und dergleichen. Jedes dieser Objekte ist von mindestens einem der Sensoren 12 bis 20 geortet und gegebenenfalls durch Abgleich der Daten mehrerer Sensoren klassifiziert worden.
-
Im Fall des ortfesten Modellmoduls 28 könnte es sich bei den Objekten 32 beispielsweise um Gebäude rechts und links neben der Fahrbahn handeln oder auch um Leitplanken, die Fahrbahnoberfläche und dergleichen.
-
Für jedes der Objekte 32 sind in dem Umfeldmodell 3D-Positionsdaten 34 gespeichert, die die Position und ggf. die Geometrie des betreffenden Objekts kennzeichnen. Im lokalen Modellmodul 26 könnten die Positionsdaten im Falle eines vorausfahrenden Fahrzeugs beispielsweise der vom Radarsensor gemessene Abstand und der Richtungswinkel (im Azimut und gegebenenfalls auch im Elevation) sein. Im Fall einer Leitplanke könnten die Positionsdaten 24 beispielsweise durch die Lage und Orientierung der Hauptfläche der Leitplanken gebildet werden, und im Fall der Fahrbahnoberfläche könnten die Positionsdaten die Fahrbahnneigung als Funktion des Abstands enthalten. Im lokalen Modellmodul 26 könnten diese Positionsdaten beispielsweise anhand der Kameradaten berechnet werden, während im ortsfesten Modellmodul 28 diese Daten direkt eingegeben werden können. Im Fall eines im ortsfesten Modellmodul 28 gespeicherten Gebäudes, das annähernd Quaderform hat, könnten die Positionsdaten 34 die Koordinaten der Ecken des Gebäudes in einem ortsfesten, globalen Koordinatensystem sein.
-
Anhand der 3D-Positionsdaten 34 lassen sich für jedes Objekt 32 Oberflächen identifizieren, an denen elektromagnetische Strahlung je nach Wellenlänge mehr oder weniger gut reflektiert werden kann. Von Interesse sind dabei insbesondere solche Oberflächen, die in der Lage sind, die Strahlung in einen der Sensoren des Fahrzeugs 10 zu reflektieren. Für jede dieser Oberflächen ist in dem Umfeldmodell 30 ein Satz von Daten 36 gespeichert, die die spektralen Reflexionseigenschaften der betreffenden Oberfläche angeben, beispielsweise auf der Grundlage bekannter Materialeigenschaften oder gegebenenfalls auf der Grundlage vorheriger Messungen oder Objektklassifizierungen. Im gezeigten Bespiel werden für drei verschiedene Frequenzen f1 (76GHz), f2 (24 GHz) und f3 (Frequenz des vom Lidar-Sensor 20 verwendeten sichtbaren Lichts) ein Reflexionskoeffizient p und ein Glanzparameter γ gespeichert. Anhand dieser Daten kann dann für jede betrachtete Oberfläche berechnet werden, wie elektromagnetische Strahlung der betreffenden Wellenlänge an der Oberfläche reflektiert und/oder gestreut wird. Anhand der Berechnungsergebnisse lässt sich dann entscheiden, ob die reflektierte oder gestreute Strahlung in einen der fahrzeugeigenen Sensoren gelangt und dort ein Scheinobjekt vortäuscht. Auch die Stärke des das Scheinobjekt angebenden Signals lässt sich innerhalb gewisser Grenzen vorhersagen. Das erleichtert es, in den Auswertemodulen 22 oder in der zentralen Auswerteeinheit 24 zwischen echten Objekten und auf Reflexionen beruhenden Scheinobjekten zu unterscheiden.
-
3 zeigt die wesentlichen Schritte eines Verfahrens, mit dem beispielsweise in der zentralen Auswerteeinheit 24 das Auftreten von Scheinobjekten oder Geisterbildern vorhergesagt wird. In Schritt S1 wird anhand der von einem oder mehreren der Auswertemodule gelieferten Signale ein einzelnes Objekt identifiziert. Dieses Objekt wird dann in Schritt im Umfeldmodell 30 aufgesucht, und die 3D-Positionsdaten 34 sowie die Daten 36 zu den Reflexionseigenschaften des Objekts werden in Schritt S2 gelesen, wobei die Positionsdaten gegebenenfalls in ein fahrzeugfestes Koordinatensystem umgerechnet werden. In Schritt S3 werden dann Reflexionspfade für Strahlen berechnet, die von einem georteten Objekt ausgehen und an der Oberfläche reflektiert werden, deren Eigenschaften in Schritt S2 gelesen wurden. In Schritt S4 werden dann diejenigen Reflexionspfade ausgewählt, die zu einem der fahrzeugeigenen Sensoren 12 - ist 20 führen, und anhand der für die jeweilige Frequenz geltenden Reflexionseigenschaften wird das Signal vorhergesagt, das in dem betreffenden Sensor ein Geisterbild erzeugt.
-
In 4 ist als Beispiel eine Situation dargestellt, in der das Fahrzeug 10 eine Fahrbahn 38 befährt, an der auf einer Seite eine Lärmschutzwand 40 installiert ist. Der Radarsensor 12 des Fahrzeugs 10 sendet einen Radarstrahl 42 aus, der an der Rückfront eines vorausfahrenden Fahrzeugs (Objekts) 44 reflektiert wird und als reflektierter Strahl 46 direkt zum Radarsensor 12 zurück verläuft. Da jedoch die Rückfront des Fahrzeugs 44 nicht vollständig eben ist, wird ein Teil der Radarstrahlung auch in Richtung auf die Lärmschutzwand 40 reflektiert und an der Lärmschutzwand dann erneut reflektiert, so dass ein reflektierter Strahl 48 auf einem Umweg zu dem Radarsensor 12 gelangt und dort ein Scheinobjekt 50 vortäuscht, das die gleiche Relativgeschwindigkeit wie das Fahrzeug 44 hat, aber einen etwas größeren Abstand und unter einem anderen Richtungswinkel gesehen wird.
-
Anhand der in 3 dargestellten Prozedur lässt sich dieser Prozess simulieren, so dass das Scheinobjekt 50 vorhergesagt und korrekt als unechtes Objekt interpretiert werden kann.
-
Im gezeigten Beispiel hat die Lärmschutzwand 40 in einem Abschnitt (links in 4) eine aufgeraute schallschluckende Struktur 52, während ein nachfolgender Abschnitt der Lärmschutzwand eine glatte Oberfläche 54 hat. An der aufgerauten Struktur 52 wird die Radarstrahlung allenfalls diffus gestreut, so dass allenfalls ein schwaches Reflexionssignal erzeugt wird, das sich kaum vom Rauschhintergrund abhebt. Wenn die Fahrzeuge dagegen den Abschnitt der Lärmschutzwand 40 mit der glatten Oberfläche 54 erreichen, tritt plötzlich ein deutliches Reflexionssignal auf, das dann vom Umfelderfassungssystem des Fahrzeugs 10 schnell und korrekt interpretiert werden muss. Mit den Kameras 18 am Fahrzeug 10 kann der Strukturwechsel an der Lärmschutzwand 40 erkannt werden, so dass sich dann das plötzliche Auftreten des Reflexionssignals vorhersagen lässt. Ebenso ist eine Vorhersage auch auf der Grundlage des im ortsfesten Modellmodul 28 gespeicherten Modells möglich.
-
Auf analoge Weise können auch Reflexionen von sichtbarem Licht, beispielsweise an einer Schaufensterfront vorhergesagt werden.
-
Ein weiteres Beispiel ist die Vorhersage von Reflexionen von Radarstrahlen an der Fahrbahnoberfläche. Diese Reflexionen können anhand der gespeicherten Fahrbahnneigung und/oder anhand der mit Hilfe der Kameras 18 geschätzten Fahrbahnneigung berechnet werden. Weiterhin ist es z.B. möglich, anhand des Kamerabildes zwischen einer nassen Fahrbahnfläche und einer trockenen Fahrbahn zu unterscheiden und dann im Umfeldmodell 30 die Reflexionseigenschaften für die Radarstrahlung entsprechend anzupassen.
-
5 illustriert ein Beispiel, bei dem mit dem Kameras 18 und dem Lidarsensor 20 des Fahrzeugs 10 eine Rückfront 56 eines vorausfahrenden LKW 58 geortet wird. Die Rückfront 56 wird beispielsweise durch ein hochgeklappte Ladeplattform gebildet, die eine ebene, fast strukturlose Oberfläche hat. Das erschwert eine Entfernungsmessung mit dem Stereokamerasystem, da für eine Entfernungsbestimmung die parallaktische Verschiebung einer identifizieren Struktur im Sichtfeld der Kameras bestimmt werden müsste.
-
Da die Fahrzeuge gerade eine Kurve durchfahren, bildet die Rückfront 56 mit der Vorwärtsrichtung des Fahrzeugs 10 keinen rechten Winkel. Da die Rückfront 56 im sichtbarem Licht einen hohen Glanzwert hat, liefert der Lidarsensor 20 nur dann ein Signal, wenn sein Strahl rechtwinklig auf die Rückfront 56 trifft. Mit Hilfe des Lidarsensors 20 ist deshalb nicht zu erkennen, dass es sich bei der Rückwand in Wahrheit um ein wesentlich weiter ausgedehntes Objekt handelt. Anhand der Daten der Kameras 18 kann nun im Umfeldmodell 30 die Information ergänzt werden, dass die Rückwand 26 weitgehend eben und strukturlos ist und einen hohen Glanzwert aufweist. Umgekehrt kann anhand der Daten des Lidarsensors ein genauer Wert für den Abstand zwischen der Rückfront 56 und dem Fahrzeug 10 angegeben werden. Indem nun diese Informationen zusammengeführt werden, lässt sich eindeutig feststellen, dass es sich bei dem von den Kameras 18 gesehenen Objekt um dieselbe Rückfront 56 handelt, die auch vom Lidarsensor 20 geortet wurde. Zum einen ist aufgrund des hohen Glanzwertes der Rückfront zu erwarten, dass sie vom Lidarsensor nur als punktförmiges Objekt geortet wird, obwohl sie in Wahrheit wesentlich ausgedehnter ist. Umgekehrt ermöglicht es die vom Lidarsensor gelieferte Entfernungsinformation, in den Kamerabildern gezielt nach schwer erkennbaren Strukturen zu suchen, deren Parallaxe genau den zu dem gemessen Abstand passend Wert hat, wodurch die Entfernungsmessung auch mit Hilfe des Kamerasystems verifiziert werden kann.
-
In einer Situation, in der der LKW 58 steht und die Ladeplattform gerade heruntergeklappt wird, führt die zunehmende Neigung der Rückfront 56 zu einem plötzlichen Verschwinden des Signals des Lidarsensors 20. Das gibt Anlass, in den Kamerabildern nach einer Veränderung in der Umrissform der Ladeplattform zu suchen und so festzustellen, dass die Ladeplattform gerade heruntergeklappt wird und damit möglicherweise die Kollisionsgefahr zunimmt.
