DE102015201747A1

DE102015201747A1 - Sensorsystem für ein fahrzeug und verfahren

Info

Publication number: DE102015201747A1
Application number: DE102015201747.8A
Authority: DE
Inventors: Ralph Grewe; Christoph Hassenpflug; Stefan Hegemann
Original assignee: Conti Temic Microelectronic GmbH; Continental Teves AG and Co OHG
Current assignee: Conti Temic Microelectronic GmbH; Continental Teves AG and Co OHG
Priority date: 2015-02-02
Filing date: 2015-02-02
Publication date: 2016-08-04
Also published as: WO2016124189A1; DE112016000567A5

Abstract

Die vorliegende Erfindung offenbart ein Sensorsystem für ein Fahrzeug, mit einer Vielzahl von Sensoreinrichtungen, welche ausgebildet sind, Rohdaten zu einer Umgebung des Fahrzeugs zu erfassen und für jeden Erfassungszeitpunkt zumindest ein Belegungsgitter aus den erfassten Rohdaten zu berechnen und auszugeben, und mit einer Steuereinrichtung, welche ausgebildet ist, basierend auf den einzelnen Belegungsgittern der Sensoreinrichtungen ein fusioniertes Belegungsgitter zu berechnen und die für unterschiedliche Erfassungszeitpunkte berechneten fusionierten Belegungsgitter zeitlich zu akkumulieren und ein akkumuliertes Belegungsgitter auszugeben. Ferner offenbart die vorliegende Erfindung ein entsprechendes Verfahren.

Description

Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf ein Sensorsystem für ein Fahrzeug und ein entsprechendes Verfahren.
Technischer Hintergrund
Obwohl die vorliegende Erfindung im Folgenden hauptsächlich in Zusammenhang mit Personenkraftwagen beschrieben wird, ist sie darauf nicht beschränkt, sondern kann mit jeder Art von Fahrzeug genutzt werden.
In modernen Fahrzeugen werden immer komplexere Fahrerassistenzsysteme eingesetzt. Für solche Fahrerassistenzsysteme und Funktionen, wie z. B. dem hochautomatisierten Fahren, wird eine große Zahl von Sensoren im Fahrzeug benötigt, die eine redundante 360°-Überwachung des Fahrzeugumfelds ermöglichen. Dazu werden üblicherweise Objekte in der Fahrzeugumgebung detektiert und ein Belegungsgitter bzw. Occupancy-Grid für die Fahrzeugumgebung berechnet.
Die Detektion und das Tracking von bewegten Objekten sowie die Berechnung des Occupancy-Grids findet in Forschungsprojekten z. B. auf einer leistungsfähigen Rapid-Prototyping-Hardware statt. Ferner sind heutige Sensoren in Fahrzeugen für einen autonomen Betrieb ausgelegt, sie funktionieren sozusagen „Stand-Alone” und verfügen über dementsprechend hohe Speicher- und CPU-Ressourcen, um die notwendigen Berechnungen für die Objekterkennung und das Berechnen des Occupancy-Grids ausführen zu können.
Beispielsweise wird in heutige Radarsensoren die gesamte Signalverarbeitung integriert, wodurch sie sehr Leistungsstark sind und hohe Anforderungen an Einbauraum und Kühlung stellen.
Stereokameras stellen heute eine sehr hochaufgelöste 3D-Messung des Umfelds des Fahrzeugs zu Verfügung, können jedoch im Gegensatz zum Radar Geschwindigkeiten nicht direkt messen. Diese müssen durch die 3D-Kamera durch diverse Algorithmen, die aufeinanderfolgende Bilder vergleichen (optischer Fluss) ermittelt werden. Dadurch verliert eine Stereokamera wertvolle Reaktionszeit, da sie mehrere Zyklen benötigt, um zu ermitteln, dass sich ein Objekt bewegt.
Offenbarung der Erfindung
Es ist daher eine Aufgabe der vorliegenden Erfindung eine verbesserte Umgebungserfassung in Fahrzeugen bereitzustellen.
Demgemäß offenbart die vorliegende Erfindung ein Sensorsystem mit den Merkmalen des Patentanspruchs 1 und ein Verfahren mit den Merkmalen des Patentanspruchs 9.
Demgemäß ist vorgesehen:
Ein Sensorsystem für ein Fahrzeug, mit einer Vielzahl von Sensoreinrichtungen, welche ausgebildet sind, Rohdaten zu einer Umgebung des Fahrzeugs zu erfassen und für jeden Erfassungszeitpunkt zumindest ein Belegungsgitter aus den erfassten Rohdaten zu berechnen und auszugeben, und mit einer Steuereinrichtung, welche ausgebildet ist, basierend auf den einzelnen Belegungsgittern der Sensoreinrichtungen ein fusioniertes Belegungsgitter zu berechnen und die für unterschiedliche Erfassungszeitpunkte berechneten fusionierten Belegungsgitter zeitlich zu akkumulieren und ein akkumuliertes Belegungsgitter auszugeben.
Ferner ist vorgesehen:
Ein Verfahren zum Erkennen einer Umgebung eines Fahrzeugs, aufweisend Erfassen von Rohdaten zu einer Umgebung des Fahrzeugs und Berechnen für jeden Erfassungszeitpunkt zumindest eines Belegungsgitters aus den erfassten Rohdaten in einer Vielzahl von Sensoreinrichtungen, Berechnen eines fusionierten Belegungsgitters basierend auf den einzelnen Belegungsgittern der Sensoreinrichtungen in einer Steuereinrichtung, zeitlich Akkumulieren der für unterschiedliche Erfassungszeitpunkte berechneten fusionierten Belegungsgitter in einem akkumulierten Belegungsgitter, und Ausgeben des akkumulierten Belegungsgitters.
Vorteile der Erfindung
Die der vorliegenden Erfindung zu Grunde liegende Erkenntnis besteht darin, dass die heutige dezentrale Verarbeitung von Sensorrohdaten eine hohe Rechenleistung in den einzelnen Sensoren erfordert.
Die der vorliegenden Erfindung zu Grunde liegende Idee besteht nun darin, dieser Erkenntnis Rechnung zu tragen und eine Möglichkeit vorzusehen, die Komplexität der einzelnen Sensoren zu reduzieren.
Dazu sieht vorliegende Erfindung eine Möglichkeit vor, einen großen Teil der Berechnungen für die Erkennung bewegter Objekte und das statische Umfeld des Fahrzeugs auf eine zentrale Steuereinrichtung auszulagern. Dies ermöglicht den Einsatz von Sensoren mit reduzierter Hardware in einem Fahrzeug.
Die Grundlage der vorliegenden Erfindung ist die Nutzung sogenannter Occupancy-Grids bzw. Belegungsgitter für die Detektion bewegter Objekte.
Die Grundidee der vorliegenden Erfindung besteht dabei darin, dass die einzelnen Sensorvorrichtungen nur noch ein zeitlich nicht akkumuliertes Belegungsgitter für einzelne Messungen berechnen.
Da in den Sensoreinrichtungen folglich keine zeitliche Historie gespeichert werden muss, können die Rohdaten blockweise z. B. in polare Belegungsgitter umgerechnet werden. Da es zudem keine räumlichen Abhängigkeiten über größere Entfernung gibt, müssen nur die Rohdaten der entsprechenden Sensoren für ein einzelnes Belegungsgitter bzw. einen einzelnen Block in den Arbeitsspeicher der einzelnen Sensoreinrichtungen passen. Damit lässt sich die Speicherausstattung der Sensoren deutlich reduzieren.
Zudem lässt sich eine Parallelisierung durchführen, da in einem einzelnen Sensor eine Parallelverabeitung durchgeführt werden kann. Dazu können z. B. mehrere Blöcke eines polaren Sensor-Gitters parallel berechnet werden. Beispielsweise könnte parallel für jeden „Winkel-Strahl” eine Recheneinheit laufen oder es werden mehrere Blöcke von a-Azimuth-Zellen × b-Radial-Zellen parallel berechnet. Gegenüber einer seriellen Berechnung des kompletten polaren Sensor-Gitters kann so eine vorteilhafte Reduktion der Zykluszeiten erzielt werden.
Die vorliegende Erfindung sieht vor, dass die einzelnen Belegungsgitter der Sensoreinrichtungen in einer zentralen Steuereinrichtung verarbeitet und fusioniert werden. Die Steuereinrichtung berechnet dazu aus den einzelnen Belegungsgittern ein fusioniertes Belegungsgitter, z. B. indem sie die einzelnen Belegungsgitter überlagert. Ferner kann die Steuereinrichtung ein zeitlich akkumuliertes Belegungsgitter berechnen, welches eine zeitliche Veränderung der Fahrzeugumgebung kennzeichnet.
Die vorliegende Erfindung ermöglicht damit den Einsatz einfacher Sensoren mit geringer Komplexität, wobei dennoch die Fahrzeugumgebung im Detail erfasst werden kann.
Durch die Verarbeitung der einzelnen Belegungsgitter in der Steuereinrichtung können die Daten einzelner Sensoren ferner schneller genutzt bzw. plausibilisiert werden.
Beispielsweise können die Daten einer Kamera sofort mit den Daten eines Radarsensors abgeglichen werden. Da der Radarsensor die Geschwindigkeit von Objekten direkt erfassen kann, muss die Kamera nicht erst einen optischen Fluss basierend auf mehreren hintereinander aufgenommenen Bildern berechnen, um eine Objektgeschwindigkeit bzw. Bewegung zu detektieren. Dies kann in der Steuereinrichtung sofort erfolgen.
Somit können die Informationen beider Sensoren direkt genutzt werden, anstatt dass jeder Sensor erst alleine versucht fehlende Daten zu berechnen und diese Daten danach miteinander verglichen werden. Bei diesem Ansatz wird vielmehr direkt auf die sofort verfügbaren Informationen beider Sensoren zugegriffen und erst damit begonnen zum Beispiel über die Kamera Geschwindigkeit zu ermitteln oder über den Radar auf die Breite von verschiedenen Hindernissen zu schließen.
Da die einzelnen Sensoreinrichtungen mit einer geringeren Rechenleistung und mit einem kleineren Speicher ausgestattet werden können, weisen diese ferner eine geringere Baugröße auf und benötigen eine geringere Kühlung.
Vorteilhafte Ausführungsformen und Weiterbildungen ergeben sich aus den Unteransprüchen sowie aus der Beschreibung unter Bezugnahme auf die Figuren.
In einer Ausführungsform ist die Steuereinrichtung ausgebildet, basierend auf den einzelnen Belegungsgittern der Sensoreinrichtungen und/oder den fusionierten Belegungsgittern und/oder dem akkumulierten Belegungsgitter eine Erkennung bewegter Objekte durchzuführen und die erkannten bewegten Objekte aus den einzelnen Belegungsgittern der Sensoreinrichtungen und/oder den fusionierten Belegungsgittern und/oder dem akkumulierten Belegungsgitter zu entfernen, wobei die Steuereinrichtung ferner ausgebildet ist, eine Objektliste der erkannten bewegten Objekte auszugeben. Dies ermöglicht es, für weitere Fahrzeugfunktionen, wie z. B. einer autonomen Fahrzeugsteuerung, eine detaillierte Information zu bewegten Objekten in der Umgebung des Fahrzeugs bereitzustellen.
In einer Ausführungsform sind die Sensoreinrichtungen ausgebildet, die Rohdaten an die Steuereinrichtung zu übertragen. In einer Ausführungsform ist die Steuereinrichtung ausgebildet, die Objekte ferner basierend auf den Rohdaten zu erkennen und/oder die Rohdaten auszugeben. Dies ermöglicht es, die Rohdaten in der Steuereinrichtung zur besseren Fusion der Belegungsgitter bzw. zur besseren Objekterkennung zu nutzen.
In einer Ausführungsform sind die Sensoreinrichtungen ausgebildet, die berechneten Belegungsgitter zu komprimieren und über eine Kommunikationsschnittstelle an die Steuereinrichtung zu übertragen, wobei die Kommunikationsschnittstelle insbesondere als digitaler Datenbus ausgebildet ist und/oder wobei die Kommunikationsschnittstelle unabhängig von der jeweiligen Sensoreinrichtung ist. Dies ermöglicht eine effiziente Übertragung der Daten der Belegungsgitter. Ferner können sehr einfach weitere Sensoreinrichtungen in das System integriert werden, wenn die Kommunikationsschnittstelle unabhängig von der jeweiligen Sensoreinrichtung ist. Beispielsweise kann ein einheitliches Datenformat und ein einheitliches Koordinatensystem für die Belegungsgitter vorgegeben werden. Alternativ kann aber für jede Sensoreinrichtung ein eigenes Koordinatensystem genutzt werden, welches dann in der Steuereinrichtung entsprechend mit weiteren Belegungsgittern überlagert werden kann.
In einer Ausführungsform sind Sensoreinrichtungen, welche ausgebildet sind, lediglich eine Belegungswahrscheinlichkeit für einzelne Punkte der Umgebung des Fahrzeugs zu berechnen, ausgebildet, in dem Belegungsgitter die berechneten Belegungswahrscheinlichkeiten anzugeben. In einer Ausführungsform sind Sensoreinrichtungen, welche ausgebildet sind, eine Belegungswahrscheinlichkeit für einzelne Punkte der Umgebung des Fahrzeugs zu berechnen und eine Relativgeschwindigkeit für Objekte in der Umgebung des Fahrzeugs zu berechnen, ausgebildet, in dem Belegungsgitter die berechneten Belegungswahrscheinlichkeiten und die berechneten Relativgeschwindigkeiten anzugeben. Dies ermöglicht es, in Abhängigkeit von den Fähigkeiten der einzelnen Sensoren entsprechende Belegungsgitter bereitzustellen.
In einer Ausführungsform ist die Steuereinrichtung ausgebildet, eine Fehlererkennung für einzelne Sensoreinrichtungen basierend auf den einzelnen Belegungsgittern der jeweiligen Sensoreinrichtung und den fusionierten Belegungsgittern und/oder dem akkumulierten Belegungsgitter durchzuführen. Dies ermöglicht eine zentrale Fehlererkennung, bei welcher eine wesentlich größere Datenbasis zur Verfügung steht, als in den einzelnen Sensoreinrichtungen.
In einer Ausführungsform ist die Steuereinrichtung ausgebildet, ein Maß für die Abweichung der einzelnen Belegungsgitter der jeweiligen Sensoreinrichtung von den fusionierten Belegungsgittern und/oder dem akkumulierten Belegungsgitter zu berechnen und einen Fehler für die jeweilige Sensoreinrichtung anzuzeigen, wenn das Maß für die Abweichung einen vorgegebenen Schwellwert überschreitet. Dies ermöglicht eine sehr einfache Fehlererkennung.
Die obigen Ausgestaltungen und Weiterbildungen lassen sich, sofern sinnvoll, beliebig miteinander kombinieren. Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmalen der Erfindung. Insbesondere wird dabei der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der vorliegenden Erfindung hinzufügen.
Kurze Beschreibung der Zeichnungen
Die vorliegende Erfindung wird nachfolgend anhand der in den schematischen Figuren der Zeichnungen angegebenen Ausführungsbeispiele näher erläutert. Es zeigen dabei:
1 ein Blockschaltbild einer Ausführungsform eines erfindungsgemäßen Sensorsystems;
2 ein Ablaufdiagramm einer Ausführungsform eines erfindungsgemäßen Verfahrens;
3 ein Blockschaltbild einer Ausführungsform eines erfindungsgemäßen Sensorsystems; und
4 ein Blockschaltbild einer Ausführungsform eines erfindungsgemäßen Sensorsystems.
In allen Figuren sind gleiche bzw. funktionsgleiche Elemente und Vorrichtungen – sofern nichts Anderes angegeben ist – mit denselben Bezugszeichen versehen worden.
Ausführungsformen der Erfindung
1 zeigt ein Blockschaltbild einer Ausführungsform eines erfindungsgemäßen Sensorsystems 1-1.
Das Sensorsystem 1-1 der 1 weist eine Steuereinrichtung 6-1 auf, die mit einer Sensoreinrichtung 3-1 und mit einer Sensoreinrichtung 3-n gekoppelt ist. Weitere mögliche Sensoreinrichtungen sind durch drei Punkte zwischen der Sensoreinrichtung 3-1 und der Sensoreinrichtung 3-n angedeutet.
Die Sensoreinrichtungen 3-1, 3-n erfassen die Umgebung z. B. eines Fahrzeugs 2 (siehe 3), in welchem das Sensorsystem 1-1 angeordnet sein kann. Dabei kann in einer Ausführungsform jede der Sensoreinrichtungen 3-1, 3-n z. B. einen Ausschnitt der Umgebung erfassen.
Die Sensoreinrichtungen 3-1, 3-n können jede Art von Sensoreinrichtungen 3-1, 3-n sein, welche zum Erfassen einer Umgebung eines Fahrzeugs 2 eingesetzt werden können. Beispielsweise kann eine der Sensoreinrichtungen 3-1, 3-n z. B. ein Radarsensor, eine Kamera, ein Ultraschallsensor oder dergleichen sein.
Die Sensoreinrichtungen 3-1, 3-n sind ausgebildet, aus den Rohdaten 4-1, 4-n, welche die Messelemente (siehe 4) der Sensoreinrichtungen 3-1, 3-n erfassen, Belegungsgitter 5-1–5-n, auch Occupancy-Grid genannt, zu berechnen und an die Steuereinrichtung 6-1 auszugeben. Dazu weisen die Sensoreinrichtungen 3-1, 3-n jeweils eine Recheneinrichtung 15-1, 15-n auf, welche die notwendigen Berechnungen durchführt.
Dabei kann die Recheneinrichtung 15-1, 15-n jeweils dementsprechend dimensioniert sein, dass diese lediglich die notwendigen Berechnungen für die Berechnung des entsprechenden Belegungsgitters 5-1–5-n durchführen kann. Beispielsweise kann die Menge an Arbeitsspeicher oder die Prozessorleistung in der Recheneinrichtung 15-1, 15-n entsprechend gering dimensioniert werden, sodass keine weiterführenden Berechnungen in der Recheneinrichtung 15-1, 15-n durchgeführt werden können.
In einer Ausführungsform können die Sensoreinrichtungen 3-1, 3-n bzw. die Recheneinrichtungen 15-1, 15-n ausgebildet sein, die Belegungsgitter 5-1, 5-n in Blöcken bzw. blockweise zu berechnen und an die Steuereinrichtung 6-1 zu übertragen. Dabei kann ein Block in einer Ausführungsform den gesamten durch die jeweilige Sensoreinrichtung 3-1, 3-n erfassten Umgebungsbereich beinhalten. In einer weiteren Ausführungsform kann ein Block lediglich einen Ausschnitt des durch die jeweilige Sensoreinrichtung 3-1, 3-n erfassten Umgebungsbereichs beinhalten. In solch einer Ausführungsform überträgt die jeweilige Sensoreinrichtung 3-1, 3-n eine Sequenz von Blöcken, um ein Belegungsgitter 5-1, 5-n für den gesamten erfassten Umgebungsbereich zu übertragen.
Die Steuereinrichtung 6-1 ist ausgebildet, aus den Belegungsgittern 5-1, 5-n jeweils ein fusioniertes Belegungsgitter 7-1–7-n zu berechnen, welches eine Fusion der zu einem Zeitpunkt erfassten Belegungsgitter 5-1, 5-n darstellt. Die fusionierten Belegungsgitter 7-1–7-n weisen also, wie die Belegungsgitter 5-1, 5-n, keine zeitabhängigen Informationen auf.
Aus mindestens zwei der fusionierten Belegungsgitter 7-1–7-n berechnet die Steuereinrichtung 6-1 ein akkumuliertes Belegungsgitter 8, welches die Veränderung der einzelnen fusionierten Belegungsgitter 7-1–7-n über die Zeit berücksichtigt.
In einer Ausführungsform kann eine der Sensoreinrichtungen 3-1, 3-n z. B. eine Kamera sein, welche mit einer einzelnen Aufnahme lediglich die Position von Objekten 9-1–9-n bestimmen kann, aber keine Geschwindigkeit. Eine weitere der Sensoreinrichtungen 3-1, 3-n kann z. B. ein Radarsensor sein, welcher mit einer einzelnen Aufnahme sowohl die Position als auch die Geschwindigkeit des jeweiligen Objekts 9-1–9-n bestimmen kann. Eine solche Sensoreinrichtung 3-1–3-n übermittelt an die Steuereinrichtung 6-1 ein Belegungsgitter 5-1, 5-n, welches zwei Schichten oder Layer aufweist. In einer ersten Schicht wird die Position des jeweiligen Objekts 9-1–9-n dargestellt, während die zweite Schicht die Geschwindigkeit bzw. Relativgeschwindigkeit des Objekts 9-1–9-n darstellt. Durch die Schicht mit Geschwindigkeitsinformationen kann die Detektion und das Tracking bewegter Objekte 9-1–9-n verbessert werden.
Beispielsweise stellt eine Stereokamera eine sehr hochaufgelöste 3D-Messung des Umfelds zu Verfügung, kann jedoch im Gegensatz zu einem Radar Geschwindigkeiten nicht direkt messen, sondern muss dies durch diverse Algorithmen, die aufeinanderfolgende Bilder vergleichen ermitteln. Dadurch geht der Stereokamera wertvolle Reaktionszeit verloren, da sie mehrere Zyklen benötigt, um zu ermitteln, dass sich ein Objekt bewegt.
Werden erfindungsgemäß alle Belegungsgitter 5-1, 5-n auf der zentralen Steuereinrichtung übereinander gelegt, kann somit direkt die Geschwindigkeitsinformationen des Radars mit den Messungen der Stereokamera verknüpft werden.
Somit können die Informationen beider Sensoreinrichtungen 3-1, 3-n direkt genutzt werden. Es muss nicht jede der Sensoreinrichtungen 3-1, 3-n erst separat versuchen nicht vorhandene Daten zu berechnen. Vielmehr wird erfindungsgemäß direkt auf die sofort verfügbaren Informationen beider Sensoreinrichtungen 3-1, 3-n zugegriffen. Beispielsweise wird weder eine Geschwindigkeit über die Kamera ermitteln noch über den Radar auf die Breite von verschiedenen Hindernissen geschlossen. Vielmehr werden diese Daten jeweils aus dem dazu am besten geeigneten Bewegungsgitter 5-1, 5-n berechnet bzw. aus einer Fusion der Bewegungsgitter 5-1, 5-n berechnet.
Beispielsweise wird die Geschwindigkeit eines Objekts von einem Radar ermittelt. Folglich müssen auf einer Kamera, z. B. einer Stereokamera, nicht mehr mehrere Bilder von unterschiedlichen Zeitpunkten gespeichert werden. Dies führt zu einer enormen Einsparung von Speicher und Rechenkapazität auf der Stereokamera. Dadurch kann diese kleiner und mit geringerem Kühlbedarf produziert werden. Auch der sehr aufwendige Optische Fluss muss nicht mehr auf der Kamera berechnet werden. Alternativ kann der optische Fluss auf der als Kamera ausgebildeten Sensoreinrichtung 3-1, 3-n aber weiterhin berechnet werden und somit ein Abgleich zwischen der von der als Kamera ausgebildeten Sensoreinrichtung 3-1, 3-n erfassten Geschwindigkeit und der von der als Radar ausgebildeten Sensoreinrichtung 3-1, 3-n erfassten Geschwindigkeit durchgeführt werden.
Die vorliegende Erfindung ermöglicht es folglich, die Hardware-Ausstattung der beteiligten Sensoreinrichtungen 3-1, 3-n stark zu reduzieren, sowie eine fusionierte Information mehrerer Sensoren, die eine höhere Qualität der Daten gegenüber einem einzelnen Sensor aufweist, zu einem früheren Zeitpunkt auszugeben (z. B. kann ein fusioniertes Radar-Kamera-Objekt mit guten Geschwindigkeits- und Breitendaten bereits nach einem Zyklus verfügbar sein).
Zwischen den Sensoreinrichtungen 3-1, 3-n und der Steuereinrichtung 6-1 wird in einer Ausführungsform eine sensorunabhängige Kommunikationsschnittstelle 11 (siehe 4) eingesetzt, so dass eine einfache Erweiterung um zukünftige Sensoreinrichtungen möglich ist.
Zudem ermöglicht die Kommunikationsschnittstelle 11 eine hohe Datenkompression mit effizienten Verfahren, was eine Datenübertragung mit geringer Übertragungskapazität verglichen mit einer Rohdatenübertragung ermöglicht.
2 zeigt ein Ablaufdiagramm einer Ausführungsform eines erfindungsgemäßen Verfahrens zum Erkennen einer Umgebung eines Fahrzeugs 2.
Das Verfahren sieht das Erfassen, S1, von Rohdaten 4-1–4-n zu einer Umgebung des Fahrzeugs 2 und Berechnen für jeden Erfassungszeitpunkt zumindest eines Belegungsgitters 5-1–5-n aus den erfassten Rohdaten 4-1–4-n in einer Vielzahl von Sensoreinrichtungen 3-1–3-n vor. Ferner sieht das Verfahren das Berechnen S2 eines fusionierten Belegungsgitters 7-1–7-n basierend auf den einzelnen Belegungsgittern 5-1–5-n der Sensoreinrichtungen 3-1–3-n in einer Steuereinrichtung 6-1–6-n vor. Die für unterschiedliche Erfassungszeitpunkte berechneten fusionierten Belegungsgitter 7-1–7-n werden in einem akkumulierten Belegungsgitter 8 zeitlich akkumuliert, S3, und das akkumulierte Belegungsgitter 8 ausgegeben, S4.
In einer Ausführungsform kann erfindungsgemäß nicht nur die Belegung der Umgebung des Fahrzeugs 2 in einem akkumulierten Belegungsgitter 8 ausgegeben werden. Vielmehr kann auch ein Erkennen bewegter Objekte 9-1–9-n durch die Steuereinrichtung 6-1–6-n basierend auf den einzelnen Belegungsgittern 5-1–5-n der Sensoreinrichtungen 3-1–3-n und/oder den fusionierten Belegungsgittern 7-1–7-n und/oder dem akkumulierten Belegungsgitter 8 durchgeführt werden. Die so gewonnenen Erkenntnisse über die bewegten Objekte 9-1–9-n kann die Steuereinrichtung 6-1–6-n zum Entfernen der erkannten bewegten Objekte 9-1–9-n aus den einzelnen Belegungsgittern 5-1–5-n der Sensoreinrichtungen 3-1–3-n und/oder den fusionierten Belegungsgittern 7-1–7-n und/oder dem akkumulierten Belegungsgitter 8 nutzen. Ferner kann eine Objektliste 10 der erkannten bewegten Objekte 9-1–9-n ausgegeben werden.
In einer Ausführungsform können die Rohdaten 4-1–4-n von den Sensoreinrichtungen 3-1–3-n an die Steuereinrichtung 6-1–6-n übertragen werden, wodurch beim Erkennen der Objekte 9-1–9-n auch auf die Rohdaten 4-1–4-n zurückgegriffen werden kann. Dies kann auch in komprimierter Form stattfinden.
In einer Ausführungsform können die Belegungsgitter für diejenigen Sensoreinrichtungen 3-1–3-n, welche ausgebildet sind, sowohl eine Belegungswahrscheinlichkeit für einzelne Punkte der Umgebung des Fahrzeugs 2 zu berechnen, als auch eine Relativgeschwindigkeit für Objekte 9-1–9-n in der Umgebung des Fahrzeugs 2 zu berechnen, zwei Schichten aufweisen, die die berechneten Belegungswahrscheinlichkeiten und die berechneten Relativgeschwindigkeiten angeben.
In einer Ausführungsform können Fehler einzelner Sensoreinrichtungen 3-1–3-n durch die Steuereinrichtung 6-1–6-n basierend auf den einzelnen Belegungsgittern 5-1–5-n der jeweiligen Sensoreinrichtung 3-1–3-n und den fusionierten Belegungsgittern 7-1–7-n und/oder dem akkumulierten Belegungsgitter 8 erkannt werden. Dies kann in einer Ausführungsform durch das Berechnen eines Maßes für die Abweichung der einzelnen Belegungsgitter 5-1–5-n der jeweiligen Sensoreinrichtungen 3-1–3-n von den fusionierten Belegungsgittern 7-1–7-n und/oder dem akkumulierten Belegungsgitter 8 und Erkennen eines Fehlers für die jeweilige Sensoreinrichtung 3-1–3-n erfolgen, wenn das Maß für die Abweichung einen vorgegebenen Schwellwert überschreitet.
3 zeigt ein Blockschaltbild einer Ausführungsform eines erfindungsgemäßen Sensorsystems 1-2 in einem Fahrzeug 2.
Das Sensorsystem 1-2 der 3 basiert auf dem Sensorsystems 1-1 der 1 und ist in einem Fahrzeug 2 angeordnet. Ferner weist das Sensorsystem 1-2 sechs Sensoreinrichtungen 3-3–3-8 auf. Die Sensoreinrichtungen 3-3 und 3-4 sind dabei als radarbasierte Sensoreinrichtungen 3-3, 3-4 ausgebildet, welche an der Front des Fahrzeugs 2 angeordnet sind. Die Sensoreinrichtungen 3-5–3-8 sind jeweils als Kameras ein Top-View Systems ausgebildet und jeweils an einer der vier Seiten des Fahrzeugs 2 angeordnet. Abweichende Anordnungen und Ausführungen der Sensoreinrichtungen 3-3–3-8 sind möglich.
Wie bereits zu 1 dargestellt, übermitteln die einzelnen Sensoreinrichtungen 3-3–3-8 Belegungsgitter 5-3–5-8 an die Steuereinrichtung 6-2. Dies kann in einer Ausführungsform blockweise erfolgen.
In der Steuereinrichtung 6-2 werden die Belegungsgitter 5-3–5-8 zu einem fusionierten Belegungsgittern 7-3 verknüpft. In 3 ist der Übersicht halber lediglich ein fusioniertes Belegungsgitter 7-3 dargestellt. Es versteht sich, dass zyklisch fusionierte Belegungsgitter 7-3 basierend auf den jeweils aktuellen Belegungsgittern 5-3–5-8 erzeugt werden. Aus den fusionierten Belegungsgittern 7-3 wird das akkumulierte Bewegungsgitter 8 berechnet.
Die Steuereinrichtung 6-2 der 3 ist ferner ausgebildet, basierend auf den Belegungsgittern 5-3–5-8, den fusionierten Belegungsgittern 7-3 und dem akkumulierten Bewegungsgitter 8 bewegte Objekte 9-1–9-n zu erkennen, welche in 3 lediglich schematisch vor dem Fahrzeug 2 dargestellt sind. Die Steuereinrichtung 6-2 gibt basierend auf den erkannten bewegten Objekten 9-1–9-n eine Objektliste 10 aus, welche gemeinsam mit dem akkumulierten Bewegungsgitter 8 von einer weiteren Fahrzeugfunktion 12 genutzt werden kann, um das Fahrzeug zu steuern.
Eine Objektliste 10 weist dabei detaillierte Informationen, wie z. B. Position, Geschwindigkeit, Größe und dergleichen der erkannten Objekte 9-1–9-n auf.
4 zeigt ein Blockschaltbild einer Ausführungsform eines erfindungsgemäßen Sensorsystems 1-3.
Das Sensorsystem 1-3 der 4 basiert ebenfalls auf dem Sensorsystem 1-1 der 1. Die Sensoreinrichtungen 3-9 und 3-10 des Sensorsystems 1-3 weisen jeweils ein Messelement 13-1 und 13-2, eine Recheneinrichtung 15-9, 15-10 und eine Kompressionseinrichtung 16-1, 16-2 auf.
Die Messelemente 13-1 und 13-2 dienen jeweils der Erfassung der Umgebung des Fahrzeugs 2. Beispielsweise können die Messelemente 13-1 und 13-2 als Kamera, Radar, Ultraschallsensor, Infrarotsensor oder dergleichen ausgebildet sein. Die Messelemente 13-1 und 13-2 stellen die Rohdaten 4-9, 4-10 der jeweiligen Messung der Recheneinrichtung 15-9, 15-10 bereit, welche aus diesen ein Belegungsgitter 5-9, 5-10 berechnet. Das Belegungsgitter 5-9, 5-10 kann je nach Art des Messelements 13-1 und 13-2 in dem Belegungsgitter 5-9, 5-10 berechnete Belegungswahrscheinlichkeiten und/oder berechnete Relativgeschwindigkeiten von Objekten 9-1–9-n ausgeben.
Die Kompressionseinrichtung 16-1, 16-2 komprimiert die Daten des Belegungsgitters 5-9, 5-10 für eine effiziente Übertragung der Daten über die Kommunikationsschnittstelle 11 zu der Steuereinrichtung 6-3.
Die Berechnung und Komprimierung des Belegungsgitters 5-9, 5-10 kann dabei, wie oben bereits dargestellt, in einer Ausführungsform blockweise durchgeführt werden.
Da die Belegungsgitter 5-1, 5-n auch bewegte Objekte 9-1–9-n enthalten können, entstehen in den fusionierten Belegungsgittern 7-4 und dem fusionierten akkumuliertes Belegungsgitter 8 Artefakte durch bewegte Objekte 9-1–9-n. Diese Artefakte haben typische Eigenschaften und können daher erkannt und beseitigt werden.
Daher sieht die vorliegende Erfindung in der Steuereinrichtung vor, dass bewegte Objekte in den fusionierten Belegungsgittern 7-4 bzw. dem akkumulierten Bewegungsgitter 8 durch einen Objektdetektor 18 und einen Objektverfolger 19 erkannt und verfolgt werden. Dies kann dazu genutzt werden, die erkannten Objekte aus dem akkumulierten Bewegungsgitter 8 zu entfernen, bevor dieses ausgegeben wird. Folglich werden von der Steuereinrichtung eine Objektliste 10 und ein statisches akkumuliertes Belegungsgitter 8 erhalten.
Die Steuereinrichtung 6-3 der 4 ist ferner ausgebildet für die einzelnen Belegungsgitter 5-9, 5-10 jeweils ein Maß für die Abweichung eines jeweiligen Belegungsgitters 5-9, 5-10 von dem fusionierten Belegungsgitter 7-4 bzw. dem akkumulierten Bewegungsgitter 8 zu berechnen und ein Fehlersignal auszugeben, wenn das Maß über einem vorgegebenen Schwellwert liegt.
Obwohl die vorliegende Erfindung anhand bevorzugter Ausführungsbeispiele vorstehend beschrieben wurde, ist sie darauf nicht beschränkt, sondern auf vielfältige Art und Weise modifizierbar. Insbesondere lässt sich die Erfindung in mannigfaltiger Weise verändern oder modifizieren, ohne vom Kern der Erfindung abzuweichen.
Die Steuereinrichtung 6-1–6-3 kann z. B. als ein Steuergerät in einem Fahrzeug 2 ausgebildet sein, welches mit den einzelnen Sensoreinrichtungen 3-1–3-n über einen Fahrzeugbus, z. B. einen FlexRay-Bus oder einen CAN-Bus, oder ein Netzwerk, wie z. B. ein Ethernetnetzwerk oder dergleichen, gekoppelt ist.
Durch Verlagerung des gesamten Umfeldmodells in eine zentrale Steuereinrichtung 6-1–6-3 und die Verwendung einer sensorunabhängigen und effizienten Kommunikationsschnittstelle 11 zu diesem lassen sich kostengünstige Sensoreinrichtungen 3-1–3-n mit stark reduzierter Hardware für eine 360°-Überwachung des Fahrzeugs 2 verwenden. Das Packaging der Sensoreinrichtungen 3-1–3-n innerhalb der Fahrzeugarchitektur wird vereinfacht und die momentan hohen Anforderung an die Kühlung, insbesondere bei Kameras, sinken, da die Rechenleistung nun nicht mehr innerhalb des Fahrrerraums sitzen muss.
Ferner wird es auch kleineren Sensoren, z. B. Ultraschallsensoren, ShortRange-Radarsensoren oder dergleichen, möglich ihre Daten in ein Belegungsgitter bzw. ein statisches Umfeldmodell für das Fahrzeug 2 einfließen zu lassen. Der bisherige Ansatz sah die Gittererstellung als hardwareintensiven Zusatz innerhalb des Sensor-Umfeldmodells, was dazu führte das er, wenn überhaupt, nur in den leistungsstarken Sensoren (Front Radar/Front Stereokamera) zum Einsatz kam. Dadurch werden aber im Besonderen die Informationen sogenannter Surround Sensoren, wie Video- und Radarsensoren, nicht genutzt. Diese sind jedoch besonders in Hinsicht auf die Lokalisierung des Fahrzeugs 2 und das hochautomatisierte Fahren nützlich.
Bezugszeichenliste

1-1–1-3: Sensorsystem
2: Fahrzeug
3-1–3-n: Sensoreinrichtungen
4-1–4-2: Rohdaten
5-1–5-n: Belegungsgitter
6-1–6-3: Steuereinrichtung
7-1–7-n: fusioniertes Belegungsgitter
8: akkumuliertes Belegungsgitter
9-1–9-n: bewegte Objekte
10: Objektliste
11: Kommunikationsschnittstelle
12: Fahrzeugfunktion
13-1, 13-2: Messelement
15-1–15-n: Recheneinrichtung
16-1, 16-2: Kompressionseinrichtung
17: Maß
18: Objektdetektor
19: Objektverfolger
20: Fehlersignal

Claims

Sensorsystem (1-1–1-3) für ein Fahrzeug (2), mit: einer Vielzahl von Sensoreinrichtungen (3-1–3-n), welche ausgebildet sind, Rohdaten (4-1–4-n) zu einer Umgebung des Fahrzeugs (2) zu erfassen und für jeden Erfassungszeitpunkt zumindest ein Belegungsgitter (5-1–5-n) aus den erfassten Rohdaten (4-1–4-n) zu berechnen und auszugeben; mit einer Steuereinrichtung (6-1–6-n), welche ausgebildet ist, basierend auf den einzelnen Belegungsgittern (5-1–5-n) der Sensoreinrichtungen (3-1–3-n) ein fusioniertes Belegungsgitter (7-1–7-n) zu berechnen und die für unterschiedliche Erfassungszeitpunkte berechneten fusionierten Belegungsgitter (7-1–7-n) zeitlich zu akkumulieren und ein akkumuliertes Belegungsgitter (8) auszugeben.
Sensorsystem nach Anspruch 1, wobei die Steuereinrichtung (6-1–6-n) ausgebildet ist, basierend auf den einzelnen Belegungsgittern (5-1–5-n) der Sensoreinrichtungen (3-1–3-n) und/oder den fusionierten Belegungsgittern (7-1–7-n) und/oder dem akkumulierten Belegungsgitter (8) eine Erkennung bewegter Objekte (9-1–9-n) durchzuführen und die erkannten bewegten Objekte (9-1–9-n) aus den einzelnen Belegungsgittern (5-1–5-n) der Sensoreinrichtungen (3-1–3-n) und/oder den fusionierten Belegungsgittern (7-1–7-n) und/oder dem akkumulierten Belegungsgitter (8) zu entfernen, wobei die Steuereinrichtung (6-1–6-n) insbesondere ausgebildet ist, eine Objektliste (10) der erkannten bewegten Objekte (9-1–9-n) auszugeben.
Sensorsystem nach einem der Ansprüche 1 und 2, wobei die Sensoreinrichtungen (3-1–3-n) ausgebildet sind, die Rohdaten (4-1–4-n) an die Steuereinrichtung (6-1–6-n) zu übertragen.
Sensorsystem nach den Ansprüche 2 und 3, wobei die Steuereinrichtung (6-1–6-n) ausgebildet ist, die Objekte (9-1–9-n) ferner basierend auf den Rohdaten (4-1–4-n) zu erkennen und/oder die Rohdaten (4-1–4-n) auszugeben.
Sensorsystem nach einem der Ansprüche 1 bis 4, wobei die Sensoreinrichtungen (3-1–3-n) ausgebildet sind, die berechneten Belegungsgitter (5-1–5-n) zu komprimieren und über eine Kommunikationsschnittstelle (11) an die Steuereinrichtung (6-1–6-n) zu übertragen; wobei die Kommunikationsschnittstelle (11) insbesondere als digitaler Datenbus ausgebildet ist und/oder wobei die Kommunikationsschnittstelle (11) unabhängig von der jeweiligen Sensoreinrichtung (3-1–3-n) ist.
Sensorsystem nach einem der Ansprüche 1 bis 5, wobei Sensoreinrichtungen (3-1–3-n), welche ausgebildet sind, lediglich eine Belegungswahrscheinlichkeit für einzelne Punkte der Umgebung des Fahrzeugs (2) zu berechnen, ausgebildet sind, in dem Belegungsgitter (5-1–5-n) die berechneten Belegungswahrscheinlichkeiten anzugeben; und/oder wobei Sensoreinrichtungen (3-1–3-n), welche ausgebildet sind, eine Belegungswahrscheinlichkeit für einzelne Punkte der Umgebung des Fahrzeugs (2) zu berechnen und eine Relativgeschwindigkeit für Objekte (9-1–9-n) in der Umgebung des Fahrzeugs (2) zu berechnen, ausgebildet sind, in dem Belegungsgitter (5-1–5-n) die berechneten Belegungswahrscheinlichkeiten und die berechneten Relativgeschwindigkeiten anzugeben.
Sensorsystem nach einem der Ansprüche 1 bis 6, wobei die Steuereinrichtung (6-1–6-n) ausgebildet ist, eine Fehlererkennung für einzelne Sensoreinrichtungen (3-1–3-n) basierend auf den einzelnen Belegungsgittern (5-1–5-n) der jeweiligen Sensoreinrichtung (3-1–3-n) und den fusionierten Belegungsgittern (7-1–7-n) und/oder dem akkumulierten Belegungsgitter (8) durchzuführen.
Sensorsystem nach Anspruch 7, wobei die Steuereinrichtung (6-1–6-n) ausgebildet ist, ein Maß für die Abweichung der einzelnen Belegungsgitter (5-1–5-n) der jeweiligen Sensoreinrichtung (3-1–3-n) von den fusionierten Belegungsgittern (7-1–7-n) und/oder dem akkumulierten Belegungsgitter (8) zu berechnen und einen Fehler für die jeweilige Sensoreinrichtung (3-1–3-n) anzuzeigen, wenn das Maß für die Abweichung einen vorgegebenen Schwellwert überschreitet.
Verfahren zum Erkennen einer Umgebung eines Fahrzeugs (2), aufweisend: Erfassen (S1) von Rohdaten (4-1–4-n) zu einer Umgebung des Fahrzeugs (2) und Berechnen für jeden Erfassungszeitpunkt zumindest eines Belegungsgitters (5-1–5-n) aus den erfassten Rohdaten (4-1–4-n) in einer Vielzahl von Sensoreinrichtungen (3-1–3-n); Berechnen (S2) eines fusionierten Belegungsgitters (7-1–7-n) basierend auf den einzelnen Belegungsgittern (5-1–5-n) der Sensoreinrichtungen (3-1–3-n) in einer Steuereinrichtung (6-1–6-n); zeitlich Akkumulieren (S3) der für unterschiedliche Erfassungszeitpunkte berechneten fusionierten Belegungsgitter (7-1–7-n) in einem akkumulierten Belegungsgitter (8); und Ausgeben (S4) des akkumulierten Belegungsgitters (8).
Verfahren nach Anspruch 9, aufweisend: Erkennen bewegter Objekte (9-1–9-n) durch die Steuereinrichtung (6-1–6-n) basierend auf den einzelnen Belegungsgittern (5-1–5-n) der Sensoreinrichtungen (3-1–3-n) und/oder den fusionierten Belegungsgittern (7-1–7-n) und/oder dem akkumulierten Belegungsgitter (8); und Entfernen durch die Steuereinrichtung (6-1–6-n) der erkannten bewegten Objekte (9-1–9-n) aus den einzelnen Belegungsgittern (5-1–5-n) der Sensoreinrichtungen (3-1–3-n) und/oder den fusionierten Belegungsgittern (7-1–7-n) und/oder dem akkumulierten Belegungsgitter (8); und Ausgeben einer Objektliste (10) der erkannten bewegten Objekte (9-1–9-n)
Verfahren nach einem der Ansprüche 9 und 10, aufweisend Übertragen der Rohdaten (4-1–4-n) von den Sensoreinrichtungen (3-1–3-n) an die Steuereinrichtung (6-1–6-n); und Erkennen der Objekte (9-1–9-n) basierend auf den Rohdaten (4-1–4-n).
Verfahren nach einem der Ansprüche 9 bis 11, wobei Sensoreinrichtungen (3-1–3-n), welche ausgebildet sind, lediglich eine Belegungswahrscheinlichkeit für einzelne Punkte der Umgebung des Fahrzeugs (2) zu berechnen, in dem Belegungsgitter (5-1–5-n) die berechneten Belegungswahrscheinlichkeiten angeben; und/oder wobei Sensoreinrichtungen (3-1–3-n), welche ausgebildet sind, eine Belegungswahrscheinlichkeit für einzelne Punkte der Umgebung des Fahrzeugs (2) zu berechnen und eine Relativgeschwindigkeit für Objekte (9-1–9-n) in der Umgebung des Fahrzeugs (2) zu berechnen, in dem Belegungsgitter (5-1–5-n) die berechneten Belegungswahrscheinlichkeiten und die berechneten Relativgeschwindigkeiten angeben.
Verfahren nach einem der Ansprüche 9 bis 12, aufweisend Erkennen von Fehlern einzelner Sensoreinrichtungen (3-1–3-n) durch die Steuereinrichtung (6-1–6-n) basierend auf den einzelnen Belegungsgittern (5-1–5-n) der jeweiligen Sensoreinrichtung (3-1–3-n) und den fusionierten Belegungsgittern (7-1–7-n) und/oder dem akkumulierten Belegungsgitter (8).
Verfahren nach Anspruch 13, wobei beim Erkennen von Fehlern ein Maß für die Abweichung der einzelnen Belegungsgitter (5-1–5-n) der jeweiligen Sensoreinrichtung (3-1–3-n) von den fusionierten Belegungsgittern (7-1–7-n) und/oder dem akkumulierten Belegungsgitter (8) berechnet wird und ein Fehler für die jeweilige Sensoreinrichtung (3-1–3-n) erkannt wird, wenn das Maß für die Abweichung einen vorgegebenen Schwellwert überschreitet.