-
Die vorliegende Erfindung betrifft eine Vorrichtung zum Erkennen einer Sensorblockade eines Umgebungssensors sowie ein entsprechendes Verfahren. Die vorliegende Erfindung betrifft weiterhin ein System zum Erkennen einer Sensorblockade eines Umgebungssensors.
-
Moderne Fahrzeuge (Autos, Transporter, Lastwagen, Motorräder etc.). umfassen eine Vielzahl an Systemen, die dem Fahrer Informationen zur Verfügung stellen und einzelne Funktionen des Fahrzeugs teil- oder vollautomatisiert steuern. Über Sensoren werden die Umgebung des Fahrzeugs sowie andere Verkehrsteilnehmer erfasst. Basierend auf den erfassten Daten kann ein Modell der Fahrzeugumgebung erzeugt werden und auf Veränderungen in dieser Fahrzeugumgebung reagiert werden. Durch die fortschreitende Entwicklung im Bereich der autonom und teilautonom fahrenden Fahrzeuge werden der Einfluss und der Wirkungsbereich solcher Fahrerassistenzsysteme (Advanced Driver Assistance Systems, ADAS) immer größer. Durch die Entwicklung immer präziserer Sensoren ist es möglich, die Umgebung und den Verkehr zu erfassen und einzelne Funktionen des Fahrzeugs vollständig oder teilweise ohne Eingriff des Fahrers zu kontrollieren. Fahrerassistenzsysteme können dabei insbesondere zur Erhöhung der Sicherheit im Verkehr sowie zur Verbesserung des Fahrkomforts beitragen.
-
Eine wichtige Voraussetzung ist hierbei die Erfassung und Erkennung der Umgebung des eigenen Fahrzeugs. Mittels Umgebungssensoren, wie beispielsweise Radar-, Lidar-, oder Ultraschallsensoren, werden Sensordaten mit Informationen zu der Umgebung erfasst. Insbesondere werden durch solche abstandsbasierten Sensoren Abstände und Positionen der Objekte in Bezug zum Umgebungssensor erfasst. Basierend auf diesen Daten können Objekte in der Umgebung des Fahrzeugs identifiziert und klassifiziert werden. Ausgehend hiervon kann beispielsweise ein Verhalten eines autonomen oder teilautonomen Fahrzeugs an eine aktuelle Situation angepasst werden.
-
In diesem Zusammenhang besteht eine Herausforderung darin, fehlerhafte Sensordaten zu erkennen und deren Auswirkungen in der weiteren Verarbeitung zu berücksichtigen. Beispielsweise können Sensoren teilweise oder vollständig defekt oder verschmutzt sein. Ebenfalls ist es möglich, dass es aufgrund von Wetterbedingungen (Schnee, Eis, Regen etc.) dazu kommt, dass Sensordaten erfasst werden, die die aktuelle Umgebung falsch oder unvollständig widerspiegeln. Der Sensor kann teilweise oder vollständig blockiert sein. Die Herausforderung liegt hierbei darin zu erkennen, dass aktuelle gemessene Werte nicht die Realität abbilden, obwohl die grundsätzliche Funktion des Sensors gegeben ist. Beispielsweise kann ein teilweise mit Dreck bedeckter (blockierter) Radarsensor zu einer Erkennung eines in der Realität nichtexistierenden Objekts führen. Ein derartiger Fehler kann wiederum zu einer ungewollten und möglicherweise gefährlichen Reaktion einer Steuereinrichtung eines autonomen Fahrzeugs führen, beispielsweise einer unnötigen Vollbremsung.
-
Ausgehend hiervon stellt sich der vorliegenden Erfindung die Aufgabe, einen Ansatz zum Erkennen einer Sensorblockadeeines Umgebungssensors bereitzustellen. Insbesondere soll eine möglichst zuverlässige Erkennung eines blockierten Bereichs eines Sichtfelds eines Umgebungssensors erreicht werden. Hierdurch können die Sicherheit im Straßenverkehr sowie der Fahrkomfort verbessert werden.
-
Zum Lösen dieser Aufgabe betrifft die vorliegende Erfindung in einem ersten Aspekt eine Vorrichtung zum Erkennen einer Sensorblockade eines Umgebungssensors mit:
- einer Eingangsschnittstelle zum Empfangen von Umgebungssensordaten des Umgebungssensors mit Informationen zu Abständen zwischen einem Objekt in einer Umgebung eines Fahrzeugs und dem Fahrzeug sowie von Bilddaten eines Bildsensors mit Informationen zu dem Objekt;
- einer Rastereinheit zum Erzeugen einer Rasterdarstellung der Umgebung des Fahrzeugs basierend auf den Umgebungssensordaten;
- einer Bildverarbeitungseinheit zum Identifizieren des Objekts basierend auf den Bilddaten; und
- einer Auswerteeinheit zum Ermitteln eines blockierten Bereichs eines Sichtfelds des Umgebungssensors basierend auf einer Zuordnung des identifizierten Objekts zu der Rasterdarstellung.
-
In einem weiteren Aspekt betrifft die vorliegende Erfindung ein System zum Erkennen einer Sensorblockade eines Umgebungssensors, mit:
- einem Umgebungssensor zum Erfassen von Abständen zwischen einem Fahrzeug und einem Objekt in einer Umgebung des Fahrzeugs;
- einem Bildsensor zum Erfassen eines Bilds des Objekts; und
- einer Vorrichtung wie zuvor beschrieben.
-
Weitere Aspekte der Erfindung betreffen ein entsprechendes Verfahren und ein Computerprogrammprodukt mit Programmcode zum Durchführen der Schritte des Verfahrens, wenn der Programmcode auf einem Computer ausgeführt wird, sowie ein Speichermedium, auf dem ein Computerprogramm gespeichert ist, das, wenn es auf einem Computer ausgeführt wird, eine Ausführung des hierin beschriebenen Verfahrens bewirkt.
-
Bevorzugte Ausgestaltungen der Erfindung werden in den abhängigen Ansprüchen beschrieben. Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Insbesondere können das System, das Verfahren und das Computerprogrammprodukt entsprechend der für die Vorrichtung in den abhängigen Ansprüchen beschriebenen Ausgestaltungen ausgeführt sein.
-
Die erfindungsgemäße Vorrichtung dient dazu, einen blockierten Bereich eines Sichtfelds eines Umgebungssensors zu erkennen. Als Eingangsdaten werden einerseits Umgebungssensordaten des Umgebungssensors verwendet. Andererseits werden Bilddaten eines Bildsensors verwendet.
-
Der Umgebungssensor stellt Informationen zu Abständen zwischen einem Objekt und dem Fahrzeug bzw. dem Sensor zur Verfügung. Basierend auf den empfangenen Abständen des Umgebungssensors wird eine Rasterdarstellung der Umgebung des Fahrzeugs erzeugt. Eine Rasterdarstellung entspricht dabei einem Abbild der Umgebung des Fahrzeugs, bei dem einzelne Detektionen des Umgebungssensors diskreten Rasterzellen zugeordnet werden. Die Rasterdarstellung stellt eine Repräsentation der Fahrzeugumgebung dar. Basierend auf den Bilddaten des Bildsensors wird eine Objekterkennung durchgeführt. Relevant ist hierbei, dass beide Datenquellen Informationen zum selben räumlichen Bereich in der Umgebung des Fahrzeugs liefern. Sowohl der Umgebungssensor als auch der Bildsensor liefern Sensordaten desselben Objekts.
-
In der Auswerteeinheit wird dann eine Zuordnung zwischen Objekten in der Rasterdarstellung und basierend auf den Bilddaten erkannten Objekten vorgenommen. Insbesondere kann überprüft werden, ob ein Objekt in der Rasterdarstellung einem entsprechenden Objekt, das basierend auf den Bilddaten erkannt wurde, zugeordnet werden kann. Sofern eine Zuordnung nicht möglich ist, liegt eine teilweise oder vollständige Sensorblockade (kann auch als Blockierung bezeichnet werden) des Umgebungssensors vor.
-
Ein blockierter Bereich des Umgebungssensors wird identifiziert. Der blockierte Bereich ist dabei derjenige Bereich, aus dem Messwerte des Umgebungssensors stammen, die keinem basierend auf den Bilddaten identifizierten Objekt zugeordnet werden können. Der erfindungsgemäße Ansatz basiert auf einer Fusion von Daten eines abstandsbasierten Umgebungssensors mit Daten eines Bildsensors.
-
Der ermittelte blockierte Bereich kann beispielsweise an ein Fahrerassistenzsystem übermittelt werden, das basierend auf den Umgebungssensordaten eine Fahrerassistenzfunktion ausführt. Durch den ermittelten blockierten Bereich kann die entsprechende Fahrerassistenzfunktion angepasst werden. Es kann beispielsweise sichergestellt werden, dass lediglich dann eine Reaktion infolge von Messungen des Umgebungssensors erfolgt, wenn der entsprechende Umgebungssensor nicht blockiert ist.
-
Im Vergleich zu bisherigen Ansätzen erlaubt der erfindungsgemäße Ansatz eine zuverlässige und präzise Ermittlung eines blockierten Bereichs eines abstandsbasierten Umgebungssensors. Durch die Erkennung des blockierten Bereichs kann eine Anpassung einer Steuerung eines autonomen oder teilautonomen Fahrzeugs erfolgen. Es kann sichergestellt werden, dass eine Reaktion eines autonomen oder teilautonomen Fahrzeugs nicht basierend auf verfälschten Sensordaten eines Umgebungssensors ermittelt wird. Die erfindungsgemäße Ermittlung des blockierten Bereichs führt daher zu einer verbesserten Abbildung der Umgebung. Die Umgebung eines Fahrzeugs kann mit höherer Sicherheit erkannt werden. Hierdurch wird es möglich, dass die Sicherheit beim autonomen oder teilautonomen Fahren verbessert und der Fahrkomfort erhöht werden.
-
In einer bevorzugten Ausgestaltung ist die Rastereinheit zum Erzeugen einer zweidimensionalen Rasterdarstellung ausgebildet. Im Bereich des autonomen oder teilautonomen Fahrens ist es insbesondere relevant, eine Draufsicht auf die Umgebung des Fahrzeugs auswerten zu können. Basierend hierauf kann festgestellt werden, ob eine Fahrt in eine bestimmte Richtung möglich ist oder nicht. Die zweidimensionale Rasterdarstellung entspricht einer vogelperspektivischen Ansicht der Umgebung des Fahrzeugs. Durch die Verwendung einer zweidimensionalen Rasterdarstellung kann eine effiziente Verarbeitung sichergestellt werden. Eine Echtzeit-Datenverarbeitung wird möglich.
-
In einer vorteilhaften Ausgestaltung ist die Rastereinheit zum Erzeugen der Rasterdarstellung basierend auf einer Akkumulation der Umgebungssensordaten über mehrere Messzyklen des Umgebungssensors ausgebildet. Vorzugsweise werden Daten über ein vordefiniertes Zeitfenster gesammelt. Durch die Verwendung von Sensordaten, die über mehrere Messzyklen gesammelt wurden, kann eine erhöhte Zuverlässigkeit erreicht werden. Eine Erkennung von Objekten kann mit größerer Sicherheit erfolgen, wenn pro Objekt mehrere Detektionen bzw. Scanpunkte verfügbar sind. Die Zuverlässigkeit bei der Erzeugung des Abbilds der Umgebung durch die Rasterdarstellung wird verbessert.
-
In einer vorteilhaften Ausgestaltung ist die Rastereinheit zum Erzeugen eines Evidential Grids, eines Occupancy Grids und/oder eines Freespace Grids der Umgebung des Fahrzeugs ausgebildet. Für das Erzeugen der Rasterdarstellung der Umgebung des Fahrzeugs stehen verschiedene Möglichkeiten zur Verfügung. Es ist dabei möglich, dass mehrere verschiedene Rasterdarstellungen erzeugt und einzeln ausgewertet werden. Ebenfalls ist es vorteilhaft, wenn eine kombinierte Auswertung erfolgt. Unterschiedliche Rasterdarstellungen haben in Bezug auf die Datenverarbeitung und Prozessierung verschiedene Eigenschaften bzw. Vor- und Nachteile. Durch die Verwendung einer angepassten Rasterdarstellung kann ein verbessertes Abbild der Umgebung des Fahrzeugs generiert werden.
-
In einer vorteilhaften Ausgestaltung ist die Auswerteeinheit zum Ermitteln des blockierten Bereichs basierend auf einer Erkennung eines Erwartungsbereichs des identifizierten Objekts ausgebildet. Hierbei entspricht der Erwartungsbereich einem Bereich des Sichtfelds, der dem identifizierten Objekt zugeordnet ist, der jedoch ein näheres Objekt umfasst. Es wird sozusagen erwartet, dass ein basierend auf den Bilddaten identifiziertes Objekt eine Entsprechung in der Rasterdarstellung findet. Wenn dies nicht der Fall ist, insbesondere wenn in dem Erwartungsbereich, in dem das Objekt erwartet wird, ein anderes, näheres Objekt angezeigt wird, kann dies bedeuten, dass eine Blockade des Umgebungssensors innerhalb dieses Bereichs vorliegt. Eine zusammenschauende Betrachtung der Umgebungssensordaten und der Bilddaten wird umgesetzt. Es wird sichergestellt, dass fehlerhafte Umgebungssensordaten, die auf einer Blockade des Umgebungssensors basieren, erkannt werden.
-
In einer Ausgestaltung ist die Bildverarbeitungseinheit zum Identifizierten des Objekts basierend auf einer semantischen Segmentierung, einer Auswertung eines optischen Flusses und/oder einer punktbasierten dreidimensionalen Tiefenschätzung ausgebildet. Für die Identifizierung von Objekten können Algorithmen der Bildbearbeitung verwendet werden. Es ist insbesondere vorteilhaft, wenn eine semantische Segmentierung vorgenommen wird, um anhand einer Vielzahl von Objekten innerhalb des Sichtfelds des Bildsensors einzelne Objekte zu erkennen. Durch eine präzise Identifizierung von Objekten kann eine zuverlässige Erkennung eines blockierten Bereichs eines Sichtfelds des Umgebungssensors erfolgen.
-
In einer vorteilhaften Ausgestaltung ist die Eingangsschnittstelle zum Empfangen von Bilddaten einer Stereokamera ausgebildet. Durch die Verwendung einer Stereokamera kann zusätzlich zu einer zweidimensionalen Bildinformation auch eine Tiefeninformation für Objekte im Sichtfeld des Bildsensors bzw. der Stereokamera ermittelt werden. Mittels einer Tiefeninformation kann die Genauigkeit bei der Identifizierung von Objekten verbessert werden. Ausgehend hiervon kann eine verbesserte Erkennung einer Blockade eines Umgebungssensors umgesetzt werden.
-
In einer vorteilhaften Ausgestaltung ist die Eingangsschnittstelle zum Empfangen von Kartendaten mit Informationen zu einem vorbekannten Objekt in der Umgebung des Fahrzeugs von einer Datenbank ausgebildet. Zudem ist die Auswerteeinheit zum Ermitteln des blockierten Bereichs des Sichtfelds basierend auf einer Zuordnung des vorbekannten Objekts zu der Rasterdarstellung ausgebildet. Es ist möglich, zusätzlich zur Fusion von Bilddaten und Umgebungssensordaten, auch weitere Daten bei der Ermittlung des blockierten Bereichs mit einzubeziehen. Insbesondere können Kartendaten verwendet werden. Wenn ausgehend von derartigen Kartendaten bekannt ist, dass sich in einer Umgebung des Fahrzeugs bestimmte vorbekannte Objekte finden, kann mit diesem Wissen beispielsweise die Identifizierung der Objekte basierend auf den Bilddaten verbessert werden. Zudem ist es möglich, direkt eine Zuordnung eines vorbekannten Objekts zur Rasterdarstellung vorzunehmen. Ausgehend hiervon kann die Zuverlässigkeit bei der Erkennung der blockierten Bereiche des Umgebungssensors weiter verbessert werden.
-
In einer Ausgestaltung ist die Eingangsschnittstelle zum Empfangen von Bewegungsdaten eines Bewegungssensors mit Informationen über eine Bewegung des Fahrzeugs in Bezug zu der Umgebung ausgebildet. Weiterhin ist die Rastereinheit zum Kompensieren der Bewegung des Fahrzeugs beim Erzeugen der Rasterdarstellung basierend auf den Bewegungsdaten ausgebildet. Durch die Verwendung von Bewegungsdaten können Umgebungssensordaten über einen längeren Zeitraum aufakkumuliert werden. Es ist möglich, eine Bewegung des Fahrzeugs bzw. eine Bewegung des mit dem Fahrzeug fest verbundenen Umgebungssensors mit einzubeziehen. Wenn sich das Fahrzeug weiterbewegt, müssen die empfangenen Umgebungssensordaten dennoch der korrekten Position innerhalb der Rasterdarstellung zugeordnet werden. Durch die Miteinbeziehung von Bewegungsdaten kann dies erreicht werden. Es wird sozusagen ermöglicht, eine fahrzeugfeste Rasterdarstellung zu verwenden. Hierdurch werden die Auflösung bzw. die Genauigkeit der Rasterdarstellung verbessert. Eine Ermittlung eines blockierten Bereichs eines Sichtfelds des Umgebungssensors kann mit höherer Zuverlässigkeit erfolgen.
-
Das erfindungsgemäße System kann beispielsweise in ein Fahrzeug integriert werden. Hierin wird unter einem Umgebungssensor insoweit insbesondere ein abstandsbasierter Sensor (Rangingsensor), wie zum Beispiel ein Radar-, Lidar- oder Ultraschallsensor verstanden. Als Bildsensor kann das erfindungsgemäße System insbesondere eine Kamera umfassen. Es versteht sich dabei, dass der Umgebungssensor mehrere einzelne Sensoren umfassen kann, sodass eine Datenfusion durchgeführt werden kann.
-
Unter einem Objekt versteht sich hierin ein statisches oder dynamisches Objekt. Beispielsweise stellen Bäume, Häuser, andere Fahrzeuge, Fußgänger, Tiere, Brücken und Straßen Objekte dar. Eine Umgebung eines Fahrzeugs umfasst insbesondere einen von einem am Fahrzeug angebrachten Umgebungssensor aus sichtbaren Bereich im Umfeld des Fahrzeugsensors. Ein Umgebungssensor kann auch mehrere Sensoren umfassen, die beispielsweise eine 360°-Rundumsicht ermöglichen und somit ein vollständiges Umgebungsabbild aufzeichnen können. Üblicherweise wird während eines Messzyklus eines Umgebungssensors eine Vielzahl an Scanpunkten generiert. Unter einem Messzyklus wird ein einmaliges Durchlaufen des sichtbaren Bereichs verstanden. Die in einem Messzyklus erfassten Umgebungssensordaten können als Zielliste (Target List) bezeichnet werden.
-
Unter einer Rasterdarstellung versteht sich eine Darstellung als Grid, bei der insbesondere verschiedene Scanpunkte anhand ihrer Detektionsposition zu Zellen des Grids zugeordnet werden. Grundsätzlich kann die Rasterdarstellung zwei- oder dreidimensional sein. Unter einer zweidimensionalen Rasterdarstellung wird eine zweidimensionale Modellierung einer Umgebung des Fahrzeugs verstanden. Jede Rasterzelle enthält Informationen über die Anzahl von Detektionen innerhalb des von der Rasterzelle repräsentierten Bereichs der Umgebung. Eine Blockade eines Umgebungssensors kann insbesondere durch Dreck oder anderes Material, durch Wasser oder auch durch einen Sensordefekt hervorgerufen werden. Ein blockierter Bereich eines Sichtfelds kann mehrere Teilbereiche umfassen.
-
Die Erfindung wird nachfolgend anhand einiger ausgewählter Ausführungsbeispiele im Zusammenhang mit den beiliegenden Zeichnungen näher beschrieben und erläutert. Es zeigen:
- 1 eine schematische Darstellung eines erfindungsgemäßen Systems in einer Umgebung in einer Seitenansicht;
- 2 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung zum Erkennen einer Blockade eines Umgebungssensors;
- 3 eine schematische Darstellung eines blockierten Bereichs eines Sichtfelds des Umgebungssensors mit zwei Teilbereichen;
- 4 eine schematische Darstellung einer zusätzlichen Berücksichtigung von Kartendaten;
- 5 eine schematische Darstellung eines Fahrzeugs mit einem erfindungsgemä-ßen System; und
- 6 eine schematische Darstellung eines erfindungsgemäßen Verfahrens.
-
1 zeigt eine schematische Darstellung eines Fahrzeugs 10 mit einem erfindungsgemäßen System 12 zum Erkennen einer Sensorblockade eines Umgebungssensors. Das System 12 umfasst eine Vorrichtung 14, einen Umgebungssensor 16 sowie einen Bildsensor 18. Über den Umgebungssensor 16 werden Abstände zwischen dem Fahrzeug 10 und einem Objekt 20 in der Umgebung des Fahrzeugs 10 erfasst. Der Umgebungssensor 16 erfasst dabei zumeist mehrere Objekte innerhalb eines Sichtfelds 22. Über den Bildsensor 18 wird ein Bild des Objekts 20 erfasst. Ausgehend von den Umgebungssensordaten des Umgebungssensors 16 und den Bilddaten des Bildsensors 18 wird ein blockierter Bereich des Sichtfelds 22 des Umgebungssensors 16 ermittelt. Erfindungsgemäß wird also festgestellt, ob ein Teil des Sichtfelds des Umgebungssensors blockiert ist, weil die vom Umgebungssensor 16 gelieferten Umgebungssensordaten und die vom Bildsensor 18 gelieferten Bilddaten Abweichungen voneinander aufweisen. Ein blockierter Bereich des Sichtfelds des Umgebungssensors 16 kann dabei aufgrund einer Verschmutzung des Sensors oder auch wegen eines Defekts des Sensors vorliegen. Ebenfalls ist es möglich, dass es aufgrund von Witterungsbedingungen zu einer Blockade eines Teils des Sichtfelds kommt, beispielsweise durch Regen oder Schnee.
-
Die vorliegende Erfindung basiert darauf, dass abstandsbasierte Umgebungssensoren wie Radar-, Lidar- und Ultraschallsensoren eine immer größere Rolle spielen, insbesondere im Automotivebereich. Basierend auf den von solchen Sensoren bereitgestellten Daten werden verschiedene Funktionen eines autonomen oder teilautonomen Fahrzeugs ausgeführt. Daher ist es von hoher Wichtigkeit, dass den bereitgestellten Sensordaten vertraut werden kann. Aus einer Verschmutzung oder sonstigen Blockierung eines abstandsbasierten Umgebungssensors können fehlerhafte Sensorwerte resultieren. Erfindungsgemäß wird eine solche Verschmutzung oder eine andere Blockade erkannt. Hierzu werden die Daten des abstandsbasierten Umgebungssensors mit den Bilddaten eines Bildsensors (insbesondere einer Kamera) fusioniert. Es wird festgestellt, ob sich Abweichungen ergeben, um darauf basierend auf eine Blockade des Umgebungssensors schließen zu können.
-
In der 2 ist schematisch eine erfindungsgemäße Vorrichtung 14 dargestellt. Die Vorrichtung 14 umfasst eine Eingangsschnittstelle 24, eine Rastereinheit 26, eine Bildverarbeitungseinheit 28 sowie eine Auswerteeinheit 30. Die erfindungsgemäße Vorrichtung 14 kann beispielsweise in ein Fahrzeugsteuergerät integriert sein bzw. als Teil eines Fahrerassistenzsystems ausgebildet sein oder auch als separates Modul implementiert sein. Es ist möglich, dass die erfindungsgemäße Vorrichtung teilweise oder vollständig in Soft- und/oder in Hardware umgesetzt ist. Die verschiedenen Einheiten und Schnittstellen können vorzugsweise als Prozessor, Prozessormodul oder Software für einen Prozessor ausgebildet sein.
-
Über die Eingangsschnittstelle 24 werden Umgebungssensordaten eines Umgebungssensors sowie Bilddaten eines Bildsensors empfangen. Die Eingangsschnittstelle 24 kann beispielsweise als Steckverbindung in Hardware umgesetzt sein. Es ist auch möglich, dass die Eingangsschnittstelle 24 als entsprechende Softwareschnittstelle zum Datenempfang ausgebildet ist. Die empfangenen Umgebungssensordaten umfassen Informationen zu Abständen zwischen einem Objekt in einer Umgebung eines Fahrzeugs und dem Fahrzeug bzw. dem Umgebungssensor. Die empfangenen Bilddaten umfassen Informationen zu dem Objekt. Es versteht sich, dass die Umgebungssensordaten sowie auch die Bildsensordaten weitere Informationen umfassen können.
-
Insbesondere werden als Umgebungssensordaten Detektionen eines Radar-, Lidar- und/oder Ultraschallsensors empfangen. Die Detektionen solcher Sensoren umfassen Informationen über eine räumliche Position eines detektierten Objekts bzw. einer Stelle, an der eine elektromagnetische Welle oder eine Schallwelle reflektiert wurde. Insbesondere werden einzelne Scanpunkte empfangen. Für jeden einzelnen Scanpunkt werden ein Höhenwinkel, ein Azimutwinkel sowie eine Distanz erfasst. In einem Messzyklus eines Umgebungssensors können beispielsweise einige hundert bis mehrere tausend Scanpunkte erfasst bzw. generiert werden. Üblicherweise werden mehrere Messzyklen pro Sekunde durchgeführt. Eine Messfrequenz kann beispielsweise bei 5 bis 50 Hz liegen. Die Bildsensordaten des Bildsensors umfassen vorzugsweise für eine Vielzahl an Pixeln jeweils zugeordnete Farbwerte. Sowohl die Umgebungssensordaten als auch die Bildsensordaten werden üblicherweise in digitaler, vorverarbeiteter Form empfangen. Zumeist werden Informationen von Sensoren empfangen, die ohnehin bereits im Fahrzeug vorhanden sind. Beispielsweise kann die Eingangsschnittstelle 24 an einen Fahrzeugbus eines Fahrzeugs angekoppelt sein.
-
In der Rastereinheit 26 wird basierend auf den empfangenen Umgebungssensordaten eine Rasterdarstellung der Umgebung des Fahrzeugs erzeugt. Üblicherweise wird dabei ein fahrzeugfestes Koordinatensystem verwendet. Die einzelnen Scanpunkte des Umgebungssensors werden Zellen eines diskreten zwei- oder dreidimensionalen Rasters (kann auch als Grid bezeichnet werden) zugeordnet. Insbesondere kann ein Raster mit einer konstanten Kantenlänge der einzelnen Zellen verwendet werden. In jeder Zelle erfolgt als Eintrag eine Anzahl an Scanpunkten, die für diese Zelle bzw. für den Bereich dieser Zelle registriert wurden. Es ist möglich, dass die Daten verschiedener Umgebungssensoren derselben Rasterdarstellung zugeordnet werden.
-
Insbesondere kann in der Rastereinheit 26 eine Evidential Grid Map-Darstellung der Umgebung erzeugt werden. Ein Evidential Grid basiert darauf, dass Detektionen oder auch andere Informationen wie beispielsweise die Belegungswahrscheinlichkeit der verschiedenen Sensortechnologien über die Zeit akkumuliert werden. Alternativ oder zusätzlich kann eine Occupancy Grid Map-Darstellung der Umgebung erzeugt werden. Unter einem Occupancy Grid wird insbesondere ein zweidimensionales, in der Bodenebene liegendes Gitter verstanden, das in jeder Zelle die Wahrscheinlichkeit dafür enthält, dass dieser Bereich des Umfelds durch ein Hindernis belegt ist.
-
In der Bildverarbeitungseinheit 28 wird basierend auf den empfangenen Bildsensordaten eine Objekterkennung durchgeführt. Hierbei können unterschiedliche Algorithmen der Bildverarbeitung angewendet werden. Insbesondere ist es möglich, eine semantische Segmentierung durchzuführen, einen optischen Fluss auszuwerten oder auch eine 3D-Punktanalyse vorzunehmen. Durch derartige Ansätze können innerhalb eines Bildes zusammengehörige Bereiche ermittelt werden. Diese zusammengehörigen Bereiche werden dann als Objekte identifiziert. Die Bildverarbeitungseinheit 28 und die Identifizierung des Objekts kann beispielsweise auf Algorithmen der Computervision basieren, wie Deep Learning, maschinelles Lernen etc.
-
In der Auswerteeinheit 30 werden die Rasterdarstellung und die identifizierten Objekte fusioniert. Insbesondere kann eine Zuordnung vorgenommen werden zwischen den basierend auf den Bilddaten identifizierten Objekten und der basierend auf den Umgebungssensordaten erzeugten Rasterdarstellung. Wenn beispielsweise ein identifiziertes Objekt keine Entsprechung in der Rasterdarstellung findet, kann dies möglicherweise bedeuten, dass im entsprechenden Bereich des Sichtfelds des Umgebungssensors eine Blockade vorliegt. Es versteht sich, dass der ermittelte blockierte Bereich des Sichtfelds des Umgebungssensors dabei auch mehrere Teilbereiche umfassen kann.
-
In anderen Worten wird basierend auf den Bildsensordaten in erster Näherung ermittelt, an welcher Stelle sich ein Objekt befinden soll. Diese Hypothese wird durch die abstandsbasierte Sensorik (Umgebungssensor) bestätigt oder nicht. Wenn beispielsweise basierend auf den Bilddaten eine semantische Segmentierung des aktuellen Umfelds bereitgestellt wird und ein geschätzter Abstand aller oder einiger Pixel vorliegt, kann abgeschätzt werden, ob ein Bereich des Sichtfelds des Umgebungssensors blockiert ist.
-
In der 3 ist schematisch eine erfindungsgemäße Ermittlung eines blockierten Bereichs dargestellt. Die Darstellung entspricht dabei einer Draufsicht aus der Vogelperspektive. Innerhalb eines Sichtfelds 22 des Umgebungssensors 16 findet sich ein Objekt 20. Verschiedene Scanpunkte 32 erlauben eine Detektion des Objekts 20. Neben den Scanpunkten 32 des Umgebungssensors 16 wird das Objekt 20 auch vom Bildsensor 18 erfasst. Hierbei überschneiden sich die Sichtfelder des Umgebungssensors 16 und des Bildsensors 18 üblicherweise vollständig oder größtenteils. In der Auswerteeinheit kann nun festgestellt werden, dass das Objekt 20, wie durch die Bildverarbeitungseinheit identifiziert, größer sein sollte, als durch die Scanpunkte 32 des Umgebungssensors 16 reflektiert. Im dargestellten Fall wird ein möglicherweise blockierter Bereich 33 ermittelt. Der blockierte Bereich 33 liegt im Sichtfeld 22 des Umgebungssensors 16 und umfasst im dargestellten Beispiel zwei Teilbereiche.
-
In der 4 ist schematisch eine optionale Erweiterung des erfindungsgemäßen Systems 12 bzw. der erfindungsgemäßen Vorrichtung 14 dargestellt. Zusätzlich zur Berücksichtigung der Umgebungssensordaten und der Bilddaten können über die Eingangsschnittstelle Kartendaten mit Informationen zu einem vorbekannten Objekt 36 in der Umgebung des Fahrzeugs von einer Datenbank 34 empfangen werden. Bei der Ermittlung des blockierten Bereichs des Sichtfelds kann dann eine Zuordnung des vorbekannten Objekts 36 zu der Rasterdarstellung vorgenommen werden, um so die Genauigkeit bei der Ermittlung des blockierten Bereichs zu verbessern.
-
Im dargestellten Beispiel werden Kartendaten mit Informationen zu einer Tunneleinfahrt als vorbekanntes Objekt 36 empfangen. Die Kartendaten werden über eine Mobilkommunikationsschnittstelle 38 an die Vorrichtung 14 geleitet. Die Datenbank 34 ist im dargestellten Beispiel insoweit als Cloud-Datenbank ausgebildet. Es versteht sich, dass es allerdings ebenfalls möglich ist, dass die Datenbank 34 innerhalb des Fahrzeugs 10 angeordnet ist, sodass keine Mobilkommunikationsschnittstelle 38 benötigt wird. Durch die zusätzliche Berücksichtigung des vorbekannten Objekts 36 kann die Zuverlässigkeit beim Ermitteln des blockierten Bereichs verbessert werden.
-
In der 5 ist schematisch ein Fahrzeug 10 dargestellt, in das ein erfindungsgemäßes System 12 integriert ist. Das erfindungsgemäße System 12 umfasst eine Vorrichtung 14, einen Umgebungssensor 16 sowie einen Bildsensor 18. Vorzugsweise werden hierbei die ohnehin im Fahrzeug 10 bereits vorhandenen Sensoren verwendet. Weiterhin umfasst das Fahrzeug eine Mobilkommunikationseinheit 38.
-
Zudem ist in der Darstellung ein optional vorhandener Bewegungssensor 40 gezeigt, der ebenfalls Daten an die Vorrichtung 14 liefert. Durch die zusätzliche Verwendung von Bewegungsdaten wird erreicht, dass bei der Erzeugung der Rasterdarstellung Sensordaten über mehrere Messzyklen akkumuliert werden können. Eine während des Aufnehmens der Umgebungssensordaten auftretende Bewegung des Fahrzeugs kann kompensiert werden. Hierdurch können Bewegungsdaten über einen längeren Zeitraum in die Rasterdarstellung zusammengefasst werden. Es ergibt sich eine verbesserte Genauigkeit.
-
In der 6 ist schematisch ein erfindungsgemäßes Verfahren dargestellt. Das Verfahren umfasst Schritte des Empfangens S10 von Umgebungssensordaten und Bilddaten, des Erzeugens S12 einer Rasterdarstellung der Umgebung, des Identifizierens S14 des Objekts und des Ermittelns S16 eines blockierten Bereichs. Das Verfahren kann beispielsweise als Software implementiert sein, die auf einem Fahrzeugsteuergerät ausgeführt wird. Ebenfalls ist es möglich, dass das erfindungsgemäße Verfahren als Software für ein Mobilgerät (Smartphone-App) implementiert ist. Das Verfahren kann vollständig oder teilweise cloudbasiert ausgeführt werden.
-
Die Erfindung wurde anhand der Zeichnungen und der Beschreibung umfassend beschrieben und erklärt. Die Beschreibung und Erklärung sind als Beispiel und nicht einschränkend zu verstehen. Die Erfindung ist nicht auf die offenbarten Ausführungsformen beschränkt. Andere Ausführungsformen oder Variationen ergeben sich für den Fachmann bei der Verwendung der vorliegenden Erfindung sowie bei einer genauen Analyse der Zeichnungen, der Offenbarung und der nachfolgenden Patentansprüche.
-
In den Patentansprüchen schließen die Wörter „umfassen“ und „mit“ nicht das Vorhandensein weiterer Elemente oder Schritte aus. Der undefinierte Artikel „ein“ oder „eine“ schließt nicht das Vorhandensein einer Mehrzahl aus. Ein einzelnes Element oder eine einzelne Einheit kann die Funktionen mehrerer der in den Patentansprüchen genannten Einheiten ausführen. Ein Element, eine Einheit, eine Vorrichtung und ein System können teilweise oder vollständig in Hard- und/oder in Software umgesetzt sein. Die bloße Nennung einiger Maßnahmen in mehreren verschiedenen abhängigen Patentansprüchen ist nicht dahingehend zu verstehen, dass eine Kombination dieser Maßnahmen nicht ebenfalls vorteilhaft verwendet werden kann. Ein Computerprogramm kann auf einem nichtflüchtigen Datenträger gespeichert/vertrieben werden, beispielsweise auf einem optischen Speicher oder auf einem Halbleiterlaufwerk (SSD). Ein Computerprogramm kann zusammen mit Hardware und/oder als Teil einer Hardware vertrieben werden, beispielsweise mittels des Internets oder mittels drahtgebundener oder drahtloser Kommunikationssysteme. Bezugszeichen in den Patentansprüchen sind nicht einschränkend zu verstehen.
-
Bezugszeichenliste
-
- 10
- Fahrzeug
- 12
- System
- 14
- Vorrichtung
- 16
- Umgebungssensor
- 18
- Bildsensor
- 20
- Objekt
- 22
- Sichtfeld
- 24
- Eingangsschnittstelle
- 26
- Rastereinheit
- 28
- Bildverarbeitungseinheit
- 30
- Auswerteeinheit
- 32
- Scanpunkt
- 33
- blockierter Bereich
- 34
- Datenbank
- 36
- vorbekanntes Objekt
- 38
- Mobilkommunikationseinheit
- 40
- Bewegungssensor
