-
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Erkennen von Fehlausrichtungen eines stationären Sensors sowie einen stationären Sensor.
-
Stand der Technik
-
Radar- und Lidarsensoren spielen eine wichtige Rolle bei der Bereitstellung von Umfelddaten, welche von Fahrerassistenzsystemen eines Kraftfahrzeugs ausgewertet werden. Insbesondere beim autonomen Fahren ist eine genaue Kenntnis der Positionen und Geschwindigkeiten von Objekten im Umfeld relativ zum Fahrzeug essenziell.
-
Neben Sensoren, welche direkt im Kraftfahrzeug verbaut sind und dadurch beweglich sind, sind auch stationäre Sensoren bekannt, welche etwa infrastrukturseitig bereitgestellt sind. Aus der
DE 10 2019 209 154 A1 ist ein Verfahren zum Erzeugen eines Umfeldmodells für ein autonom gesteuertes Fahrzeug bekannt. Dazu werden Sensordaten durch eine Mehrzahl von infrastrukturseitigen Sensoren in einem Umgebungsbereich des Fahrzeugs erfasst.
-
Die Kenntnis über die genaue Ausrichtung und Position stationärer Radar- oder Lidarsensoren ist entscheidend für Anwendungen aus dem Bereich der Infrastruktursensorik. Eine Fehlausrichtung von wenigen Grad oder Zentimetern kann insbesondere bei größeren Distanzen zu falschen Rückschlüssen führen. Beispielsweise ist eine Verwechslung von Fahrspuren eines erkannten Verkehrsteilnehmers im Kontext des automatisierten Fahrens zu vermeiden.
-
Fehlausrichtungen kommen in der Regel aufgrund von Witterung oder aufgrund von externem Einfluss, wie Kollisionen, zustande. Es ist wünschenswert, derartige Fehlausrichtungen zu erkennen und zu korrigieren.
-
Die Detektion und die Korrektur von Fehlausrichtungen können anhand von sogenannten Landmarken erfolgen, wobei es sich oft um stationäre Objekte oder Gegenstände in der Sichtweite eines Sensors handelt. Die Position der Landmarken wird bei der Montage eines Sensors mitdokumentiert. Verändert der Sensor seine Lage aufgrund von Witterung oder anderen externen Einflüssen, verändert sich der Abstand zu einer oder mehreren Landmarken. Auf Basis dieser Änderung wird eine Fehlausrichtung diagnostiziert bzw. korrigiert. Typische Landmarken sind Fahrbahnmarkierungen, Gebäude und stark reflektierende metallische Objekte, etwa Schilder.
-
Offenbarung der Erfindung
-
Die Erfindung stellt ein Verfahren und eine Vorrichtung zum Erkennen von Fehlausrichtungen eines stationären Sensors sowie einen stationären Sensor mit den Merkmalen der unabhängigen Patentansprüche bereit.
-
Bevorzugte Ausführungsformen sind Gegenstand der jeweiligen Unteransprüche.
-
Gemäß einem ersten Aspekt betrifft die Erfindung demnach ein Verfahren zum Erkennen von Fehlausrichtungen eines stationären Sensors. Anhand von ersten Sensordaten, welche der Sensor zu einem ersten Zeitpunkt erzeugt, wird eine erste Belegungskarte erzeugt. Anhand von zweiten Sensordaten, welche der Sensor zu einem zweiten Zeitpunkt erzeugt, wird eine zweite Belegungskarte erzeugt. Eine Kreuzkorrelation der ersten Belegungskarte und der zweiten Belegungskarte wird berechnet. Eine Fehlausrichtung des Sensors wird anhand der berechneten Kreuzkorrelation erkannt.
-
Gemäß einem zweiten Aspekt betrifft die Erfindung demnach eine Vorrichtung zum Erkennen von Fehlausrichtungen eines stationären Sensors. Eine Schnittstelle ist dazu ausgebildet, Sensordaten von dem Sensor zu empfangen. Eine Recheneinrichtung ist dazu ausgebildet, eine erste Belegungskarte anhand von ersten Sensordaten zu erzeugen, welche der Sensor zu einem ersten Zeitpunkt erzeugt. Weiter ist die Recheneinrichtung dazu ausgebildet, eine zweite Belegungskarte anhand von zweiten Sensordaten zu erzeugen, welche der Sensor zu einem zweiten Zeitpunkt erzeugt. Die Recheneinrichtung ist weiter dazu ausgebildet, eine Kreuzkorrelation der ersten Belegungskarte und der zweiten Belegungskarte zu berechnen und eine Fehlausrichtung des Sensors anhand der berechneten Kreuzkorrelation zu erkennen.
-
Gemäß einem dritten Aspekt betrifft die Erfindung demnach einen stationären Sensor, wobei der Sensor ein Radarsensor oder Lidarsensor ist, mit einer erfindungsgemäßen Vorrichtung zum Erkennen von Fehlausrichtungen des stationären Sensors.
-
Vorteile der Erfindung
-
Erfindungsgemäß werden eine erste Belegungskarte und eine zweite Belegungskarte erzeugt und anhand einer Kreuzkorrelation miteinander verglichen. Die erste Belegungskarte wird anhand von Sensordaten erzeugt, welche zu einem initialen ersten Zeitpunkt erzeugt worden sind. Dadurch kann die Belegung zu einem Referenzzeitpunkt ermittelt werden, etwa unmittelbar nach der Installation des Sensors. Die zweite Belegungskarte kann zu dem zweiten Zeitpunkt erzeugt, welcher während des Normalbetriebes des Sensors liegen kann. Falls im Zeitraum zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt die Position und/oder Ausrichtung des Sensors durch Erschütterungen, Kollisionen oder sonstige Einwirkungen relativ zur ursprünglichen Position und/oder Ausrichtung verändert wird, kann dies erkannt werden. Bevorzugt können sowohl Verschiebungen des Sensors als auch Änderungen der Orientierung des Sensors erkannt werden.
-
Unter einer Fehlausrichtung des Sensors kann im Sinne dieser Erfindung somit verstanden werden, dass sich die momentane Position und/oder Ausrichtung des Sensors, d. h. zum zweiten Zeitpunkt, von der initialen Ausrichtung des Sensors, d. h. zum ersten Zeitpunkt, unterscheidet.
-
Unter einer Belegungskarte (englisch: occupancy map) kann im Sinne dieser Erfindung eine zwei- oder dreidimensionale Karte verstanden werden, welche etwa ein Gitter aufweisen kann. Für jede Zelle des Gitters kann deren geschätzte Belegungswahrscheinlichkeit durch ein oder mehrere Objekte auf Basis der Sensordaten eingetragen sein. Bei einigen Ausführungsformen wird für jede Zelle des Gitters lediglich ein binärer Wert vorgegeben, wobei etwa ein Wert „0“ dem Zustand „unbelegt“ entspricht und ein Wert „1“ dem Zustand „belegt“ entspricht."
-
Die Erkennung der Fehlausrichtungen des Sensors ist unabhängig von der physikalischen Funktionsweise eines Sensors. Weiter sind keine Landmarken erforderlich.
-
Das Verfahren zum Erkennen der Fehlausrichtungen des Sensors ist robust gegen Verdeckungen und Clutter, d.h. Rauschen. Auch bei neuen Objekten in der Szene ist das Verfahren robust, da die Kreuzkorrelation die Ähnlichkeit in Abhängigkeit von der Verschiebung der aktuellen Belegungskarte relativ zur initial aufgenommenen Belegungskarte ermittelt.
-
Gemäß einer bevorzugten Weiterbildung des Verfahrens zum Erkennen von Fehlausrichtungen des stationären Sensors ist der Sensor ein Radarsensor, ein Lidarsensor, ein Ultraschallsensor oder ein 3D-Kamerasensor.
-
Gemäß einer bevorzugten Weiterbildung des Verfahrens zum Erkennen von Fehlausrichtungen des stationären Sensors ist der Sensor in die Verkehrsinfrastruktur integriert.
-
Gemäß einer bevorzugten Weiterbildung des Verfahrens zum Erkennen von Fehlausrichtungen des stationären Sensors wird anhand der berechneten Kreuzkorrelation ein räumlicher Offset berechnet, wobei die Fehlausrichtung des Sensors anhand des räumlichen Offsets erkannt wird. Eine Verschiebung und/oder Verdrehung des Sensors übersetzt sich direkt in einen Offset, sodass durch Ermitteln des Offsets die Fehlausrichtung präzise erkannt werden kann.
-
Gemäß einer bevorzugten Weiterbildung des Verfahrens zum Erkennen von Fehlausrichtungen des stationären Sensors wird die Fehlausrichtung des Sensors erkannt, falls der räumliche Offset größer als ein vorgegebener Schwellenwert ist.
-
Gemäß einer bevorzugten Weiterbildung des Verfahrens zum Erkennen von Fehlausrichtungen des stationären Sensors wird anhand des berechneten räumlichen Offsets eine Kalibrierung des Sensors zum Kompensieren der Fehlausrichtung durchgeführt. Es ist somit eine Korrektur möglich, da die Verschiebung implizit berechnet werden kann.
-
Gemäß einer bevorzugten Weiterbildung des Verfahrens zum Erkennen von Fehlausrichtungen des stationären Sensors ist die Kreuzkorrelation eine mehrdimensionale Kreuzkorrelation, d.h. mindestens zweidimensionale Kreuzkorrelation. Eine höherdimensionale Kreuzkorrelation kann etwa verwendet werden, um sowohl Verdrehungen als auch Positionsfehler zu erkennen. Falls aufgrund der Montage des Sensors nur eine Änderung in Azimuth- und Elevationswinkel zu erwarten ist, kann eine zweidimensionale Kreuzkorrelation verwendet werden.
-
Gemäß einer Ausführungsform wird eine sechsdimensionale Kreuzkorrelation verwendet. Zur Berechnung eines Optimums mit sechs Freiheitsgraden kann dabei bei einer möglichen Variante der Lösungsraum eingeschränkt werden, indem z.B. davon ausgegangen werden kann, dass der Fehler in einem maximalen Bereich liegt, etwa bis zu maximal 10 cm oder max. 5°. Wird innerhalb dieses eingeschränkten Bereichs kein Optimum der Kreuzkorrelation gefunden, wird erkannt, dass der Fehler so hoch ist, dass die Zuverlässigkeit des Sensors nicht mehr garantiert werde kann. Der Sensor kann beispielsweise mit einer entsprechenden Diagnosemeldung abgeschaltet werden.
-
Bei einer weiteren möglichen Variante wird ein Optimierungsverfahren verwendet, etwa ein Gradientenabstiegsverfahren mit zufälligen Neustarts (englisch: Gradient Descent with random restarts).
-
Gemäß einer bevorzugten Weiterbildung des Verfahrens zum Erkennen von Fehlausrichtungen des stationären Sensors werden die erste Belegungskarte und die zweite Belegungskarte in polarer Darstellung berechnet.
-
Gemäß einer bevorzugten Weiterbildung des Verfahrens zum Erkennen von Fehlausrichtungen des stationären Sensors ist der erste Zeitpunkt, zu dem der Sensor Sensordaten erzeugt, nachts. Die Umgebung ist in diesem Fall möglichst frei sichtbar und die Anzahl der Verkehrsteilnehmer soweit wie möglich reduziert.
-
Gemäß einer bevorzugten Weiterbildung des Verfahrens zum Erkennen von Fehlausrichtungen des stationären Sensors erzeugt der Sensor die ersten Sensordaten und/oder zweiten Sensordaten über einen Zeitraum mehrerer Sekunden.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnung verschiedene Ausführungsbeispiele im Einzelnen beschrieben sind.
-
Kurze Beschreibung der Zeichnungen
-
Es zeigen:
- 1 ein schematisches Blockdiagramm eines stationären Sensors mit einer Vorrichtung zum Erkennen von Fehlausrichtungen des stationären Sensors gemäß einer Ausführungsform der Erfindung;
- 2 eine beispielhaftes Belegungskarte zu einem ersten Zeitpunkt;
- 3 eine beispielhaftes Belegungskarte zu einem zweiten Zeitpunkt;
- 4 eine beispielhafte Darstellung einer zweidimensionalen Kreuzkorrelation der Belegungskarte in 2 und der Belegungskarte in 3; und
- 5 ein Flussdiagramm eines Verfahrens zum Erkennen von Fehlausrichtungen eines stationären Sensors gemäß einer Ausführungsform der Erfindung.
-
In allen Figuren sind gleiche bzw. funktionsgleiche Elemente und Vorrichtungen mit denselben Bezugszeichen versehen. Die Nummerierung von Verfahrensschritten dient der Übersichtlichkeit und soll im Allgemeinen keine bestimmte zeitliche Reihenfolge implizieren. Insbesondere können auch mehrere Verfahrensschritte gleichzeitig durchgeführt werden.
-
Beschreibung der Ausführungsbeispiele
-
1 zeigt ein schematisches Blockdiagramm eines stationären Sensors 1 mit einer Vorrichtung 2 zum Erkennen von Fehlausrichtungen des stationären Sensors 1. Bei dem stationären Sensor 1 kann es sich um einen Radarsensor oder um einen Lidarsensor handeln. Der stationäre Sensor kann jedoch im Allgemeinen jede beliebige Art von Sensor sein, die Punktwolken detektiert, also etwa auch ein Ultraschallsensor oder ein 3D-Kamerasensor.
-
Der Sensor 1 umfasst Sensorelemente 5, welche Sensordaten erzeugen. Im Falle eines Radarsensors können etwa Antennenelemente vorgesehen sein, welche nach einem bekannten Radarverfahren Radarstrahlung aussenden und die an Objekten reflektierte Radarstrahlung empfangen. Im Falle eines Lidarsensors umfassen die Sensorelemente 5 einen Laser, welcher die Umgebung abrastert, sowie Empfänger, um zurück reflektiertes Licht zu detektieren.
-
Die erzeugten Sensordaten werden an eine Schnittstelle 3 der Vorrichtung 2 übertragen. Die Schnittstelle 3 kann eine kabelgebundene oder kabellose Schnittstelle sein. Die Sensordaten können auch in einem Speicher abgelegt sein, auf welche die Vorrichtung 2 zugreifen kann.
-
Die Vorrichtung 2 umfasst weiter eine Recheneinrichtung 4, welche mindestens einen Mikroprozessor, Mikrocontroller, integrierten Schaltkreis oder dergleichen umfassen kann. Die Recheneinrichtung 4 wertet die Sensordaten aus. Die Recheneinrichtung 4 kann hierzu Belegungskarten anhand der Sensordaten erzeugen. Bei der Belegungskarte wird ein Umfeld des Sensors in eine Vielzahl von Zellen eingeteilt. Jede Zelle wird von der Recheneinrichtung 4 anhand der Sensordaten eine Belegungswahrscheinlichkeit zugeordnet. Im einfachsten Fall können lediglich die Werte 0 (unbelegt) und 1 (belegt) zugeordnet werden, gemäß weiteren Ausführungsformen sind jedoch eine Vielzahl verschiedener Belegtheitswahrscheinlichkeiten zwischen 0 und 1 möglich.
-
Die Recheneinrichtung 4 kann dazu ausgebildet sein mittels Signalverarbeitung, etwa mittels Filter, die Belegungswahrscheinlichkeit einer Zelle aus den Sensordaten zu extrahieren. So kann jeder anhand der Sensordaten detektierten Reflexion eine Zelle zugeordnet werden. Dazu werden für die Reflexion zugehörige Ortskoordinaten berechnet, etwa Abstand und Azimutwinkel für eine polarer Darstellung. Gemäß weiteren Ausführungsformen können auch dreidimensionale Ortskoordinaten ermittelt werden, d. h. es wird etwa zusätzlich eine Elevationswinkel ermittelt. Die Belegungskarte ist dann dreidimensional.
-
Zur Initialisierung erzeugen die Sensorelemente 5 erste Sensordaten zu einem ersten Zeitpunkt. Dieser kann während oder kurz nach der Installation des Sensors 1 liegen. Diese als Referenzdaten dienenden ersten Sensordaten werden dabei erzeugt, nachdem der Sensor physikalisch in die gewünschte Position ausgerichtet wurde. Die ersten Sensordaten repräsentieren somit den bestmöglichen Zustand. Beispielsweise liegt der erste Zeitpunkt nachts, da zu diesem Zeitpunkt nur wenige störende temporär vorhandene Objekte (etwa Fahrzeuge) zu erwarten sind. Die ersten Sensordaten können über einen Zeitraum von mehreren Sekunden, etwa mindestens 10 Sekunden erzeugt werden. Größere Zeiträume führen zu mehr Robustheit. Die Messung erfolgt dabei möglichst störungsfrei. Insbesondere sollten keine weiteren Arbeiten am Ort des Sensors durchgeführt werden, welche die Ausrichtung beeinflussen könnten.
-
Die Recheneinrichtung 4 berechnet anhand der ersten Sensordaten eine erste Belegungskarte des Umfelds des Sensors 1. Die erste Belegungskarte dient als Referenz, um die Belegung im Umfeld des Sensors 1 zu ermitteln, während der Sensor korrekt ausgerichtet ist.
-
Der Sensor 1 wird dann in Betrieb genommen. Zu einem zweiten Zeitpunkt soll ermittelt werden, ob eine Fehlausrichtung des Sensors 1 vorliegt. Dazu erzeugen die Sensorelemente 5 zweite Sensordaten. Die zweiten Sensordaten können über einen Zeitraum von mehreren Sekunden, etwa mindestens 10 Sekunden erzeugt werden. Die Recheneinrichtung 4 berechnet anhand der zweiten Sensordaten eine zweite Belegungskarte des Umfelds des Sensors 1.
-
Die Recheneinrichtung 4 berechnet weiter eine Kreuzkorrelation der ersten Belegungskarte und der zweiten Belegungskarte. Für eine zweidimensionale Belegungskarte handelt es sich dabei um eine zweidimensionale Funktion, welche eine Konvolution des Signals bezüglich der ersten Belegungskarte und des Signals bezüglich der zweiten Belegungskarte umfasst. Kommt es nun zu einer Fehlausrichtung, dann sind die Belegungskarten relativ zu einander verschoben und/oder verdreht. Aufgrund der Konvolution äußert sich dies in einer Verschiebung (Offset) der Kreuzkorrelation, welche die Recheneinrichtung 4 ermitteln kann.
-
Beispielweise kann die Recheneinrichtung 4 den Offset mit einem Schwellenwert vergleichen. Ist der Offset größer als der vorgegebene Schwellenwert, so kann die Recheneinrichtung 4 die Fehlausrichtung des Sensors 1 erkennen. Andernfalls erkennt die Recheneinrichtung 4, dass der Sensor 1 weiterhin korrekt ausgerichtet ist, zumindest innerhalb eines Toleranzbereichs.
-
Falls die Recheneinrichtung 4 eine Fehlausrichtung des Sensors 1 erkennt, kann ein Warnsignal ausgegeben werden, etwa an einen Anwender. Der Sensor 1 kann dann manuell wieder neu ausgerichtet werden. Es ist jedoch auch möglich, die Fehlausrichtung des Sensors 1 zu kompensieren. So kann durch Verschiebung der Sensordaten um den Offset eine Kalibrierung des Sensors 1 durchgeführt werden, welche zu korrigierten Sensordaten führt, welche der ursprünglichen Position und/oder Ausrichtung des Sensors 1 entsprechen.
-
2 zeigt eine beispielhaftes Belegungskarte zu einem ersten Zeitpunkt. Die Belegungskarte ist in polarer Darstellung erzeugt worden, wobei für verschiedene Abstände d und Azimutwinkel φ die Belegungswahrscheinlichkeiten ermittelt werden.
-
3 zeigt eine beispielhaftes Belegungskarte zu einem zweiten Zeitpunkt. Die Belegungskarte ist mit dem Sensor 1 erzeugt worden, welcher jedoch aufgrund äußerer Einflüsse verdreht worden ausgerichtet ist.
-
4 zeigt eine beispielhafte Darstellung einer zweidimensionalen Kreuzkorrelation der Belegungskarte in 2 und der Belegungskarte in 3. Ein Peak befindet sich an einer um einen Offset verschobenen Position, wobei die Achsen s_d und s_φ dem Offset des Abstandes d und dem Offset des Azimutwinkels φ entsprechen. Der Offset entspricht gerade der Fehlausrichtung des Sensors 1. Im gezeigten Fall ist lediglich eine Verdrehung des Sensors 1 aufgetreten, d. h. der Offset s_φ des Azimutwinkels φ ist ungleich 0 und der Offset s_d ist gleich 0.
-
5 zeigt ein Flussdiagramm eines Verfahrens zum Erkennen von Fehlausrichtungen eines stationären Sensors 1, insbesondere des oben beschriebenen Sensors 1.
-
In einem ersten Schritt S 1 wird anhand von ersten Sensordaten, welche der Sensor 1 zu einem ersten Zeitpunkt erzeugt, eine erste Belegungskarte erzeugt. In einem zweiten Schritt S2 wird anhand von zweiten Sensordaten, welche der Sensor 1 zu einem zweiten Zeitpunkt erzeugt, eine zweite Belegungskarte erzeugt.
-
In einem Schritt S3 wird eine Kreuzkorrelation der ersten Belegungskarte und der zweiten Belegungskarte berechnet.
-
In einem Schritt S4 wird eine Fehlausrichtung des Sensors 1 anhand der berechneten Kreuzkorrelation erkannt.
-
In einem weiteren Schritt S5 kann anhand eines mittels der Kreuzkorrelation berechneten Offsets eine Kompensation der Fehlausrichtung bzw. eine Neukalibrierung des Sensors 1 durchgeführt werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102019209154 A1 [0003]
