-
Stand der Technik
-
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Überwachung eines Sichtfeldes eines stationären Sensors, insbesondere eines Sensors zur Überwachung einer Verkehrsinfrastruktur.
-
Aus dem Stand der Technik ist bekannt, stationäre Sensoren wie beispielsweise Radarsensoren zur Verkehrsüberwachung einzusetzen, wobei solche Sensoren über zusätzliche Lagesensoren verfügen können, um eine Orientierung des Sensors abzuschätzen.
-
Um ein Sichtfeld eines solchen Sensors zuverlässig überwachen und aus Messdaten des Sensors beispielsweise einzelne Objekte ableiten und in der realen Welt verorten zu können, muss die genaue Sensorpose (Raumkoordinaten und jeweilige Rotationswinkel) bekannt sein. Aufgrund von Umwelteinflüssen ist es möglich, dass sich eine Sensorpose allmählich (z. B. aufgrund einer lockeren Befestigung) oder plötzlich (z. B. aufgrund eines Unfalls oder eines Schlags gegen eine Sensorbefestigung) ändert. Eine Änderung der Sensorpose führt zwangsläufig zu einem veränderten Sichtfeld des Sensors, was zu einer fehlerhaften Schätzung von im Umfeld erkannten Objekten führt.
-
Um eine solche ungewollte Veränderung einer Sensorpose zu detektieren, werden im Stand der Technik beispielsweise optische Sensoren eingesetzt, um eine Position und/oder eine Ausrichtung eines oder mehrerer vorstehend genannter Sensoren zu überwachen.
-
EP2041599 B1 beschreibt Radaranordnungen und zugeordnete Verfahren, insbesondere zur Verkehrsüberwachung. Hierbei wird eine Verwendung eines FMCW-Radars, insbesondere als Verkehrsdetektor, mit digital kontrollierter Rampe vorgeschlagen. Mit erfindungsgemäßen Detektionsverfahren können auch mit einem schmalbandigen FMCW- oder Dopplerradar sowohl statische als auch bewegte Objekte erkannt werden. In beiden Fällen weicht das aktuelle Messsignal von einem gespeicherten Leersignal ab.
-
DE102016015582 A1 beschreibt ein System und Verfahren zur Verkehrsüberwachung, wobei das System mehrere fest installierte stationäre Basiseinheiten und mindestens eine Überwachungseinheit zur Erfassung von Daten zum überwachten Verkehr umfasst, wobei die Überwachungseinheit vorübergehend an einer ausgewählten Basiseinheit lösbar befestigt werden kann und wobei an der Überwachungseinheit und/oder an der Basiseinheit Ausrichtungsmittel angeordnet sind, durch die eine automatische Ausrichtung der Überwachungseinheit auf den zu überwachenden Bereich erfolgt.
-
Offenbarung der Erfindung
-
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein Verfahren zur Überwachung eines Sichtfeldes eines stationären Sensors vorgeschlagen.
-
In einem ersten Schritt des erfindungsgemäßen Verfahrens wird eine Vielzahl von Aufnahmen (auch „frames“ genannt) eines Umfeldes des Sensors empfangen, welche mittels des Sensors innerhalb eines vordefinierten Messzeitraums zu unterschiedlichen Zeitpunkten erzeugt werden. Vorteilhaft repräsentiert jede Aufnahme jeweils jenen Bereich des Umfeldes des Sensors, welcher durch ein Sichtfeld des Sensors erfasst wird, wobei auch Teilbereiche des Sichtfeldes des Sensors verwendbar sind.
-
Beim Erzeugen der jeweiligen Aufnahmen ist es sowohl möglich, dass das verwendete Sichtfeld des Sensors gleichzeitig oder sukzessive erfasst wird. Letzteres ergibt sich beispielsweise bei einer Verwendung eines Sensors, welcher das Umfeld mittels eines ausgesendeten Messsignals in Übereinstimmung mit einer vordefinierten Abtastbewegung sukzessive abtastet (z. B. ein Punkt- oder ein Linienscanner).
-
Die Vielzahl von Aufnahmen wird beispielsweise in einer Auswerteeinheit empfangen, welche ein Bestandteil des Sensors und/oder eine abseits vom Sensor angeordnete Komponente ist, wobei die Auswerteeinheit beispielsweise als ASIC, FPGA, Prozessor, digitaler Signalprozessor, Mikrocontroller, o. ä., ausgestaltet ist und vorteilhaft eingerichtet ist, einen Teil oder sämtliche Schritte des erfindungsgemäßen Verfahrens auszuführen. Die in der Auswerteeinheit und/oder einer hiervon abweichenden Komponente empfangenen Aufnahmen, die innerhalb des Messzeitraums erzeugt werden, werden bevorzugt in einer mit der Auswerteeinheit informationstechnisch verbundenen Speichereinheit zwischengespeichert.
-
Es sei darauf hingewiesen, dass der Messzeitraum vorteilhaft ein Messzeitraum einer Vielzahl zeitlich aufeinanderfolgender Messzeiträume ist, sodass die Überwachung des Sichtfeldes des Sensors wiederkehrend über einen längeren Zeitraum durchgeführt werden kann. Dabei ist es möglich, dass die einzelnen Messzeiträume zeitlich unmittelbar aneinandergrenzen, eine zeitliche Überlappung aufweisen, oder zeitlich voneinander beabstandet sind. Besonders vorteilhaft werden die jeweiligen Messzeiträume mittels eines gleitenden Messfensters, dessen Größe einem einzelnen Messzeitraum (z. B. einige Sekunden Länge, konkret z. B. 5 s) entspricht, aus einem fortlaufenden Strom aufeinanderfolgender Aufnahmen entnommen. Ferner ist es denkbar, eine Dauer des Messzeitraums in Abhängigkeit vordefinierter Randbedingungen dynamisch anzupassen.
-
In einem zweiten Schritt des erfindungsgemäßen Verfahrens werden Messpunkte ermittelt, welche jeweils Positionen und/oder Ausdehnungen von Objekten oder Teilbereichen von Objekten im Umfeld des Sensors repräsentieren, auf Basis der Aufnahmen. Es sei darauf hingewiesen, dass dies in Abhängigkeit einer Verwendung eines jeweiligen Sensortyps und/oder einer Auslegung des jeweiligen Sensors bereits bei der Erstellung der Aufnahmen des Umfeldes durch den Sensor ausgeführt werden kann, sodass die vom Sensor empfangenen Aufnahmen bereits das Umfeld repräsentierende Messpunkte enthalten (z. B. in Form einer 3D-Punktewolke). Alternativ ist es auch denkbar, dass der Sensor Rohdaten und/oder vorverarbeitete Rohdaten bereitstellt, auf deren Basis die Messpunkte ermittelt werden.
-
In einem dritten Schritt des erfindungsgemäßen Verfahrens werden die ermittelten Messpunkte auf Basis einer vordefinierten Ähnlichkeitsmetrik gruppiert, wobei jede Gruppe (auch „Cluster“ oder „Aggregat“ genannt) von Messpunkten durch einen Prototyp repräsentiert wird. Das Gruppieren lässt sich sowohl innerhalb einer einzelnen Aufnahme, als auch aufnahmeübergreifend durchführen, sodass nicht nur räumliche Zusammenhänge von Messpunkten, sondern auch zeitliche Zusammenhänge von Messpunkten bei der Gruppierung berücksichtigt werden können.
-
Es sei darauf hingewiesen, dass die jeweiligen Prototypen, welche jeweilige Gruppen repräsentieren, vorzugsweise jeweils einen einzelnen Messpunkt darstellen, welcher als Stellvertreter für die Messpunkte einer jeweiligen Gruppe angesehen werden kann. Ein solch stellvertretender Messpunkt kann ein Messpunkt der Gruppe selbst oder ein neu erzeugter Messpunkt für die Gruppe sein. Der stellvertretende Messpunkt ist beispielsweise ein Messpunkt, welcher einen Schwerpunkt der einzelnen Messpunkte einer jeweiligen Gruppe definiert, ohne auf ein solches Kriterium zur Festlegung des stellvertretenden Messpunktes beschränkt zu sein. Darüber hinaus ist es möglich, dass ein jeweiliger Prototyp mehrere oder sämtliche Messpunkte einer jeweiligen Gruppe aufweist und so beispielsweise die Verteilung der jeweiligen Gruppe genauer beschreibt.
-
Es sei darauf hingewiesen, dass ein Prototyp alternativ oder zusätzlich zu einer Lageinformation auch weitere eine Gruppe beschreibende Merkmale, beispielsweise eine Streuung und/oder eine Dichte korrespondierender Messpunkte usw., beinhalten kann.
-
In einem vierten Schritt des erfindungsgemäßen Verfahrens wird eine inhaltliche Veränderung innerhalb des Sichtfeldes des Sensors auf Basis eines Abgleichs der Prototypen, welche auch als Testdaten bezeichnet werden können, mit einem Referenzdatensatz ermittelt, welcher Referenzprototypen aufweist, deren zugrundeliegende Messpunkte in einem Referenzzustand des Sensors und des Umfeldes ermittelt wurden. Als Referenzzustand kann beispielsweise ein Zustand eines nach Sollvorgaben ausgerichteten Sensors und/oder eines kalibrierten Sensors angesehen werden.
-
Es sei allgemein darauf hingewiesen, dass zusätzlich unterschiedliche Methoden zur Bereinigung bzw. Filterung der Daten, welche die Aufnahmen des Sensors repräsentieren, einsetzbar sind (insbesondere im Zuge einer Vorverarbeitung), um beispielsweise eine Robustheit des erfindungsgemäßen Verfahrens zu erhöhen und/oder um eine Verarbeitung von nicht relevanten Daten usw. einzusparen. Letzteres bietet u. a. die Möglichkeit, geringere Speicherkapazitäten für die Zwischenspeicherung der Daten und/oder Verarbeitungseinheiten mit geringerer Leistungsfähigkeit einzusetzen, wodurch beispielsweise Kosten reduziert werden können.
-
Ferner ist es denkbar, im Zuge einer Vorverarbeitung der Daten des Sensors in Polarkoordinaten bereitgestellte Messpunktinformationen in kartesische Koordinaten umzuwandeln oder umgekehrt und/oder unplausible Messwerte und/oder stark verrauschte Messwerte zu verwerfen.
-
Das erfindungsgemäße Verfahren bietet allgemein den Vorteil, dass inhaltliche Veränderungen des Sichtfeldes des Sensors automatisch erkannt werden, wodurch sich u. a. eine Zuverlässigkeit einer Umfelderfassung durch den Sensor auf Basis des erfindungsgemäßen Verfahrens verbessern lässt. Insbesondere bei einer Verwendung des Verfahrens im Zusammenhang mit einer Verkehrsüberwachung oder ähnlichen Einsatzgebieten, lässt sich durch die verbesserte Zuverlässigkeit auch eine Sicherheit für Verkehrsteilnehmer erhöhen, welche durch den Sensor erfasste Umfeldinformationen direkt und/oder indirekt einsetzen.
-
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
-
In einer vorteilhaften Ausgestaltung der vorliegenden Erfindung ist der Sensor ein Sensor zur Überwachung einer Verkehrsinfrastruktur. Als solcher ist der Sensor beispielsweise im Bereich einer Verkehrskreuzung usw. angeordnet, um auf Basis durch den Sensor erfasster Umfeldinformationen ein Verkehrsleitsystem zu steuern und/oder autonom und/oder teilautonom fahrende Fahrzeuge mit Informationen versorgen, welche einen Fahrbetrieb dieser Fahrzeuge zuverlässiger und/oder sicherer machen. Der Sensor ist beispielsweise ein Radarsensor (z. B. ein 4D- und/oder ein Imaging-Radar) und/oder ein Ultraschallsensor und/oder ein Lidar-Sensor und/oder eine Kamera. Darüber hinaus sind mittels der verwendeten Ähnlichkeitsmetrik vorteilhaft Ähnlichkeiten von Raumkoordinaten und/oder Geschwindigkeiten und/oder Ausdehnungen (z. B. Radarquerschnitte von Oberflächen) jeweiliger Messpunkte definiert. Mit anderen Worten lassen sich die einzelnen Messpunkte besonders vorteilhaft dadurch zu jeweiligen Gruppen zusammenfassen, dass diese eine räumliche Nähe zueinander aufweisen (z. B. Raumkoordinaten, die einen vordefinierten Abstand im Raum zueinander nicht überschreiten), wodurch sie mit hoher Wahrscheinlichkeit ein und demselben Objekt im Umfeld des Sensors zuzuordnen sind. Auf ähnliche Weise sind Messpunkte, die alternativ oder zusätzlich eine ähnliche Geschwindigkeit von Objekten bzw. Objektbereichen aufweisen, mit hoher Wahrscheinlichkeit ein und demselben Objekt zuzuordnen. Dies gilt beispielsweise auch für ähnliche Radarquerschnitte in ähnlichen Bereichen des Umfeldes, usw.
-
Besonders vorteilhaft weist das erfindungsgemäße Verfahren einen Schritt zum Identifizieren stationärer Prototypen innerhalb der Gesamtheit von Prototypen auf, wobei stationäre Prototypen dadurch gekennzeichnet sind, dass ihre jeweils zugrundeliegenden Messpunkte im Wesentlichen stationäre Objekte im Umfeld des Sensors repräsentieren und wobei ausschließlich die identifizierten stationären Prototypen im vierten Schritt des Verfahrens zum Ermitteln der inhaltlichen Veränderung innerhalb des Sichtfeldes des Sensors berücksichtigt werden. Dies bietet u. a. im Zusammenhang mit einer später beschriebenen Überwachung einer Pose des Sensors auf Basis des erfindungsgemäßen Verfahrens den Vorteil, dass bewegte Objekte, wie im Sichtfeld vorbeifahrende Fahrzeuge usw., von der weiteren Verarbeitung ausgeschlossen werden, da diese i. d. R. keinen positiven Beitrag im Zusammenhang mit einem erfindungsgemäßen Einsatzzweck bieten.
-
Vorzugsweise werden vorstehend beschriebene stationäre Prototypen dadurch identifiziert, dass einem jeweiligen Prototyp zugrundeliegende Messpunkte mit Geschwindigkeitsinformationen verknüpft sind, welche jeweils Geschwindigkeiten repräsentieren, die unterhalb einer vordefinierten ersten Geschwindigkeitsschwelle liegen. Je nach Typ und Ausgestaltung des verwendeten Sensors, werden solche Geschwindigkeitsinformationen bereits durch den Sensor selbst erfasst und bereitgestellt. Dies erfolgt beispielsweise unter Ausnutzung des Dopplereffektes im Zusammenhang mit einem Radar- und/oder Ultraschall- und/oder einem hiervon abweichenden Sensor. Alternativ oder zusätzlich ist es möglich, solche Geschwindigkeitsinformationen aus Videobildern oder davon abweichenden Aufnahmen zu ermitteln. Eine solche Filterung, durch welche im Wesentlichen nur stationäre Messpunkte für eine weitere Verarbeitung erhalten bleiben, lässt sich in Abhängigkeit der jeweiligen Sensorausprägung bereits frühzeitig innerhalb der Verarbeitungskette durchführen, sodass ein Speicherbedarf und/oder eine Rechenkapazität für die Verarbeitung nicht stationärer Messpunkte eingespart werden können. Weiter alternativ oder zusätzlich ist es möglich, stationäre Prototypen dadurch zu identifizieren, dass zu einem jeweiligen Prototyp, der wenigstens in der ersten Aufnahme innerhalb des Messzeitraums vorhanden ist, ein korrespondierender Prototyp in wenigstens der letzten Aufnahme innerhalb des Messzeitraums vorhanden ist, wobei der korrespondierende Prototyp dadurch gekennzeichnet ist, dass er dasselbe stationäre Objekt repräsentiert, wie der Prototyp aus der ersten Aufnahme. Mit anderen Worten kann ein Prototyp als stationärer Prototyp angesehen werden, wenn dieser wenigstens am Anfang und am Ende des jeweiligen Messzeitraums an einer im Wesentlichen identischen Position und/oder mit einer ähnlichen Ausprägung (z. B. ähnliche Größe, Form, Reflexionseigenschaft, usw.) innerhalb der Aufnahmen vorhanden ist. Neben der Möglichkeit, bewegte Objekte von unbewegten, also stationären Objekten innerhalb des Messzeitraums unterscheiden zu können, bietet diese Vorgehensweise den besonderen Vorteil, dass auch solche stationären Objekte im Umfeld für eine weitere Verarbeitung erhalten bleiben, die innerhalb des Messzeitraums kurzzeitig durch bewegte Objekte verdeckt bzw. teilverdeckt werden. Alternativ oder zusätzlich werden die stationären Prototypen insbesondere dadurch identifiziert, dass zu einem jeweiligen Prototyp sowohl ein zur Gruppe des Prototyps zugehöriger Messpunkt in wenigstens der ersten Aufnahme innerhalb des Messzeitraums als auch ein weiterer zur Gruppe des Prototyps zugehöriger Messpunkt in wenigstens der letzten Aufnahme innerhalb des Messzeitraums vorhanden ist. Dies erlaubt es mit hoher Wahrscheinlichkeit, dasselbe stationäre Objekt zu identifizieren. Es sei darauf hingewiesen, dass die Anzahl hierfür zu betrachtender Aufnahmen zu Beginn des Messzeitraums und am Ende des Messzeitraums beispielsweise zwei, drei oder mehr entsprechen kann und dass die Anzahl der zu betrachtenden Aufnahmen zu Beginn des Messzeitraums von der Anzahl zu betrachtender Aufnahmen am Ende des Messzeitraums voneinander abweichen können. Zudem ist es möglich, die jeweilige Anzahl in Abhängigkeit aktueller Randbedingungen dynamisch anzupassen. Es versteht sich, dass die in den Aufnahmen vorliegenden Informationen über bewegte Objekte, die für das erfindungsgemäße Verfahren vorteilhaft verworfen werden, parallel für eine Umfelderkennung von Objekten verwendbar sind, um beispielsweise eine Verkehrsauslastung einer Straße usw. zu ermitteln.
-
In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung wird auf Basis des Ermittelns der inhaltlichen Veränderung innerhalb des Sichtfeldes des Sensors eine Abweichung einer Ist-Pose des Sensors (d. h., einer Ist-Position und einer Ist-Ausrichtung, z. B. im dreidimensionalen Raum) von einer durch den Referenzdatensatz vordefinierten Soll-Pose des Sensors ermittelt. Auf diese Weise lässt sich sicherstellen, dass Verschiebungen und/oder Verdrehungen des Sensors in Bezug auf ein zu beobachtendes Umfeld mittels des erfindungsgemäßen Verfahrens automatisch erkannt werden, wodurch eine Zuverlässigkeit einer Umfelderfassung durch den Sensor erhöht wird. Alternativ oder zusätzlich ist es auf Basis des Ermittelns der inhaltlichen Veränderung innerhalb des Sichtfeldes des Sensors möglich, eine Veränderung von Objekten im Umfeld des Sensors zu ermitteln, wobei sich dieses ermitteln vorzugsweise auf quasi stationäre Objekte beschränkt. Unter quasi stationären Objekten sollen Objekte verstanden werden, die über einen vordefinierten Mindestzeitraum unbeweglich sind. Als solche Objekte kommen beispielsweise an Baustellen vorgesehen Sicherheitsbaken usw. in Frage, welche über einen entsprechend längeren Zeitraum unverändert bleiben und dadurch beispielsweise ebenfalls für ein Ermitteln einer Abweichung einer Ist-Pose des Sensors von einer Soll-Pose des Sensors geeignet sind. Weiter alternativ oder zusätzlich ist es auf Basis des Ermittelns der inhaltlichen Veränderung innerhalb des Sichtfeldes des Sensors möglich, einen Korrekturwert zur Kompensation der Abweichung der Ist-Pose des Sensors von der Soll-Pose des Sensors zu ermitteln und anzuwenden und/oder eine Information repräsentierend die inhaltliche Veränderung innerhalb des Sichtfeldes auszugeben. Letzteres lässt sich beispielsweise dazu verwenden, einen Service-Techniker über eine solche Abweichung automatisch zu informieren, sodass die Sensorpose durch den Service-Techniker vor Ort korrigiert werden kann. Alternativ oder zusätzlich lässt sich die ermittelte Information beispielsweise nutzen, um eine Umfelderfassung mittels des Sensors zu deaktivieren und/oder um eine Rekalibrierung des Sensors zu initiieren.
-
Vorzugsweise wird während der Ausführung des erfindungsgemäßen Verfahrens eine Transformationsvorschrift ermittelt wird, welche die ermittelten (vorzugsweise stationären) Prototypen auf korrespondierende Referenzprototypen des Referenzdatensatzes abbildet. Hierfür lässt sich beispielsweise eine aus dem Stand der Technik bekannte Methode zur Punktregistrierung wie ICP („iterative closest points algorithm“) oder NDT („normal distributions transform“) einsetzen. Alternativ lässt sich eine Ähnlichkeitsfunktion zwischen zwei Punktmengen nutzen. Anschließend werden eine Art (z. B. eine translatorische und/oder eine rotatorische) und/oder ein Ausmaß einer Abweichung der Ist-Pose des Sensors von der Soll-Pose des Sensors auf Basis der Transformationsvorschrift ermittelt. Hierfür wird beispielsweise das Inverse der Transformationsvorschrift ermittelt, um auf dieser Basis die maximale Abweichung der einzelnen Prototypen von den korrespondierenden Referenzprototypen zu ermitteln, um einen maximalen Positionierungs- und/oder Lagefehler des Sensors zu bestimmen.
-
In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung wird die Abweichung der Ist-Pose von der Soll-Pose des Sensors auf Basis einer statistischen Vergleichsmethode ermittelt, bei welcher eine Verteilung von Abweichungen zwischen korrespondierenden Prototypen und Referenzprototypen (innerhalb einer Aufnahme und/oder zwischen jeweiligen Aufnahmen) mit einer vordefinierten Referenzverteilung abgeglichen wird. Alternativ oder zusätzlich ist es möglich, eine Abweichung der Ist-Pose des Sensors von der Soll-Pose des Sensors auf Basis einer Tiefpassfilterung einer Vielzahl gemeinsam betrachteter Abweichungswerte (innerhalb einer Aufnahme und/oder zwischen Aufnahmen) zwischen korrespondierenden Prototypen und Referenzprototypen und auf Basis eines Vergleichs der gefilterten Abweichungswerte mit wenigstens einem vordefinierten Abweichungsschwellenwert zu ermitteln. Durch beide vorstehend beschriebenen Methoden lässt sich erreichen, dass einzelne übermäßige und/oder fehlerhafte Abweichungen zwischen Prototypen und Referenzprototypen, welche beispielsweise aufgrund von Störeinflüssen wie Rauschen und/oder Fehldetektionen usw. bewirkt werden können, nicht zu einer ungewollten Verfälschung bzw. Verzerrung beim Ermitteln der tatsächlichen Abweichung der Ist-Pose von der Soll-Pose führen. Mit anderen Worten lässt sich auf diese Weise eine besonders robuste Überwachung einer Ist-Pose des Sensors erreichen, da ein Einfluss einzelner „Ausreißerwerte“ auf ein Gesamtermittlungsergebnis vorteilhaft abgeschwächt wird.
-
Weiter bevorzugt werden beim Ermitteln der Messpunkte nur solche die Aufnahmen repräsentierende Daten berücksichtigt, die vordefinierte Qualitätskriterien erfüllen (die z. B. ein geringes Rauschen und/oder hohe begleitende Konfidenzwerte aufweisen, usw.). Alternativ oder zusätzlich werden im erfindungsgemäßen Verfahren nur solche Messpunkte berücksichtigt, die mit Geschwindigkeitsinformationen verknüpft sind, welche jeweils Geschwindigkeiten repräsentieren, die unterhalb einer vordefinierten zweiten Geschwindigkeitsschwelle liegen.
-
In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung wird der Referenzdatensatz auf Basis einer Umfelderfassung durch den Sensor in einem vordefinierten, insbesondere in einem kalibrierten Zustand (d. h., in einem Soll-Zustand) des Sensors und/oder auf Basis einer Simulation des Umfeldes (z. B. auf Basis einer Verkehrssimulation) und/oder auf Basis von Kartendaten und/oder auf Basis eines Sensormodells erstellt. Mittels einer Simulation des Sensors und/oder einer Simulation einer Anordnung des Sensors in einem Umfeld lässt sich beispielsweise vorab eine optimale Pose für den Sensor ermitteln, welche anschließend bei einer tatsächlichen Installation des Sensors im realen Umfeld als Anordnungs- und Ausrichtungsvorgabe für den Sensor dient. Zudem ist es wie vorstehend beschrieben möglich, den Referenzdatensatz ausschließlich oder zusätzlich auf Basis von Simulationsdaten zu erstellen. Ferner ist es möglich, den Referenzdatensatz vor der Ausführung des erfindungsgemäßen Verfahrens zu erstellen (z. B. auf Basis eines relativ langen Messzeitraums von beispielsweise 10 min bis 30 min, um Störeinflüsse wie Rauschen zu minimieren) oder während der Ausführung des Verfahrens auf Basis zwischengespeicherter und/oder vorverarbeiteter Rohdaten des Sensors zu erstellen. In letzterem Fall lassen sich beispielsweise Aufnahmedaten aus einem oder mehreren vorangegangenen Durchläufen des erfindungsgemäßen Verfahrens als Grundlage für die Erstellung des Referenzdatensatzes verwenden, von denen bekannt ist, dass sie einen Soll-Zustand des Sensors repräsentieren. Mit anderen Worten werden die Referenzdaten vorzugsweise ebenfalls durch die Ausführung von Schritten des erfindungsgemäßen Verfahrens erstellt, wobei bestimmte Parameter wie beispielsweise die Festlegung des Messzeitraums zwischen einer Trainingsphase zum Ermitteln des Referenzdatensatzes und einer Ausführungsphase zum Ermitteln einer Abweichung von Inhalten innerhalb des Sichtfeldes des Sensors abweichen können. Alternativ oder zusätzlich lässt sich der Referenzdatensatz wie vorstehend beschrieben verwenden, um eine initiale Pose des Sensors einzustellen.
-
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird eine Vorrichtung zur Überwachung eines Sichtfeldes eines Sensors vorgeschlagen, wobei die Vorrichtung beispielsweise ein Bestandteil des Sensors selbst und/oder eine abseits des Sensors angeordnete Komponente ist. Die Vorrichtung ist beispielsweis unter Verwendung einer Auswerteeinheit eingerichtet, eine Vielzahl von Aufnahmen eines Umfeldes des Sensors zu empfangen, welche mittels des Sensors innerhalb eines vordefinierten Messzeitraums zu unterschiedlichen Zeitpunkten erzeugt werden, Messpunkte auf Basis der Aufnahmen zu ermitteln, welche jeweils Positionen und/oder Ausdehnungen von Objekten im Umfeld des Sensors repräsentieren, die ermittelten Messpunkte auf Basis einer vordefinierten Ähnlichkeitsmetrik zu gruppieren, wobei jede Gruppe von Messpunkten durch einen Prototyp repräsentiert wird, eine inhaltliche Veränderung innerhalb eines Sichtfeldes des Sensors auf Basis eines Abgleichs der Prototypen mit einem Referenzdatensatz zu ermitteln, wobei der Referenzdatensatz Referenzprototypen aufweist, deren zugrundeliegende Messpunkte in einem Referenzzustand des Sensors und des Umfeldes ermittelt wurden. Die Merkmale, Merkmalskombinationen sowie die sich aus diesen ergebenden Vorteile entsprechen den in Verbindung mit dem erstgenannten Erfindungsaspekt ausgeführten derart ersichtlich, dass zur Vermeidung von Wiederholungen auf die obigen Ausführungen verwiesen wird.
-
Gemäß einem dritten Aspekt der vorliegenden Erfindung wird ein Computerprogrammprodukt vorgeschlagen, welches eingerichtet ist, ein Verfahren nach vorstehender Beschreibung auszuführen. Gemäß einem vierten Aspekt der vorliegenden Erfindung wird ein maschinenlesbares Speichermedium vorgeschlagen, auf welchem das vorstehend genannte Computerprogrammprodukt gespeichert ist.
-
Kurze Beschreibung der Zeichnungen
-
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. Dabei zeigen:
- 1 ein Flussdiagramm veranschaulichend beispielhafte Verfahrensschritte eines erfindungsgemäßen Verfahrens;
- 2 eine Ansicht eines erfindungsgemäßen Sensors in Verbindung mit einem durch den Sensor zu erfassenden Umfeld;
- 3 ein Beispiel für identifizierte Messpunkte und Gruppen von Messpunkten innerhalb eines Sichtfeldes eines erfindungsgemäßen Sensors; und
- 4 ein Beispiel für einen erfindungsgemäß auszuwertenden Messzeitraum.
-
Ausführungsformen der Erfindung
-
1 zeigt ein Flussdiagramm veranschaulichend beispielhafte Verfahrensschritte eines erfindungsgemäßen Verfahrens zur Überwachung eines Sichtfeldes 12 eines stationären Sensors 10, welcher hier als Radarsensor zur Überwachung einer Verkehrsinfrastruktur ausgebildet ist.
-
In einem Vorverarbeitungsschritt 90 des erfindungsgemäßen Verfahrens werden durch eine Auswerteeinheit 70, welche informationstechnisch mit dem Sensor 10 verbunden ist, eine Vielzahl von Aufnahmen eines Umfeldes des Sensors 10 empfangen, welche mittels des Sensors 10 innerhalb eines vordefinierten Messzeitraums zu unterschiedlichen Zeitpunkten erzeugt werden. Der Messzeitraum weist hier beispielsweise eine Dauer von 4 s auf und eine Anzahl von Aufnahmen pro Sekunde beträgt hier 15. Zudem ist der Messzeitraum ein gleitender Messzeitraum, welcher über eine fortlaufende Sequenz von Aufnahmen des Sensors 10 mit einer vordefinierten Sprungweite von beispielsweise 0,5 s innerhalb der Sequenz der Einzelaufnahmen weiterbewegt wird. Für jeden Messzeitraum werden entsprechend die hier beschriebenen Verfahrensschritte wiederkehrend ausgeführt.
-
Im Vorverarbeitungsschritt 90 werden Daten, welche die Aufnahmen repräsentieren, gefiltert, um beispielsweise unplausible Daten und/oder verrauschte Daten und/oder für das Verfahren nicht erforderliche Daten zu entfernen.
-
In einem Schritt 100 des erfindungsgemäßen Verfahrens werden die im Schritt 90 gefilterten Aufnahmedaten von einem Hauptverarbeitungsalgorithmus der Auswerteeinheit 70 empfangen und in einer internen Speichereinheit 70 der Auswerteeinheit 70 gespeichert.
-
In einem Schritt 200 des erfindungsgemäßen Verfahrens werden auf Basis der Aufnahmedaten Messpunkte ermittelt, welche jeweils Positionen und/oder Ausdehnungen von Objekten im Umfeld des Sensors repräsentieren. Da der hier verwendete Radarsensor auf Basis der Umfeldmessungen bereits selbst das Umfeld repräsentierende Messpunkte und mit diesen jeweils verknüpfte Konfidenzwerte bereitstellt, bezieht sich das Ermitteln der Messpunkte in diesem Fall auf eine Extraktion der Messpunktinformationen aus den vom Sensor bereitgestellten Aufnahmedaten. In einem Fall, in dem der Sensor 10 beispielsweise nicht in der Lage ist, die Messpunktinformationen aus den Messungen des Umfeldes selbst zu ermitteln, erfolgt dieser Vorgang entsprechend in dem vorliegenden Schritt 200.
-
In einem nachfolgenden Schritt 300 werden die ermittelten Messpunkte auf Basis einer vordefinierten Ähnlichkeitsmetrik gruppiert, wobei jede Gruppe 35 (vgl. 3) von Messpunkten durch einen Prototyp 50 (vgl. 3) repräsentiert wird. Die hier verwendete Ähnlichkeitsmetrik definiert maximale Abstände zwischen jeweiligen Messpunkten im dreidimensionalen Raum, welche eingehalten werden müssen, um einzelne Messpunkte zu einer jeweiligen Gruppe zusammenzufassen. Zudem werden Geschwindigkeitsinformationen ausgewertet, welche durch den Sensor 10 für jeden Messpunkt bereitgestellt werden, um die Gruppierung der Messpunkte zusätzlich davon abhängig zu machen, ob sie jeweils ähnliche Geschwindigkeitsinformation aufweisen. Weitere Messgrößen des Sensors (beispielsweise Farbinformation für optische Sensoren) und/oder aus Messgrößen abgeleitet Werte (beispielsweise Standardabweichungen einer bestimmten Messgröße) können ebenfalls in die Ähnlichkeitsmetrik einbezogen werden.
-
Als Prototyp wird für jede Gruppe jeweils ein Punkt ermittelt, welcher beispielsweise einen geometrischen Schwerpunkt für sämtliche Messpunkte einer jeweiligen Gruppe darstellt.
-
In einem Schritt 350 werden innerhalb der ermittelten Prototypen stationäre Prototypen identifiziert, wobei stationäre Prototypen dadurch gekennzeichnet sind, dass ihre jeweils zugrundeliegenden Messpunkte im Wesentlichen stationäre Objekte im Umfeld des Sensors repräsentieren. Die stationären Prototypen werden dadurch identifiziert, dass zu einem jeweiligen Prototyp, der in der ersten Aufnahme innerhalb des Messzeitraums vorhanden ist, ein korrespondierender Prototyp in der letzten Aufnahme innerhalb des Messzeitraums vorhanden ist, wobei der korrespondierende Prototyp dadurch gekennzeichnet ist, dass er dasselbe stationäre Objekt repräsentiert, wie der Prototyp aus der ersten Aufnahme.
-
Alternativ oder zusätzlich werden die stationären Prototypen dadurch identifiziert, dass zu einem jeweiligen Prototyp sowohl ein zur Gruppe des Prototyps zugehöriger Messpunkt in wenigstens der ersten Aufnahme innerhalb des Messzeitraums als auch ein weiterer zur Gruppe des Prototyps zugehöriger Messpunkt in wenigstens der letzten Aufnahme innerhalb des Messzeitraums vorhanden ist. Dies erlaubt es mit hoher Wahrscheinlichkeit, dasselbe stationäre Objekt zu identifizieren.
-
Ob die zu betrachtenden Prototypen jeweils dasselbe stationäre Objekt repräsentieren wird hier beispielsweise auf Basis einer Betrachtung der Position der jeweiligen Prototypen im dreidimensionalen Raum ermittelt. Mit anderen Worten, wenn die zu betrachtenden Prototypen eine maximal zulässige Positionsabweichung zueinander nicht überschreiten, wird angenommen, dass sie dasselbe Objekt repräsentieren und dass die Prototypen stationäre Prototypen sind.
-
In einem Schritt 400 werden inhaltliche Veränderung innerhalb des Sichtfeldes des Sensors 10 auf Basis eines Abgleichs der stationären Prototypen 50 mit einem Referenzdatensatz 60 ermittelt, welcher Referenzprototypen aufweist, deren zugrundeliegende Messpunkte in einem Referenzzustand des Sensors 10 und des Umfeldes ermittelt wurden. Der Referenzdatensatz 60 ist hier in einer externen Speichereinheit 80 abgelegt, welche informationstechnisch mit der Auswerteeinheit 70 verbunden ist.
-
Die inhaltlichen Veränderungen werden auf Basis einer Transformationsvorschrift ermittelt, welche die ermittelten Prototypen auf korrespondierende Referenzprototypen des Referenzdatensatzes abbildet. Hierfür wird eine aus dem Stand der Technik bekannte Methode zur Punktregistrierung verwendet.
-
In einem Schritt 500 wird eine Art (translatorisch und/oder rotatorisch) und ein Ausmaß einer Abweichung einer Ist-Pose des Sensors 10 von einer Soll-Pose des Sensors 10 auf Basis der Transformationsvorschrift ermittelt. Die Werte dieser Transformationsvorschrift Φ können als Metrik für eine Erkennung einer inhaltlichen Veränderung genutzt werden. Weiterhin ist es möglich das Inverse der Transformationsvorschrift Φ
-1 auf die Referenzprototypen anzuwenden. Die maximale Abweichung eines Referenzprototypen r
i zu seinem zugehörigen transformierten Punkt Φ
-1(r
i) dient hierbei als Abschätzung der Stärke der gefundenen Transformation.
-
Um eine Robustheit des Verfahrens zu erhöhen, werden die Abweichungen unter Verwendung einer statistischen Vergleichsmethode ermittelt (z. B. mittels des bekannten Kolmogorov-Smirnov-Tests), bei welcher eine Verteilung von Metrikwerten unter der Annahme, dass es keine inhaltliche Änderung des Sichtfeldes des Sensors 10 gegeben hat, mit der aktuellen Verteilung der Metrikwerte für den Sensor 10 abgeglichen wird. Dadurch wird sichergestellt, dass einzelne, insbesondere fehlerbedingt stark abweichende Abweichungswerte und/oder Metrikwerte beim Ermitteln der tatsächlichen Abweichungen unberücksichtigt bleiben.
-
Auf Basis der ermittelten Abweichungen lassen sich anschließend geeignete Korrekturwerte ermitteln, um jeweilige Abweichungen der Sensorpose automatisch zu kompensieren. In einem Fall, in dem die jeweiligen Abweichungen zu hoch sind für eine automatische Kompensation und in dem vordefinierte Abweichungsschwellenwerte überschritten werden, ist es beispielsweise möglich, einen Service-Techniker automatisch per Textnachricht usw. zu informieren, dass eine manuelle Korrektur der Ist-Pose des Sensors 10 erfolgen muss.
-
2 zeigt eine Ansicht eines erfindungsgemäßen Sensors 10 in Verbindung mit einem durch den Sensor 10 zu erfassenden Umfeld 20.
-
Der Sensor 10 ist hier als Lidar-Sensor ausgebildet und an einer Schilderbrücke einer Autobahn angeordnet. Eine Ausrichtung eines Soll-Sichtfeldes 12 des Sensors 10 in einem Umfeld 20 des Sensors 10 stellt sicher, dass auf der Autobahn fahrende Fahrzeuge 40 für eine Verkehrsüberwachung erfassbar sind.
-
In einem hier gezeigten Fehlerfall weist der Sensor 10 eine rotatorische Abweichung bezüglich des Soll-Sichtfeldes 12 (welches mit einer Soll-Pose des Sensors 10 korrespondiert) auf, welche durch ein Ist-Sichtfeld 14 gekennzeichnet ist.
-
Aufgrund der rotatorischen Abweichung ergibt sich ohne eine Anwendung des erfindungsgemäßen Verfahrens und ohne eine Korrektur der Abweichung ein fehlerhaftes Bild des Umfeldes 20, sodass das Fahrzeug 40 an einer Position des Fahrzeuges 40' verortet wird. Durch die Anwendung des erfindungsgemäßen Verfahrens lässt sich eine solche Abweichung erkennen und entsprechend korrigieren.
-
3 zeigt ein Beispiel für identifizierte Messpunkte 30 und Gruppen 35 von Messpunkten 30 innerhalb eines Sichtfeldes 12 eines erfindungsgemäßen Sensors 10.
-
Es ist ersichtlich, dass die durch den Sensor 10 ermittelten Messpunkte 30 innerhalb des Sichtfeldes 12 auf Basis ähnlicher Positionen innerhalb des Sichtfeldes 12 gruppiert wurden.
-
Zudem ist für jede Gruppe 35 ein Prototyp 50 gezeigt, welcher jeweils als geometrischer Schwerpunkt der einzelnen Messpunkte 30 einer Gruppe 35 ermittelt wurde.
-
Zudem wurde eine Geschwindigkeitsinformation bezüglich der jeweiligen Messpunkte und/oder bezüglich der Prototypen 50 ausgewertet, sodass einer der Prototypen 50 als stationärer Prototyp 50` identifiziert wurde.
-
4 zeigt ein Beispiel für einen erfindungsgemäß auszuwertenden Messzeitraum T.
-
Auf einer in 4 gezeigten Zeitachse sind symbolisch jeweilige Messzeitpunkte tn (t1, t2, t3, ... t9) gezeigt, welche jeweils Zeitpunkte repräsentieren, zu denen mittels eines erfindungsgemäßen Sensors Aufnahmen eines Umfeldes des Sensors erzeugt werden.
-
Der Messzeitraum T ist als Messfenster anzusehen, welches sukzessive über die Vielzahl von Aufnahmen verschoben wird.
-
Zudem sind die erste Aufnahme innerhalb des Messzeitraums T, welche zum Zeitpunkt t1 erfasst wurde und die letzte Aufnahme innerhalb des Messzeitraums T, welche zum Zeitpunkt t9 erfasst wurde, schraffiert gekennzeichnet, da diese beiden Aufnahmen verwendet werden, um gemäß vorstehender Beschreibung stationäre Objekte innerhalb des Messzeitraums T zu identifizieren.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- EP 2041599 B1 [0005]
- DE 102016015582 A1 [0006]