DE102021203976A1

DE102021203976A1 - Verfahren zur Ermittlung von Signallaufzeiten und System zur Fusion von Sensordaten mindestens zweier Sensoren zur Objekterkennung

Info

Publication number: DE102021203976A1
Application number: DE102021203976.6A
Authority: DE
Inventors: Joachim Boerger
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-04-21
Filing date: 2021-04-21
Publication date: 2022-10-27
Also published as: AT524964A2; CN115225189A; US11831404B2; US20220345237A1

Abstract

Nach einem ersten Aspekt der Erfindung wird ein Verfahren zum Synchronisieren von mindestens zwei Umfeldsensoren eines Multisensorsystems mit einer zentralen Recheneinheit vorgeschlagen, welches die folgenden Schritte aufweist: Zunächst werden durch die Umfeldsensoren Sensorsignale erfasst, die mindestens eine Umfeldinformation repräsentieren. In einem nächsten Schritt werden durch die jeweiligen Umfeldsensoren Datenpakete erzeugt, welche die jeweils erfassten Sensorsignale und/oder aus den Sensorsignalen abgeleitete Messgrößen umfassen. In einem weiteren Schritt werden diese Datenpakete von der zentralen Recheneinheit über ein Datennetzwerk empfangen. Erfindungsgemäß werden Signallaufzeiten der Datenpakete für jeden Umfeldsensor mittels eines Algorithmus ermittelt, wobei eine mittlere Signallaufzeit von Datenpaketen eines jeweiligen Umfeldsensors basierend auf einem inhaltlichen Vergleich der von den Datenpaketen umfassten Messgrößen mit entsprechenden Messgrößen aus Datenpaketen mindestens eines anderen Umfeldsensors bestimmt werden und die bestimmte mittlere Signallaufzeit dem jeweiligen Umfeldsensor zugeordnet wird.

Description

Die Erfindung betrifft ein Verfahren zur Ermittlung von Signallaufzeiten, sowie ein System zur Fusion von Sensordaten mindestens zweier Sensoren zur Objekterkennung, in dem ein derartiges Verfahren zum Einsatz kommt. Die Erfindung betrifft ferner ein Computerprogramm.
Stand der Technik
In sogenannten Multisensor-Systeme werden mehrere Umfeldsensoren zur Erfassung einer Umgebung, beispielsweise eines Fahrzeugs eingesetzt. In herkömmlichen System werden die Sensoren in jeweiliger Nähe zueinander verbaut (zB Video + Radar im Fahrzeug), wodurch Laufzeitunterschiede nur in minimalen Bereichen entstehen. Seriensysteme werden zudem so konzipiert, dass Laufzeitunterschiede konstant und bekannt sind, d.h. diese können bei der Auswertung und Sensordatenfusion in einfacher Weise herausgerechnet werden.
Andere verteile Sensorsysteme, z.B. Überwachungskameras, verfügen über NTP (Network Time Protocol) oder ähnliche Möglichkeiten zum Synchronisieren der internen Uhrzeit.
Neuartige, komplex verteilte Sensorsysteme, bestehend nicht nur aus unterschiedlichen Sensorsystemen, sondern auch über große Flächen verteilt angeordnete Sensoren (z.B. mehrere Autobahntunnel) benötigen wiederum komplexe Netzwerkarchitekturen, da einfache Ethernetverbindungen aufgrund Kabellängenbeschränkung etc. hier eventuell nicht mehr möglich sind. Die benötigten Switches, Konverter, Funkverbindungen etc. führen nicht nur zu höheren, sondern auch variablen oder unbekannten Veränderungen der Signallaufzeiten.
Derartige Multi-Sensor Systeme können z.B. zur infrastrukturgestützten Unterstützung für teil- oder vollautomatisierte Fahrzeuge eingesetzt werden, um beispielsweise die verschiedenen Stärken von unterschiedlichen Typen von Umfeldsensoren zu ergänzen, z.B. eine hohe laterale Präzision von Kameras zusammen mit einer hohen longitudinalen Präzision einer Radarsensorik. Weiterhin kann mittels eines Multi-Sensor Systems meist ein größerer Sichtbereich abgedeckt werden, als mit einem Einzelsensor. Ferner sind Multi-Sensor Systeme geeignet, um bestimmte Sicherheitsanforderungen zu erfüllen, z.B. die redundante Objektdetektion durch unabhängige, auf verschiedenen physikalischen Messprinzipien beruhende Sensortypen.
Ein solches Multi-Sensor System umfasst üblicherweise eine Vielzahl von Umfeldsensoren, die die von ihnen erfassten Mess- bzw. Objektdaten in Form von Datenpaketen über ein Datennetzwerk an eine zentrale Recheneinheit (Fusionsserver) schicken, wo die Mess- bzw. Objektdaten beispielsweise weiterverarbeitet und fusioniert werden können. Die Signallaufzeiten der Datenpakete sind in der Regel für jeden der beteiligten Umfeldsensoren unterschiedlich, was beispielsweise durch die Netzwerkarchitektur (z.B. Kabellänge, Switches, Firewalls, VPN, ...) und/oder durch die Signalverarbeitung des Umfeldsensors bedingt sein kann.
Unter der Voraussetzung, dass die Umfeldsensoren zuvor, z.B. per NTP (Network Time Protocol) miteinander synchronisiert wurden, treffen von jedem Umfeldsensor gesendete Datenpakete jeweils mit einem absoluten Zeitstempel t_Stamp ein. Alternativ, bei bekannten Signallaufzeiten dt, kann im Modul der zentralen Recheneinheit dieser Zeitstempel im Nachhinein berechnet werden durch t_Stamp := t_Now - dt, wobei t_Now den Zeitpunkt des Eintreffens des Datenpakets bezeichnet.
Um die Mess- bzw. Objektdaten nach dem Eintreffen in der zentralen Recheneinheit weiterzuverarbeiten, werden die gemessenen Daten (z.B. Objektpositionen) üblicherweise mittels Prädiktion / Retrodiktion vorab auf gleiche Zeitstempel umgerechnet. Danach können Fusionsalgorithmen etc. eingesetzt werden.
In realen Aufbauten verfügen manche, insbesondere einfach aufgebaute Umfeldsensoren oft nicht über einen derartigen NTP Mechanismus o.ä., und die Signallaufzeiten dt sind unbekannt oder sogar variabel. Eine mögliche Strategie ist es dann beispielsweise, die Signallaufzeit zu ignorieren, und Zeitstempel beim Eintreffen des jeweiligen Datenpakets zu vergeben: t_Stamp := t_Now.
Aus Erfahrung sind Laufzeiten der Größenordnung dt = 10...50 ms realistisch. Werden z.B. schnelle Objekte erfasst, z.B. Fahrzeuge auf einer Autobahn mit Geschwindigkeiten bis zu v = 180 km/h, kann dies im schlechtesten Fall eine Abweichung von bis zu 2,5 Metern erzeugen. Die Fusion von Daten mit einer solch großen Unschärfe kann dadurch stark beeinträchtigt werden, und die resultierende Genauigkeit der fusionierten Objektposition genauso.
Hierdurch können schlimmstenfalls sogenannte „false negative Events“ entstehen, wenn z.B. zur Konfidenzermittlung eine Übereinstimmung zweier Sensorkonzepte benötigt wird. Ein entsprechendes System könnte also im schlimmsten Fall nicht eingreifen, und ein eventueller Unfall besonders bei schnellen Fahrzeugen kann nicht verhindert werden.
Aus der CN 104035752 A ist ein fahrzeugbasiertes Multi-Sensorsystem bekannt.
Die DE 11 2011 100 223 T5 offenbart die Zeitsynchronisation von durch mehrere Messgeräte durchgeführten Messungen.
Die DE 10 2017 108 765 A1 offenbart Vorrichtungen, Verfahren und Computerprogramme zum Ermitteln und Übertragen in einem Mobilkommunikationssystem und ein System zum zeitsynchronen Abtasten.
Eine Aufgabe der Erfindung kann daher darin gesehen werden, eine Möglichkeit zu schaffen, Signallaufzeiten von nicht vorab synchronisierten Umfeldsensoren eines vernetzten Sensorsystems zuverlässig zu bestimmen.
Offenbarung der Erfindung
Nach einem ersten Aspekt der Erfindung wird ein Verfahren zum Synchronisieren von mindestens zwei Umfeldsensoren eines Multisensorsystems mit einer zentralen Recheneinheit vorgeschlagen, welches die folgenden Schritte aufweist: Zunächst werden durch die Umfeldsensoren Sensorsignale erfasst, die mindestens eine Umfeldinformation repräsentieren. Insbesondere können die Sensorsignale Informationen über ein oder mehrere Objekte im Umfeld des Umfeldsensors umfassen. Die Umfeldsensoren können beispielsweise stationär an einer Straße oder einer Verkehrsinfrastruktur angeordnet sein. Die Umfeldsensoren können beispielsweise Radarsensoren und/oder Lidarsensoren und/oder Kameras umfassen, wobei beispielsweise mindestens zwei der Umfeldsensoren unterschiedlich ausgebildet sind. Es ist jedoch ebenso möglich, dass die Umfeldsensoren gleichartig ausgebildet sind.
Die Umfeldsensoren können beispielsweise stationär innerhalb einer Infrastruktur angeordnet sein, beispielsweise an einer Fahrbahn oder im Bereich einer Tunneleinfahrt oder innerhalb eines Tunnels. Alternativ oder zusätzlich können manche oder alle der Umfeldsensoren beispielsweise an einem Fahrzeug angeordnet sein. Die zentrale Recheneinheit kann ebenfalls stationär ausgebildet sein, beispielsweise als Server oder als sogenannte RSU (Road Side Unit).
In einem nächsten Schritt werden durch die jeweiligen Umfeldsensoren Datenpakete erzeugt, welche die jeweils erfassten Sensorsignale und/oder aus den Sensorsignalen abgeleitete Messgrößen umfassen.
In einem weiteren Schritt werden diese Datenpakete von der zentralen Recheneinheit über ein Datennetzwerk empfangen. Das Datennetzwerk kann drahtgebundene und/oder drahtlose Datenübertragungswege aufweisen.
Erfindungsgemäß werden Signallaufzeiten der Datenpakete für jeden Umfeldsensor mittels eines Algorithmus ermittelt, wobei eine mittlere Signallaufzeit von Datenpaketen eines jeweiligen Umfeldsensors basierend auf einem inhaltlichen Vergleich der von den Datenpaketen umfassten Messgrößen mit entsprechenden Messgrößen aus Datenpaketen mindestens eines anderen Umfeldsensors bestimmt werden und die bestimmte mittlere Signallaufzeit dem jeweiligen Umfeldsensor zugeordnet wird.
Mit anderen Worten erfolgt ein Vergleich der von zwei verschiedenen Umfeldsensoren erfassten Messgrößen wobei ein Zeitversatz dt bestimmt wird, für den die Messgrößen z.B. innerhalb einer gewissen Fehlertoleranz übereinstimmen. Dieser Zeitversatz dt beschreibt dann den relativen Unterschied in der Signallaufzeit der beiden betrachteten Umfeldsensoren. Um den Zeitversatz dt zu bestimmen, können an sich bekannte Verfahren, beispielsweise ein Matching-Algorithmus in Verbindung mit einer Outlier-Detection verwendet werden, alternativ ein Verfahren basierend auf Kreuzkorrelation oder ähnliches.
Die Messgrößen, die gemäß der Erfindung inhaltlich miteinander verglichen werden, können beispielsweise einen Abstand zu einem Objekt und/oder eine Objektposition und/oder eine Geschwindigkeit eines Objekts und/oder eine Objektklasse und/oder eine Objektform und/oder eine Objekthöhe umfassen.
Bevorzugt kann nun basierend auf dem bestimmten Zeitversatz dt jedes Datenpaket mit einem korrigierten Zeitstempel versehen werden, wobei der korrigierte Zeitstempel mittels der ermittelten mittleren Signallaufzeit für den jeweiligen Umfeldsensor bestimmt wird, der das Datenpaket sendet. Ein sich gegebenenfalls anschließender Fusionsschritt kann auf Basis der korrigierten Zeitstempel erfolgen, was die Qualität und Zuverlässigkeit einer Sensordatenfusion erhöht.
Besonders bevorzugt wird einer der Umfeldsensoren als Referenzsensor ausgewählt und Signallaufzeiten der Datenpakete der anderen Umfeldsensoren werden basierend auf einem inhaltlichen Vergleich von Messgrößen mit entsprechenden, durch den Referenzsensor erfassten Messgrößen bestimmt. Ein korrigierter Zeitstempel der Datenpakete kann nun jeweils relativ bezüglich des Referenzsensors bestimmt werden. Eine Signallaufzeit zwischen dem Referenzsensor und der zentralen Recheneinheit kann vorab bestimmt werden, insbesondere mittels Network Time Protocol (NTP), wobei den Datenpaketen des Referenzsensors ein absoluter Zeitstempel basierend auf dieser Signallaufzeit zugeordnet wird. Damit kann dem Referenzsensor eine absolute Zeitbasis zugeordnet werden.
In einer bevorzugten Ausführung der Erfindung können mittlere Signallaufzeiten der Datenpakete für die Umfeldsensoren mittels eines Matching-Algorithmus berechnet werden. Hierbei wird für jeden Umfeldsensor durch Vergleich der eintreffenden Datenpakete mit den eintreffenden Datenpaketen eines Referenz-Umfeldsensors die Signallaufzeit ermittelt.
Besonders bevorzugt erfolgt die Ermittlung der Signallaufzeiten, indem für zumindest ein Paar von Umfeldsensoren eine Menge von Quadrupeln aus durch einen ersten Umfeldsensor erfasste Messgröße x₁, zugehörige unkorrigierte, erster Messzeit t₁, durch einen zweiten Umfeldsensor erfasste Messgröße x₂, zugehörige unkorrigierte, zweiter Messzeit t₂, bestimmt wird für die gilt,

• dass die erste Messgröße und die zweite Messgröße: x₁ = x₂ (z.B. durch Interpolation der Messwerte) und
• dass der Unterschied zwischen der unkorrigierten, ersten Messzeit t₁ und der unkorrigierten, zweiten Messzeit t₂ kleiner als ein vorgegebener Grenzwert c ist: $| t_{1} - t_{2} | < c,$
und

• dass zu der ersten Messzeit t₁ keine weiteren Sensorsignale durch den ersten Umfeldsensor erfasst wurden, die eine Messgröße nahe (innerhalb eines Intervalls x₁ ± d) der ersten Messgröße ergeben und dass zu der zweiten Messzeit t₂ keine weiteren Sensorsignale durch den zweiten Umfeldsensor erfasst wurden, die eine Messgröße nahe (innerhalb eines Intervalls x₂ ± d) der zweiten Messgröße ergeben, d.h. weder (x₁', t₁) mit |x₁ - x₁'| <d noch (x₂', t₂) mit |x₂ - x₂'| <d gilt,

_1,2

₁

₂

₁

₂

_1,2,final

Hierbei kann z.B. hypothetisch angenommen werden, dass die Signallaufzeit dt₁ oder dt₂ = 0 ist. Die eintreffenden Datenpakete des andere Umfeldsensors können mit einem bezüglich des Referenzsensors korrigierten Zeitstempel versehen werden. Wird z.B. der zweite Umfeldsensor als Referenzsensor gewählt, so gilt dt₂ = 0 und t₁ = t₂ + dt_1,2,final.
Nach einem zweiten Aspekt der Erfindung wird ein Verfahren zur Fusion von Sensorsignalen von mindestens zwei Umfeldsensoren mittels einer zentralen Recheneinheit vorgeschlagen, umfassend die Schritte

• Erfassen von Sensorsignalen, die mindestens eine Umfeldinformation repräsentieren durch die Umfeldsensoren,
• Erzeugen von Datenpaketen umfassend die jeweils erfassten Sensorsignale und/oder aus den Sensorsignalen abgeleitete Messgrößen durch die Umfeldsensoren, wobei für jeden Umfeldsensor eine mittlere Signallaufzeit gemäß einem Verfahren nach dem ersten Aspekt der Erfindung;
• Empfangen der Datenpakete der Umfeldsensoren von der zentralen Recheneinheit über ein Datennetzwerk, wobei jedem Datenpaket basierend auf der mittleren Signallaufzeit des jeweiligen Umfeldsensor ein Zeitstempel zugeordnet wird;
• Fusionieren der von den Datenpaketen umfassten Sensordaten basierend auf dem jeweiligen Zeitstempel.

Nach einem dritten Aspekt der Erfindung wird ein Multisensor-System zur Fusion von Sensordaten zur Objekterkennung vorgeschlagen, das mindestens zwei Umfeldsensoren und eine zentrale Recheneinheit aufweist. Die zentrale Recheneinheit, die auch als Fusionsserver bezeichnet werden kann ist ausgebildet, die Umfeldsensoren mittels eines Verfahrens gemäß dem ersten Aspekt der Erfindung zu synchronisieren und die von den Umfeldsensoren gesendeten Datenpaketen umfassten Sensordaten basierend auf ermittelten Signallaufzeiten zu fusionieren.
Die Erfindung erlaubt vorteilhaft die Ermittlung von Signallaufzeiten in einem Multisensor- und Fusionssystem mit komplexer, teils unbekannter Netzwerkarchitektur. Dank der präzisen, datengetriebenen Ermittlung der Signallaufzeiten können Datenpakete von verschiedenen und beliebigen Sensoren auf eine gemeinsame Zeitbasis umgerechnet werden.
Die Erfindung ermöglicht so eine optimierte Fusion der Messergebnisse mehrerer Umfeldsensorsysteme, besonders bei Detektion von schnell bewegten Objekte. Weiterhin wird eine hohe Messgüte, auch unabhängig von der Fusion, erreicht, da Messfehler, die durch eine fehlerbehaftete Signallaufzeit entstehen würden, eliminiert werden. Weiterhin ermöglicht die Erfindung die Vermeidung von sogenannten „False Positives“: Wenn ein Fusionsalgorithmus z.B. aufgrund von durch fehlerbehaftete Signallaufzeiten verursachten Messfehlern zwischen zwei Messungen kein Matching und damit keine Zusammenführung der Sensorsignale oder Messgrößen erzielen kann, bleiben je nach Design im Allgemeinen beide Messungen erhalten, so dass eine der Messung überflüssig ist und zu ungewünschten Reaktionen führen kann (z.B. autonome Notbremsung). Die Erfindung erlaubt außerdem ein Monitoring des Gesamtsystems durch Überwachung der Signallaufzeiten auf Veränderungen hin.
Falls im Gesamtsystem auch nur ein Umfeldsensor mit einer absoluten Zeitbasis ausgestattet ist, kann dieser als Referenz verwendet werden, um mit dem beschriebenen Verfahren alle verbundenen Sensoren ebenfalls dieselbe Zeitbasis (z.B. Atomzeit) einzustellen. Dank den im vorgestellten Verfahren ermittelten einzelnen Signallaufzeiten dt ist ein Abgleich mit der lokalen Uhrzeit und folgende Korrektur trivial.
Die erfindungsgemäße Ermittlung der Signallaufzeiten kann bevorzugt nicht nur einmalig geschehen. Läuft das Verfahren permanent mit, und die Signallaufzeiten der beteiligten Umfeldsensoren werden ständig neu bestimmt, kann insbesondere sichergestellt werden, dass beispielsweise bei einer Umkonfiguration des Datennetzwerks schnell die neuen korrigierten Laufzeiten und somit auch korrigierte Zeitstempel ermittelt werden. Große Abweichungen der relativen Signallaufzeiten können so beispielsweise zur Diagnose verwendet werden, um zum Beispiel einen Systemzustand als unsicher zu klassifizieren und entsprechende Maßnahmen zu ergreifen. Weitere Anwendungen mit deutlich größeren Signallaufzeiten, z.B. auch über drahtlose Datenverbindungen (z.B. Funkverbindungen) sind denkbar.
Figurenliste
Unter Bezugnahme auf die beigefügten Figuren werden Ausführungsformen der Erfindung im Detail beschrieben.

1 zeigt schematisch ein Multisensor-System zur Fusion von Sensordaten zur Objekterkennung nach einem Ausführungsbeispiel der Erfindung.
2 zeigt beispielhaft ein Diagramm von mittels eines Multisensor-System zur Fusion von Sensordaten zur Objekterkennung gemäß der Erfindung erfassten Messgrößen über der Zeit.
3 zeigt ein Ablaufdiagramm eines Verfahrens zum Synchronisieren von zwei Umfeldsensoren eines Multisensorsystems gemäß einem Ausführungsbeispiel der Erfindung.
4 zeigt ein Ablaufdiagramm eines Verfahrens zur Fusion von Sensorsignalen von zwei Umfeldsensoren gemäß einem Ausführungsbeispiel der Erfindung.

Bevorzugte Ausführungen der Erfindung
In der nachfolgenden Beschreibung der Ausführungsbeispiele der Erfindung werden gleiche Elemente mit gleichen Bezugszeichen bezeichnet, wobei auf eine wiederholte Beschreibung dieser Elemente gegebenenfalls verzichtet wird. Die Figuren stellen den Gegenstand der Erfindung nur schematisch dar.
1 zeigt ein Multisensor-System 10 zur Fusion von Sensordaten zur Objekterkennung nach einem Ausführungsbeispiel der Erfindung. Das Multisensorsystem 10 umfasst in diesem Beispiel zwei Umfeldsensoren 12, 14, wobei der erste Umfeldsensor 12 als Kamerasensor ausgebildet ist und der zweite Umfeldsensor 14 als Radarsensor ausgebildet ist. Die Umfeldsensoren 12, 14 sind in diesem Beispiel stationär innerhalb einer Straßen-Infrastruktur angeordnet und erfassen Objekte 50, beispielsweise Verkehrsteilnehmer, die sich innerhalb eines bestimmten Bereichs einer Straße bzw. Fahrbahn bewegen. Beispielsweise können die Umfeldsensoren einen Einfahrtsbereich eines Tunnels erfassen und/oder das Innere eines Tunnels. Im Rahmen der Erfindung ist es alternativ jedoch auch denkbar, dass einer oder mehrere Umfeldsensoren des Multisensor-Systems nicht-stationär, also beispielsweise an Bord eines Fahrzeugs angeordnet sind.
Die von den Umfeldsensoren 12 und 14 erfassten Sensorsignale repräsentieren Umfeldinformationen, beispielsweise Informationen über Positionen von Objekten im jeweiligen Erfassungsbereich der Umfeldsensoren 12 und 14. Aus den erfassten Sensorsignalen lassen sich Messgrößen ableiten, die die Umfeldinformationen charakterisieren, z.B. ein Abstand zwischen dem jeweiligen Umfeldsensor 12, 14 und einem Objekt 50. Die Sensorsignale und/oder die daraus abgeleiteten Messgrößen werden von dem jeweiligen Umfeldsensor 12, 14 an eine zentrale Recheneinheit 30 in Form von Datenpaketen 22, 24 über ein Datennetzwerk 40 gesendet. Die zentrale Recheneinheit 30 ist ausgebildet, die von den Datenpaketen 22, 24 umfassten Umfeldinformationen zusammenzuführen (zu fusionieren) und so beispielsweise ein umfassendes und zuverlässiges Umfeldmodell zu erstellen.
Bedingt durch die spezifische Netzwerkarchitektur (Kabellänge, Switches, Firewalls, VPN, ...) des Datennetzwerks 40 kommen die Datenpakete 22, 24 üblicherweise mit unterschiedlichen Zeitverzögerungen dt_Radar und dt_Kamera an der zentralen Recheneinheit 30 an. Um die Daten nach dem Eintreffen in der zentralen Recheneinheit 30 weiterzuverarbeiten, müssen die Daten vor der Fusion auf gleiche Zeitstempel umgerechnet werden.
Im vorliegenden Beispiel ist der erste Umfeldsensor 12 (Kamerasensor) per NTP (Network Time Protocol) vorab synchronisiert worden, so dass die Datenpakete 22 einen absoluten Zeitstempel t_stamp aufweisen. Der zweite Umfeldsensor 14 ist im vorliegenden Bild nicht vorab synchronisiert worden, so dass zunächst eine genaue Signallaufzeit der Datenpakete 24 durch das Datennetzwerk 40 ermittelt werden muss.
Erfindungsgemäß werden Signallaufzeiten der Datenpakete 24 für den zweiten Umfeldsensor 14 mittels eines Algorithmus ermittelt, indem die von den Datenpaketen 24 umfassten Messgrößen inhaltlich mit den von den Datenpakten 22 des ersten Umfeldsensors 12 umfassten Messgrößen verglichen werden. Im vorliegenden Beispiel wird von beiden Umfeldsensoren 12 und 14 als Messgröße ein zeitabhängiger Abstand d zu einem Objekt 50 bestimmt. Die gemessenen Abstände können nach Umrechnung in ein einheitliches Koordinatensystem verglichen werden und eine mittlere Signallaufzeit relativ zu dem absoluten Zeitstempel t_stamp des ersten Umfeldsensors 12 bestimmt werden.
Dieses Vorgehen ist in 2 näher erläutert. 2 zeigt ein Diagramm möglicher durch die Umfeldsensoren 12 und 14 erfasster Messgrößen. Hierbei treffen der zentralen Recheneinheit 30 von den Umfeldsensoren 12 und 14 gesendete Datenpakete umfassend Messgrößen ein ein, wobei die Zeitstempel für jeden Messwert zunächst einfach dem Zeitpunkt des Eintreffens des Datenpakets in der zentralen Recheneinheit 30 entsprechen. Von dem ersten Umfeldsensor 12 (dem Kamerasensor) werden die Messkurven 212', 212'', 212''' empfangen, die zeitabhängige Distanzen zu drei erfassten Objekten im Erfassungsbereich der Umfeldsensoren 12, 14 repräsentieren. Jeder Messpunkt hat die Koordinate (dx_Kamera, t_{StampKamera,Receive}). Von dem zweiten Umfeldsensor 14 (dem Radarsensor) werden die Messkurven 214', 214'', 214''' empfangen, die ebenfalls zeitabhängige Distanzen zu denselben drei erfassten Objekten im Erfassungsbereich der Umfeldsensoren 12, 14 repräsentieren. Jeder Messpunkt hat die Koordinate (dx_Radar, t_{StampRadar,Receive}).
Die drei erfassten Objekte, bei denen es sich beispielsweise um Fahrzeuge handeln kann, entfernen sich in diesem Beispiel mit konstanter Geschwindigkeit von der Sensorik (dh. dx nimmt zu). Stark betont dargestellt ist der zeitliche Versatz dt', dt'', dt''' zwischen dem Eintreffen der Kameradaten und den deutlich späteren Radardaten. Die Signallaufzeiten der Umfeldsensoren 12 und 14 werden mit dt_Kamera und dt_Radar bezeichnet.
Per Definition gilt: $t_{StampKamera} + {dt}_{Kamera} = t_{StampKamera, Receive}$
$t_{StampRadar} + {dt}_{Radar} = t_{StampRadar, Receive}$

wobei t_StampKamera, dt_Kamera, t_StampRadar und dt_Radar zunächst unbekannt sind. Im ersten Schritt werden noch keine absoluten Zeitstempel in Betracht gezogen, dh. die Umfeldsensoren 12 und 14 werden zunächst untereinander synchronisiert.
Es werden dazu die jeweiligen Signallaufzeiten dt_Radar und dt_Kamera bis auf eine additive Konstante bestimmt: Gesucht ist der zeitliche Versatz dt_Radar,Kamera = dt_Radar - dt_Kamera
Hierfür kann ein bekannter Matching-Algorithmus in Verbindung mit einer Outlier-Detection verwendet werden, alternativ kann ein Verfahren basierend auf Kreuzkorrelation oder ähnlichem eingesetzt werden. Die genaue Wahl des Algorithmus soll hier nicht eingeschränkt werden, aber zur Veranschaulichung dient folgende Möglichkeit:

Bestimmt wird mittels dem Matching-Algorithmus zunächst eine hinreichend große Menge von Quadrupeln (dx_Radar, t_{Kamera,Receive}, dX_Kamera, t_{Radar,Receive}) für die die folgenden Bedingungen erfüllt sind:
- - dx_Radar = dx_Kamera (falls keine übereinstimmenden Messwerte für die Distanz d vorliegen, können diese z.B. durch Interpolation ermittelt werden)
- - |t_{Radar,Receive} - t_{Kamera,Receive}| < c,
- - es gibt zum selben Zeitpunkt KEINE weiteren Messungen in der räumlichen Umgebung, um Fehlmatches zu vermeiden, dh weder (dx'_Radar, t_{Radar,Receive}) mit |dx_Radar - dx'_Radar| < d noch (dx'_Kamera, t_{Kamera,Receive}) mit |dx_Kamera - dx'^Kamera| < d
wobei c, und d vorab bestimmte Schwellenwerte beschreiben.

In einem nächsten Schritt werden für jedes dieser Quadrupel (Matches) die jeweiligen Signallaufzeitdifferenzen dt_Radar,Kamera = dt_Radar - dt_Kamera = t_Radar - t_Kamera berechnet.
Nun kann die Laufzeitdifferenz dt_Radar,Kamera durch Mittelung, z.B. als Median, einer hinreichend über die Zeit verteilten Menge aus Einzelresultate aus dem vorhergehenden Schritt berechnet werden.
Im Folgenden kann der erste Umfeldsensor 12 (Kamerasensor) wird als Referenz gewählt werden. Es wird vorerst hypothetisch angenommen, dass die Signallaufzeit dt_Kamera = 0 ist. Die zum Zeitpunkt t_Now eintreffenden Datenpakete des zweiten Umfeldsensors 14 (Radardaten) können nun mit einem relativ zum ersten Umfeldsensor 12 korrigierten Zeitstempel t_Radar,Kamera versehen werden: $t_{Radar, Kamera} : = t_{Now} - {dt}_{Radar, Kamera}$
Durch NTP oder ähnliche Mechanismen kann gewährleistet werden, dass der erste Umfeldsensor 12 (oder ein beliebiger anderer Referenzsensor im System) zeitsynchron zum Fusionsserver ist. Somit können für alle eintreffenden Sensorpakete 22, 24 final die korrekten Zeitstempel in der Zeitbasis des Fusionsservers vergeben werden:

Dazu wird zunächst dt_Kamera bestimmt, indem bei Versand der Datenpakete 22 in dem ersten Umfeldsensor 12 ein interner Zeitstempel t_Kamera,Send vergeben wird.
dt_Kamera kann dann dank der synchronisierten Zeitgebder des ersten Umfeldsensors 12 und der zentralen Recheneinheit 30 direkt „abgelesen“ werden als dt_Kamera := t_{Kamera,Receive} - t_Kamera,Send

Auch hierbei ist es vorteilhaft, mehrere Messungen gemittelt, z.B. via Median, zu betrachten, um größere Stabilität zu erzielen.
Nun kann auch für den nicht über NTP synchronisierten Umfeldsensor 14, im Beispiel also den Radarsensor, die tatsächliche, absolute Signallaufzeit bestimmt werden: dt_Radar = dt_Radar,Kamera + dt_Kamera
Dank der nun bekannten Signallaufzeiten kann beim Eintreffen jedes Datenpakets in der zentralen Recheneinheit 30 der korrekte Zeitstempel in der Zeitbasis der zentralen Recheneinheit 30 vergeben werden: $t_{Radar, Measured} : = t_{Radar, Received} - {dt}_{Radar tKamera, Measured} : = t_{Camera, Received} - {dt}_{Kamera}$
(entsprechend t_Kamera,Send, bis auf minimale Schwankungen, falls sich die Signallaufzeiten ändern)
Dieses Prinzip kann im Rahmen der Erfindung auf allgemeine Szenarien mit mehr als zwei Umfeldsensoren übertragen werden: Die zuvor beschriebene Bestimmung der Signallaufzeitdifferenz dt_Radar,Kamera wird bei mehreren Umfeldsensoren auf jeden einzelnen Umfeldsensor angewandt, dh. es wird beispielsweise immer die Signallaufzeitdifferenz zu einem ersten, ausgewählten Umfeldsensor bestimmt, der als Referenzsensor dient. Alternativ ist ein randomisiertes Matching mit zufällig ausgewählten Paaren von Umfeldsensoren oder ein vollständiges Matching aller Umfeldsensoren zueinander denkbar. Dies erfordert zwar einen höheren Rechenaufwand, kann aber die Stabilität des Systems erhöhen.
In 3 ist ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zum Synchronisieren von zwei Umfeldsensoren eines Multisensorsystems mittels einer zentralen Recheneinheit, als Ablaufdiagramm dargestellt. In einem ersten Schritt 310 werden Sensorsignale, die mindestens eine Umfeldinformation repräsentieren durch die Umfeldsensoren erfasst. In einem zweiten, darauffolgenden Schritt 320 werden Datenpakete erzeugt, die die jeweils erfassten Sensorsignale und/oder aus den Sensorsignalen abgeleitete Messgrößen durch die Umfeldsensoren erzeugt. In einem darauffolgenden dritten Schritt 330 werden die Datenpakete der Umfeldsensoren von der zentralen Recheneinheit über ein Datennetzwerk empfangen. In einem vierten Schritt 340 werden Signallaufzeiten der Datenpakete für jeden Umfeldsensor mittels eines Algorithmus ermittelt, wobei eine mittlere, relative Signallaufzeit von Datenpaketen eines der Umfeldsensoren basierend auf einem inhaltlichen Vergleich der von den Datenpaketen umfassten Messgrößen mit entsprechenden Messgrößen aus Datenpaketen des anderen Umfeldsensors bestimmt wird und die bestimmte mittlere relative Signallaufzeit dem jeweiligen Umfeldsensor zugeordnet wird.
In 4 ist ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zur Fusion von Sensorsignalen von zwei Umfeldsensoren mittels einer zentralen Recheneinheit mittels einer zentralen Recheneinheit, als Ablaufdiagramm dargestellt. In einem ersten Schritt werden Sensorsignale, die mindestens eine Umfeldinformation repräsentieren durch die Umfeldsensoren erfasst. In einem zweiten Schritt 420 werden Datenpaketen umfassend die jeweils erfassten Sensorsignale und/oder aus den Sensorsignalen abgeleitete Messgrößen durch die Umfeldsensoren erzeugt, wobei für jeden Umfeldsensor eine mittlere Signallaufzeit gemäß einem Verfahren nach dem ersten Aspekt der Erfindung bestimmt wird. In einem folgenden Schritt 430 werden Datenpakete der Umfeldsensoren von der zentralen Recheneinheit über ein Datennetzwerk empfangen, wobei jedem Datenpaket basierend auf der zuvor ermittelten mittleren Signallaufzeit des jeweiligen Umfeldsensor ein Zeitstempel zugeordnet wird. In einem folgenden Schritt 440 werden die von den Datenpaketen umfassten Sensordaten basierend auf dem jeweiligen Zeitstempel durch die zentrale Recheneinheit fusioniert.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

CN 104035752 A [0012]
DE 112011100223 T5 [0013]
DE 102017108765 A1 [0014]

Claims

Verfahren zum Synchronisieren von mindestens zwei Umfeldsensoren (12, 14) eines Multisensorsystems (10) mittels einer zentralen Recheneinheit (30), umfassend die Schritte • Erfassen von Sensorsignalen, die mindestens eine Umfeldinformation repräsentieren durch die Umfeldsensoren (12, 14), • Erzeugen von Datenpaketen (22, 24) umfassend die jeweils erfassten Sensorsignale und/oder aus den Sensorsignalen abgeleitete Messgrößen durch die Umfeldsensoren (12, 14); • Empfangen der Datenpakete (22, 24) der Umfeldsensoren von der zentralen Recheneinheit (30) über ein Datennetzwerk (40); gekennzeichnet durch • Ermitteln von Signallaufzeiten der Datenpakete (22, 24) für jeden Umfeldsensor (12,1 4) mittels eines Algorithmus, wobei eine mittlere Signallaufzeit von Datenpaketen (22, 24) eines jeweiligen Umfeldsensors (12,1 4) basierend auf einem inhaltlichen Vergleich der von den Datenpaketen (22, 24) umfassten Messgrößen mit entsprechenden Messgrößen aus Datenpaketen (22, 24) mindestens eines anderen Umfeldsensors (12, 14) bestimmt werden und die bestimmte mittlere Signallaufzeit dem jeweiligen Umfeldsensor (12, 14) zugeordnet wird.
Verfahren nach Anspruch 1, wobei jedes Datenpaket (22, 24) mit einem korrigierten Zeitstempel versehen wird, wobei der korrigierte Zeitstempel mittels der ermittelten mittleren Signallaufzeit für den jeweiligen Umfeldsensor (12,1 4) bestimmt wird, der das Datenpaket (22, 24) sendet.
Verfahren nach einem der Ansprüche 1 oder 2, wobei einer der Umfeldsensoren (12, 14) als Referenzsensor ausgewählt wird und Signallaufzeiten der Datenpakete (22, 24) basierend auf einem inhaltlichen Vergleich von Messgrößen mit entsprechenden, durch den Referenzsensor erfassten Messgrößen bestimmt werden und korrigierte Zeitstempel der Datenpakete jeweils relativ bezüglich des Referenzsensors bestimmt werden.
Verfahren nach Anspruch 3, wobei eine Signallaufzeit zwischen dem Referenzsensor (12) und der zentralen Recheneinheit vorab bestimmt wird, insbesondere mittels Network Time Protocol (NTP) und wobei den Datenpaketen (22) des Referenzsensors ein absoluter Zeitstempel basierend auf der Signallaufzeit zugeordnet wird.
Verfahren nach einem der Ansprüche 1 bis 4, wobei das Ermitteln von mittleren Signallaufzeiten der Datenpakete (22, 24) für die Umfeldsensoren (12, 14) mittels eines Matching-Algorithmus erfolgt, wobei für jeden Umfeldsensor (12, 14) die Signallaufzeit anhand eintreffender Datenpakete durch Vergleich mit einem Referenz-Umfeldsensor ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 5, wobei die Messgrößen einen Abstand zu einem Objekt (50) und/oder eine Objektposition und/oder eine Geschwindigkeit eines Objekts (50) und/oder eine Objektklasse und/oder eine Objektform und/oder eine Objekthöhe umfassen.
Verfahren nach einem der vorangehenden Ansprüche, wobei die Ermittlung der Signallaufzeiten erfolgt, indem für zumindest ein Paar von Umfeldsensoren (12, 14) eine Menge von Quadrupeln aus durch einen ersten Umfeldsensor erfasste Messgröße, zugehörige unkorrigierte, erster Messzeit, durch einen zweiten Umfeldsensor erfasste Messgröße, zugehörige unkorrigierte, zweiter Messzeit, bestimmt wird für die gilt, • dass die erste Messgröße und die zweite Messgröße übereinstimmen und • dass der Unterschied zwischen der unkorrigierten, ersten Messzeit und der unkorrigierten, ersten Messzeit kleiner als ein vorgegebener Grenzwert ist, und • dass zu der ersten Messzeit keine weiteren Sensorsignale durch den ersten Umfeldsensor erfasst wurden, die eine Messgröße nahe der ersten Messgröße ergeben und dass zu der zweiten Messzeit keine weiteren Sensorsignale durch den zweiten Umfeldsensor erfasst wurden, die eine Messgröße nahe der zweiten Messgröße ergeben; wobei für jedes der Quadrupel eine Signallaufzeitdifferenz aus der ersten Messzeit und der zweiten Messzeit gebildet wird, und eine mittlere Laufzeitdifferenz als ein Mittelwert der Signallaufzeitdifferenzen berechnet wird und wobei der erste Umfeldsensor (12) als Referenzsensor gewählt wird und die mittlere Laufzeitdifferenz als Signallaufzeit des zweiten Umfeldsensors bestimmt wird.
Verfahren zur Fusion von Sensorsignalen von mindestens zwei Umfeldsensoren (12, 14) mittels einer zentralen Recheneinheit (30), umfassend die Schritte • Erfassen von Sensorsignalen, die mindestens eine Umfeldinformation repräsentieren durch die Umfeldsensoren (12, 14), • Erzeugen von Datenpaketen (22, 24) umfassend die jeweils erfassten Sensorsignale und/oder aus den Sensorsignalen abgeleitete Messgrößen durch die Umfeldsensoren (12, 14), wobei für jeden Umfeldsensor (12, 14) eine mittlere Signallaufzeit gemäß einem Verfahren nach einem der Ansprüche 1 bis 7 bestimmt wird; • Empfangen der Datenpakete (22, 24) der Umfeldsensoren (12, 14) von der zentralen Recheneinheit (30) über ein Datennetzwerk (40), wobei jedem Datenpaket (22, 24) basierend auf der mittleren Signallaufzeit des jeweiligen Umfeldsensors (12, 14) ein Zeitstempel zugeordnet wird; • Fusionieren der von den Datenpaketen (22, 24) umfassten Sensordaten basierend auf dem jeweiligen Zeitstempel.
Multisensor-System (10) zur Fusion von Sensordaten zur Objekterkennung umfassend • mindestens zwei Umfeldsensoren (12, 14); • eine zentrale Recheneinheit (30), die ausgebildet ist, die Umfeldsensoren (12, 14) mittels eines Verfahrens gemäß eines der Ansprüche 1 bis 7 zu synchronisieren und die ausgebildet ist, die von den Umfeldsensoren gesendeten Datenpaketen (22, 24) umfassten Sensordaten basierend auf ermittelten Signallaufzeiten zu fusionieren.
Multisensor-System (10) nach Anspruch 9, wobei mindestens einer der Umfeldsensoren (12, 14) als Radarsensor und/oder Lidarsensor und/oder Kamera ausgebildet ist, wobei insbesondere mindestens zwei der Umfeldsensoren (12, 14) unterschiedlich ausgebildet sind.