DE102017223325A1

DE102017223325A1 - Verfahren und Vorrichtung zur Fusion von Messungen aus unterschiedlichen Informationsquellen

Info

Publication number: DE102017223325A1
Application number: DE102017223325.7A
Authority: DE
Inventors: Robert Stück
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Conti Temic Microelectronic GmbH
Priority date: 2017-12-20
Filing date: 2017-12-20
Publication date: 2019-06-27
Also published as: DE112018005565A5; WO2019120392A1; US11521027B2; US20210166087A1

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Fusion von Messungen aus verschiedenen Informationsquellen (I 1, I 2, ... I m) in Verbindung mit einer Filterung eines Filtervektors,wobei jeweils mindestens eine aus den Messungen abgeleitete Messgröße im Filtervektor enthalten ist,wobei die Messungen mindestens einer einzelnen Informationsquelle (I 1; I 2; ... I m) nichtlinear auf die jeweilige Messgröße abgebildet werden, wobei mindestens eine dieser Abbildungen von mindestens einem unbestimmten Parameter abhängt,wobei der zu bestimmende Wert des mindestens einen unbestimmten Parameters aus den Messungen der verschiedenen Informationsquellen (I 1, I 2, ... I m) geschätzt wird undwobei der Filtervektor zur Schätzung des mindestens einen unbestimmten Parameters nicht benötigt wird.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Fusion von Messungen aus unterschiedlichen Informationsquellen und kann insbesondere bei Fahrerassistenzsystemen bzw. Fahrzeugsteuerungssystemen automatisiert fahrender Fahrzeuge zur Fusion von Umfeldsensordaten verwendet werden.
Die Fusion mehrerer Sensoren zur Verfolgung von Objekten ist ein vieldiskutiertes Problem. Insbesondere zur Kombination mehrerer Radarsensoren mit Schätzung der relativen Positionen der Sensoren gibt es eine Vielzahl von Veröffentlichungen. In der Regel beschränken sich Veröffentlichungen zu diesem Thema auf die Modellierung des Sensorversatzes über unbekannte und zu ermittelnde Parameter, die additiv mit Zustandsgrößen verbunden sind. So wird beispielsweise die unbekannte Position eines Radarsensors als unbekannter additiver Versatz auf die Position des verfolgten Objektes beschrieben.
Es ist eine Aufgabe der Erfindung, eine Lösung anzugeben, wie Messungen aus unterschiedlichen Informationsquellen unter Berücksichtigung mindestens eines unbekannten Parameters sinnvoll und zuverlässig fusioniert werden können.
Ein Ausgangspunkt bei der Lösung sind die folgenden Überlegungen:
Bei einer schlechten Schätzung unbekannter Parameter werden Informationen nicht optimal verarbeitet, was sich in einer geringen Präzision eines Filterzustands ausdrückt. Insbesondere kann die Kinematik und Position des verfolgten Objektes gestört sein. Auch die Robustheit der Objektkinematik gegenüber Ausfall einzelner Informationsquellen kann deutlich reduziert sein.
Im Allgemeinen können die zu ermittelnden Sensorparameter nichtlinear in die Messgleichungen eingehen und sind somit nicht (oder schlecht, da nicht konstant) als additive Parameter auf dem Objektstatus zu beschreiben.
Noch allgemeiner können die Parameter der verwendeten Informationsquellen (eine zutreffendere englische Bezeichnung wäre „cues“) aus Messungen mindestens eines Sensors abgeleitet werden. Insbesondere können mehrere Informationsquellen aus Messungen eines Sensors abgeleitet werden können, z.B. durch unterschiedliche Auswertungsverfahren der Sensormessdaten. Z.B. lässt sich aus den Klassifikatordetektionen einer Stereokamera die Entfernung von Objekten über die Disparität, die Breite/Höhe im Bild, die Unterkante oder über structure-from-motion basierte Informationen bestimmen.
Standardverfahren zur Verknüpfung von unbekannten nicht linear in die Filterung eingehenden Parametern basieren auf einer Erweiterung des Filterzustandes mit den unbekannten Parametern.
Beispiele werden in folgenden Veröffentlichungen gezeigt:
Tracking with Multisensor Out-of-Sequence Measurements with Residual Biases, Shuo Zhang et al., JOURNAL OF ADVANCES IN INFORMATION FUSION Vol. 6, No. 1, Juni 2011, S. 3-23.
A Practical Bias Estimation Algorithm for Multisensor-Multitarget Tracking, Ehsan Taghavi et al. IEEE Transactions on Aerospace and Electronics Systems 2016, abgerufen am 13.12.2017 unter https://arxiv.org/pdf/1603.03449
Dual Kalman Filtering Methods for Nonlinear Prediction, Smoothing, and Estimation, Wan, Nelson Advances in neural information processing systems, 1997, S. 793-799.
Kapitel 16.3.1 bis 16.3.3 (Multisensor Dynamic Bias Estimation with Local Tracks) des Buchs: Tracking and Data Fusion - A Handbook of Algorithms, Bar-Shalom et al., YBS Publishing, 2011, ISBN: 978-0964-8312-78.
Die Erweiterung des Filterzustands um die unbekannten Parameter führt in der Regel zu einer Unterbestimmung des Schätzproblems. Dies hat zur Folge, dass sich zum einen die Einschwingzeit des Filters verlängert und zum anderen der Filter träger wird, da immer ein Teil der Innovation in die Parameter abfließt. Insbesondere wenn das zu Grunde liegende Modell deutlich verletzt ist (z.B. bremst ein mit konstanter Geschwindigkeit vorausfahrendes Fahrzeug abrupt, wobei im Filter eine Beschleunigung von 0 angenommen ist), wird Innovation in die zusätzlichen Parameter abfließen. Dies verlangsamt zum einen das Anpassen des Modelles (z.B. der Beschleunigung auf den Wert des bremsenden Fahrzeuges) und zum anderen stört dies die angelernten zusätzlichen Parameter.
Ein Aspekt der Erfindung besteht darin, das Verfolgen von Objekten mit dem Schätzen von nichtlinear in die Messgleichungen eingehenden Parametern zu verbinden, ohne den Filterzustand zu erweitern.
Ein weiterer Aspekt betrifft eine Weiterentwicklung eines Kalman-Filters zur kamerabasierten Objektverfolgung. Insbesondere sollen hierbei mehrere Informationsquellen (Disparität, Breite/Höhe, Unterkante) zum robusten Verfolgen einzelner Objekte verwendet werden.
Ein Ansatzpunkt der Lösung besteht darin, dass Messungen verschiedener Informationsquellen über parameterabhängige Messgleichungen miteinander in Beziehung stehen. Damit können die unbekannten Parameter direkt aus den Messungen geschätzt werden und müssen nicht gegen den gefilterten Objektzustand geschätzt werden. In der kamerabasierten Objektverfolgung ist die oben genannte Beziehung oft unabhängig vom Objektzustand. Dies erlaubt das optimale Schätzen der unbekannten Parameter aus den gegebenen Messungen mit einem entsprechenden Schätzverfahren.
Wenn im Allgemeineren die Informationsquellen abhängig vom Objektzustand zusammenhängen, lässt sich das Parameterschätzproblem so erweitern, dass über die Verletzung der Konstantheitsannahme einiger zu schätzender Parameter eine Schätzung aller Parameter erreicht werden kann.
Die in einem Zeitschritt für ein Filter zur Objektverfolgung durchgeführten Prozessschritte sind:

1) Prädiktion des Filterzustandes
2) Aktualisierung des Filterzustandes mit den gegebenen Messungen
3) Aktualisierung der Parameterschätzung mit den gegebenen Messungen (ohne Verwendung des Filterzustandes)

Vorteile:
Durch das Schätzen der freien Parameter in den Messgleichungen gibt es gegenüber einem System ohne Parameterschätzung folgende Vorteile:

1) Robustere Objektverfolgung
2) Präzisere Objektverfolgung
3) Artefaktfreie Objektverfolgung (bzgl. der durch Verwendung falscher Parameter entstehender Artefakte)

Ein erfindungsgemäßes Verfahren zur Fusion von Messungen aus verschiedenen Informationsquellen in Verbindung mit einer Filterung eines Filtervektors sieht vor, dass
jeweils mindestens eine aus den Messungen abgeleitete Messgröße im Filtervektor enthalten ist,
die Messungen mindestens einer einzelnen Informationsquelle nichtlinear auf die jeweilige Messgröße abgebildet werden, wobei mindestens eine dieser Abbildungen von mindestens einem unbestimmten Parameter abhängt,
der zu bestimmende Wert des mindestens einen unbestimmten Parameters aus den Messungen der verschiedenen Informationsquellen geschätzt wird und
der Filtervektor zur Schätzung des mindestens einen unbestimmten Parameters nicht benötigt wird.
Mit letzterem ist gemeint, dass die Filterung des Filtervektors und die Schätzung des bzw. der Parameter(s) „unabhängig voneinander“ durchgeführt werden. Mit anderen Worten wird der mindestens eine unbestimmte Parameter parallel zur Filterung des Filtervektors geschätzt.
Vorzugseise die Filterung des Filtervektors eine zeitliche Filterung ist, beispielsweise mittels eines Kalman-Filters.
Bevorzugt werden in einem Zeitschritt der Filterung folgende Schritte durchgeführt:

- Prädiktion des Filtervektors
- Aktualisierung des Filtervektors durch neue Messungen, und
- Aktualisierung der Schätzung des mindestens einen unbestimmten Parameters durch die neuen Messungen.

Beim drittgenannten Schritt wird vorzugsweise der Filtervektor nicht zur Aktualisierung der Schätzung des mindestens einen unbestimmten Parameters verwendet.
Bevorzugt werden die Messgrößen abgeleitet mittels verschiedener Mess- bzw. Auswertungsverfahren eines Sensors, wie z.B. eines Umfelderfassungssensors, insbesondere einer vorwärtsblickenden Fahrzeugkamera.
Alternativ oder kumulativ werden die Messgrößen aus Messungen unterschiedlicher Sensoren oder verschiedener Sensortypen als Informationsquellen abgeleitet.
Vorzugsweise liefert eine der Messungen, die mittels eines Referenzmessverfahrens (als Informationsquelle) bestimmt wird, eine Referenzmessgröße, die nicht von einem ersten unbekannten Parameter abhängt, von dem aber mindestens eine Messgröße einer anderen Messung abhängt.
Das Referenzmessverfahren kann bevorzugt von einem zweiten unabhängigen Parameter abhängen, wobei für den zweiten unabhängigen Parameter ein Parameterwert vorgegeben wird. Beispielsweise gilt, dass der zweite Parameter für ein Objekt zeitlich konstant ist (z.B. feste Fahrzeugbreite) . Vorteilhaft kann der zweite Parameter sinnvoll eingegrenzt werden (Breite eines beliebigen Fahrzeugs oder Höhe über der Fahrbahnebene eines beliebigen Fahrzeugs. Es kann ein mittlerer Parameterwert für den zweiten Parameter vorgegeben werden. Ausgehend von dem vorgegebenen zweiten Parameter kann der erste Parameter geschätzt werden. Ein Fehler des vorgegebenen zweiten Parameters gegenüber dem tatsächlichen Wert dieses Parameters kann unterschiedliche Auswirkungen haben. Die Auswirkungen hängen von der Messgleichung ab. Bei der kamerabasierten Objektverfolgung ist eine falsche Breitenannahme nicht gravierend, denn sie führt zwar zu falschen Entfernungsschätzungen, aber mit konsistent falschen Geschwindigkeiten, so dass der Quotient aus beiden, aus dem ein Bremszeitpunkt abgeleitet wird, nicht gestört ist.
Bevorzugt wird das Verfahren zur Objektverfolgung eingesetzt und die Informationsquellen umfassen einen oder mehrere Umfelderfassungssensor(en) eines Ego-Fahrzeugs.
Die aus den Messungen abgeleitete Größe ist vorzugsweise die Entfernung zwischen dem Ego-Fahrzeug und einem Objekt-Fahrzeug. Eine erste Informationsquelle kann darin bestehen, dass eine erste Auswertung von einem Bild einer Fahrzeugkamera des Ego-Fahrzeugs über eine Bestimmung der Breite des Objekt-Fahrzeugs im Bild der Fahrzeugkamera, unter der Annahme einer vorgegebenen mittleren Breite für Fahrzeuge als korrespondierende Breite des Objekt-Fahrzeugs, eine erste Messgröße der Entfernung zwischen Ego- und Objekt-Fahrzeug liefert. Ein erster unbestimmter Parameter kann die tatsächliche Breite des Objekt-Fahrzeugs sein. Der Filtervektor kann weitere Größen, wie z.B. die Relativgeschwindigkeit der beiden Fahrzeugs enthalten.
In einer bevorzugten Weiterbildung besteht eine zweite Informationsquelle darin, dass eine zweite Auswertung von dem Bild der Fahrzeugkamera des Ego-Fahrzeugs über eine Messung der vertikalen Position der Fahrzeugunterkante im Bild der Fahrzeugkamera eine zweite Messgröße der Entfernung zwischen Ego- und Objekt-Fahrzeug liefert. Ein zweiter unbestimmter Parameter ist die wahre Höhe der Kamera über der Fahrbahnebene (unter dem Objekt-Fahrzeug). Die Lage der Fahrbahnebene beim Objekt-Fahrzeug wird bevorzugt durch die Unterseite eines Objektbegrenzungsrahmens („Bounding Box“) definiert, bzw. durch die Position der Fahrzeugunterkante des Objekt-Fahrzeugs im Bild der Fahrzeugkamera beschrieben.
Vorteilhaft wird eine Referenzmessgröße der Entfernung aus einer Disparitätsmessung oder von einem Radar- oder Lidarsensor des Ego-Fahrzeugs als Informationsquelle bereitgestellt.
Die Erfindung betrifft des Weiteren eine Vorrichtung, die konfiguriert ist zur Fusion von Messungen aus verschiedenen Informationsquellen in Verbindung mit einer Filterung eines Filtervektors.
Die Messungen betreffen dieselbe zu bestimmende Information und im Filtervektor ist jeweils mindestens eine aus der jeweiligen Messung abgeleitete Messgröße bezüglich der zu bestimmenden Information enthalten.
Die Messungen mindestens einer einzelnen Informationsquelle werden nichtlinear auf die jeweilige Messgröße abgebildet und mindestens eine dieser Abbildungen hängt von mindestens einem unbestimmten Parameter ab. Beispielsweise existiert ein Modell für den Einfluss des Parameters auf die Messgröße und der Parameter geht nichtlinear in die Messgröße ein. Der Filtervektor kann insbesondere einen Zustand beschreiben. Das Ergebnis der Filterung liefert insbesondere das Fusionsergebnis für den Zustand. Die Filterung entspricht mit anderen Worten einem Schätzverfahren.
Der zu bestimmende Wert des mindestens einen unbestimmten Parameters wird aus den Messungen der verschiedenen Informationsquellen geschätzt.
Der Filtervektor wird zur Schätzung des mindestens einen unbestimmten Parameters nicht benötigt. Mit anderen Worten wird der mindestens eine unbestimmte Parameter dadurch geschätzt, dass die Messgrößen aus den unterschiedlichen Informationsquellen zu einander in Beziehung gesetzt werden.
Die Vorrichtung kann insbesondere einen Mikrocontroller oder -prozessor, einen Digital Signal Processor (DSP), einen ASIC (Application Specific Integrated Circuit), einen FPGA (Field Programmable Gate Array) und dergleichen mehr sowie Software zur Durchführung der entsprechenden Verfahrensschritte umfassen.
Die vorliegende Erfindung kann somit in digitalen elektronischen Schaltkreisen, Computer-Hardware, Firmware oder Software implementiert sein.
Im Folgenden wird zunächst eine mathematische Formulierung der Aufgabenstellung und des Lösungsansatzes präsentiert. Dann werden für ein konkretes Ausführungsbeispiel eine Lösung und deren Umsetzung beschrieben.
Mathematische Voraussetzungen
Sei x ∈ ℝ^d ein Filtervektor, der sequenziell überMverschiedene Arten von Messverfahren gemessen wird. Der Zusammenhang von Messung und Zustandsvektor sei gegeben über parameterabhängige bijektive Abbildungen von einem Unterraum V_m des Zustandsraumes in den jeweiligen Messraum h_m(·,p_m): ℝ^d ⊃V_m → ℝ^d
m Im Folgenden wird der Einfachheit halber ausgegangen von identischen Definitionsbereichen der Messabbildungen V_m ≡ V, m = 1 ... M. Eine Verallgemeinerung auf Messabbildungen mit nicht identischen Definitionsbereichen ist direkt ableitbar, solange sich mindestens zwei Messräume über die Messabbildungen aufeinander abbilden lassen.
Der Zusammenhang zwischen den exakten Größen Filtervektor x^† und Parameter p^† und Messgröße z^† wird beschrieben durch die nichtlinearen Messabbildungen $z_{m}^{†} = : h_{m} (P_{V} x_{m}^{†}, p_{m}^{†})$
wobei P_v den orthogonalen Projektor auf den Unterraum V bezeichnet. Der Übersichtlichkeit halber wird im Folgenden davon ausgegangen, dass V = ℝ^d und damit P_v × = x. Mit z := (z_l, ... , z_m)^T wird der Messvektor und mit p := (p_l, ... , p_m)^T der entsprechende Parametervektor bezeichnet.
Mathematische Aufgabenstellung
Für Mverschiedene Messverfahren ist zum Zeitpunkt t≥ 1 eine Menge von Messungen ${z_{m}^{t}}_{m = 1... M}$
mit Messabbildungen 1 gegeben. Das zu lösende Problem lässt sich für den Fall, dass es eindeutig lösbar ist, formulieren als

• Finde Schätzungen x̂_t, p̂_t für $x_{t}^{†}, p_{t}^{†}$
initial (t= 1) und aktualisiere diese Größen im Folgenden (t > 1), so dass ${\hat{x}}_{t} \approx x_{t}^{†}$
bzw. ${\hat{p}}_{t} \approx p_{t}^{†} .$

Wenn der Filter die Messverteilungen korrekt beschreibt und auch das zu messende System korrekt modelliert, kann „≈“ verstanden werden als erwartungstreue Schätzung bzgl. der zu x̂_t geschätzten Verteilung, d.h. $E_{{\hat{x}}_{t}} ({\hat{x}}_{t}) = x_{t}^{†} .$
Es kommt vor, z.B. in der kamerabasierten Objektverfolgung, dass das Problem Schätzungen x̂_t, p̂_t für $x_{t}^{†}, p_{t}^{†}$
zu finden unterbestimmt ist, so dass eine Approximation an die zu Grunde liegenden Größen x_t, p_t nicht angestrebt werden kann. In diesem Fall kann das zu lösende Problem formuliert werden als

• Schätze den zugehörigen Filter- sowie Parametervektor x̂_t, p̂_t initial (t = 1) und aktualisiere diese Größen im folgenden (t > 1), so dass Größen von Interesse möglichst präzise aus dem geschätzten Filtervektor abgeleitet werden können.

Für kamerabasierte Objektverfolgung im Automotive Bereich eine Größe von Interesse ist z.B. die time to collision (TTC), die für Objekte auf Kollisionskurs gegeben ist als Quotient aus Entfernung und longitudinaler Relativgeschwindigkeit. Für die praktische Anwendung in der Fahrzeugsteuerung von Interesse sind insbesondere geringe Filtereinschwingzeit und Latenz, sowie Artefaktfreiheit der abgeleiteten Größen.
Mathematische Lösung
Die Idee des Verfahrens ist nun, die unbekannten Parameter p_m unabhängig vom Filtervektor durch Inbeziehungsetzen der verschiedenen Messungen direkt zu schätzen. Dazu kann man z.B. die Messungen paarweise aufeinander abbilden: $z_{m}^{†} = h_{m} (h_{k}^{- 1} (z_{k}^{†}, p_{k}^{†}), p_{m}^{†}) für k,m = 1... M .$
Bei diesem Vorgehen müssen nicht alle Paarungen ausgewertet werden, sondern es kann eine Referenzmessung definiert werden, deren Parameter als bekannt angenommen wird und bezüglich der alle übrigen Parameter geschätzt werden. Der Parameter der Referenzmessung wird initial aus der Menge gegebener Messungen unter Verwendung von Annahmen über den Parametervektor geschätzt.
Ein robusteres Vorgehen zur Parameterbestimmung wäre z.B. die Minimierung eines Funktionals wie $J_{λ}^{t} (p, \tilde{x}) = \sum_{m = 1... M} ‖ h_{m}^{- 1} (z_{m}, p_{m}) - \tilde{x} ‖^{2} + λ ‖ p - p_{t - 1} ‖^{2}$
nach p und x̃. Seien p^† und x̃^† die Minimierer von $J_{λ}^{t} (p, \tilde{x}),$
dann ist x̃^† eine filtervektorunabhängige Schätzung des Filtervektors ausschließlich aus Daten eines einzigen Zeitpunktes. Die Verwendung des Filtervektors stattdessen und Minimierung nur nach dem Parametervektor würde die Parameterschätzung stören, wenn das im Filter abgebildete Modell verletzt ist und damit die Filterlatenz erhöhen.
Das parallele Schätzen eines Parametervektors und zeitliche Filtern eines Zustandsvektors kann als Verallgemeinerung bzw. Erweiterung des in Kapitel 16.3.3 „The Optimal Dynamic Bias Estimator“ des Handbuchs von Bar-Shalom beschriebenen Verfahrens verstanden werden. Das dort vorgestellte Verfahren beschränkt sich auf das parallele Schätzen von Parametern, die linear an einen Kalman-Filtervektor gekoppelt sind. Das hier beschriebene Verfahren verallgemeinert dies auf nichtlinear in Messgleichungen eingehende Parameter. Außerdem lässt sich das hier vorgestellte Verfahren auch verwenden, wenn das Problem einen Filter- sowie einen Parametervektor zu schätzen unterbestimmt ist, wie es in der monokamerabasierten Objektverfolgung der Fall ist.
Ausführungsbeispiel: Kamerabasierte Objektverfolgung
In der kamerabasierten Objektverfolgung sind Messungen typischerweise als Klassifikatordetektionen gegeben. Diese Detektionen sind z.B. Bildboxen (englisch: bounding boxes), also rechteckige Bildbereiche, die die Position und Größe eines detektierten Objektes beschreiben. Der das Objekt beschreibende Zustand x = (x, y, v_x, v_y, a_x, a_y)^T, der über die Zeit gefiltert wird, enthält die horizontalen Komponenten von Position (x, y), Geschwindigkeit (v_x, v_y) und Beschleunigung (a_x, a_y). Unter den Annahmen, dass die Straße flach verläuft, die Kamera parallel zur Straße ausgerichtet ist und dass die Unterkante der Bildbox den Teil des Objektes beschreibt, der sich auf der Straße befindet, kann die Entfernung aus der Unterkantenmessung über eine Strahlensatzgleichung bestimmt werden $x = \frac{t_{z} f}{| p_{y, m} - c_{y} |}$
Dabei sind t_z die Höhe der Kamera über der Straße, f die Brennweite der Kamera, p_y,m die gemessene vertikale Position der Unterkante und c_y das vertikale Bildzentrum, das ist die Bildzeile, die in einer flachen Welt dem Horizont entspricht.
Ein zweiter Weg, wie aus einem Rechteck im Bild eine Entfernung abgeleitet werden kann, ist gegeben über eine Größenannahme des beobachteten Objektes. Wenn das beobachtete Objekt z.B. ein Auto beschreibt so kann aus der Annahme dass die Rückseite eines in gleicher Richtung vorausfahrenden Autos gesehen wird und diese in Deutschland üblicherweise eine Breite von ca. b_w:= 1.75m haben, aus der Breite des Rechtecks im Bild, welches das Auto beschreibt, eine Entfernung abgeleitet werden: $x = \frac{b_{w} f}{Δ p_{x, m}},$
wobei Ap_x,m die gemessene Bildbreite bezeichnet.
Nun sind nicht alle Autos gleich breit, die Straße ist nicht exakt flach, Objekte befinden sich nicht immer auf der Straße und die Klassifikatordetektion beschreibt nicht immer den Teil des Objektes, der sich auf der Straße befindet. Deshalb wird im Allgemeinen die Entfernung, die über die oben genannten Messabbildungen gemäß Gleichungen 4 und 5 bestimmt wird, nicht übereinstimmen. D.h. im Allgemeinen gilt $\frac{t_{z} f}{| p_{y, m} - c_{y} |} \neq \frac{b_{w} f}{Δ p_{x, m}}$
$\frac{t_{z} f}{| E {\tilde{p}}_{y, m} ({\tilde{p}}_{y, m}) - c_{y} |} \neq \frac{b_{w} f}{E_{\tilde{Δ} p_{x, m}} (\tilde{Δ} p_{x, m})} .$
Die Modellfehler können beschrieben werden durch unbekannte Parameter - so ist die wahre Breite des detektierten Objektes gegeben als z. B. $b_{w}^{†} = : p_{w}^{†} b_{w}$
und die wahre Höhe der Kamera über dem Punkt, der durch die Boxunterkante beschrieben wird, ist gegeben als z.B. $t_{z}^{†} = : t_{z} + p_{t}^{†} .$
Die Werte von $p_{w}^{†} und p_{t}^{†}$
sind im Allgemeinen nicht bekannt und müssen geschätzt werden, d.h. aus keiner der beiden Messungen (und auch nicht aus deren Kombination) lässt sich die exakte Entfernung des beobachteten Objektes ableiten - die Position des Objektes ist nur bis auf einen Parameterfehler bekannt. Dass beide Messungen dasselbe Objekt beschreiben, liefert allerdings eine Nebenbedingung an die erlaubten Parameter. Wird z.B. ein Parameter als gegeben angenommen, erhält man durch Gleichsetzen wie in Gleichung 2 einen Wert für den zweiten Parameter - unabhängig vom eigentlichen Filterzustand. Ausgehend von den Gleichungen 4 und 5 werden die Messabbildungen mit Parametern definiert als $p_{y, m} = \frac{(t_{z} + p_{t}) f}{x} + c_{y} = : h_{t} (x, p_{t})$
$Δ p_{x, m} = \frac{p_{b} b_{w} f}{x} = : h_{b} (x, p_{b})$
Da die Breite von Autos konstant ist, ist der Parameter p_b eine Objektkonstante. Wenn man die Kameraorientierung bezüglich der Straße und den Straßenverlauf als bekannt annimmt, ist auch p_t eine Objekt-/Klassifikatorkonstante, die den Versatz der vom Klassifikator gefundenen Struktur die durch die Boxunterkante beschrieben wird zur Straßenebene beschreibt. Werden Gleichungen 8 und 9 wie in Gleichung 2 angegeben verknüpft, erhält man den Zusammenhang zwischen den Messungen p_y,m, Δp_x,m und den Parametern p_t, p_b, aus dem sich wie zuvor beschrieben die Parameter schätzen lassen.
Um die mathematische Formulierung für dieses Ausführungsbeispiel und weitere Aspekte von Verfahren und Vorrichtung zu veranschaulichen, werden im Folgenden unter Bezugnahme auf Figuren einzelne Zusammenhänge näher erläutert.
Hierbei zeigen:

1 a eine Objekterkennung in einem Fahrzeugkamerabild und
1 b die Bestimmung relevanter Bildgrößen zur Schätzung der Entfernung zwischen der Fahrzeugkamera und einem erkanntem Objekt;
2 eine schematische Repräsentation eines Filterupdates für eine Objektverfolgung ohne Schätzung von Parametern;
3 eine schematische Repräsentation eines Filterupdates für die Objektverfolgung mit Parameterschätzung;
4 ein beobachtetes Objekt zusammen mit Arbeitspunkten zweier Informationsquellen und der Positionsunsicherheit der Arbeitspunkte;
5 ein beobachtetes Objekt zusammen mit einer geschätzten Objektposition, der filterbedingten Positionsunsicherheit und der Positionsunsicherheit auf Grund der Parameter;
6 schematisch den Ablauf eines Iterationsschrittes der Filterung;
7 schematisch eine Fusionsvorrichtung, die Ergebnisse von Messungen aus verschiedenen Informationsquellen empfängt und ein Fusionsergebnis ausgibt.

In 1 a ist schematisch ein schwarzweißes Bild 12 zu sehen, welches von einer monokularen Frontkamera eines nicht dargestellten Ego-Fahrzeugs aufgenommen wurde. Das digitale Bild 12 wird einer Bildverarbeitung zugeführt, welche insbesondere eine Erkennung von Fahrzeugen als Objekten im Bild 12 durchführt. Diese Erkennung umfasst einen Klassifikator, der aufgrund zuvor gelernter Beispiele, Objekte im Bild Klassen zuordnet. Auf diese Weise wird das zentrale Objekt 16 im Bild 12 wird als vorausfahrendes Fahrzeug erkannt. Die Begrenzung des Objekts bzw. Fahrzeugs 16 im Bild 12 wird durch eine „Bounding Box“ 18 symbolisiert. Die Bildverarbeitung bestimmt zudem die vertikale Bildposition der Horizontlinie 14 im Bild 12.
In der schematischen Darstellung der 1 b sind Ergebnisse der Bildverarbeitung dargestellt: das Bild 12 ist durch den rechteckigen Rahmen repräsentiert, die Horizontlinie 14 als gestrichelte Linie, die Bounding Box 18 als annähernd quadratisches Rechteck. Die Breite Δp_x,m der Bounding Box 18 (horizontaler Doppelpfeil) entspricht der Breite des Fahrzeugs 16 im Bild 12. Die vertikale Position der Unterkante (Bodenlinie 20) der Bounding Box 18 ist als gepunktete Linie dargestellt. Der vertikale Bildabstand Δp_y,m := |p_y,m - c_y| (siehe Gleichung 4) zwischen Horizont- 14 und Bodenlinie 20 ist durch den vertikalen Doppelpfeil illustriert.
In 2 ist eine Situation schematisch dargestellt, in der sich ein Objekt 26, dargestellt als Rechteck, an einer bestimmten x-Position 28 befindet. Das Objekt 26 ist beispielsweise ein Fahrzeug. Das Ego-Fahrzeug, in dem eine vorwärtsblickende Monokamera installiert ist, ist in 2 nicht dargestellt. Aus Bildaufnahmen der Monokamera des Ego-Fahrzeugs ist jedoch das Objekt-Fahrzeug 26 mittels Bildverarbeitungsmethoden detektierbar. Die Position des Objekt-Fahrzeugs 26 oder der Abstand in x-Richtung des Objekt-Fahrzeugs 26 zum Ego-Fahrzeug kann wie zuvor beschrieben mittels zweier Bildverarbeitungsmethoden bestimmt bzw. gemessen werden.
Zur Erhöhung der Genauigkeit werden die Messwerte, die sich aus den zwei Bildverarbeitungsmethoden ergeben zeitlich gefiltert, mittels eines Kalman-Filters.
Aus den Messungen des Abstands x über eine Bestimmung der Breite Δp_x,m des Fahrzeug-Objekts 26 im Bild 12 unter der Annahme einer mittleren Fahrzeugbreite von 1,75m ergibt sich als aktueller Schätzwert der Positionsbestimmung bzw. Abstandsmessung der untere Arbeitspunkt 22. Der auf diese Weise gemessene Abstand hängt von der tatsächlichen Breite des Fahrzeugs als unbekanntem Parameter ab. Das Objekt-Fahrzeug 26 könnte ein schmales Fahrzeug mit einer tatsächlichen Breite von z.B. 1,50m sein oder ein Transporter mit einer tatsächlichen Breite von mindestens 2m. Die Messungen des Abstands aus der Bestimmung der Höhe der Objekte-Fahrzeugunterkante im Bild 12 ergeben als aktuellen Schätzwert der Abstandsmessung den oberen Arbeitspunkt 21. Diese Messung ist nicht von der tatsächlichen Breite des Objekt-Fahrzeugs 26 abhängig, jedoch von anderen Bedingungen, so dass auch hier eine Messunsicherheit bezüglich des tatsächlichen Abstands x vorliegt.
Die beiden verschiedenen Auswertungsverfahren der Kamerabilder stellen also zwei unterschiedliche Informationsquellen (I 1, I 2) bezüglich derselben Größe von Interesse (Position bzw. Abstand in x-Richtung) dar.
Bei einem Filterverfahren, z.B. unter Verwendung eines Kalman-Filters, wird die Änderung der geschätzten Position für eine nachfolgende Messung prädiziert und dann die prädizierte Position anhand des nachfolgend gemessenen Werts aktualisiert, was als Filterinnovation bezeichnet wird.
Der Positionswert des Filtervektors, also der aktuelle Schätzwert für den tatsächlichen Abstand in x-Richtung ist durch das Quadrat 28 in 2 dargestellt. Der Filtervektor ist das Ergebnis der zeitlichen Filterung der beiden Messwerte, die zu den Arbeitspunkten 21 und 22 führen.
Da die Messwerte der beiden Messverfahren unterhalb bzw. oberhalb des aktuellen Schätzwerts (Filtervektors) 28 liegen, weist die Innovation 32 des ersten Messverfahrens ebenfalls nach unten und die Innovation 31 des zweiten Messverfahrens nach oben. Der Erwartungswert der jeweiligen Filterinnovation 31 bzw. 32 ist ungleich Null. Für den neuen Schätzwert, heben sich jedoch beide Innovationen 31 und 32 weitgehend auf.
Bei dem in 2 dargestellten Filterupdate werden unbekannte Parameter, z.B. die Breite des Fahrzeug-Objekts 26 nicht geschätzt oder anderweitig berücksichtigt.
Das Objekt 26, dessen tatsächliche Position 28 sich zwischen beiden Arbeitspunkten 21 und 22 befindet, wird stabil verfolgt, solange sich die jeweiligen Innovationen 31 und 32 gegenseitig aufheben. Fällt jedoch eine Informationsquelle (I 1 oder I 2) aus, findet keine gegenseitige Aufhebung mehr statt. Die geschätzte Kinematik und Position 28 des Objekts 26 werden durch den Ausfall der Informationsquelle (I 1 oder I 2) gestört. Wenn zu einem Zeitpunkt ein Messwert ausfällt, z.B. weil die Unterkante des Objekt-Fahrzeugs 26 im Bild 12 nicht lokalisiert werden kann, wird der Filtervektor beim nachfolgenden Filterupdate einen Sprung machen. Der geschätzte Abstand in x-Richtung ändert sich sprunghaft, was zu einer falschen Geschwindigkeitsschätzung des Objekt-Fahrzeugs 26 in x-Richtung führt. Dies kann mitunter zu einer fehlerhaften Kollisionswarnung oder sogar einem fälschlicherweise automatisiert durchgeführten Bremseingriff des Ego-Fahrzeugs führen.
In 3 ist ein Filterupdate für eine Objektverfolgung mit einer Schätzung eines unbekannten Parameters schematisch dargestellt. Hierbei dient der untere Arbeitspunkt 22 als Referenzwert für die Messung des oberen Arbeitspunkts 21. Die Messung, die zum unteren Arbeitspunkt 22 führt, hängt nicht von dem unbekannten Parameter ab. Ein Beispiel für eine solche Referenzmessung ist z.B. die Abstandsmessung eines Radarsensors des Ego-Fahrzeugs. Für dieses Messverfahren spielt die Breite des Objekt-Fahrzeugs 26 keine Rolle. Die Breite kann durch die Referenzmessung mit dem Radarsensor nicht bestimmt werden.
Da die Messung des Radarsensors nicht den Abstand zwischen der Kamera des Ego-Fahrzeugs und dem Objekt-Fahrzeug 26 ergibt, da es einen räumlichen Versatz zwischen Radar- und Kamerasensor im Ego-Fahrzeug gibt, wird der untere Arbeitspunkt 22 auf den Filtervektor 28 durch eine Abbildung d2 abgebildet. Da der räumliche Versatz zeitlich konstant und ermittelbar ist, ist diese Abbildung d2 unabhängig von der Schätzung der Breite des Objekt-Fahrzeugs 26.
Wie der obere Arbeitspunkt 21 auf den unteren Arbeitspunkt 22 durch eine weitere Abbildung d1 abgebildet werden kann, ist dagegen nicht bekannt, denn hier spielt die tatsächliche Breite des Objekt-Fahrzeugs 26 eine Rolle. Diese ist jedoch unbekannt. Zur Schätzung der tatsächlichen Fahrzeugbreite, wird nun initial die mittlere Breite von 1,75m angenommen. Gleichung 5 beschreibt den Zusammenhang zwischen gemessener Bildbreite und Entfernung x. Gleichung 9 gibt die Messabbildung mit dem Parameter p_b an. Da als tatsächliche Entfernung x der Wert aus der Referenzmessung zuzüglich dem relevanten Sensorversatz angenommen wird, kann nun der Parameter im Rahmen des Filterverfahrens direkt aus den Messergebnissen geschätzt werden.
Die Arbeitspunkte der Informationsquellen I 1 und I 2 werden über die geschätzten Parameter aufeinander bzw. auf die Objektposition 28 abgebildet.
Der Erwartungswert der Innovationen 41 und 42 ist nun Null. Insbesondere werden bei Ausfall einer Informationsquelle (I 1 oder I 2) die Position und Kinematik des Objektes nicht gestört, wie dies bei 2 der Fall ist.
Sofern kein Radarsensor vorgesehen ist, sondern als Informationsquellen I 1 und I 2 die beiden Auswertungen der Kameradaten vorgenommen werden, hängen beide Messergebnisse bzw. Arbeitspunkte von unterschiedlichen Parametern ab (s. Gleichungen 4 und 5 bzw. 8 und 9).
Auch in diesem Fall können die Parameter geschätzt werden.
In 4 ist ein beobachtetes Objekt 26 zusammen mit den Arbeitspunkten 21 und 22 zweier Informationsquellen I 1 und I 2 zu sehen. Die Ellipsen 41 und 42 um die Arbeitspunkte 21 und 22 skizzieren die Positionsunsicherheit der Arbeitspunkte auf Grund der Unsicherheit der Parameter in den Messgleichungen. Die Positionsunsicherheit 42 (gepunktet dargestellte Ellipse) beim unteren Arbeitspunkt 22 ist sehr groß, in dieser Positionsunsicherheit 42 ist die Unsicherheit aufgrund des unbekannten Parameters enthalten. Die Positionsunsicherheit 41 (Ellipse mit durchgezogener Linie) beim oberen Arbeitspunkt 21 ist nicht so groß.
In 5 ist eine geschätzte Objektposition 28 eines Objekts 26 skizziert zusammen mit der filterbedingten Positionsunsicherheit 55 (Ellipse mit durchgezogener Linie) und der Positionsunsicherheit auf Grund der Parameter 50 (gestrichelte Ellipse). Die Separation der Filterunsicherheit von der Parameterunsicherheit erlaubt das vergleichsweise scharfe Ableiten von parameterunabhängigen Größen aus dem Filterzustand.
In der kamerabasierten Objektverfolgung lässt sich z.B. die time-to-collision (TTC) scharf aus einem Objektzustand mit falscher Position und dazu passender falscher Geschwindigkeit ableiten. Zur Berechnung der Positionsunsicherheit können dann die aus der Parameterschätzung bekannten Unsicherheiten herangezogen werden.
Ein weiteres Anwendungsbeispiel ist eine gemeinsame Objektverfolgung mit verschiedenen Sensoren wie z.B. Radar, Kamera oder Lidar. Dabei sind unter den zu schätzenden Parametern der präzise zeitliche und gegebenenfalls räumliche Versatz der Sensoren zueinander und die bereits oben genannten freien Parameter bei der kamerabasierten Entfernungsbestimmung.
In 6 ist schematisch der Ablauf eines Iterationsschrittes der Filterung dargestellt.
In Schritt S10 wird basierend auf dem bisherigen Filtervektor und dem oder den bisherigen Parameterwerten der Filtervektor für den aktuellen Iterationsschritt, in dem mindestens eine neue Messung erfolgt, prädiziert. Mindestens eine Informationsquelle liefert eine Neue Messung 1, in der Regel liefern mehrere oder sämtliche verfügbaren Informationsquellen Neue Messungen 2 bis m. Anhand der aktuellen Ergebnisse dieser Messungen wird zum einen ein Update des Filtervektors in Schritt S20 und zum anderen ein Update des oder der Parameter (s) in Schritt S30 vorgenommen. Letzteres wird unabhängig vom Filtervektor durchgeführt, da das Update des mindestens einen Parameters nur auf Grundlage der Neuen Messungen 1 bis ggfs. m erfolgt. Das Update des oder der Parameter(s) in Schritt S30 kann also parallel oder seriell zu Schritt S20 erfolgen. Der bzw. die durch das Update aktualisierten Parameter und der aktualisierte Filtervektor bilden den Ausganspunkt für den nachfolgenden Iterationsschritt (symbolisiert durch die gestrichelten Pfeile in 6), in dem erneut mindestens eine neue Messung erfolgt.
In 7 ist ganz vereinfacht eine Fusionsvorrichtung 70 dargestellt, die Daten bezüglich Messungen von mehreren Informationsquellen I 1 bis I m empfängt. Die empfangenen Daten werden von einer prozessierenden Einheit der Fusionsvorrichtung derart verarbeitet, dass ein Filtervektor und mindestens ein unbekannter Parameter, der eine Messung mindestens einer Informationsquelle beeinflusst, iterativ geschätzt werden. Bestandteile des Filtervektors oder der gesamte Filtervektor wird von eine Ausgabekomponente der Fusionsvorrichtung ausgegeben an eine weitere Komponente 100 eines Fahrerassistenzsystems oder eines Fahrzeugsteuerungssystems, insbesondere eines automatisiert fahrenden Fahrzeugs.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Shuo Zhang et al., JOURNAL OF ADVANCES IN INFORMATION FUSION Vol. 6, No. 1, Juni 2011, S. 3-23 [0010]
Ehsan Taghavi et al. IEEE Transactions on Aerospace and Electronics Systems 2016, abgerufen am 13.12.2017 unter https://arxiv.org/pdf/1603.03449 [0011]
Wan, Nelson Advances in neural information processing systems, 1997, S. 793-799 [0012]

Claims

Verfahren zur Fusion von Messungen aus verschiedenen Informationsquellen (I 1, I 2, ... I m) in Verbindung mit einer Filterung eines Filtervektors, wobei jeweils mindestens eine aus den Messungen abgeleitete Messgröße im Filtervektor enthalten ist, wobei die Messungen mindestens einer einzelnen Informationsquelle (I 1; I 2; ... I m) nichtlinear auf die jeweilige Messgröße abgebildet werden, wobei mindestens eine dieser Abbildungen von mindestens einem unbestimmten Parameter abhängt, wobei der zu bestimmende Wert des mindestens einen unbestimmten Parameters aus den Messungen der verschiedenen Informationsquellen (I 1, I 2, ... I m) geschätzt wird und wobei der Filtervektor zur Schätzung des mindestens einen unbestimmten Parameters nicht benötigt wird.
Verfahren nach Anspruch 1, wobei die Filterung des Filtervektors eine zeitliche Filterung ist.
Verfahren nach Anspruch 2, wobei in einem Zeitschritt der Filterung folgende Schritte durchgeführt werden: - Prädiktion des Filtervektors (S10) - Aktualisierung des Filtervektors durch mindestens eine neue Messung (S20), und - Aktualisierung der Schätzung des mindestens einen unbestimmten Parameters durch die mindestens eine neue Messung (S30).
Verfahren nach Anspruch 3, wobei beim dritten Schritt (S30) der Filtervektor nicht zur Aktualisierung der Schätzung des mindestens einen unbestimmten Parameters verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Messgrößen abgeleitet werden mittels verschiedener Mess- bzw. Auswertungsverfahren eines Sensors.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Messgrößen aus Messungen unterschiedlicher Sensoren oder verschiedener Sensortypen als Informationsquellen (I 1, I 2, ... I m) abgeleitet werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei eine der Messungen, die mittels eines Referenzmessverfahrens bestimmt wird, eine Referenzmessgröße liefert, die nicht von einem ersten unbekannten Parameter abhängt, von dem mindestens eine Messgröße einer anderen Messung abhängt.
Verfahren nach Anspruch 7, wobei das Referenzmessverfahren von einem zweiten unabhängigen Parameter abhängt, wobei für den zweiten unabhängigen Parameter ein Parameterwert vorgegeben wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren zur Verfolgung eines Objekts (16; 26) eingesetzt wird, und die Informationsquellen (I 1, I 2, ... I m) einen oder mehrere Umfelderfassungssensor(en) eines Ego-Fahrzeugs umfassen.
Verfahren nach Anspruch 9, wobei die aus den Messungen abgeleitete Größe die Entfernung zwischen dem Ego-Fahrzeug und einem Objekt-Fahrzeug (26) ist, wobei eine erste Informationsquelle (I 1) darin besteht, dass eine erste Auswertung von einem Bild (12) einer Fahrzeugkamera des Ego-Fahrzeugs über eine Bestimmung der Breite des Objekt-Fahrzeugs (26) im Bild (12) der Fahrzeugkamera, unter der Annahme einer vorgegebenen mittleren Breite für Fahrzeuge als korrespondierender Breite des Objekt-Fahrzeugs (26), eine erste Messgröße der Entfernung zwischen Ego- und Objekt-Fahrzeug liefert, wobei ein erster unbestimmter Parameter die tatsächliche Breite des Objekt-Fahrzeugs (26) ist.
Verfahren nach Anspruch 10, wobei eine zweite Informationsquelle darin besteht, dass eine zweite Auswertung von dem Bild (12) der Fahrzeugkamera des Ego-Fahrzeugs über eine Messung der vertikalen Position der Fahrzeugunterkante des Objekt-Fahrzeugs (26) im Bild (12) der Fahrzeugkamera eine zweite Messgröße der Entfernung zwischen Ego- und Objekt-Fahrzeug (26) liefert, wobei ein zweiter unbestimmter Parameter die wahre Höhe der Kamera über der Fahrbahnebene ist.
Vorrichtung, die konfiguriert ist zur Fusion von Messungen aus verschiedenen Informationsquellen (I 1, I 2, ... I m) in Verbindung mit einer Filterung eines Filtervektors, wobei die Messungen dieselbe zu bestimmende Information betreffen und im Filtervektor jeweils mindestens eine aus der jeweiligen Messung abgeleitete Messgröße bezüglich der zu bestimmenden Information enthalten ist, wobei die Messungen mindestens einer einzelnen Informationsquelle (I 1; I 2; ... I m) nichtlinear auf die jeweilige Messgröße abgebildet werden, wobei mindestens eine dieser Abbildungen von mindestens einem unbestimmten Parameter abhängt, wobei der zu bestimmende Wert des mindestens einen unbestimmten Parameters aus den Messungen der verschiedenen Informationsquellen (I 1, I 2, ... I m) geschätzt wird und wobei der Filtervektor zur Schätzung des mindestens einen unbestimmten Parameters nicht benötigt wird.