-
Die Erfindung betrifft ein Verfahren zur Fusionierung von Sensordaten gemäß dem Oberbegriff des Anspruchs 1.
-
Für die aktive Sicherheit, beim automatisierten Fahren und für die Navigation ist die Kenntnis des Eigenzustands des Fahrzeugs und der Zustände der Umgebung wichtig. Um exakte und verlässliche Schätzungen dieser Zustände über einen weiten Bereich von Betriebsbedingungen zur Verfügung zu stellen, ist es vorteilhaft, eine Vielzahl von Sensordaten aus verschiedenen Quellen zu fusionieren. Kein Sensor kann hochgenaue Daten über den gesamten Betriebsbereich des Systems bereitstellen. Beispielsweise ist bei der Bewegungsschätzung die Rad-Odometrie wegen Schlupf bezüglich ihrer Leistung beschränkt, während Sensorinformation einer Satellitennavigation in für den Satellitenempfang ungeeigneten Umgebungen, beispielsweise Tunneln, nicht verfügbar ist. Typische Sensoren umfassen Radarsensoren, Kameras, LIDAR-Sensoren und inertiale Messeinheiten (IMU). Jeder Sensor stellt Informationen bereit, die sich auf seine spezifische Position und sein jeweiliges Koordinatensystem beziehen. Eine konsistente Fusion dieser Sensordaten ist nur möglich, wenn die 6D-Transformation (3D-Rotation und 3D-Verschiebung) zwischen den Sensoren bekannt ist. Wenn die Sensoren an einem einzigen, starren Körper angebracht sind, dann ist diese Transformation konstant. Wenn die Sensoren allerdings an einem System aus mehreren Körpern verteilt oder an einer Struktur angebracht sind, die die Starrheitsvoraussetzung nicht erfüllt, dann ist diese 6D-Transformation nicht konstant. Dies liegt daran, dass Anregungen aus der Umgebung oder interne Anregungen Relativ-Bewegungen zwischen den Körpern und/oder Deformationen der Struktur, an der die Sensoren angeordnet sind, verursachen.
-
Bei einer Struktur mit zwei oder mehr Sensoren, die geringfügiger Anregung ausgesetzt wird, sind die Deformationen vernachlässigbar. Daher ist die Starrheitsannahme anwendbar und die Transformation zur Fusionierung der beiden Sensormessungen ist konstant. Wenn die Starrheitsannahme bei signifikanter Deformation der Struktur jedoch nicht gültig ist, dann führt die Annahme einer konstanten Transformation zu inkonsistenter Sensorfusion. Beispielsweise tritt ein solcher Fall ein, wenn die Struktur im Bereich ihrer natürlichen Grundfrequenz und/oder mit hoher Amplitude angeregt wird.
-
Beispielsweise kann ein Nutzfahrzeug oder eine Zugmaschine mit zwei Sensoren zur Abstandsmessung ausgestattet sein, wobei einer an einer Kabine und der andere an einem Chassis angeordnet ist. Die Transformation zwischen den Sensorkoordinatensystemen ohne externe Anregung ist bekannt, beispielsweise nach einem Kalibrierungs-Prozess. Beim Fusionsalgorithmus wird von einer konstanten Transformation ausgegangen. Wenn das Fahrzeug mit konstanter Geschwindigkeit fährt, dann ist die konstante Transformation eine gültige Annahme. Folglich führt die Fusion der Distanzmessungen beider Sensoren zu einer konsistenten Schätzung der tatsächlichen Distanz zu einem in Fahrtrichtung befindlichen Objekt. Wenn das Fahrzeug bremst, dann kann sich die Kabine relativ zum Chassis neigen. In einer solchen Situation ist die konstante Transformation keine gültige Annahme mehr. Wenn der Fusionsalgorithmus diese Annahme dennoch zugrunde legt, dann führt dies zu einer Überschätzung der Distanz zum Objekt. Eine Überschätzung des verfügbaren Bremsweges ist sicherheitsrelevant.
-
Daher ist es erforderlich, zeitlich veränderliche Transformationen zwischen Koordinatensystemen von Sensoren zu identifizieren, um eine konsistente Fusion der Sensordaten zu ermöglichen.
-
Die
US 2014/0336883 A1 beschreibt eine gelenkig ausgebildete Arbeitsmaschine, bei der die relative Ausrichtung zweier Glieder der Maschine mittels Ausgabedaten von Trägheitssensoren bestimmt wird, die an den Gliedern befestigt sind. Die Maschine umfasst einen ersten Rahmen und einen zweiten Rahmen, umfassend einen Körper und ein Chassis, wobei der Körper an einem Drehpunkt drehbar mit dem Chassis verbunden ist. Der erste Rahmen und der zweite Rahmen sind mittels einer Gelenkvorrichtung verbunden und sind in zumindest einer Richtung relativ zueinander beweglich. Die Maschine umfasst einen ersten Mehrachsen-Trägheits-Sensor, der an dem ersten Rahmen angeordnet ist, und Ausgangsdaten bezüglich der Position des ersten Rahmens bereitstellt, und einen zweiten Mehrachsen-Trägheits-Sensor, der an dem Körper angeordnet ist, und Ausgangsdaten bezüglich der Position des Körpers bereitstellt. Die Maschine umfasst ferner einen Controller, der dazu konfiguriert ist, die Ausgangsdaten des ersten und des zweiten Mehrachsen-Trägheits-Sensors zu vergleichen, um die Position des Körpers und des ersten Rahmens relativ zueinander zu berechnen.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein verbessertes Verfahren zur Fusionierung von Sensordaten anzugeben.
-
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Fusionierung von Sensordaten gemäß Anspruch 1.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Bei einem erfindungsgemäßen Verfahren zur Fusionierung von Sensordaten mehrerer Sensoren, die an einem Fahrzeug so angeordnet sind, dass Relativbewegungen zwischen den Sensoren möglich sind, stellt jeder der Sensoren Daten zu seiner Position, Geschwindigkeit und/oder Beschleunigung bereit oder wird mit einem zusätzlichen Sensor zur Bereitstellung dieser Daten versehen oder stellt Rohdaten zur Schätzung dieser Daten bereit. Erfindungsgemäß wird in einer Testphase basierend auf vorgegebenen Testanregungen ein parametrisches Modell identifiziert und/oder erstellt, das die Relativbewegung und Transformationen zwischen den Sensoren als Funktion der Anregungen beschreibt, wobei während der Testphase eine Bandbreite der Testanregung so gewählt wird, dass sie einen Betriebs-Frequenzbereich abdecken, indem über den gesamten Frequenzbereich abgetastet wird, in dem Anregungen im realen Einsatzfall vorkommen können, wobei zur Identifizierung und/oder Erstellung eines nicht-parametrischen Modells in Form einer Frequenzantwort-Matrix eine Modalanalyse im Betriebs-Frequenzbereich durchgeführt wird, wobei anschließend eine parametrische Systemidentifikation auf der Frequenzantwort-Matrix durchgeführt wird, um ein parametrisches Modell herzuleiten, wobei in einem ersten Versuch Linearität angenommen wird, wobei dann, wenn ein lineares parametrisches Modell die relative Bewegung nicht erfassen kann, eine nichtlineare Systemidentifikation durchgeführt wird, um ein nichtlineares parametrisches Modell herzuleiten, wobei das parametrische Modell während eines Betriebs des Fahrzeugs in einen Fusionsalgorithmus einbezogen wird oder ein umgekehrtes Modell des parametrischen Modells verwendet wird, um Rohdaten der Sensoren zu transformieren, bevor sie in den Fusionsalgorithmus eingespeist werden.
-
Der Vorteil des beschriebenen Verfahrens besteht darin, dass eine Vielzahl von Sensoren über ein flexibles Multi-Körper-System verteilt angeordnet sein können, beispielsweise eine Fahrzeugkabine und ein Chassis, und dass ihre Daten trotzdem ohne weitere Bedenken bezüglich der Relativbewegungen, beispielsweise zwischen Kabine und Chassis, fusioniert werden können.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
- 1 eine schematische Ansicht eines Fahrzeugs, das mit einer Anzahl von Sensoren oder Sensoranordnungen ausgestattet ist,
- 2 eine schematische Ansicht eines Fahrzeugs, das mit einer Anzahl von Sensoren oder Sensoranordnungen ausgestattet ist,
- 3 schematische Diagramme mit Input-Daten, die an einem Shaker erfasst wurden, und Output-Daten, die an Beschleunigungsaufnehmern erfasst wurden, über der Zeit,
- 4 schematische Diagramme der Input- und Output-Daten im Frequenzbereich, und
- 5 schematische Kohärenzdiagramme.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
1 ist eine schematische Ansicht eines Fahrzeugs 1, insbesondere einer Zugmaschine, die mit einer Anzahl von Sensoren 2.1 bis 2.4 oder Sensoranordnungen ausgestattet ist. Das Fahrzeug 1 umfasst mehrere zueinander bewegliche Körper 1.1, 1.2, beispielsweise ein Chassis 1.1 und eine Kabine 1.2. Die Sensoren 2.1 bis 2.4 umfassen eine Kamera 2.1 hinter einer Frontscheibe der Kabine 1.2, eine Sensoranordnung 2.2, umfassend eine inertiale Messeinheit (IMU) und eine Antenne für ein Satellitennavigationssystem (GNSS), die ebenfalls an der Kabine 1.2 angeordnet ist, eine Sensoranordnung 2.3, umfassend eine Kamera, einen Radarsensor und einen LIDAR-Sensor, die ebenfalls an der Kabine 1.2 angeordnet ist, sowie eine Sensoranordnung 2.4, umfassend eine inertiale Messeinheit (IMU), die am Chassis 1.1 angeordnet ist.
-
Um eine konsistente Sensorfusion zu erreichen, soll die relative Bewegung und Ausrichtung zwischen den Sensoren bestimmt werden. Hierfür wird zunächst ein parametrisches Modell identifiziert und/oder erstellt, das die Relativbewegung und Transformationen zwischen den Sensoren als Funktion von Systemeingaben (Anregungen) beschreibt. Anschließend während des Betriebs des Fahrzeugs wird dieses Modell in einen Zustandsschätzer einbezogen, der unter Nutzung der Systemeingaben und von Messwerten der Sensoren Schätzungen der Relativbewegungen zwischen den Sensoren und der Transformationen bereitstellt. Dies ermöglicht schlussendlich eine konsistente Fusion der Sensormessungen.
-
Zunächst werden experimentelle Echtzeit-Tests durchgeführt, um Daten zu erfassen, die die Reaktion der Struktur des Fahrzeugs 1 auf synthetische (nutzerdefinierte) Anregungen abbilden. Die Bandbreite der synthetischen Anregung kann so gewählt sein, dass sie einen Betriebs-Frequenzbereich abdecken, indem über den gesamten Frequenzbereich abgetastet wird, in dem Anregungen im realen Einsatzfall vorkommen können. Daher wird der Betriebs-Frequenzbereich der Anregungen als a priori bekannt angenommen.
-
Für die Schätzung der Relativbewegung zwischen den Sensoren wird angenommen, dass jeder Sensor Daten zu seiner Position, Geschwindigkeit und/oder Beschleunigung bereitstellt. Falls diese Voraussetzung nicht vorliegt, dann kann entweder ein zusätzlicher Sensor, beispielsweise ein Beschleunigungsaufnehmer, an dem jeweiligen Sensor angeordnet werden oder Rohdaten des Sensors verarbeitet werden, um die Position, Geschwindigkeit und/oder Beschleunigung zu extrahieren (schätzen). Beispielsweise kann die Geschwindigkeit bei einem LIDAR-Sensor aus Daten einer Punktwolke bestimmt werden.
-
2 ist eine schematische Ansicht eines beispielhaften Fahrzeugs 1, insbesondere einer Zugmaschine, die mit einer Anzahl von Sensoren 2.1 bis 2.4 oder Sensoranordnungen ausgestattet ist.
-
Die Sensoren 2.1 bis 2.4 umfassen zwei LIDAR-Sensoren 2.1, 2.2 die im Dachbereich der Kabine 1.2 angeordnet sind und zwei Radarsensoren 2.3, 2.4, die am Chassis 1.1, insbesondere an einem Stoßfänger, angeordnet sind. Ferner ist ein Beschleunigungsaufnehmer 3 an der Kabine 1.2, insbesondere im Dachbereich der Kabine 1.2, angeordnet.
-
Die LIDAR-Sensoren 2.1, 2.2 und Radarsensoren 2.3, 2.4 stellen die Position, Geschwindigkeit und/oder Beschleunigung bezüglich der Anregung nicht direkt zur Verfügung. Es wird darauf hingewiesen, dass dann, wenn die Genauigkeit der geschätzten Position, Geschwindigkeit und/oder Beschleunigung des genannten Sensors, zum Beispiel des LIDAR-Sensors (zum Beispiel bei Schätzung aus der Punktwolke), zu gering ist, ein zusätzlicher Sensor, beispielsweise ein Beschleunigungsaufnehmer, benötigt wird.
-
Für den Fall, dass der Betriebs-Frequenzbereich unbekannt ist, können weitere Feldtests erforderlich sein, um den Bereich zu identifizieren. In den meisten industriellen Anwendungsfällen, beispielsweise der Automobilindustrie, ist der Bereich der externen Anregung a priori bekannt.
-
Basierend auf den erfassten Daten sollte eine systematische Modalanalyse im relevanten Betriebs-Frequenzbereich durchgeführt werden. Das Rückgrat der Modalanalyse basiert im Wesentlichen auf der so genannten schnellen Fourier-Transformation (FFT), die es ermöglicht, die erfassten Daten aus dem Zeitbereich in den Frequenzbereich zu transformieren. Dies hat zweierlei Vorteile: (1) Die erfassten Daten im Zeitbereich sind im Vergleich zu den transformierten Daten im Frequenzbereich sehr viel dichter und damit in einer Nachverarbeitungs-Phase sehr zeitaufwendig. Dies ist im Kontext der vorliegenden Erfindung besonders wichtig, da der nächste Schritt, die Systemidentifikation, das nicht-parametrische Modell verwendet um ein parametrisches Modell zu generieren und dichtere Daten den Identifikations-Algorithmus nur mit einem unnötigen Rechenleistungs-Overhead belasten würden. (2) Die transformierten Daten im Frequenzbereich bieten ein klareres Bild hinsichtlich des Systemverhaltens, beispielsweise der Systemresonanz. Das Resultat der Modalanalyse ist das nicht-parametrische Modell, welches die Bewegungen (3D) der Sensoren bei gegebenen Anregungsfrequenzen beschreiben. Dieses nicht-parametrische Modell nimmt typischerweise die Form einer Frequenzantwort-Matrix (FRF/FRM). Die erhaltene Frequenzantwort-Matrix FRM ist datengesteuert (eine Menge von Matrizen mit komplexen Werten für jede der Anregungsfrequenzen) und kann nicht ohne weiteres in dieser Form in der Sensorfusion integriert werden.
-
Anschließend wird die parametrische Systemidentifikation auf der Frequenzantwort-Matrix FRM durchgeführt, um ein Modell herzuleiten, das in den Fusionsalgorithmus integriert werden kann. Bei einem ersten Versuch wird Linearität angenommen. Wenn jedoch ein lineares Modell die relative Bewegung nicht erfassen kann, wird eine nichtlineare Systemidentifikation durchgeführt. Als Resultat wird ein parametrisches, lineares/nichtlineares Modell erhalten, das die Relativbewegung als Funktion der Anregung beschreibt. Das parametrische Modell wird in den Fusionsalgorithmus einbezogen, um die Relativbewegung und Transformation zwischen den Sensoren zu erhalten.
-
Ohne die Allgemeingültigkeit des beschriebenen Verfahrens zu beeinträchtigen wird die technische Lösung im Folgenden detaillierter für den Fall beschrieben, dass die betrachtete flexible Mehr-Körper-Struktur ein autonomes Nutzfahrzeug mit verteilten Sensoren ist. Das Ziel ist, die Transformation zwischen den Sensoren für eine konsistente Sensorfusion in Echtzeit zu schätzen. Die Relativbewegungen können das Resultat externer Anregungen von der Fahrbahn sein, beispielsweise Bodenwellen oder dynamische Manöver wie z.B. Spurwechsel, bei denen die Relativbewegung zwischen der Kabine und dem Chassis und/oder die Vibrationen der Kabine und/oder des Chassis nicht vernachlässigbar sind. Für eine konsistente Sensorfusion sollten die Relativbewegungen systematisch geschätzt und im Fusionsalgorithmus kompensiert werden.
-
Die technische Realisierung des Verfahrens wird wie folgt beschrieben:
- Schritt 1: Ausrüsten des Fahrzeugs mit den Sensoren und Montieren der Sensoren.
- Schritt 2: Durchführen einer experimentellen Modalanalyse unter Verwendung des sogenannten Shaker-Tests:
- i. Das Fahrzeug 1 wird auf eine Anzahl von Shakern gestellt, beispielsweise mechanische Vibratoren.
- ii. Es werden Kraftaufnehmer aktiviert um ein Eingabe-Anregungssignal zu messen. Alle Freiheitsgrade an Sensorpunkten werden ausgewertet um die Relativbewegung zu schätzen.
- iii. Es wird ein Signalgenerator verwendet um ein geeignetes Anregungssignal zu erzeugen, beispielsweise ein Hadamard-Multisinus-Signal.
- iv. Die Datenerfassung wird für alle Sensordaten durchgeführt, beispielsweise für zwei Beschleunigungsaufnehmern, die zum Beispiel den in 1 gezeigten Sensoren 2.2, 2.3 zugeordnet sein können. 3 zeigt schematische Diagramme mit Input-Daten, die an einem Shaker erfasst wurden, beispielsweise einer Input-Kraft F, und Output-Daten, die an einem Beschleunigungsaufnehmer 3 erfasst wurden, beispielsweise einer Beschleunigung a, über der Zeit t.
- Schritt 3: Durchführung einer Multi-Referenz-Modalanalyse
- i. Auswählen des interessierenden Frequenzbereichs (in der Automobilindustrie typischerweise unter 10 Hz)
- ii. Ausfiltern von Ein-/Ausgabe-Daten, die aus einem Anwendungstest (Echtzeitmessung) gewonnen wurden. Da die erhaltenen Daten im Zeitbereich unter dem Einfluss von Messrauschen stehen, wird ein Bandpassfilter benötigt, um das Außerbandrauschen zu unterdrücken. Wenn andererseits das in der Modalanalyse verwendete Anregungssignal nicht harmonisch ist, sollte ein sogenanntes Windowing zusammen mit einem geeigneten Filter, beispielweise einem Hann-Filter, verwendet werden, um den Leckagefehler zu verringern.
- iii. Durchführen einer Spektralanalyse um H1/H2-Funktionen zu berechnen (H1 und H2 sind Frequenzantwort-Matrizen). 4 zeigt schematische Diagramme der Input- und Output-Daten im Frequenzbereich, wobei Autospektren G11, G22 und Kreuzspektren G12, G21 über der Frequenz f dargestellt sind. Dies wird als so genannte beste lineare Approximation (Best Linear Approximation - BLA) bezeichnet, die die Bewegung der Sensoren bezüglich der Anregungspunkte (Shaker-Punkte) als Funktion der Frequenz repräsentiert.
- iv. Berechnen der Kohärenz der Messungen. 5 zeigt schematische Kohärenzdiagramme mit den Kohärenzen γ11, γ22, γ12, γ21, über der Frequenz f. Falls der Wert der Kohärenz γ11, γ22, γ12, γ21, für alle interessierenden Frequenzen nahe an 1 liegt, so sollte lineare Modellierung ausreichend sein. Anderenfalls liegen Nichtlinearitäten vor und sollten im Modell berücksichtigt werden.
- Schritt 4: Falls die Linearitätsannahme zutrifft sollte sichergestellt werden, dass die Frequenzantwort-Matrix FRM den kompletten Arbeitsfrequenz-Bereich des Systems abdeckt. Falls es Schwingungsformen gibt, die berücksichtigt werden sollten aber in der Frequenzantwort-Matrix FRM nicht auftreten, sollten der Frequenzbereich der Anregung verbreitert und die Schritte 1 bis 3 wiederholt werden.
-
Basierend auf der Analyse soll die Frage beantwortet werden ob die entsprechende Schwingungsform ein Problem bei der Transformation der Sensordaten ist. Wenn dies der Fall ist, wird bei Schritt 5 fortgesetzt. Anderenfalls wird zurück zu Schritt 2.iii gesprungen und der entsprechende Frequenzbereich aus dem Spektrum der Eingabe-Anregung herausgenommen und das Verfahren dort fortgesetzt.
-
Schritt 5: Durchführung einer System-Identifikation im Frequenzbereich unter Verwendung eines Subspace-Algorithmus oder eines Predictive-Error-Method-Algorithmus (PEM):
- i. Auswählen des interessierenden Arbeits-Frequenzbereichs
- ii. Auswahl der Modellordnung basierend auf den dominanten Einzelwerten. Eine Daumenregel ist, die Ordnung n = 2m auszuwählen, wobei m die Anzahl von Schwingungsformen im interessierenden Frequenzbereich ist.
- iii. Iteration über das Modell, um die Stabilität des Modells in Abhängigkeit vom Optimierungsalgorithmus sicherzustellen.
- iv. Validieren der Übergangsfunktion des erhaltenen Modells gegen die Frequenzantwortfunktion FRM um die Qualität des Modells zu verifizieren.
- v. Wenn die Frequenzantwort des Modells mit der Frequenzantwortfunktion FRM übereinstimmt, bei Schritt 6 fortsetzen. Anderenfalls Schritt 5.i überarbeiten und fortfahren.
- vi. Falls die finale Übereinstimme zwischen dem Modell (auch Zustandsraummodell genannt) und der Frequenzantwortmatrix FRM akzeptabel ist, dann kann geschlussfolgert werden, dass die Linearitätsannahme gültig ist. Akzeptabel in diesem Zusammenhang bedeutet, dass der Modellierungsfehler (Identifikationsfehler) unter dem Rauschpegel (Noise-Level) bei der Messung liegt. Der Rauschpegel in den Messungen kann mit der sogenannten lokalen Polynommethode (LPM) berechnet werden. Anderenfalls sollte eine nichtlineare Systemidentifikation durchgeführt werden.
-
Ein Zustandsraummodell ist eine Form eines mathematischen Modells für dynamische Systeme, das in der Form
repräsentiert wird, wobei A, B, C, D konstante Matrizen geeigneter Dimension darstellen, und x(.), y(.), und u(.) entsprechende Zustands-, Output- und Input-vektoren sind.
-
Schritt 6: Erweitern der Zustände des Fusionsalgorithmus unter Verwendung des erhaltenen Zustandsraummodells aus Schritt 5, um die Relativbewegung zwischen den Sensoren zu berücksichtigen. Die Sensorfusion kann dann die Relativbewegung zwischen den Sensoren kompensieren. Dies kann auf zweierlei Weise erfolgen:
- i. Einbeziehen des identifizierten Modells in den Fusionsalgorithmus, beispielsweise bei auf einem Kalman-Filter basierenden Ansätzen. Bei dieser Lösung ist es nicht erforderlich, die Transformation auf den empfangenen Daten durchzuführen. Dies kann jedoch zu einem komplizierten Fusionsalgorithmus führen, da die Anzahl von Zuständen für eine große Anzahl von Sensoren abhängig von der Ordnung des in Schritt 5 geschätzten Modells signifikant ansteigen kann.
- ii. Verwenden des umgekehrten Modells aus Schritt 5 um die Roh-Sensordaten zu transformieren bevor sie in den Fusionsalgorithmus eingespeist werden. Im Fusionsalgorithmus kann dann angenommen werden, dass die Relativbewegung vernachlässigbar ist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2014/0336883 A1 [0006]