-
Die
Erfindung betrifft ein Verfahren zur Bereitstellung von Information
für Fahrerassistenzsysteme.
-
Die
Erfassung von Vorgängen
in der Fahrzeugumgebung ist ein zentraler Bestandteil für die Realisierbarkeit
zukünftiger
Fahrassistenzsysteme (FAS) wie beispielsweise eines Notbremsassistenten bzw.
aktueller oder weiterentwickelter Varianten von „Active Cruise Control”-Systemen.
Information über Vorgänge in der
Fahrzeugumgebung kann insbesondere durch die Verwendung einer Vielzahl
verschiedenartiger Sensoren ermittelt werden.
-
Dabei
müssen
die Zuverlässigkeit
der Information und ihrer Verarbeitungsmethoden abhängig von
den Anforderungen der Fahrassistenzsysteme gewährleistet sein. Eine wichtige
Fragestellung hierbei ist, wie redundante und diversitäre Sensorinformation
genutzt werden kann, um eine maximale Leistungsfähigkeit zu erreichen. Dazu
müssen
Sensoren derart kombiniert werden, dass sie kooperieren, sich ergänzen und
konkurrieren können.
Durch Sensordaten-Fusion wird die Information unterschiedlicher Sensoren
vereinigt, die Robustheit und Redundanz erhöht und „neue” Information, ggf. basierend
auf Modellannahmen, abgeleitet.
-
Die
Einbeziehung von Sensordaten-Fusion in Verfahren zur Bereitstellung
von Information für Fahrerassistenzsysteme
ist an sich bekannt. Existierende Verfahren weisen jedoch Defizite
im Hinblick auf eine effiziente und zielgerichtete Verwertung der verfügbaren Daten
auf.
-
Aufgabe
der Erfindung ist die Schaffung eines verbesserten Verfahrens zur
Bereitstellung von Information für
Fahrerassistenzsysteme.
-
Gelöst wird
diese Aufgabe durch ein Verfahren mit den Merkmalen des Patentanspruchs
1. Vorteilhafte Ausführungsformen
und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
-
Um
mittels einer Messdatenverarbeitungseinheit eines mit einer Mehrzahl
verschiedenartiger Umfeldsensoren ausgerüsteten Kraftfahrzeugs Objekteigenschaften
betreffend zumindest ein Objekt in der Umgebung des Kraftfahrzeugs
an zumindest ein Fahrerassistenzsystem des Kraftfahrzeugs bereitzustellen,
werden erfindungsgemäß hypothesenbasiert Objekteigenschaften
von Objekten in der Umgebung des Kraftfahrzeugs gewonnen und an
das zumindest eine Fahrerassistenzsystem ausgegeben.
-
Die
Bestimmung von Objekteigenschaften der Objekte in der Umgebung des
Kraftfahrzeugs erfolgt mittels wiederholter Anwendung der folgenden Verfahrensschritte:
Zunächst
werden von jedem der Umfeldsensoren Messdaten erfasst. Dies erfolgt
vorzugsweise periodisch, sodass jeder Umfeldsensor letztlich einen
quasikontinuierlichen Messdatenzeitverlauf zur Verfügung stellt.
Aus den aktuellen Werten und den Vergangenheitswerten der Messdaten der
einzelnen Umfeldsensoren werden sodann Messdatenmerkmale abgeleitet.
Die Ableitung der Merkmale basiert vorzugsweise auf kinematischen Modellen
möglicher
Objekte in der Fahrzeugumgebung. Anhand der abgeleiteten Messdatenmerkmale wird
eine erste Zuordnung durchgeführt,
bei der den Messdaten der einzelnen Umfeldsensoren jeweils zumindest
eine von mehreren möglichen
Messdatenhypothesen zugeordnet wird. Mindestens eine der möglichen
Messdatenhypothesen betrifft dabei die Relevanz der Messdaten für ein bereits
zuvor detektiertes Objekt in der Fahrzeugumgebung. Anschließend wird
eine zweite Zuordnung durchgeführt,
bei der Messdaten zumindest zweier Umfeldsensoren, die gemäß der ersten
Zuordnung Relevanz für
ein bestimmtes Objekt in der Fahrzeugumgebung besitzen, diesem Objekt
zugeordnet werden. Wiederum in Abhängigkeit von dieser zweiten
Zuordnung wird eine Objekthypothese angepasst, die mehrere Objekteigenschaften
des Objekts umfasst. Diese Objekthypothese kann schließlich dem
zumindest einen Fahrerassistenzsystem als Information zur Verfügung gestellt
werden – entweder
als Hypothese mit einem bestimmten Grad an Zuverlässigkeit
oder bei entsprechend hoher Zuverlässigkeit als Faktum.
-
Das
erfindungsgemäße Auswertungskonzept
umfasst mehrere Auswertungs- und Zuordnungsstufen, in welchen die
Datenmengen nach und nach reduziert und Rohdaten nach und nach in
Anwendungsdaten umgewandelt werden. Dies ermöglicht eine effiziente und
zielgerichtete Verwertung der verfügbaren – gegebenenfalls redundanten – Daten.
-
Zudem
ist das erfindungsgemäße Verfahren geeignet,
Sensorfusion und Fehlerdetektion in ein gemeinsames Konzept und
eine gemeinsame Architektur zu integrieren.
-
Vorzugsweise
sind die mehreren möglichen Messdatenhypothesen
so gewählt
bzw. festgelegt, dass sie geeignet sind, zumindest die alternativen Fälle zu unterscheiden,
dass die zuletzt von dem jeweiligen Umfeldsensor erfassten Messdaten
einem bestimmten bereits zuvor detektierten Objekt in der Fahrzeugumgebung
zuordenbar sind oder dass die zuletzt von dem jeweiligen Umfeldsensor
erfassten Messdaten einem zuvor undetektierten Objekt in der Fahrzeugumgebung
zuordenbar sind oder dass ein Messfehler vorliegt.
-
Durch
die frühzeitige
Bewertung der Verwendbarkeit und Plausibilität der Messdaten kann die weitere
Auswertung besonders effizient und zielgerichtet erfolgen.
-
Für den Fall
des Vorliegens eines Messfehlers sind die mehreren möglichen
Messdatenhypothesen vorzugsweise so gewählt bzw. festgelegt, dass sie
geeignet sind, zumindest die alternativen Fälle zu unterscheiden, dass
ein zumindest seiner Art nach bekannter Messfehler vorliegt oder
dass ein zumindest seiner Art nach unbestimmter Messfehler vorliegt.
-
So
kann eine verbesserte Klassifikation von Mess- und Sensorfehlern
unterstützt
werden.
-
Das
Erfassen von Messdaten erfolgt vorzugsweise periodisch. Die auf
das Erfassen der Messdaten folgenden Verfahrensschritte der Bestimmung
von Objekteigenschaften werden vorzugsweise schritthaltend mit dem
Erfassen der Messdaten mit derselben Wiederholrate durchgeführt.
-
Das
Ableiten von Messdatenmerkmalen aus den Messdaten eines bestimmten
Umfeldsensors erfolgt gemäß einer
bevorzugten Ausführungsform
der Erfindung, indem das Zutreffen von durch ein mathematisches
Erwartungsmodell definierten Erwartungen an die Messdaten anhand
des Erwartungsmodells überprüft wird.
Dieses mathematische Erwartungsmodell kann in an sich erfinderischer
Art und Weise zudem dazu verwendet werden, im Falle des Ausbleibens
von Messdaten Ersatzmessdaten zu generieren, welche die Messdaten
des Umfeldsensors ersetzen, von dem keine Messdaten mehr verfügbar sind.
Dabei kann unter Nutzung von Wahrscheinlichkeits- und/oder Zuverlässigkeitsmodellen
nach und nach, d. h. mit zunehmender Zeit, das in solche „extrapolierten” Daten
gesetzte Vertrauen verringert werden.
-
Gemäß einer
weiteren bevorzugten Ausführungsform
der Erfindung kann alternativ oder zusätzlich bei der ersten Zuordnung
eine neue Messdatenhypothese, welche die Relevanz der Messdaten
für ein
zuvor undetektiertes Objekt in der Fahrzeugumgebung betrifft, begründet werden,
wenn die Messdaten eines Umfeldsensors anhand der abgeleiteten Messdatenmerkmale
keinem zuvor detektierten Objekt in der Fahrzeugumgebung zuordenbar
sind und wenn bestimmte durch ein mathematisches Erwartungsmodell
definierte Erwartungen an die Messdaten erfüllt sind. Dabei kann unter
Nutzung von Wahrscheinlichkeits- und/oder Zuverlässigkeitsmodellen nach und
nach, d. h. mit zunehmender Zeit, das in zunächst nicht zuordenbare Daten
und darauf beruhende Hypothesen gesetzte Vertrauen gesteigert werden.
-
Bei
der zweiten Zuordnung wird vorzugsweise dann eine Objekthypothese
begründet,
die ein zuvor undetektiertes Objekt in der Fahrzeugumgebung betrifft,
wenn Messdaten, welche gemäß der ersten Zuordnung
Relevanz für
ein Objekt in der Fahrzeugumgebung besitzen, bei der zweiten Zuordnung
keinem bereits zuvor detektierten Objekt in der Fahrzeugumgebung
zuordenbar sind – und
ggf. weitere Bedingungen erfüllt
sind.
-
Zusätzlich können gemäß einer
Weiterbildung der Erfindung Sensorfehler detektiert werden, indem
Sensorfehlerhypothesen anhand zumindest einer Objekthypothese überprüft werden.
Die Integration von Sensorfusion und Fehlerdetektion in ein gemeinsames
Konzept und eine gemeinsame Architektur wird so unterstützt.
-
Gemäß einer
besonders bevorzugten Ausführungsform
der Erfindung werden insbesondere die erste und die zweite Zuordnung
wahrscheinlichkeitsbasiert vorgenommen. Somit können „weiche” Entscheidungskriterien herangezogen
werden. Zunächst
nicht zuverlässig
erscheinende Messdaten müssen
nicht verworfen oder ausgeblendet werden. Vielmehr kann im Verlaufe
der Zeit ein wachsendes Vertrauen in eine darauf beruhende Hypothese
begründet
und diese Hypothese verwertet werden. Insbesondere ein dynamisches
probabilistisches Netzwerk basierend auf dem Bayes'schen Theorem erscheint
geeignet für
eine Umsetzung der Erfindung.
-
Im
Folgenden werden anhand der beigefügten Zeichnungen weitere Details,
bevorzugte Ausführungsformen
und Weiterbildungen der Erfindung sowie ein Ausführungsbeispiel beschrieben.
Dabei zeigen im Einzelnen
-
1 ein
Beispielsystem zur Fahrumgebungserfassung anhand verschiedenartiger
Umfeldsensoren,
-
2 ein
Prinzipbild zur Veranschaulichung der Rolle der Sensordaten-Fusion
als Integrationsplattform verschiedener Methoden für die Verarbeitung
von Sensordaten,
-
3 die
Signalflüsse
und Verarbeitungsstufen eines Verfahrens zur Klassifizierung von
Fahrumgebungsinformation bezüglich
ihrer Zuverlässigkeit,
-
4 die
verwendete Architektur für
den MTTFDI-Algorithmus,
-
5a,
b ein Beispiel der Bewertung einer irrelevanten Objekthypothese
in einer ersten typischen Fahrsituation,
-
6a,
b ein Beispiel der Bewertung einer relevanten Objekthypothese in
einer zweiten typischen Fahrsituation und
-
7 eine „Receiver
Operating Characteristic” (ROC)-Kurve
für die
Klassifizierung von Objekthypothesen.
-
Die
umfassende und exakte Erfassung von Vorgängen in der Fahrzeugumgebung
mittels einer Vielzahl verschiedenartiger Umfeldsensoren wird eine
zentrale Voraussetzung für
die Realisierung zukünftiger
Fahrassistenzsysteme (FAS) darstellen. Dabei müssen die Zuverlässigkeit
erfasster Information und ihrer Verarbeitungsmethoden abhängig von den
Anforderungen des jeweiligen FAS gewährleistet sein. Um redundante
und diversitäre
Sensorinformation optimal zu nutzen, müssen Sensoren derart kombiniert
werden, dass sie kooperieren, sich ergänzen und konkurrieren können. Durch
Sensordaten-Fusion wird die Information unterschiedlicher Sensoren vereinigt,
die Robustheit und Redundanz erhöht
und „neue” Information,
ggf. basierend auf Modellannahmen, abgeleitet.
-
1 zeigt
ein Beispielsystem zur Fahrumgebungserfassung anhand verschiedenartiger
Umfeldsensoren. Bei dem in 1 in Draufsicht
abgebildeten Kraftfahrzeug finden jeweils mehrere Umfeldsensoren
der Kategorien Video, Lidar und Radar Verwendung. Die Erfassungsbereiche überlappen sich,
woraus sich eine Redundanz der durch die Gesamtheit der Umfeldsensoren
erfassten Information ergibt.
-
Neben
der bereits angesprochenen Sensordaten-Fusion besteht ein weiterer
wichtiger Aspekt des beispielhaft vorgestellten Verfahrens darin,
die Zuverlässigkeit
der Fahrumgebungsinformation trotz – oft unvermeidlicher – Sensorfehlfunktionen
sicherzustellen. Sensorfehler müssen
schnellstmöglich
erkannt und isoliert werden. Fehlerdetektions- und Fehlerisolierungsmethoden
(engl. Fault Detection and Identification – FDI) bieten hierfür verschiedene wissensbasierte
Verfahren, die auf analytischen oder heuristischen Informationen
beruhen. Durch die Kombination und Weiterentwicklung von Sensordaten-Fusion
und FDI-Methoden kann die Fahrumgebungsinformation bezüglich Relevanz
und Fehlerfreiheit evaluiert werden und so eine höhere Zuverlässigkeit
der Fahrumgebungserfassung für
FAS erreicht werden. Beide Ansätze
können
sich – wie
im Folgenden gezeigt wird – ergänzen und
gegenseitig überwachen,
da sie teilweise gemeinsame Ziele und Strategien aufweisen.
-
2 stellt
die Sensordaten-Fusion als Integrationsplattform verschiedener Methoden
für die Verarbeitung
von Sensordaten und zwischen Sensorhardware und FAS-Funktionen dar.
Sensordaten 1 werden von einer Vielzahl von Sensoren an
die Sensordaten-Fusion 4 übergeben. Die Sensordaten-Fusion 4 umfasst
die Blöcke „Multiple
Target Tracking” 2 und „Fehlerdetektion
und -isolierung” 3.
Die im Block Sensordaten-Fusion 4 gewonnene Information
wird letztlich den Fahrerassistenzsystem-Funktionen 5 zur
Verfügung
gestellt. Die Gesamtheit der Fahrerassistenzsystem-Funktionen 5 setzt
sich zusammen aus den Funktionen der einzelnen Fahrerassistenzsysteme
FAS 1, ..., FAS n.
-
Sensordaten-Fusion
verbindet die Information diversitärer und typischerweise zumindest
teilweise redundanter Sensoren so, dass eine konsistente Beschreibung
des von den Sensorsystemen erfassten Raums entsteht. Dabei werden
die spezifischen Sensorkonfigurationen von den Assistenzfunktionen getrennt
und die Sensordaten allgemeingültig
aufbereitet. Diese Abstraktionsebene ermöglicht dann eine flexible Systemauslegung,
die mit unterschiedlichen Konfigurationen umgehen kann und die Abhängigkeiten
zwischen Sensordaten und Applikationen der FAS verringert, um eine
entsprechende Modularität und
Wiederverwendbarkeit von Systemkomponenten zu erreichen. Ein wichtiger
Grund für
die Implementierung von Multi-Sensorsystemen und zugehörigen, teilweise
rechenaufwändigen
Fusionsansätzen
für Sensordaten
ist auch, dass in zukünftigen
Fahrerassistenzsystemen Funktionen – einzeln oder in Kombination – in zunehmendem
Maße mit
komplexerer Fahrumgebungsinformation versorgt werden müssen. Die
Robustheit, die Zuverlässigkeit
und die Verfügbarkeit
des gesamten Systems können
erhöht werden
mit Hilfe mehrfach vorhandener und verschiedenartiger Sensoren,
die in konkurrierenden, sich ergänzenden
und kooperierenden Konfigurationen eingesetzt werden. Voraussetzung
für die
Implementierung universeller Fusionsverfahren ist der Entwurf flexibler
Architekturen. Sie sollen die unterschiedlichen Systemanforderungen
bei der Umgebungserfassung durch Sensoren, wie verschiedene Beobachtungseigenschaften,
Messprinzipien und Informationstypen erfüllen. Die Erfindung basiert
auf einer an sich bekannten modularen Architektur für Sensordaten-Fusion.
In eine solche Architektur lassen sich Verfahren für die Verfolgung
von Objekten (z. B. Fahrzeugen, Fußgängern, Verkehrszeichen) in der
Fahrumgebung und die Bestimmung ihrer Eigenschaften durch ein so
genanntes „Multiple
Target Tracking” (MTT)
integrieren. Mit der bloßen
Sensordaten-Fusion wird bereits der erste Schritt zur Erhöhung der
Qualität
und der Zuverlässigkeit
der erfassten Umgebungsinformation erreicht, jedoch werden Sensor-
und System-Fehlfunktionen bisher nicht erkannt. Damit kann die Integrität der Information
nicht immer gewährleistet
werden.
-
Ziel
von Fehlerdetektions- und Fehlerisolierungs-(FDI)-Methoden ist die
Evaluierung der Umgebungsinformation in Abhängigkeit von Plausibilitätskriterien,
um hieraus ein Qualitäts-
und Zuverlässigkeitsmaß dieser
Information für
das System zu bestimmen. Hauptaufgabe ist die Extraktion oder Generierung
von Referenzen, die für
die Überwachung und
Diagnose des Systems verwendet werden können. Grundlage hierfür ist das
Ursache-Wirkungs-Prinzip, d. h. für jeden Fehler (Wirkung) können mit
Hilfe der Extraktion die dazugehörigen
Indizien (Ursachen) bestimmt werden. Indizien für Fehler werden Symptome oder
Residuen genannt. Sie lassen sich in an sich bekannter Weise anhand
redundanter Systeme extrahieren. Techniken, die Redundanz ermöglichen,
sind hauptsächlich
in analytische und physikalische Verfahren aufgeteilt. Physikalische Redundanz
besteht aus der Nutzung mehrfacher und unabhängiger Komponenten (Hardware),
die unterschiedliche Infrastruktur aufweisen und verschieden platziert
sind. Physikalische Residuen werden durch die Differenz zwischen
verschiedenen gemessenen Signalen extrahiert, sind leicht implementierbar
und weisen einen hohen Zuverlässigkeitsgrad
auf. Anderseits sind die damit verbundenen Kosten und die aufwändige geometrische
Integration nicht zu vernachlässigen.
Analytische Redundanz erlaubt eine explizite und unabhängige Herleitung
der linearen oder nichtlinearen Zusammenhänge des Systems durch modellbasierte
Ansätze
für eine
Konsistenzkontrolle. Hierbei wird die Beobachtbarkeit des Prozesses
verwendet, um Residuen zu generieren. In einem fehlerfreien Fall
sind die Residuen zwischen den realen und den modellgenerierten
Daten Null. Abhängig vom
Betrag des Residuums kann die Intensität des Fehlers bestimmt werden.
In der Literatur beschriebene Methoden für die Extraktion von Residuen
bzw. Erzeugung von analytisch redundanten Systemen sind unter anderem
Zustands- und Parameterschätzung
sowie lernbasierte und wahrscheinlichkeitsbasierte Verfahren. Sind
Fehler detektiert, so können Fehlereigenschaften
wie Art, Intensität,
Ort und Erkennungszeit bestimmt werden. Dies ist die Aufgabe der
Fehlerdiagnose. In der Literatur beschriebene Methoden für die Extraktion
von Fehlereigenschaften sind unter anderem klassifikations-, lernbasierte
und argumentationsbasierte Verfahren (z. B. Fehlerbaum- und Ereignisbaumanalyse).
-
Um
die Erfüllung
von Sicherheitsanforderungen an die Sensordaten weitgehend autonomer
FAS zu ermöglichen,
wurde ein neues Verfahren entwickelt, das nicht nur die Fusion von
Sensordaten und die Kursverfolgung von Objekten (Multiple Target Tracking)
in der Fahrumgebung durchführt,
sondern auch die Bewertung dieser erfassten Information sowie Rückschlüsse auf
Sensorfehler erlaubt. Das Verfahren wird im Folgenden auch bezeichnet
als Multiple Target Tracking und Faultdetection und -identifikation
(MTTFDI) Verfahren. MTTFDI kombiniert, ergänzt und erweitert die Funktionalität von herkömmlicher
Sensordaten-Fusion, MTT und FDI Methoden.
-
Ausgangspunkt
für den
vorgeschlagenen Ansatz ist die Evaluierung der erfassten Sensordaten bezüglich deren
Relevanz und Fehlerfreiheit in drei verschiedenen Ebenen. 3 zeigt
schematisch die Signalflüsse
und Verarbeitungsstufen eines entsprechenden Verfahrens zur Klassifizierung
von Fahrumgebungsinformation bezüglich
ihrer Zuverlässigkeit.
-
Aus
den Messdaten 100 werden relevante Merkmale extrahiert,
die zu deren Klassifizierung dienen. Merkmale auf der Messwertebene
werden in drei Kategorien aufgeteilt: Merkmale aus Messdaten 202,
Merkmale aus der Historie erkannter Objekte 201 und Merkmale
aus der Historie von Sensoreigenschaften 203. Anhand der
extrahierten Merkmale 201, 202, 203 und
deren Kombination werden den Messdaten 100 unterschiedliche
Hypothesen zugeordnet. Diese Zuordnung wird unterstützt durch
mathematische Modelle, die bestimmte Erwartungen an das Verhalten
der Daten beschreiben. Abhängig
davon, ob die Merkmale 201, 202, 203 auf
das Modell zutreffen oder vom ihm abweichen, wird die Information
als relevant, irrelevant, fehlerhaft oder fehlerfrei klassifiziert.
Das Residuum dient als Indiz für
die Bestätigung
von Hypothesen. Messdaten können
verschiedene – hier
beispielhaft vier – Hypothesenzustände annehmen:
- – Bestehendes
erkanntes Objekt (in einer Messdatenebene 300 von 3 sind
diese Hypothesenzustände
dargestellt als eine Reihe von n Ellipsen, die von der Ellipse 301 [„bestehender Track
1”] bis
zur Ellipse 302 [„bestehender
Track n”]
reicht),
- – neues
erkanntes Objekt (Ellipse 303),
- – spezifischer
Messfehler (in der Messdatenebene 300 von 3 dargestellt
als eine Reihe von p Ellipsen, die von der Ellipse 305 [„Messfehler
1”] bis
zur Ellipse 306 [„Messfehler
p”] reicht),
- – unbestimmter
Messfehler (Ellipse 304).
-
Der
Begriff Messfehler wird als „vorgetäuschte” Messgröße interpretiert,
die beispielsweise durch das Messprinzip bedingt sein kann („Geisterobjekt”) und die
von unterschiedlichem Ausmaß (tolerierbar bis
gravierend) sein kann.
-
Aus
den Messdaten werden in der nachfolgenden Sensordatenfusion zeitlich
zusammenhängende
Sets von Eigenschaften eines Objektes (z. B. Position, Geschwindigkeit)
generiert, die hier auch als „Track” bezeichnet
werden. Dazu werden an eine Track-Ebene 500 Track-Merkmale 401 und
Messdatenmerkmale 1 ... k (in 3 dargestellt
als eine Reihe von Pfeilen 402) übergeben. Durch die Kombination
von Messdatenhypothesen unterschiedlicher Messdaten mit den extrahierten
Track-Merkmalen kann die nächste
Hypothesenebene (Information ist einem Track zuordenbar 501;
Information ist keinem Track zuordenbar 502) bestimmt werden.
Dies geschieht für
jeden Track 1 ... l (in 3 dargestellt durch die Kennzeichnung „...” neben
der Track-Ebene 500). Analog zur Messdatenklassifizierung
werden Symptome für
Track-Hypothesen anhand mathematischer Modelle extrahiert.
-
Auf
den beiden bis hierhin beschriebenen Ebenen werden Hypothesen in
jedem Verarbeitungszyklus klassifiziert, was den „dynamischen
Teil” des vorgeschlagenen
Ansatzes bildet. Basierend auf der Bewertung der Hypothesen auf
dieser Ebene, können
unterschiedliche FAS entsprechend ihren Anforderungen an die Sensordaten
reagieren.
-
Im
nachfolgenden „quasistationären Teil” werden
die Sensorfehlerhypothesen für
die Sensoren 1 ... t bestimmt. Als Sensorfehler wird ein partieller
oder kompletter Ausfall der Sensorhardware, wie z. B. Dejustage,
Teilblindheit usw. bezeichnet. Auch in dieser Ebene werden die Symptome
mit Hilfe mathematischer Modelle extrahiert und die Ergebnisse von
den vorherigen Ebenen mit den extrahierten Sensorfehlermerkmalen
kombiniert. Dazu werden Sensormerkmale 601 und Track-Merkmale
1 ... k (in 3 dargestellt als eine Reihe
von Pfeilen 602) an eine Sensorfehlerebene 700 übergeben.
Ein wichtiger Unterschied des „quasistationären Teils” gegenüber dem „dynamischen
Teil” des
Konzepts liegt darin, dass die Klassifizierung nicht in jedem Arbeitszyklus durchgeführt wird,
sondern in vorgegebenen Zeitfenstern, die abhängig von den untersuchten Sensorfehlern
sind. Sensorfehler werden in drei Hypothesenklassen unterteilt:
- – Spezifische
Sensorfehler (in der Sensorfehlerebene 700 von 3 ist
diese Hypothesenklasse dargestellt als eine Reihe von m Ellipsen,
die von der Ellipse 701 [„Sensorfehler 1”] bis zur
Ellipse 702 [„Sensorfehler
m”] reicht),
- – unbestimmte
Sensorfehler 703,
- – kein
Sensorfehler (nicht eigens dargestellt in 3).
-
Die
erstgenannte Klasse (spezifische Sensorfehler) beschreibt modellierte
Sensorfehler, bei denen die extrahierten Merkmale zutreffen. Der zweitgenannten
Hypothesenkategorie (unbestimmte Sensorfehler) werden Sensorfehler
zugeordnet, die nicht modelliert werden konnten (z. B. aus Komplexitätsgründen) und
deren Merkmale weder zur ersten noch zur dritten Hypothesenklasse
zugeordnet werden konnten. Als fehlerfrei werden Sensoren klassifiziert,
wenn die extrahierten Merkmale die erwartete Sensorfunktionalität beschreiben.
Die Klassifizierung erfolgt für
jeden Sensor 1 ... t (in 3 dargestellt durch die Kennzeichnung „...” neben
der Sensorfehlerebene 700).
-
Gemäß einer
besonders bevorzugten Ausführungsform
der Erfindung erfolgt die Bestimmung von Hypothesen durch „weiche
Entscheidungskriterien”.
Hierfür
werden die Hypothesen aller Ebenen in an sich bekannter Weise anhand
eines dynamischen probabilistischen Netzwerks basierend auf dem Bayes'schen Theorem klassifiziert.
-
Das
vorgestellte MTTFDI-Verfahren umfasst zwei Hauptmodi: einen Entwurfs-
und einen Operationsmodus. Der Entwurfsmodus besteht aus der Modellierung
des erwarteten oder unerwarteten Verhaltens der erfassten Objekte.
Damit wird zum einen eine analytische Redundanz gebildet, die die
physikalisch redundanten Sensorsysteme ergänzt, und zum anderen die Extraktion
der Fehlersymptome ermöglicht.
Beispiele für
die Modellierung des erwarteten Verhaltens sind kinematische Objektmodelle,
die die Position und die Bewegung eines Objekts in der Fahrumgebung
beschreiben. Zusätzlich
werden Modelle eingesetzt, die die Umgebung plausibilisieren, wie
zum Beispiel Kriterien für
die Erscheinungsposition von Messwerten im Sensorerfassungsbereich oder
die Auswertung möglicher
Manöver
eines Objektes. Auch aus Sicht der Applikation unerwartete oder
irrelevante Vorgänge
in der Fahrumgebung werden mitmodelliert, wie z. B. das Auftreten
von Bodenreflexionen aufgrund von Straßenunebenheiten oder Nickbewegungen
des eigenen Fahrzeuges. Der Ansatz erlaubt sowohl die Verwendung
von Modellen, für
die die jeweils zugrundeliegenden physikalischen Gesetze und die
Modellparameter bekannt sind („White-Box”), als
auch Modelle, bei denen Modellarchitektur und Verhalten aus den
Eingangsignalen bestimmt werden müssen („Black-Box”).
Die Umgebungsanalyse im Entwurfmodus wird anhand von Abhängigkeitsmodellen
zwischen den aufgestellten Hypothesen und den extrahierten Symptomen
durchgeführt.
Diese Abhängigkeitsmodelle
werden mit Hilfe von „a
priori” Wissen
gebildet, falls die Ursache-Wirkungsabhängigkeit
bekannt ist. Anderenfalls können diese
Modelle mittels Trainingsdaten und lernbasierter Verfahren bestimmt
werden.
-
Der
Operationsmodus besteht aus der online erfolgenden Fusion von Sensordaten,
der Berechnung der Trajektorie von Objekthypothesen (MTT) und deren
Bewertung. Basierend auf der zeitlichen Auswertung dieser Informationen
wird die Erkennung von Sensorfehlern ermöglicht.
-
4 zeigt
eine bevorzugte Architektur für den
MTTFDI-Algorithmus.
-
Sensorinterpreter
SI normieren die Information diversitärer Sensoren SENS, um die nachfolgende
Sensordaten-Fusion zu ermöglichen
(Hardware-Unabhängigkeit).
Beispiele hierfür
sind ein gemeinsames Koordinatensystem und die Berücksichtung
der zeitlichen Erfassung der Daten.
-
Data-Association
DA (umfassend den Block AFF [Auswertung/Fehlerdetektion/Fehlerdiagnose] sowie
die m Blöcke
AS1 [Association 1] bis ASm [Association m]) definiert und klassifiziert
Messattribute als unterschiedliche Zielobjekte basierend auf deren mathematischen
Abbildungen (Modelle). Hierbei werden die Symptome für Messfehler
extrahiert, die die Bewertung der Messdaten und Objekthypothesen ermöglichen
und die folgende Klassifizierung von Sensorfehlerhypothesen unterstützen.
-
Low-Level-Fusion
LLF (umfassend die n Blöcke
LLF1 [Low-Level-Fusion 1] bis LLFn [Low-Level-Fusion n]) führt die klassifizierten Messattribute mit
den zugehörigen
Tracks auf einer applikationsunabhängigen Ebene zusammen. Hierbei
können
die Assistenzfunktionen ihre spezifischen Fusionsalgorithmen verwenden.
Je nach Auslegung können
Assistenzfunktionen auf die Information zu unterschiedlichen Zeitpunkten
des Verarbeitungszyklus zugreifen.
-
High-Level-Fusion
HLF (umfassend den Block SG [Symptomgenerierung] sowie die p Blöcke HLF1
[High-Level-Fusion 1] bis HLFp [High-Level-Fusion p]) ermöglicht die
modellbasierte Filterung der Messattribute, bei der die berechneten
Residuen als Fehlersymptom interpretiert werden. Hierfür können – je nach
Anspruch – unterschiedliche
Verfahren der Zustandsschätzung
wie Kalman, Alpha-beta oder PT1-Filter zum Einsatz kommen.
-
Arrange-Tracks
AT (umfassend die k Blöcke AT1
[Arrange Tracks 1] bis ATk [Arrange Tracks k]) behandelt die Verwaltung
von Objekthypothesen: Inaktive Tracks werden entfernt und zusammengehörige fusioniert
(Track-zu-Track-Fusion). Ergebnisse dieser Verarbeitungsstufe dienen
als Referenz für
die Klassifizierung neuer Messattribute (vgl. Rückführung zur Stufe DA) und für die Durchführung verschiedener
Assistenzfunktionen AF.
-
Zusammenfassend
ermöglicht
das vorgestellte Verfahren die Fusion von Sensordaten, das Tracking
unterschiedlicher Zielobjekte, die Bewertung dieser Information
und den Rückschluss auf Sensorfehler.
Das MTTFDI-Verfahren kombiniert verschiedene Einzellösungen für die Bewertung
der Fahrumgebungsinformationen.
-
Für eine Erprobung
und Bestätigung
des erfindungsgemäßen Konzepts
wurde ein Versuchsträger
eingesetzt, der mit abstandsgebenden Sensoren (Radar und Lidar)
sowie Kamerasystemen für
die Visualisierung der Fahrumgebung als Referenz ausgestattet ist.
Die Daten wurden unter unterschiedlichen Bedingungen und Fahrumgebungssituationen
erfasst und ausgewertet.
-
5a zeigt
beispielhaft eine typische Umgebungsansicht in einer Fahrsituation
in urbaner Umgebung. Die Kreuzsymbole 801, 802, 803, 804 in 5a repräsentieren
Bodenreflexionen.
-
5b zeigt
beispielhaft die Bewertung einer für bestimmte Applikationen irrelevanten
Objekthypothese beim Auftreten einer Bodenreflexion. Nach rechts
ist dabei die Lebenszeit der Hypothese, nach oben das in sie gesetzte
Vertrauen („Belief") aufgetragen. Grundzüge des Modells
für die
Klassifizierung der Messdaten als Bodenreflexionen sind die spezifischen
Eigenschaften, die durch Untersuchungen des Verhaltens eines Sensorstrahls
mit dem Boden während
einer Nickbewegungen des Fahrzeugs extrahiert wurden. In der Messwertebene
wurden diese Daten als Bodenreflexion klassifiziert und schließlich in
der Track-Ebene als irrelevante Hypothese klassifiziert.
-
Die
in 5b als strichpunktierte Linie dargestellte Bewertung
der Bodenreflexion ohne das MTTFDI-Verfahren, d. h. nach dem Stand
der Technik, führt
durchwegs zu einem Vertrauenswert von 100 Prozent. Eine Fahrerassistenzfunktion
würde somit
fälschlicherweise
von einem vorrausfahrenden Fahrzeug ausgehen und auf dieses „Geisterobjekt” reagieren.
-
Unter
Anwendung des MTTFDI-Verfahrens (durchgezogene Linie in 5b)
hingegen bleibt das Vertrauen (Belief) in die Bodenreflexion unter
50 Prozent und ermöglich
so das vom Fahrer erwartete Verhalten einer Assistenzfunktion wie
beispielsweise bei einem Notbremsassistent, nämlich „keine Reaktion”. Bezogen
auf Fahrerassistenzfunktionen ist die Unterscheidung zwischen relevanter
und irrelevanter Information auf der Messfehlerebene meist wichtiger
als die genaue Klassifizierung der Objekthypothese selbst. Somit
können
Applikationen sich primär auf entscheidende
Informationen konzentrieren und je nach Bedarf und Verfügbarkeit
der Abbildungsmodelle diese Daten genau klassifizieren.
-
6a zeigt
beispielhaft eine weitere typische Umgebungsansicht in einer Fahrsituation
in urbaner Umgebung. Das Kreuzsymbol 805 in 6a repräsentiert
einen detektierten Bezugspunkt an einem vorausfahrenden Fahrzeug.
-
In 6b wird
wiederum die Bewertung einer entsprechenden Objekthypothese (vorausfahrender
Pkw) anhand des nach oben aufgetragenen Vertrauensverlaufs (Belief) über der
nach rechts aufgetragenen Lebenszeit dargestellt.
-
Wird
ein Objekt erstmals detektiert, wird ihm zunächst ein geringes Vertrauen
zugewiesen. Sobald und je schneller die Hypothesen für ein gültiges Objekt
bestätigt
werden, umso schneller steigt dessen Vertrauen. Das Diagramm in 6b zeigt
eine stabile und korrekte Bewertung eines relevanten Objektes durch
das hohe zugewiesene „Belief”. Die Ursache der
Schwankungen im Beliefverlauf (6b) stellen fehlende
Merkmale des Objektes infolge temporärer Verdeckung des Fahrzeuges
durch andere Fahrzeuge dar. Das Verfahren erweist sich als robust
gegenüber
einer solchen Verdeckung, ein hohes „Belief” bleibt erhalten. Grundzüge des Modells
für die
Klassifizierung dieses relevanten Objektes sind Annahmen bezüglich dessen
erwarteten Verhaltens wie Erscheinungsposition und Trajektorie.
Sowohl die Hypothesen als auch ihre Bewertung werden in jedem Arbeitzyklus
unterschiedlichen Fahrerassistenzfunktionen bereitgestellt und können entsprechend
der Applikationsdefinition genutzt werden.
-
Das
erfindungsgemäße Verfahren
führt gegenüber dem
Stand der Technik zu einer deutlichen Verbesserung der Zuverlässigkeit
der Sensordaten. Dementsprechend ist eine Erhöhung der Verfügbarkeit
und Sicherheit von Fahrerassistenz-Applikationen erzielbar.
-
In 7 wird
eine „Receiver
Operating Characteristic” (ROC)-Kurve
für die
Bewertung der Klassifizierung von Objekthypothesen dargestellt.
Die 3D-Darstellung veranschaulicht die Effizienz des MTTFDI-Verfahrens
für die
Klassifizierung von Objekthypothesen abhängig von ihrer Lebensdauer. Nach
oben ist die positive Erkennungsrate (True-Positive Rate, TPR) aufgetragen,
nach hinten links die Lebensdauer t in Sekunden, nach hinten rechts
die False- Positive
Rate (FPR). Die Kurve zeigt, dass mit zunehmender Objektlebensdauer – d. h.
mit zunehmender Beobachtungszeit – die Qualität der Klassifizierung
steigt.