DE102008001672B4 - Verfahren zur Fusion von Zustandsdaten erfasster Sensorobjekte - Google Patents

Verfahren zur Fusion von Zustandsdaten erfasster Sensorobjekte Download PDF

Info

Publication number
DE102008001672B4
DE102008001672B4 DE102008001672.1A DE102008001672A DE102008001672B4 DE 102008001672 B4 DE102008001672 B4 DE 102008001672B4 DE 102008001672 A DE102008001672 A DE 102008001672A DE 102008001672 B4 DE102008001672 B4 DE 102008001672B4
Authority
DE
Germany
Prior art keywords
sensor
association
objects
motor vehicle
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102008001672.1A
Other languages
English (en)
Other versions
DE102008001672A1 (de
Inventor
Enrico Rath
Jan Sparbert
Peter Petschnigg
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102008001672.1A priority Critical patent/DE102008001672B4/de
Publication of DE102008001672A1 publication Critical patent/DE102008001672A1/de
Application granted granted Critical
Publication of DE102008001672B4 publication Critical patent/DE102008001672B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726Multiple target tracking
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323Alternative operation using light waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93271Sensor installation details in the front of the vehicles

Abstract

Verfahren zur Fusion von Zustandsdaten erfasster Sensorobjekte (S1-S3) mehrerer, insbesondere verschiedenartiger Objektdetektionssensoren (5a,5b) eines Kraftfahrzeugs (1), insbesondere zur Erstellung eines Umfeldmodells für ein Fahrerassistenzsystem (4) des Kraftfahrzeugs (1), wobei eine direkte Assoziation und eine Mittelung der Zustandsdaten der von den mehreren Objektdetektionssensoren (5a,5b) erfassten Sensorobjekte (S1-S3) durchgeführt wird, dadurch gekennzeichnet, dass zur Assoziation für jedes Paar von Sensorobjekten (S1-S3) der Objektdetektionssensoren (5a,5b) ein Distanzmaß (d1-d3) bestimmt wird, aus welchem eine Assoziationswahrscheinlichkeit (w1-w3) abgeleitet wird und die Assoziationswahrscheinlichkeiten (w1-w3) gefiltert werden.

Description

  • Stand der Technik
  • Die Erfindung betrifft ein Verfahren zur Fusion von Zustandsdaten erfasster Sensorobjekte mehrerer, insbesondere verschiedenartiger Objektdetektionssensoren eines Kraftfahrzeugs. Die Erfindung betrifft ebenfalls ein Computerprogramm, ein Computerprogrammprodukt und eine Vorrichtung, um ein derartiges Verfahren auszuführen bzw. durchzuführen.
  • Für Kraftfahrzeuge sind Fahrerassistenzsysteme bzw. Geschwindigkeitsregelsysteme bekannt, mit denen die Geschwindigkeit des Fahrzeugs auf eine von dem Fahrer gewählte Wunschgeschwindigkeit geregelt werden kann. Darüber hinaus kann mit Hilfe eines Abstandssensors, beispielsweise mit Hilfe eines Radar- oder Lidarsensors, der Abstand zu einem vorausfahrenden Fahrzeug gemessen werden. Die Geschwindigkeitsregelung wird dann so modifiziert, dass ein vorgegebener, vorzugsweise geschwindigkeitsabhängiger Abstand zu dem als Zielobjekt ausgewählten vorausfahrenden Fahrzeug eingehalten wird. Solche Systeme werden auch als adaptive Geschwindigkeitsregelvorrichtungen / -systeme bzw. ACC (Adaptive Cruise Control)-Systeme bezeichnet. In der Publikation der Robert Bosch GmbH „Adaptive Fahrgeschwindigkeitsregelung ACC, Gelbe Reihe, Ausgabe 2002, Technische Unterrichtung“ sind derartige adaptive Geschwindigkeitsregelvorrichtungen beschrieben.
  • Aktuelle Fahrerassistenzsysteme mit einer Erfassung eines Umfelds eines Kraftfahrzeugs, beispielsweise Parkpiloten, ACC-Systeme, PSS (Predictive Safety Systems) oder dergleichen basieren wie vorstehend für ACC-Systeme beschrieben auf den Daten eines Sensors. Des Weiteren sind Systeme bekannt, die die Daten mehrerer, insbesondere unterschiedlicher bzw. verschiedenartiger Sensoren (z. B. Radarsensor und Videosensor) zu einem einheitlichen Umfeldmodell fusionieren. Dabei kommen überwiegend übliche Methoden wie Varianten des Kalman-Filters, Probabilistic Data Association, Particle Filter oder dergleichen zur Anwendung. Die Signalebene variiert dabei von der Rohsignalebene, z. B. Radardetektionen (Reflexe, Spektralverteilung) oder Bilddetektionen (Kanten, Muster), bis hin zur Objektebene, bei welcher Zustandsdaten sowie deren Güten aus einer Schätzung unter der Annahme eines Sensormodells mit einem hinterlegtem Objektmodell, ermittelt werden, sowie deren entsprechende Mischformen. Allen Methoden gemein ist die Assoziation und Mittelung von Sensordaten unter Berücksichtigung der historischen Schätzung der Fusionszustandsdaten.
  • Übliche Fusionsverfahren arbeiten meist nach dem Grundprinzip: 1. Prädiktion (Prediction), 2. Assoziation (Association) bzw. Zuordnung und 3. Mittelung (Measurement Update). Dabei werden im ersten Schritt schon vorhandene Fusionsobjekte entsprechend eines Bewegungsmodells (z. B. bewegte Masse) prädiziert, im zweiten Schritt die Sensorobjekte, die einem Kriterium bezüglich eines Distanzmaßes entsprechen (z. B. Differenz in verschiedenen Zuständen, Gating), dem Fusionsobjekt zugeordnet (assoziiert), und abschließend die assoziierten Sensorobjekte zusammen mit dem Fusionsobjekt gewichtet gemittelt (z. B. basierend auf den Gütewerten der Zustandsdaten). Die Mittelung historischer und neuer Informationen entspricht dabei einer Filterung. Dabei können die in den 1 und 2 angedeuteten unterschiedlichen Fehlerformen auftreten.
  • In dem Schaubild gemäß 1 sind auf der vertikalen Achse vereinfacht die Objektdaten bzw. Sensordaten SD1, SD2 und auf der horizontalen Achse die Zeit t aufgetragen. Wie aus 1 ersichtlich, kann es durch die Filterung zu einer Glättung und zu einem Verzug V der Fusionsdaten FD (gestrichelt angedeutet) gegenüber den Sensordaten SD1 eines ersten Objektdetektionssensors bzw. den Sensordaten SD2 eines zweiten Objektdetektionssensors kommen. Dieser Verzug V kann zu einer verringerten Reaktivität der Funktion bis hin zu Fehlreaktionen führen. Bei sehr dynamischen Objektdaten kann der Verzug V sogar zu einem Abriss A des Tracks führen, wodurch die Fusionsdaten FD vorübergehend nicht mit ausreichender Güte bereitstehen.
  • In 2 ist eine fehlende bzw. falsche Assoziation aufgrund einer fehlerhaften Filterung schematisch dargestellt. Dabei sind die Sensorobjekte als unschraffierte Kreise und die Fusionsobjekte als schraffierte Kreise mit zugehörigen Ellipsen, welche die entsprechenden Sensorobjekte gegebenenfalls umfassen, dargestellt. Die vertikalen Pfeile deuten die Assoziation bzw. Zuordnung im nächsten Zyklus an. Durch eine fehlerhafte Filterung (meist hervorgerufen durch die Prädiktion) kann entweder eine erneute Zuordnung von einem Sensorobjekt zu einem Fusionsobjekt nicht mehr erfolgen, obwohl die Sensorobjekte noch zuzuordnen wären (in der linken Darstellung von 2 gestrichelt angedeutet) oder es können zusätzlich Fehlzuordnungen auftreten (in der rechten Darstellung von 2 gestrichelt angedeutet).
  • Werden Sensorobjekte zu prädizierten Fusionsobjekten assoziiert, so können Fehlassoziationen auftreten, die den eigentlichen Modellannahmen widersprechen. Zum einen können dabei Fehler bei der Prädiktion zu Fehlassoziationen führen, zum anderen können die für die Assoziation genutzten Abstandsmaße zwischen Sensor- und Fusionsobjekten nicht mehr dem hinterlegten Modell entsprechen.
  • In der DE 10 2005 002 719 A1 ist ein Verfahren zur Kursprädiktion in Fahrerassistenzsystemen für Kraftfahrzeuge beschrieben, bei dem anhand von Informationen aus unterschiedlichen Informationsquellen eine Kurshypothese erstellt wird, gekennzeichnet durch die folgenden Schritte: Extraktion je eines Satzes von Rohdaten für die Kurshypothese aus jeder Informationsquelle, Repräsentation der verschiedenen Sätze von Rohdaten in einem einheitlichen Beschreibungssystem und Fusion der Rohdaten zur Bildung der Kurshypothese.
  • Aus der Veröffentlichung „Heterogene Sensordatenfusion zur robusten Objektverfolgung im automobilen Straßenverkehr“, Dissertation von D. Stüker, Universität Oldenburg, 2004, sowie der Veröffentlichung „Architectures and algorithms for track association and fusion“ von C.Y. Chong et al., veröffentlicht in der IEEE Aerospace and Electronic Systems Magazine, Vol. 15, S. 5-13, ISSN 0885-8985, ist jeweils ein System gemäß dem Oberbegriff des Anspruchs 1 bekannt.
  • Vorteile der Erfindung
  • Das erfindungsgemäße Verfahren gemäß dem unabhängigen Anspruch hat insbesondere den Vorteil, dass bei der Objektfusion falsche oder fehlende Assoziationen weitestgehend vermieden werden. Des Weiteren kommt es zu keinem Verzug der Fusionsdaten gegenüber den Sensordaten, wodurch Fehlreaktionen und Trackabrisse wirksam verhindert werden. Die Zustandsdaten umfassen insbesondere den Ort, die Geschwindigkeit und/oder die Beschleunigung des Sensorobjekts. Die Assoziation von Sensorobjekten wird in vorteilhafter Weise direkt vorgenommen, anstatt die Sensorobjekte zu einem prädizierten Fusionsobjekt zu assoziieren bzw. zuzuordnen. Daher wird sozusagen auf Objektdatenebene fusioniert. Darüber hinaus werden historisch geschätzte Fusionszustandsdaten nicht mit einbezogen. Der Einsatz verschiedenartiger Sensoren (z. B. Videosensoren und Radarsensoren) erhöht in vorteilhafter Weise den Erfassungsbereich und die Sicherheit.
  • Die Sensorobjekte jedes Objektdetektionssensors entsprechen bereits der optimalen Schätzung der Objektdaten, da ihnen auf der einen Seite das bestmögliche Sensormodell, d. h. das sensorspezifische Messmodell zugrunde liegt und auf der anderen Seite eine Schätzung in das vorgegebene Objektmodell, z. B. hinsichtlich Objektdynamik, dynamischen Beschränkungen oder verschiedener Manövermodelle, erfolgt. Diese Daten wurden üblicherweise schon mit den bekannten Schätzmethoden (Kalman-Filter oder dergleichen) ermittelt, so dass eine nachfolgende Filterung die Daten derart verfälscht, dass sie oft nicht mehr den anfangs angenommenen Objektmodellen entsprechen. Eine mehrfache filternde Schätzung sollte also vermieden werden. Genau dies würde aber passieren, wenn prädizierte Fusionsobjekte in die Gesamtschätzung mit eingingen. Es ist daher vorteilhaft, die prädizierten Fusionsobjekte nicht in die Mittelung mit einfließen zu lassen.
  • Darüber hinaus hat die erfindungsgemäße Fusion auf Objektdatenebene folgende Vorteile:
    • - die für das Verfahren erforderliche Schnittstelle kann derart schmal ausgelegt werden, dass etablierte Übertragungsmedien ausreichen (z. B. CAN-Bus, MOST, Flexray oder dergleichen);
    • - die Schnittstelle ist generisch, d. h. sie enthält eine abstrakte, weitgehend sensor- und funktionsunabhängige Beschreibung und kann deshalb einfach abgestimmt werden;
    • - die Sensoren können unabhängig (hinsichtlich Entwicklung, Test oder Steuergerät-Hardware) entwickelt und genutzt werden, wobei sowohl Eigen- als auch Fremdsensoren eingebunden werden können; und
    • - die Anbindung eines weiteren Sensors bzw. die Erstellung einer Fusion für eine neue Sensorkombination ist vergleichsweise einfach.
  • Zur Assoziation wird für jedes Paar von Sensorobjekten verschiedenartiger Objektdetektionssensoren ein Distanzmaß bestimmt, aus welchem eine Assoziationswahrscheinlichkeit abgeleitet wird. Im einfachsten Fall kann dies in einer sogenannten Distanzmatrix abgelegt werden. Das Distanzmaß kann dabei, insbesondere von den Zustandsdaten des Sensorobjekts (Ort, Geschwindigkeit, Beschleunigung; kartesisch oder polar) als auch den entsprechenden Güten und einem Existenzmaß abhängen. Aus dem Distanzmaß lässt sich mit Hilfe einer Abbildung eine Assoziationswahrscheinlichkeit ableiten, welche zwischen null und eins liegt. Der Wert null bedeutet dabei, dass die Objekte nicht assoziierbar sind, der Wert eins, dass sie garantiert assoziiert werden. Um Fehlassoziationen zu vermeiden und Rechenzeit zu sparen, bietet es sich an, eine Distanzschwelle festzulegen, ab welcher stets der Wert null anzunehmen ist.
  • Erfindungsgemäß werden die Assoziationswahrscheinlichkeiten gefiltert. Wegen der fehlenden Filterung der Zustandsdaten könnte es im Fall zweier fast identisch möglicher Assoziationen zu einem Sensorobjekt vermehrt dazu kommen, dass die Assoziation über die Zeit zwischen den Alternativen hin und her springt (sogenanntes „Chattern“). Zur Unterdrückung dieses Effekts kann die alte Matrix der Assoziationswahrscheinlichkeiten mit den neuen Einträgen gefiltert werden. Dies entspricht der Annahme, dass Objekte, die im letzten Zyklus assoziiert waren, wohl im aktuellen Zyklus erneut assoziiert werden müssten.
  • Sehr vorteilhaft ist es, wenn historische Assoziationsinformationen berücksichtigt werden. Bisherige Verfahren berechnen die Assoziation in jedem Zyklus neu. Mit dieser Ausgestaltung des erfindungsgemäßen Verfahrens besteht die Möglichkeit, historische Assoziationen bei der Assoziation mit einzubeziehen. So kann beispielsweise die Assoziation eines gemessenen und eines prädizierten, vom realen Objekt weglaufenden Objekts erhalten bleiben, wodurch ein sich abspaltender Track unterdrückt wird.
  • Die Mittelung der Zustandsdaten der erfassten bzw. assoziierten Sensorobjekte kann gewichtet erfolgen, wobei zur Gewichtung die Varianzen der Zustandsdaten der erfassten Sensorobjekte, die mit den üblichen Berechnungsvorschriften zu verrechnen sind, verwendet werden können. Die historischen Daten der Fusionsobjekte gehen nicht mit in die Berechnung ein.
  • Wenigstens ein Objektdetektionssensor kann ein Lidarsensor, ein Videosensor oder ein Radarsensor sein. Der Radarsensor kann als LRR(Long Range Radar)-Sensor, MRR(Mid Range Radar)-Sensor oder SRR(Short Range Radar)-Sensor ausgebildet sein. Selbstverständlich kommen auch weitere Sensortypen, insbesondere ein PMD(Photo Mixing Device) in Betracht. Insbesondere die Kombination eines LRR-Sensors und eines Videosensors hat sich als vorteilhaft erwiesen.
  • Weiterhin ist ein Computerprogramm mit Programmcodemitteln bzw. ein Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um das erfindungsgemäße Verfahren gemäß dem unabhängigen Anspruch auszuführen, vorgesehen.
  • Ebenso ist eine Vorrichtung, insbesondere ein Fahrerassistenzsystem eines Kraftfahrzeugs, zur Durchführung des erfindungsgemäßen Verfahrens vorgesehen.
  • Das erfindungsgemäße Verfahren kann beispielsweise im Rahmen eines Verfahrens zur Kollisionsvermeidung für ein Kraftfahrzeug bzw. eines Verfahrens zur Kursprädiktion in Fahrerassistenzsystemen für Kraftfahrzeuge, vorzugsweise als Computerprogramm auf einer Steuereinrichtung eines Fahrerassistenzsystems des Kraftfahrzeugs realisiert sein, wobei auch andere Lösungen selbstverständlich in Frage kommen. Dazu ist das Computerprogramm in einem Speicherelement der Steuereinrichtung gespeichert. Durch Abarbeitung auf einem Mikroprozessor der Steuereinrichtung wird das Verfahren ausgeführt. Das Computerprogramm kann auf einem computerlesbaren Datenträger (Diskette, CD, DVD, Festplatte, USB-Memory Stick, Speicherkarte oder dergleichen) oder einem Internetserver als Computerprogrammprodukt gespeichert sein und von dort aus in das Speicherelement der Steuereinrichtung übertragen werden.
  • Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen. Nachfolgend ist anhand der Zeichnung ein Ausführungsbeispiel der Erfindung prinzipmäßig beschrieben.
  • Figurenliste
  • Es zeigen:
    • 1 Ein vereinfachtes Schaubild von verzögerten bzw. geglätteten Objektdaten gemäß dem Stand der Technik;
    • 2 eine vereinfachte schematische Darstellung einer falschen oder fehlerhaften Assoziation gemäß dem Stand der Technik;
    • 3 eine vereinfachte schematische Darstellung eines Kraftfahrzeugs, in welchem ein erfindungsgemäßes Verfahren implementiert ist;
    • 4 eine Darstellung einer Assoziation und einer Distanzmatrix;
    • 5 eine Darstellung einer Abbildungsfunktion und einer Wahrscheinlichkeitsmatrix;
    • 6 ein vereinfachtes Schaubild synchroner Objektdaten;
    • 7 eine schematische Darstellung eines Erhalts einer korrekten Assoziation;
    • 8 eine schematische Darstellung einer ersten Assoziationsmöglichkeit;
    • 9 eine schematische Darstellung einer zweiten Assoziationsmöglichkeit;
    • 10 eine schematische Darstellung einer dritten Assoziationsmöglichkeit;
    • 11 eine schematische Darstellung einer vierten Assoziationsmöglichkeit; und
    • 12 eine schematische Darstellung einer fünften Assoziationsmöglichkeit.
  • Beschreibung von Ausführungsbeispielen
  • In 3 ist ein Kraftfahrzeug 1 dargestellt, auf welchem ein erfindungsgemäßes Verfahren zur Fusion von Zustandsdaten erfasster Sensorobjekte 3 mehrerer, insbesondere unterschiedlicher Objektdetektionssensoren 5a, 5b des Kraftfahrzeugs 1, insbesondere zur Erstellung eines Umfeldmodells für ein Fahrerassistenzsystem 4 des Kraftfahrzeugs 1, implementiert ist. Dieses kann im Rahmen eines Verfahrens zur Kursprädiktion in Fahrerassistenzsystemen 4 für Kraftfahrzeuge 1 bzw. eines Verfahrens zur Kollisionsvermeidung für das Kraftfahrzeug 1, bei welchem bei einem sich während der Fahrt nähernden Objekt bzw. Hindernis 3 ein Fahrmanöver des Kraftfahrzeugs 1 zum Ausweichen autonom oder semiautonom durchgeführt oder vorgeschlagen wird, ausgeführt werden. Das Fahrmanöver basiert auf einer kollisionsvermeidenden Ausweichtrajektorie, welche unter Berücksichtigung von mittels des erfindungsgemäßen Verfahrens ermittelten Fusionsdaten von erfassten Sensorobjekten (beispielsweise das Objekt 3) in einer Umgebung 2 des Kraftfahrzeugs 1, ermittelt wird. Darauf basierend kann die als Fahrerassistenzsystem 4 ausgebildete Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens den Fahrer beim Ausweichen vor Hindernissen 3 unterstützen und ihn autonom oder semiautonom im Fall einer bevorstehenden Kollision auf eine sichere Trajektorie führen, die mit keinem das eigene Kraftfahrzeug 1 umgebendem Hindernis 3 kollidiert. Dies kann zum einen durch Anzeige einer entsprechenden Warnung oder zum anderen durch einen aktiven Eingriff des Fahrerassistenzsystems 4 mittels eines korrigierenden Bremseingriffs über eine gezielte Bremskrafterhöhung oder mittels eines entsprechenden Lenkeingriffs über ein nicht dargestelltes Lenksystem des Kraftfahrzeugs 1, erfolgen. Im vorliegenden Ausführungsbeispiel ist der Objektdetektionssensor 5a als LR-Radarsensor (LRR-Sensor) und der Objektdetektionssensor 5b als Videosensor ausgebildet. In weiteren nicht dargestellten Ausführungsbeispielen könnten selbstverständlich auch andere Typen von Objektdetektionssensoren in anderen Anzahlen und Kombinationen zum Einsatz kommen.
  • Nachfolgend wird der Einfachheit halber davon ausgegangen, dass alle Sensordaten bereits synchronisiert sind. Die Methoden zur Synchronisierung sind hinlänglich bekannt. Das erfindungsgemäße Verfahren am Beispiel zweier Objektdetektionssensoren 5a, 5b erläutert. Für ein System mit mehr als zwei Objektdetektionssensoren 5a, 5b ist das Verfahren iterativ anzuwenden. Für ACC- und PSS-Systeme stellt sich eine Vorfusion aller mit hoher Qualität Distanz messender Sensoren (LRR/MRR, LRR/SRR, LRR/PMD) und eine Nachfusion der mit hoher Qualität Winkel messenden Sensoren (Videosensoren) als günstige Iterationsreihenfolge dar.
  • Bei dem erfindungsgemäßen Verfahren wird eine direkte Assoziation und eine Mittelung der Zustandsdaten der von den verschiedenartigen Objektdetektionssensoren 5a, 5b erfassten Sensorobjekte durchgeführt.
  • Wie aus 4 ersichtlich, wird zur Assoziation für jedes Paar von Sensorobjekten S1 - S3 der Objektdetektionssensoren 5a, 5b ein Distanzmaß d1 - d3 bestimmt, aus welchem eine Assoziationswahrscheinlichkeit w1 - w3 (siehe 5) abgeleitet wird. Die Distanzmaße d1 - d3 werden in einer Distanzmatrix (rechte Seite der 4) abgelegt. Das Distanzmaß d1 - d3 hängt dabei sowohl von den Zustandsdaten (Ort, Geschwindigkeit, Beschleunigung; kartesisch oder polar) als auch den entsprechenden Güten und ggf. einem Existenzmaß (eines entsprechenden Messmodells) ab. Aus dem Distanzmaß d1 - d3 lässt sich mit Hilfe einer Abbildung eine Assoziationswahrscheinlichkeit w1 - w3 ableiten, welche zwischen null und eins liegt. Der Wert null bedeutet dabei, dass die Objekte nicht assoziierbar sind, der Wert eins, dass sie garantiert assoziiert werden. Um Fehlassoziationen zu vermeiden und Rechenzeit zu sparen, bietet es sich an, eine Distanzschwelle d_max festzulegen, ab welcher der Wert null anzunehmen ist. Die Assoziationswahrscheinlichkeiten w1 - w3 werden, wie aus 5 ersichtlich, ebenfalls in einer Matrix, der sogenannten Wahrscheinlichkeitsmatrix abgelegt. Das Schaubild gemäß 5, linke Seite beschreibt die Abbildungsfunktion, wobei auf der vertikalen Achse die Assoziationswahrscheinlichkeit w und auf der horizontalen Achse das Distanzmaß d aufgetragen ist. Die Distanzschwelle ist mit dem Bezugszeichen d_max versehen.
  • Anschließend werden aus der Matrix der Assoziationswahrscheinlichkeiten w1 - w3 diejenigen ausgewählt, die die höchsten Wahrscheinlichkeiten besitzen und oberhalb einer vorgegebenen Schwelle liegen. Dabei kann im besten Fall eine global optimale Lösung des Assoziationsproblems gesucht werden. Im einfachsten Fall wird eine 1-zu-1-Zuordnung vorgenommen, bei der unter Einhaltung gewisser Regeln (Reihenfolge der Abarbeitung und Reihenfolge der Sensorbeiträge) bis auf wenige Ausnahmen das gleiche Ergebnis erzielt wird (jedoch mit stark reduziertem Aufwand). Wegen der fehlenden Filterung der Zustandsdaten könnte es im Falle zweier fast identisch möglicher Assoziationen zu einem Sensorobjekt S1 - S3 vermehrt dazu kommen, dass die Assoziation über die Zeit zwischen den Alternativen springt. Zur Unterdrückung dieses Effekts kann die alte Matrix der Assoziationswahrscheinlichkeiten mit den neuen Einträgen gefiltert werden. Dies entspricht der Annahme, dass Objekte, die im letzten Zyklus assoziiert waren, wohl im aktuellen wieder assoziiert werden müssten. Sonach werden die Assoziationswahrscheinlichkeiten w1 - w3 gefiltert.
  • Zur Mittelung werden die Daten der assoziierten Sensorobjekte S1 - S3 gewichtet gemittelt. Bei der Gewichtung werden üblicherweise die Varianzen der Zustandsdaten verwendet, die mit den üblichen Berechnungsvorschriften zu verrechnen sind. Die historischen Daten der Fusionsobjekte gehen nicht mit in die Berechnung ein.
  • In den 6 und 7 ist das Verhalten des erfindungsgemäßen Verfahrens bei den sonst üblicherweise auftretenden Fehlerfällen bekannter Verfahren dargestellt.
  • 6 zeigt ein synchrones Zeitverhalten der Sensordaten SD1, SD2 und Fusionsdaten FD mit einer Begrenzung. Dadurch, dass stets die Momentanwerte der Sensordaten SD gemittelt werden, kommt es weder zu einer Glättung noch zu einem zeitlichen Verzug V. Dadurch werden auch Trackabrisse A vermieden. Die Fusionsdaten FD sind immer durch die Sensordaten SD1, SD2 nach oben und unten begrenzt.
  • 7 zeigt einen Erhalt der korrekten Assoziation. Bei direkter Assoziation der Sensorobjekte S1 - S3 miteinander können sowohl die fälschliche Auflösung einer bestehenden Assoziation als auch Fehlassoziationen unterdrückt werden. In 7 - wie auch in den folgenden 8 bis 12 - sind die Sensorobjekte S1 - S3 als normale bzw. unschraffierte Kreise und die Fusionsobjekte als schraffierte Kreise (bei Überlagerung der Objekte auch innerhalb der unschraffierten Kreise) mit zugehörigen Ellipsen, welche die entsprechenden Sensorobjekte S1 - S3 gegebenenfalls umfassen, dargestellt. Die vertikalen Pfeile deuten die Assoziation bzw. Zuordnung im nächsten Zyklus an.
  • Obwohl die Zustandsdaten der Fusionsobjekte keine historische Information enthalten, müssen einige Zusatzattribute der Fusionsobjekte sehr wohl historische Information bereithalten. Diese sind insbesondere die ID bzw. Identität und die Lebenszeit eines Fusionsobjekts. Von der ID wird z. B. erwartet, dass sie während der gesamten Lebenszeit des Fusionsobjekts unverändert bleibt, also auch, wenn zeitweise einzelne Sensorbeiträge ausfallen. Die Lebenszeit sollte selbstverständlich in jedem Zyklus erhöht werden.
  • Bei der üblichen Filterung bekannter Verfahren wird die Zuordnung von Sensorobjekten S1 - S3 zu Fusionsobjekten während der Assoziation in jedem Zyklus neu ermittelt (was zwar einfach ist, aber auch Fehler verursacht). Beim erfindungsgemäßen Verfahren werden stattdessen historische Assoziationsinformationen genutzt bzw. berücksichtigt, also - neben den Assoziationswahrscheinlichkeiten zur Filterung - vor allem die letztendliche Zuordnung von Sensorobjekten S1 - S3 zu Fusionsobjekten im letzten Zyklus. Auf diese Weise kann anschließend in allen folgenden Fällen die Historie des Fusionsobjekts korrekt zugeordnet werden.
  • Bei der Assoziation können grundsätzlich die in den 8 bis 12 beschriebenen fünf Fälle auftreten.
  • Wie aus 8 ersichtlich, bestand zu einem Sensorobjekt S1 - S3 im letzten Zyklus keine Assoziation und es wird auch in diesem Zyklus keine Assoziation gefunden. Mit dem bleibenden Sensorobjekt S1 - S3 bleibt somit auch das alte Fusionsobjekt erhalten.
  • Gemäß 9 bestand zu einem Sensorobjekt S1 - S3 bisher keine Assoziation, aber es wird eine Assoziation gefunden. Mit dem bleibenden Sensorobjekt S1 - S3 bleibt somit wiederum auch das alte Fusionsobjekt erhalten.
  • Nach 10 bestand zu einem Sensorobjekt S1 - S3 eine Assoziation, welche auch wiedergefunden wird. Mit der Assoziation bleibt das alte Fusionsobjekt erhalten.
  • In 11 bestand zu einem Sensorobjekt S1 - S3 eine Assoziation, diese kann nun nicht mehr gefunden werden. Mit dem bleibenden Sensorobjekt S1 - S3 bleibt das alte Fusionsobjekt erhalten. Ein neues Fusionsobjekt muss eröffnet werden.
  • Wie aus 12 ersichtlich bestand zu einem Sensorobjekt S1 - S3 eine Assoziation. Es wird jedoch eine andere Assoziation gefunden. Mit dem bleibenden Sensorobjekt bleibt das alte Fusionsobjekt erhalten. Ein neues Fusionsobjekt muss eröffnet werden.
  • Das erfindungsgemäße Verfahren zur Fusion von Zustandsdaten erfasster Sensorobjekte S1 - S3 mehrerer, insbesondere verschiedenartiger Objektdetektionssensoren 5a, 5b des Kraftfahrzeugs 1, insbesondere zur Erstellung eines Umfeldmodells für ein Fahrerassistenzsystem 4 des Kraftfahrzeugs 1, kann beispielsweise im Rahmen eines Verfahrens zur Kollisionsvermeidung für das Kraftfahrzeug 1 bzw. eines Verfahrens zur Kursprädiktion in Fahrerassistenzsystemen 4 für Kraftfahrzeuge 1, vorzugsweise als Computerprogramm auf einer Steuereinrichtung 4a des Fahrerassistenzsystems 4 des Kraftfahrzeugs 1 realisiert sein, wobei auch andere Lösungen selbstverständlich in Frage kommen. Dazu ist das Computerprogramm in einem Speicherelement der Steuereinrichtung 4a gespeichert. Durch Abarbeitung auf einem Mikroprozessor der Steuereinrichtung 4a wird das Verfahren ausgeführt. Das Computerprogramm kann auf einem computerlesbaren Datenträger (Diskette, CD, DVD, Festplatte, USB-Memory Stick, Speicherkarte oder dergleichen) oder einem Internetserver als Computerprogrammprodukt gespeichert sein und von dort aus in das Speicherelement der Steuereinrichtung 4a übertragen werden.

Claims (8)

  1. Verfahren zur Fusion von Zustandsdaten erfasster Sensorobjekte (S1-S3) mehrerer, insbesondere verschiedenartiger Objektdetektionssensoren (5a,5b) eines Kraftfahrzeugs (1), insbesondere zur Erstellung eines Umfeldmodells für ein Fahrerassistenzsystem (4) des Kraftfahrzeugs (1), wobei eine direkte Assoziation und eine Mittelung der Zustandsdaten der von den mehreren Objektdetektionssensoren (5a,5b) erfassten Sensorobjekte (S1-S3) durchgeführt wird, dadurch gekennzeichnet, dass zur Assoziation für jedes Paar von Sensorobjekten (S1-S3) der Objektdetektionssensoren (5a,5b) ein Distanzmaß (d1-d3) bestimmt wird, aus welchem eine Assoziationswahrscheinlichkeit (w1-w3) abgeleitet wird und die Assoziationswahrscheinlichkeiten (w1-w3) gefiltert werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass historische Assoziationsinformationen berücksichtigt werden.
  3. Verfahren nach einem der Ansprüche 1, dadurch gekennzeichnet, dass die Mittelung der Zustandsdaten der erfassten Sensorobjekte (S1-S3) gewichtet erfolgt.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass zur Gewichtung die Varianzen der Zustandsdaten der erfassten Sensorobjekte (S1-S3) verwendet werden.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass wenigstens ein Objektdetektionssensor ein Lidarsensor, ein Videosensor (5b) oder ein Radarsensor, insbesondere ein LRR-Sensor (5a), ein MRR-Sensor oder ein SRR-Sensor ist.
  6. Computerprogramm mit Programmcodemitteln, um ein Verfahren gemäß einem der Ansprüche 1 bis 5 durchzuführen, wenn dass Programm auf einem Mikroprozessor eines Mikrocomputers, insbesondere auf einer Steuereinrichtung (4a) eines Fahrerassistenzsystems (4) eines Kraftfahrzeugs (1), ausgeführt wird.
  7. Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um ein Verfahren gemäß einem der Ansprüche 1 bis 5 durchzuführen, wenn dass Programm auf einem Mikroprozessor eines Mikrocomputers, insbesondere auf einer Steuereinrichtung (4a) eines Fahrerassistenzsystems (4) eines Kraftfahrzeugs (1), ausgeführt wird.
  8. Vorrichtung, insbesondere Fahrerassistenzsystem (4) eines Kraftfahrzeugs (1), zur Durchführung eines Verfahrens gemäß einem der Ansprüche 1 bis 5, mit mehreren, insbesondere verschiedenartigen Objektdetektionssensoren (5a,5b) zur Erfassung von Sensorobjekten (S1-S3) bzw. Hindernissen (3) in einem Umfeld (2) des Kraftfahrzeugs (1), und einer Steuereinrichtung (4a), welche mit den Objektdetektionssensoren (5a,5b) verbunden ist und welche zur Ausführung eines Computerprogramms gemäß Anspruch 6 eingerichtet ist.
DE102008001672.1A 2008-05-09 2008-05-09 Verfahren zur Fusion von Zustandsdaten erfasster Sensorobjekte Active DE102008001672B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102008001672.1A DE102008001672B4 (de) 2008-05-09 2008-05-09 Verfahren zur Fusion von Zustandsdaten erfasster Sensorobjekte

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102008001672.1A DE102008001672B4 (de) 2008-05-09 2008-05-09 Verfahren zur Fusion von Zustandsdaten erfasster Sensorobjekte

Publications (2)

Publication Number Publication Date
DE102008001672A1 DE102008001672A1 (de) 2009-11-12
DE102008001672B4 true DE102008001672B4 (de) 2022-03-17

Family

ID=41152428

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008001672.1A Active DE102008001672B4 (de) 2008-05-09 2008-05-09 Verfahren zur Fusion von Zustandsdaten erfasster Sensorobjekte

Country Status (1)

Country Link
DE (1) DE102008001672B4 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11361199B2 (en) * 2019-09-24 2022-06-14 Subaru Corporation Traveling environment recognition apparatus

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011161177A1 (de) 2010-06-23 2011-12-29 Continental Teves Ag & Co. Ohg Verfahren und system zur informationsvalidierung
DE102015107391A1 (de) 2015-05-12 2016-11-17 Valeo Schalter Und Sensoren Gmbh Verfahren zum Steuern einer Funktionseinrichtung eines Kraftfahrzeugs anhand von fusionierten Sensordaten, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102015107392A1 (de) 2015-05-12 2016-11-17 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen eines Objekts in einer Umgebung eines Kraftfahrzeugs anhand von fusionierten Sensordaten, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102015116574A1 (de) * 2015-09-30 2017-03-30 Claas E-Systems Kgaa Mbh & Co Kg Selbstfahrende landwirtschaftliche Arbeitsmaschine
DE102015116586A1 (de) * 2015-09-30 2017-03-30 Claas E-Systems Kgaa Mbh & Co Kg Selbstfahrende landwirtschaftliche Arbeitsmaschine
EP3422131B1 (de) * 2017-06-27 2020-06-03 TTTech Auto AG Verfahren und fehlertolerante rechnerarchitektur zur leistungsverbesserung bei der ausfallsicheren bahnplanung für eine bewegliche einheit
DE102019102769A1 (de) * 2019-02-05 2020-08-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug
DE102019102920A1 (de) * 2019-02-06 2020-08-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug
DE102019123483B4 (de) * 2019-09-02 2021-12-09 Audi Ag Verfahren sowie Kraftfahrzeug-Steuereinheit zum Erfassen einer Umgebung eines Kraftfahrzeugs durch Fusionieren von Sensordaten auf Punktwolkenebene

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005002719A1 (de) 2005-01-20 2006-08-03 Robert Bosch Gmbh Verfahren zur Kursprädiktion in Fahrerassistenzsystemen für Kraftfahrzeuge

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005002719A1 (de) 2005-01-20 2006-08-03 Robert Bosch Gmbh Verfahren zur Kursprädiktion in Fahrerassistenzsystemen für Kraftfahrzeuge

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHONG, C. Y. [et al.]: Architectures and algorithms for track association and fusion. In: IEEE Aerospace and Electronic Systems Magazine, Vol. 15, S. 5-13, 2000. - ISSN 0885-8985
STÜKER, D.: Heterogene Sensordatenfusion zur robusten Objektverfolgung im automobilen Straßenverkehr. Dissertation, Universität Oldenburg, 2004.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11361199B2 (en) * 2019-09-24 2022-06-14 Subaru Corporation Traveling environment recognition apparatus

Also Published As

Publication number Publication date
DE102008001672A1 (de) 2009-11-12

Similar Documents

Publication Publication Date Title
DE102008001672B4 (de) Verfahren zur Fusion von Zustandsdaten erfasster Sensorobjekte
DE102015209857B4 (de) Autonomes Notbremssystem und Verfahren zum Erkennen von Fußgängern in diesem
DE102013216444B4 (de) Aktive Sicherheitssysteme von Fahrzeugen mit Graphikmikroprozessoren
DE102016107698A1 (de) Fahrzeugpositions-Detektionsvorrichtung
DE102018218220A1 (de) Steuergerät für ein Fahrzeug
DE102018219674A1 (de) Fahrsteuereinrichtung und Verfahren für Fahrzeug
DE102015001971A1 (de) Verfahren und Überwachungsvorrichtung zur Überwachung von Fahrerassistenzsystemen
DE102012216386A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs
DE102014220537A1 (de) Vorausfahrzeug-auswahlvorrichtung
EP1912844B1 (de) Verfahren zum erzeugen von umwelthypothesen für fahrerassistenzfunktionen
DE102016212326A1 (de) Verfahren zur Verarbeitung von Sensordaten für eine Position und/oder Orientierung eines Fahrzeugs
DE102009018311A1 (de) Verfahren und Vorrichtung zum Betrieb eines radargestützten Umfelderkennungssystems
DE102019116380A1 (de) Vorrichtung und Verfahren zum Steuern eines Fahrens eines Fahrzeugs
DE102011102927A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs und Fahrerassistenzsystem für ein Kraftfahrzeug
DE102015107392A1 (de) Verfahren zum Erfassen eines Objekts in einer Umgebung eines Kraftfahrzeugs anhand von fusionierten Sensordaten, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102012211391A1 (de) Verfahren und System zur Informationsnutzung
DE102017205495A1 (de) Vorrichtung und Verfahren zum Fokussieren von Sensoren im fahrdynamischen Grenzbereich für ein Kraftfahrzeug
DE102020206659A1 (de) Multi-hypothesen-objektverfologung für automatisierte fahrsysteme
DE102020206755A1 (de) Redundanzinformationen für objektschnittstelle für hoch und vollautomatisiertes fahren
DE102014223999A1 (de) Längsführendes Fahrerassistenzsystem eines Kraftfahrzeugs mit situationsabhängiger Parametrierung
DE102014209483A1 (de) Steuervorrichtung
DE102016212917A1 (de) Verfahren zum Bestimmen von Fahrtrajektorien eines Fahrzeugs, Fahrstabilisierungsverfahren, Steuerungsmodul und Speichermedium
DE102012202481A1 (de) Verfahren für ein Assistenzsystem eines Fahrzeugs
EP4320021A1 (de) Verfahren zum betrieb eines assistenzsystems sowie assistenzsystem
WO2019037940A1 (de) Verfahren und vorrichtung zum bestimmen einer hochgenauen position und zum betreiben eines automatisierten fahrzeugs

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R012 Request for examination validly filed

Effective date: 20150127

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final