DE102012024334A1 - Verfahren zur Existenz- und Zustandsbestimmung von Objekten - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zur Existenz- und Zustandsbestimmung von Objekten, wobei mittels mehrerer Sensoren eine Umgebung zeitlich asynchron erfasst wird und mittels der Sensoren zeitlich asynchron erfasste Sensordaten einem Fusionssystem zugeführt und mittels des Fusionssystems zeitlich synchronisiert und fusioniert werden. Erfindungsgemäß wird bei einer Zuführung von Existenzwahrscheinlichkeiten der Objekte betreffenden, inaktuellen Sensordaten an das Fusionssystem eine Retrodiktion der Existenzwahrscheinlichkeiten der Objekte durchgeführt. Die Erfindung betrifft weiterhin eine Verwendung von mittels eines solchen Verfahrens bestimmten Zuständen und Existenzwahrscheinlichkeiten von Objekten zum Betrieb von Fahrerassistenzvorrichtungen von Fahrzeugen.

Description

• Die Erfindung betrifft Verfahren zur Existenz- und Zustandsbestimmung von Objekten, wobei mittels mehrerer Sensoren eine Umgebung zeitlich asynchron erfasst wird und mittels der Sensoren zeitlich asynchron erfasste Sensordaten einem Fusionssystem zugeführt und mittels des Fusionssystems zeitlich synchronisiert und fusioniert werden.
• Die Erfindung betrifft weiterhin eine Verwendung von mittels eines solchen Verfahrens bestimmten Zuständen und Existenzwahrscheinlichkeiten von Objekten.
• Aus der DE 10 2005 036 953 A1 ist ein Verfahren zum Erzeugen von Umwelthypothesen für Fahrerassistenzfunktionen in einem Kraftfahrzeug durch Auswertung von Sensordaten über die Umwelt des Fahrzeugs bekannt. Dabei werden die Sensordaten in einer funktionsunabhängigen Sensorsprache an eine Informationsplattform ausgegeben, wobei die Sensorsprache in eine sensorunabhängige Funktionssprache übersetzt wird. Bei der Erstellung der Umwelthypothesen werden Sensordaten mehrerer Sensoren miteinander fusioniert. Zum Erzeugen von Objekthypothesen über von mittels der Sensoren geortete Objekte werden Ortungszeiten der Objekte in der Sensorsprache jeweils in einem sensorspezifischen Koordinatensystem angegeben und bei der Übersetzung in die Funktionssprache in ein fahrzeugspezifisches Koordinatensystem umgerechnet. Dabei werden anhand einer Berücksichtigung einer Historie Hypothesen über eine zeitliche Entwicklung von Objektzuständen erstellt und von verschiedenen Sensorkomponenten asynchron eintreffende Daten werden interpoliert und synchronisiert.
• Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Existenz- und Zustandsbestimmung von Objekten und eine Verwendung von mittels eines solchen Verfahrens bestimmten Zuständen und Existenzwahrscheinlichkeiten von Objekten anzugeben.
• Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich der Verwendung durch die im Anspruch 6 angegebenen Merkmale gelöst.
• Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
• In einem Verfahren zur Existenz- und Zustandsbestimmung von Objekten wird mittels mehrerer Sensoren eine Umgebung zeitlich asynchron erfasst, wobei mittels der Sensoren zeitlich asynchron erfasste Sensordaten einem Fusionssystem zugeführt und mittels des Fusionssystems zeitlich synchronisiert und fusioniert werden.
• Erfindungsgemäß wird bei einer Zuführung von Existenzwahrscheinlichkeiten der Objekte betreffenden, inaktuellen Sensordaten an das Fusionssystem eine Retrodiktion der Existenzwahrscheinlichkeiten der Objekte durchgeführt. Durch die Retrodiktion wird eine Zuverlässigkeit der Ermittlung der Existenzwahrscheinlichkeiten erhöht, woraus sich eine Erhöhung der Verlässlichkeit bei der Verwendung der Sensordaten zur Objektverfolgung, auch als Tracking bezeichnet, ergibt und eine Falschalarmrate verringert wird. Weiterhin erfordert das erfindungsgemäße Verfahren lediglich einen geringen Rechenaufwand und Speicherbedarf, so dass dieses einfach, beispielsweise in Steuergeräten von Fahrzeugen, implementierbar ist.
• Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
• Dabei zeigt:
• 1 schematisch drei Zeitstrahle, wobei zwei Zeitstrahle jeweils Erfassungszeitpunkte von Sensordaten jeweils eines Sensors zeigen und ein dritter Zeitstrahl Ankunftszeitpunkte der Sensordaten an einem Fusionssystem zeigt.
• In der einzigen 1 sind drei Zeitstrahle T1 bis T3 dargestellt. Ein erster Zeitstrahl T1 zeigt dabei über der Zeit t abgetragene Erfassungszeitpunkte t_k0, t_k1 eines ersten Sensors. Ein zweiter Zeitstrahl T2 zeigt dabei über der Zeit t abgetragene Erfassungszeitpunkte t_k-1 bis t_k+1 eines zweiten Sensors.
• Beide Sensoren sind zur Erfassung einer Umgebung, insbesondere einer Umgebung eines Fahrzeugs, vorgesehen. Bei der Erfassung der Umgebung des Fahrzeugs sind die Sensoren am oder im Fahrzeug angeordnet, wobei die mittels der Sensoren erfassten Sensordaten zum Betrieb von Fahrerassistenzsystemen, insbesondere Fahrerassistenzsystemen zur Kollisionsvermeidung oder zur Realisierung eines autonomen Fahrens des Fahrzeugs, verwendet werden. Bei den Sensoren handelt es sich insbesondere um Bildsensoren, beispielsweise Kameras, Lidarsensoren, Radarsensoren oder andere Bildsensoren.
• Zur Erhöhung der Zuverlässigkeit des Betriebs des Fahrerassistenzsystems werden die von den Sensoren zeitlich asynchron erfassten Sensordaten einem nicht gezeigten Fusionssystem zugeführt und mittels des Fusionssystems zeitlich synchronisiert sowie fusioniert. Da die Sensordaten zeitlich verzögert am Fusionssystem ankommen, sind die Ankunftszeitpunkte m₁ bis m₅ der Sensordaten am Fusionssystem gegenüber den Erfassungszeitpunkten t_k0 bis t_k1, t_k-1 bis t_k+1 zeitlich verschoben. Die Ankunftszeitpunkte m₁ bis m₅ sind auf dem dritten Zeitstrahl T3 über der Zeit t abgetragen.
• Zur Durchführung einer Objektverfolgung, des so genannten Trackings, werden übliche Filter- und Trackingalgorithmen, beispielsweise Kalmanfilter, verwendet. Zur Durchführung dieser Filter- und Trackingalgorithmen ist es jedoch erforderlich, dass Sensordaten zeitlich geordnet sind.
• Hierzu wird eine Schätzung eines Zustands eines Objekts üblicherweise in die Zukunft prädiziert. Der Zustand eines jeweiligen Objekts umfasst dabei jeweils eine Position des Objekts in der Umgebung, eine Geschwindigkeit des Objekts und/oder eine Bewegungsrichtung des Objekts. Beim Eintreffen einer veralteten Messung von Sensordaten am Fusionssystem, das heißt bei einer Zuführung von die Zustände der Objekte betreffenden, inaktuellen Sensordaten an das Fusionssystem, wird jedoch eine Retrodiktion durchgeführt. Unter einer Retrodiktion wird dabei eine Prädiktion in die Vergangenheit verstanden. Die Retrodiktion der Zustände wird dabei vorzugsweise gemäß "Yaakov Bar-Shalom: Update with out-of-sequence measurements in tracking: Exact solution; In: Proceedings of SPIE, Signal and Data Processing of Small Targets, 2000" durchgeführt.
• Die Ermittlung der Existenzwahrscheinlichkeit ist entscheidend, um die Verlässlichkeit der Objektverfolgung zu erhöhen und um daraus folgend eine Falschalarmrate des Fahrerassistenzsystems zu verringern. Anhand von Werten der Existenzwahrscheinlichkeiten der Objekte wird eine Güte einer Objektverfolgung geschätzt. Um eine Zuverlässigkeit der Ermittlung der Existenzwahrscheinlichkeiten zu erhöhen, wird beim Eintreffen einer veralteten Messung von Sensordaten am Fusionssystem die Retrodiktion auch für die Existenzwahrscheinlichkeiten der Objekte durchgeführt. Das heißt, die Retrodiktion der Existenzwahrscheinlichkeiten der Objekte wird bei einer Zuführung von die Existenzwahrscheinlichkeiten der Objekte betreffenden, inaktuellen Sensordaten an das Fusionssystem durchgeführt.
• Im Folgenden wird ein mögliches Ausführungsbeispiel zur Retrodiktion der Zustände und Existenzwahrscheinlichkeiten eines Objekts im der Umgebung eines Fahrzeugs beschrieben. Die Retrodiktion wird mittels eines so genannten JIPDA-Verfahrens (JIPDA = Joint integrated probabilistic data association) durchgeführt.
• Dabei wird die Behandlung von asynchronen Messungen in der Zustands- und Existenzschätzung gemäß folgendem Programmablauf durchgeführt:
  ”Retrodiktion (Zustand und Existenz):
  for i = 1 to num_tracks do
  Berechne

  

  gemäß "Marc M. Muntzinger u. a.: Tracking in a cluttered environment with out-of-sequence measurements; IN: IEEE International Conference on Vehicular Electronics and Safety, pages 56–61, November 2009" (im Folgenden als [1] bezeichnet).
  Berechne die apriori Existenzwahrscheinlichkeit

  

  mit Persistenzwahrscheinlichkeit p_s.
  end for”
  ”OOSM-Innovation (Zustand und Existenz):
  for i = 1 to num_tracks do
  Berechne

  

  gemäß [1].
  Berechne die a posteriori Existenzwahrscheinlichkeit

  

  
  end for”
• Das zugrunde liegende Problem ist, dass ein Objekt im Fahrzeugumfeld einen geschätzten Zustand (x ^_k|k), z. B. Position und Geschwindigkeit, zum Erfassungszeitpunkt t_k hat. Zusätzlich wird eine Kovarianzmatrix (P_k|k) berechnet, die die räumliche Unsicherheit angibt, sowie eine Existenzwahrscheinlichkeit

  

  Diese Existenzwahrscheinlichkeit gibt an, mit welcher geschätzten Wahrscheinlichkeit es sich um bin real existierendes Objekt handelt und nicht um einen Falschalarm. Zustands- und Existenzschätzung beziehen sich jeweils auf den Erfassungszeitpunkt t_k. Wenn eine veraltete Messung vom Erfassungszeitpunkt t_ko im Fusionssystem eintrifft, müssen Zustand und Existenz zu diesem Zeitpunkt zurückgerechnet werden. Es wird also geschätzt, wo sich das Objekt in der Vergangenheit befand und in welchem Zustand es wahrscheinlich existiert hat.
• Das genaue Vorgehen ist dabei folgendes: Zunächst werden Zustand (x ^_k0|k) und zugehörige Kovarianzmatrix

  

  zum Zeitpunkt t_ko wie in [1] berechnet. Dann wird die Existenzwahrscheinlichkeit

  

  in die Vergangenheit prädiziert, das heißt, es wird eine Retrodiktion der Existenzwahrscheinlichkeit durchgeführt. Dabei bezeichnet P_s die Persistenzwahrscheinlichkeit gemäß "Darko Mušicki and Robin Evans: Joint integrated probabilistic data association: Jipda; In: International Conference on Information Fusion, 2(5): 1120–1125, 2002" (im Folgenden als [2] bezeichnet). Die Persistenzwahrscheinlichkeit gibt an, mit welcher Wahrscheinlichkeit ein Objekt zu einem späteren Zeitpunkt noch existiert. Es kann z. B. eine Persistenzwahrscheinlichkeit modelliert werden, die im Sichtbereich des Sensor nahe dem Wert Eins ist, da Objekte dort nicht verschwinden, und am Rand des Sichtbereichs absinkt, weil Objekte hier verschwinden können. Um die Existenzwahrscheinlichkeit in der Vergangenheit statt in der Zukunft zu berechnen, muss daher die inverse Persistenzwahrscheinlichkeit verwendet werden, die mit der aktuellen Existenzwahrscheinlichkeit multipliziert wird. Dies liefert die Existenzwahrscheinlichkeit zum vergangenen Erfassungszeitpunkt t_ko.
• Wurden alle Schätzgrößen in die Vergangenheit retrodiziert, findet in der Vergangenheit eine Datenassoziation statt. Das heißt, es wird berechnet, von welchem Objekt die veraltete Messung wahrscheinlich stammt. Die probabilistische Datenassoziation wird mit dem so genannten JIPDA-Verfahren nach [2] durchgeführt. Im JIPDA-Algorithmus werden Hypothesen E für alle möglichen Zuordnungen von Messungen zu Tracks aufgestellt. Die Existenzwahrscheinlichkeit eines Tracks berechnet sich aus der Summe aller Hypothesen E, in denen der Track existiert, normiert über alle Hypothesen, wie es die im oben dargestellten Programmablauf gezeigte Retrodiktion zeigt.
• Bei der so genannten OOSM-Innovation, welche eine Innovation mit verzögerter Messung darstellt, wird die so erhaltene Existenzwahrscheinlichkeit zusätzlich mittels der Persistenzwahrscheinlichkeit

  

  zurück zum aktuellen Zeitpunkt prädiziert. Die OOSM-Innovation berechnet dann Zustand

  

  und die Kovarianz

  

  nach [1].
• Insgesamt wird somit eine Schätzung von Zustand und Existenzwahrscheinlichkeit des Objekts erreicht, die sich wieder auf den aktuellen Erfassungszeitpunkt t_k bezieht, aber die veraltete Messung, d. h. die inaktuellen Sensordaten, beinhaltet.
• Bezugszeichenliste

m₁ bis m₅

Ankunftszeitpunkt

t

Zeit

T1 bis T3

Zeitstrahl

t_k0, t_k1

Erfassungszeitpunkt

t_k-1 bis t_k+1

Erfassungszeitpunkt

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• DE 102005036953 A1 [0003]
• Zitierte Nicht-Patentliteratur
• ”Yaakov Bar-Shalom: Update with out-of-sequence measurements in tracking: Exact solution; In: Proceedings of SPIE, Signal and Data Processing of Small Targets, 2000” [0016]
• ”Marc M. Muntzinger u. a.: Tracking in a cluttered environment with out-of-sequence measurements; IN: IEEE International Conference on Vehicular Electronics and Safety, pages 56–61, November 2009” [0019]
• ”Darko Mušicki and Robin Evans: Joint integrated probabilistic data association: Jipda; In: International Conference on Information Fusion, 2(5): 1120–1125, 2002” [0021]

Claims (6)

1. Verfahren zur Existenz- und Zustandsbestimmung von Objekten, wobei mittels mehrerer Sensoren eine Umgebung zeitlich asynchron erfasst wird und mittels der Sensoren zeitlich asynchron erfasste Sensordaten einem Fusionssystem zugeführt und mittels des Fusionssystems zeitlich synchronisiert und fusioniert werden, dadurch gekennzeichnet, dass bei einer Zuführung von Existenzwahrscheinlichkeiten der Objekte betreffenden, inaktuellen Sensordaten an das Fusionssystem eine Retrodiktion der Existenzwahrscheinlichkeiten der Objekte durchgeführt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei einer Zuführung von Zustände der Objekte betreffenden, inaktuellen Sensordaten an das Fusionssystem eine Retrodiktion der Zustände der Objekte durchgeführt wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass anhand von Werten der Existenzwahrscheinlichkeiten der Objekte eine Güte einer Objektverfolgung geschätzt wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Zustand eines jeweiligen Objekts jeweils eine Position des Objekts in der Umgebung, eine Geschwindigkeit des Objekts und/oder eine Bewegungsrichtung des Objekts bestimmt werden.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Sensoren Bildsensoren verwendet werden.
6. Verwendung von mittels eines Verfahrens nach einem der vorhergehenden Ansprüche bestimmten Zuständen und Existenzwahrscheinlichkeiten von Objekten zum Betrieb von Fahrerassistenzvorrichtungen von Fahrzeugen.

Images