-
Die Erfindung betrifft ein Verfahren zum Detektieren und Nachverfolgen eines Objekts mittels einer Sensorvorrichtung. Die Erfindung betrifft ferner eine Sensorvorrichtung. Die Erfindung betrifft ferner ein Computerprogrammprodukt.
-
Stand der Technik
-
Sowohl für Fahrassistenz-Systeme, insbesondere im Bereich des (teil-)autonomen Fahrens, ist es wichtig, im Nahbereich des Fahrzeugs relevante Objekte, wie z.B. andere Verkehrsteilnehmer (Fußgänger, Fahrradfahrer, PKW/LKW, usw. oder mögliche Hindernisse (Zaun, Pfeiler, usw.) zu erkennen und Kollisionen zu vermeiden. Darüber hinaus muss das System natürlich stets gemäß der Gesetzgebung reagieren. Hierfür eignen sich insbesondere Ultraschallsensoren, die im Wesentlichen in alle Richtungen das Fahrzeugumfeld flächendeckend erfassen können.
-
Prinzipiell liefern die Sensoren von Ultraschall-Systemen die Laufzeiten von gesendeten Pulsen (nachfolgend „Echosignale“), vom Quellensensor zum Reflexionsobjekt und zurück zu einem Sensor. Aus der gemessenen Laufzeit kann dann, über die Schallgeschwindigkeit, zunächst auf die Distanz des reflektierenden Objektes geschlossen werden („Stufe 1“). Der empfangende Sensor kann der gleiche wie der Sender aber auch ein anderer sein. Das heißt, die Lage des reflektierenden Objektes kann jeweils eingegrenzt werden auf die:
- Oberfläche einer Kugelsphäre mit dem Sensor im Zentrum und der gemessenen Distanz als Radius, wenn gilt:
- Sender == Empfänger
Oberfläche eines Rotationsellipsoids mit den beiden Sensoren in den Brennpunkten und der gemessenen Distanz als große Halbachse bzw. Hauptachse, wenn gilt:
- Sender != Empfänger
-
Wenn ein reflektiertes Echo von mehreren Sensoren empfangen wird, also mehrere Echo-Informationen vorliegen, kann man anhand der Sensorpositionen und der Echo-Distanzen durch Trilateration der Laufwege bzw. der Echosignale im nächsten Schritt noch die Position des Reflexionspunktes bestimmen („Stufe 2“). Das gleiche gilt, wenn zwei Sender gleichzeitig aussenden und die Echos von einem oder mehreren Sensoren empfangen werden. Bei gleichzeitigem Senden kann durch die Verwendung von Modulationen zwischen den Sendern unterschieden werden.
-
In konventionellen Ultraschall-Systemen werden entweder nur die Laufzeiten aus Stufe 1 oder nur die Positionen aus Stufe 2 für die weitere Verarbeitung und im Verbund mit anderen Sensormodalitäten verwendet. Hierbei sollen vor allem statische Objekte (geparkte Autos am Straßenrand) erfasst und entweder ihr Abstand (Dateninformation aus Stufe 1) oder aber ihre Position (Dateninformation aus Stufe 2) kartografiert werden. Diese „Karte“ des Fahrzeugumfeldes wird dann beispielsweise genutzt, um ein Einparkmanöver zu berechnen.
-
Schwierigkeiten bei der ausschließlichen Verwendung der Informationen von Stufe 2 können sein:
- Um die Position von Objekten bestimmen zu können, müssen die einzelnen vom Objekt reflektierten und gemessenen Echosignale miteinander kombiniert bzw. lateriert werden.
-
Bei einer solchen Trilateration kann durch die Überlagerung von drei oder mehr Kugel bzw. Ellipsoid-Schalen (die jeweils durch die Direkt- und Kreuz-Echo-Distanzen und die Sensorpositionen gegeben sind) die Position des reflektierenden Objektes berechnet werden. Entsprechend geht eine solche Berechnung mit einem hohen Ressourcen-Verbrauch einher, wobei zusätzlich noch sämtliche möglichen Echo-Kombinationen abgetestet werden müssen.
- - Wenn nur die trilaterierten Punkte verwendet werden, besteht weiterhin zum einen die Gefahr, dass durch eine inkorrekte Kombinatorik von Echos falsche Punkte gebildet bzw. andere ausgelassen werden. Zum anderen muss angenommen werden, dass die Echos, die für die Erzeugung von einem Punkt verwendet werden, vom (exakt) gleichen Reflexionspunkt an einem Objekt stammen, da die Trilateration ansonsten ungenau wird.
-
In beiden Fällen kann es somit zur Bildung von sogenannten „Geisterpunkten“ bzw. „Geisterobjekten“ (d.h. Punkte, die keinem realen Objekt entsprechen) kommen.
-
Oft werden pro Messzyklus (d.h. einer oder mehrere Sensoren senden gleichzeitig einen Ultraschallpuls aus, der von einen oder mehreren Sensoren entsprechend wieder empfangen wird) meist deutlich mehr als drei Echos für ein reflektierendes Objekt gemessen (vor allem für nahe Objekte < ca. 2-3 m). Bei der Berechnung der Reflexpunkte werden typischerweise hingegen deutlich weniger Echos (z.B. 3 oder 4) berücksichtigt. Dadurch können bei einer weiteren Analyse der Daten ausschließlich auf Stufe 2 nichtverwendeten Echo-Informationen eventuell verloren gehen.
-
Im Falle, dass alle Echos erfolgreich für die Trilateration der Punkte verwendet wurden, ist dies nicht unbedingt der Fall. Entweder könnte man in diesem Fall weitere Echos in die Berechnung einbeziehen um die Genauigkeit zu erhöhen, oder man könnte mehrere Punkte berechnen, die dann erwarteter Weise nahe beieinander liegen.
-
Es hat sich gezeigt, dass die Reflexpunkt-Berechnung für statische Objekte gut anwendbar ist. D.h., in den einzelnen Messzyklen werden zuverlässig Reflexpunkte entsprechend der am Objekt reflektierten Position gebildet. Für dynamische, sich bewegende, Objekte (z.B. Fußgänger) hingegen ist die Reflexpunktbildung erheblich erschwert. Dies führt dazu, dass nur vereinzelt erfolgreich Punkte trilateriert werden können und in den allermeisten Messzyklen zur weiteren Analyse keine Reflexpunkt- sondern lediglich Echo-Informationen aus der 1. Stufe zur Verfügung stehen.
-
Schwierigkeiten bei der ausschließlichen Verwendung der Informationen von Stufe 1 können sein:
- - Wenn nur die Echosignale verwendet werden, ist die Aussage für die Umgebungserkennung um das Fahrzeug herum über reine Distanzen hinaus nur bedingt (bzw. nur mit entsprechenden Freiheitsgraden) möglich, da das Reflexionsobjekt irgendwo auf einer Kugel- oder Rotationsellipsoiden-Oberfläche liegen kann.
-
Offenbarung der Erfindung
-
Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren bereitzustellen, das die oben genannten Nachteile weitgehend überwindet.
-
Die Aufgabe wird gemäß einem ersten Aspekt gelöst mit einem Verfahren zum Detektieren und Nachverfolgen eines Objekts mittels einer Sensorvorrichtung, aufweisend die Schritte:
- - Zyklisches Erfassen von Echosignalen am Objekt mittels wenigstens zweier Sensoren einer ersten Sensormodalität der Sensorvorrichtung;
- - Zuordnen der ermittelten Echosignale aus einem aktuellen Zyklus im Hinblick zu einem bekannten Objekt aus einer Objektliste, die mit Objekten befüllt ist, die mit Daten der ersten Sensormodalität in wenigstens einem vorherigen Zyklus und/oder Daten wenigstens einer zweiten Sensormodalität der Sensorvorrichtung generiert wurden;
- - Aktualisieren des Objektzustandes mithilfe der Informationen in den Echosignalen der wenigstens zwei Sensoren, wobei im Falle, dass eine Zuordnung zu bekannten Objekten in der Objektliste im vorherigen Schritt nicht durchgeführt werden kann, ein neues Objekt basierend auf einer Echotrilateration erstellt wird.
-
Auf diese Weise ist mit dem vorgeschlagenen Verfahren unter Umständen eine oben erläuterte Datenverarbeitung gemäß Stufe 2 nicht notwendig, sondern kann ausschließlich gemäß Stufe 1 (d.h. ausschließlich mit Echosignalen) durchgeführt werden. Auf diese Weise wird eine Optimierung beider bekannten Stufen 1 und 2 realisiert, wodurch eine potentielle Fehleranfälligkeit von Stufe 2 weitgehend vermieden werden kann. Im Ergebnis ist dadurch mittels des auf einer Sensorvorrichtung ablaufenden Verfahrens eine verbesserte zeitliche und örtliche Auflösung von Objekten unterstützt.
-
Die Aufgabe wird gemäß einem zweiten Aspekt gelöst mit einer Sensorvorrichtung zum Detektieren und Nachverfolgen eines Objekts, aufweisend:
- - wenigstens zwei Sensoren einer ersten Sensormodalität der Sensorvorrichtung und wenigstens ein Sensor einer zweiten Sensormodalität, die für folgendes eingerichtet sind:
- - Zyklisches Erfassen von Echosignalen am Objekt mittels der wenigstens zwei Sensoren der ersten Sensormodalität der Sensorvorrichtung;
- - Zuordnen der ermittelten Echosignale aus einem aktuellen Zyklus im Hinblick zu einem bekannten Objekt aus einer Objektliste, die mit Objekten befüllt ist, die mit Daten der ersten Sensormodalität in wenigstens einem vorherigen Zyklus und/oder Daten der zweiten Sensormodalität der Sensorvorrichtung generiert wurden;
- - Aktualisieren des Bewegungszustands vom Objekt mithilfe der Informationen in den Echosignalen der wenigstens zwei Sensoren der ersten Sensormodalität, wobei im Falle, dass eine Zuordnung zu bekannten Objekten in der Objektliste im vorherigen Schritt nicht durchgeführt werden kann, ein neues Objekt basierend auf einer Echotrilateration erstellt wird.
-
Gemäß einem dritten Aspekt wird die Aufgabe gelöst mit einem Computerprogrammprodukt mit Programmcodemitteln zur Durchführung des vorgeschlagenen Verfahrens, wenn es auf einer vorgeschlagenen Sensorvorrichtung abläuft oder auf einem computerlesbaren Datenträger gespeichert ist.
-
Vorteilhafte Weiterbildungen des Verfahrens sind Gegenstand von jeweils abhängigen Ansprüchen.
-
Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass für das Erstellen eines neuen Objekts die Echosignale und/oder die trilaterierten Echosignale verwendet werden, wobei ein aus den trilaterierten Echosignalen ermitteltes Objekt in die Objektliste eingetragen wird. Vorteilhaft kann auf diese Weise die bestehende Objektliste erweitert bzw. aktualisiert werden.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass das Ermitteln der trilaterierten Echosignale der wenigstens zwei Sensoren basierend auf einer Gitterstruktur in einem mittels der Sensorvorrichtung zu erfassenden Raum durchgeführt wird. Zum Beispiel kann auf diese Weise in jeder Zelle ein Zähler hochgezählt werden, durch die Echokreise bzw. Abbilder von Signallaufzeiten durchgehen. Geprüft wird, welche Zellen stark belegt sind, was ein Hinweis auf ein zu detektierendes Objekt sein kann.
-
Weitere vorteilhafte Weiterbildungen des Verfahrens sehen vor, dass das Ermitteln der trilaterierten Echosignale vollständig und/oder teilweise durchgeführt wird. Bei der teilweisen Trilateration ergeben sich auf diese Weise Schnittkreise, die eine vollständige Ortsbestimmung nicht ermöglichen, aber der mögliche Aufenthaltsraum des Objekts wurde um eine Dimension reduziert.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass das ermittelte Objekt eine Objektklassifikation angewendet wird. Vorteilhaft kann auf diese Art und Weise das detektierte Objekt zuverlässig klassifiziert werden.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass die Echosignale zum Anlernen von Messmodellen verwendet werden. Auf diese Weise kann z.B. ein trainiertes neuronales Netz auf einer Aktualisierungsebene von Stufe 2 eingesetzt werden.
-
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass für die Sensorvorrichtung wenigstens eine Sensormodalität ohne Winkelinformation verwendet wird. Zum Beispiel kann auf diese Weise ein Ultraschall- oder IR-Sensor mit einer anderen Sensormodalität mit Winkelinformationen kombiniert werden. Ultraschallsensoren sind vorteilhaft kostengünstig und haben einen breiten Öffnungswinkel.
-
Die Erfindung wird im Folgenden mit weiteren Merkmalen und Vorteilen anhand von mehreren Figuren detailliert beschrieben. Dabei bilden alle beschriebenen oder dargestellten Merkmale für sich oder in beliebiger Kombination den Gegenstand der Erfindung, unabhängig von ihrer Zusammenfassung in den Patentansprüchen oder deren Rückbeziehung, sowie unabhängig von ihrer Formulierung bzw. Darstellung in der Beschreibung bzw. in den Figuren.
-
Offenbarte Merkmale und Vorteile des vorgeschlagenen Verfahrens ergeben sich in analoger Weise aus offenbaren Merkmalen und Vorteilen der vorgeschlagenen Sensorvorrichtung und umgekehrt.
-
Unter dem oben angeführten Computerprogrammprodukt kann insbesondere ein Computerprogramm verstanden werden, welches Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, ein Verfahren gemäß einem der oben angeführten Verfahren auszuführen. Des Weiteren wird ein maschinenlesbares Speichermedium von dieser Anmeldung umfasst, auf dem dieses Computerprogramm gespeichert ist.
-
In den Figuren zeigt:
- 1 eine prinzipielle Darstellung einer herkömmlichen Objektdetektion und -verfolgung mittels einer Sensorvorrichtung gemäß Stufe 1 und einer erfolgreichen Stufe 2;
- 2 eine prinzipielle Darstellung einer herkömmlichen Objektdetektion und -verfolgung mittels einer Sensorvorrichtung und einer nicht erfolgreichen Stufe 2; und
- 3 eine prinzipielle Darstellung eines Ablaufs des vorgeschlagenen Verfahrens.
-
Zur Vereinfachung wurde in den Figuren die dreidimensionale Geometrie auf zwei Dimensionen reduziert. Die dargestellten Szenen lassen sich analog auf den dreidimensionalen Raum erweitern.
-
Beschreibung von Ausführungsformen
-
Nachfolgend wird der Begriff „automatisiertes Fahrzeug“ synonym mit den Begriffen „vollautomatisiertes Fahrzeug“, „autonomes Fahrzeug“ und „teilautonomes Fahrzeug“ verwendet.
-
Mittels des vorgeschlagenen Verfahrens können insbesondere die Stärken der beiden oben erläuterten Stufen 1, 2 verwendet, deren Schwächen aber so weit wie möglich umgangen werden. Dies ermöglicht es, die kombinierten Daten über eine reine Umfelderfassung/Kartografie hinaus auch erfolgreich für ein Objekttracking (nötig z.B. für dynamische Hindernisse, wie zum Beispiel Fußgänger, Fahrradfahrer, Tiere, usw.), z.B. mittels Kalman-Filterung einzusetzen.
-
Vor allem das letztere Anwendungsbeispiel ist für eine Anwendung im (teil-) automatisierten Fahren von Vorteil. Dadurch ist es vorteilhaft möglich, ein Fahrzeugumfeld mittels der vorgeschlagenen Sensorvorrichtung differenzierter wahrzunehmen und eine weitere Aktion (z.B. Weiterfahren, Ausweichen, Abbremsen, usw.) des Fahrzeugs zu planen bzw. zu initiieren.
-
Darüber hinaus kann mit dem vorgeschlagenen Verfahren und der vorgeschlagenen Sensorvorrichtung ein ressourcensparendes Gesamtsystem entwickelt werden, das die Rechenleistung optimal auf benötigte Informationen bzw. Daten abstimmt. So ist es unter anderem denkbar, die aufwändige Reflexpunkt-Trilateration nur durchzuführen, wenn diese für das Endergebnis (z.B. Positions-Update oder Objektgenerierung) benötigt wird.
-
Ein Kerngedanke der Erfindung ist die Verwendung der beiden Stufen 1, 2 auf der Fusionsebene (explizit auch für dynamische Objekte) im Anwendungsbereich (teil-)automatisiertes Fahren. Hierbei werden Messdaten von mehreren Sensormodalitäten vereinigt bzw. fusioniert, um Objekte aus der realen Welt zu identifizieren, zu plausibilisieren und zu modellieren. Sowohl die Echos von Stufe 1 als auch die trilaterierten Punkte von Stufe 2 werden auf der Fusionsebene bereitgestellt und ihren Stärken entsprechend verwendet.
-
Dadurch verbessern sich gegenüber den herkömmlichen Verfahren sowohl die Objekterzeugung (engl. spawning) als auch die Aktualisierung (engl. tracking) von bekannten (dynamischen) Objekten basierend auf Ultraschall-Messdaten. Insbesondere kann für das Tracking-Verfahren bereits existierender Objekte verstärkt auf Echos der Stufe 1 zurückgegriffen werden und erheblich Rechenzeit (die für die Trilateration benötigt wird) eingespart werden.
-
1 zeigt in prinzipieller Weise das herkömmliche Verfahren zum Detektieren und Nachverfolgen eines Objekts gemäß Stufe 1. Man erkennt ein stark schematisiertes Fahrzeug 1 mit einer Sensorvorrichtung 100 mit zwei Sensoren 10, 20 (z.B. Ultraschallsensoren), die jeweils ein Echosignal eines Objekts O empfangen. Aufgrund der Echosignale wird eine Trilateration durch ein Schneiden eines Kreises mit einer Ellipse vorgenommen, um dadurch das Objekt O zu ermitteln („Punktbildung“). Weitere zur Durchführung des Verfahrens erforderliche Elemente der Sensorvorrichtung 100 bzw. des Fahrzeugs 1 (z.B. elektronische Steuergeräte, Mikrorechner, Computer, Mobilfunkanbindung an einen externen Rechner, usw.) sind der Einfachheit halber nicht dargestellt.
-
Eine Problematik des Verfahrens gemäß Stufe 2 ist in 2 angedeutet: In diesem Fall empfangen die Sensoren 10, 20 nicht dieselben, vom Objekt O reflektierten Echosignale. Im Ergebnis kann dadurch aufgrund der Trilateration des Kreises mit der Ellipse ein Geisterobjekt GO generiert werden, das in der Realität gar nicht existiert. Die Problematik von 2 kann zwar durch eine Bewegung des Objekts O und/oder des Fahrzeugs abgeschwächt werden, dennoch verbleiben gewisse Unsicherheiten beim zuverlässigen Ermitteln des Objekts O.
-
Vorgeschlagen wird ein Verfahren, das die genannten Nachteile von Stufe 2 weitgehend eliminieren bzw. umgehen kann.
-
In einem Projekt mit mehreren Sensormodalitäten bzw. -arten (z.B. Radar, Lidar, Video, Ultraschall, usw.) werden die Informationen der einzelnen Sensormodalitäten in einer sogenannten Sensordatenfusion zusammengeführt, wobei auf der Fusionsebene mehrere Prozesse stattfinden:
- Zur Vermeidung der im Zusammenhang mit 2 erwähnten möglichen Kombinatorikfehler bei der Punkt- bzw. Objektbildung wird vorgeschlagen, für die Assoziation und die Aktualisierung lediglich die Rohdaten, d.h. die Echosignale aus Stufe 1 zu verwenden.
-
Für die Datenverarbeitung gemäß der Stufen 1 und 2 ist dabei kein explizites Wissen über die Position eines Objektes O erforderlich. Vielmehr wird eine bestehende Objekthypothese in einen Messraum des Sensors transformiert und somit eine erwartete Wahrscheinlichkeitsverteilung für Echos ermittelt.
-
Aus der Abweichung der erwarteten und der tatsächlichen Messgrößen kann anschließend ein Update des geschätzten Objektzustandes unter Annahme eines Bewegungsmodells durchgeführt werden. Dabei kann über ein geeignetes Messmodell (welches den Radius bzw. die Hauptachse in x-, y- und z- Positionen überführt) auch explizit die Position des nachverfolgten Objektes O aktualisiert bzw. präzisiert werden.
-
Da auch andere Sensortypen ein Objekt potentiell aktualisieren können, profitieren die Stufen 1 und 2 direkt vom eingebrachten Wissen von anderen Sensoren (z.B. über die mögliche erste Position des Objektes, usw.).
-
Ein möglicher Anwendungsfall des vorgeschlagenen Verfahrens kann zum Beispiel wie folgt aussehen:
- Ein Sensor, der nur im Fernbereich sensitiv ist (z.B. Lidarsensor, Radarsensor, usw.) detektiert bzw. spawnt und trackt im weiteren Verlauf einen sich aus der Ferne annähernden Fußgänger. Bei kleineren Objektabständen (z.B. kleiner als ca. 7 Meter) kann der Lidar-Sensor aber keine Informationen mehr verarbeiten und „übergibt“ im Nahbereich das Objekt O (z.B. Fußgänger) an einen Ultraschallsensor (gegebenenfalls gibt es zuvor auch einen Übergang, in dem beide Sensoren im Verbund das Objekt O messen), der das weitere Tracking übernimmt. Entfernt sich später der Fußgänger wieder vom Fahrzeug 1, kann das Objekt vom Nahbereich (z.B. Ultraschallsensor) zum Fernbereich an die Long-Range-empfindlichen Sensoren (z.B. Lidar, Radarsensor) „zurück übergeben“ werden.
-
Für Stufe 3 (Erstellen von neuen Objekten) eignen sich die Echodaten nur bedingt, da andere Sensormodalitäten die Information der Kugel- und Rotationsellipsoidoberflächen nicht sinnvoll verarbeiten können. Für diesen Fall und für die Abschätzung der Höhe von Objekten werden zunächst entweder
- - trilaterierte Reflexpunkte (plus Echosignale) oder
- - Informationen aus dem Sensor-Verbund verwendet.
-
Um die Wahrscheinlichkeit des Erstellens von Geisterobjekten GO zu reduzieren, ist es denkbar, vor dem Spawning zunächst Messungen (entweder nur Reflexpunkte oder eine Hybridlösung aus Reflexpunkten plus Echosignale) über mehrere Zyklen der Sensorvorrichtung zu sammeln.
-
In einer dynamischen Umgebung (das eigene Fahrzeug und/oder das gemessene Objekt bewegen sich) halten sich Geisterobjekte GO in den meisten Fällen nicht über mehrere Zyklen, da eine falsche Kombinatorik nicht zu den gleichen Reflexpunkten führt, wenn sich die Sensoren oder das Objekt bewegen.
-
Wie bereits erwähnt, ist auch eine Hybridlösung denkbar. So wird zunächst bereits bei mindestens einem Reflexpunkt erst intern ein sogenanntes „Zwischenobjekt“ generiert. Kann dieses dann in den folgenden Messzyklen durch Echosignale (z.B. über übereinstimmende Distanz) plausibilisiert werden, wird auch extern das neue Objekt erzeugt und an die Sensordatenfusion (und gegebenenfalls an den Sensorverbund) übergeben.
-
Eine weitere Möglichkeit des vorgeschlagenen Verfahrens bieten auch noch sogenannte teilweise trilaterierte Reflexpunkte. Für eine vollständige Trilateration, also die Berechnung von x-, y-, und z-Koordinate, sind mindestens drei zueinander gehörende Echosignale notwendig. Wenn allerdings nur zwei passende Echosignale vorhanden sind, liegt das Objekt O auf dem Schnitt von Kugel/Rotationsellipsoid und Rotationsellipsoid, wobei sich für den Schnitt von Kugel und Rotationsellipsoid ein Kreis ergibt (teilweise Trilateration). In dem Fall kann der Schnitt für die Assoziation, das Aktualisieren und das Erstellen von neuen Objekten verwendet werden.
-
Ein alternatives Fusionskonzept der Sensordaten verwendet anstelle von einer Modellierung der Umwelt mit Objekten O eine Gitterstruktur einer definierten Zellengröße (z.B. ca. 10cm) um das Fahrzeug 1 herum. Geprüft wird dabei, welche Zellen der Gitterstruktur wie stark belegt sind, wodurch abhängig von der Belegungsstärke auf ein Objekt O geschlossen werden kann. Die Belegung der Gitterstruktur kann sowohl über die Eintragung von Kugeln und Rotationsellipsoiden in drei Dimensionen als auch über Kreise und Ellipsen in zwei Dimensionen geschehen. Und natürlich können auch (wie bisher umgesetzt) trilaterierte Reflexpunkte mit x-, y-, z-Koordinate eingetragen werden. Vorteilhaft kann dadurch für die Sensorvorrichtung 100 Laufzeit gewonnen werden.
-
Für die Klassifikation von gemessenen Echosignalen, also die Zuordnung von Echosignalen zu bestimmten Objekttypen (z.B. Mensch, Bordstein, Verkehrszeichen, usw.) gilt das Gleiche: Es ist einfacher trilaterierte Punkte gemäß Stufe 2 über ihre Positionen zu gemeinsamen oder verschiedenen Objekten zuzuordnen, als dies mit Echosignalen gemäß Stufe 1 durchzuführen. Aber es besteht auch hier die Möglichkeit von Fehlern aufgrund von falscher Kombinatorik. Deshalb kann es sinnvoll sein, auch in diesem Fall zusätzlich auf die Echosignale gemäß Stufe 1 zurückzugreifen.
-
Außerdem können die Echosignale, und deren Empfangsmuster über alle Sensoren hinweg, anstelle der Positionen auf der Fusionsebene verwendet werden, um Messmodelle anzulernen, die Situationen und Objekte basierend auf den Echos erkennen (Machine Learning). Die Messmodelle können z.B. genutzt werden, um die Orientierung von Objekten zu bestimmen, was für die Schritte 1) und 2) der Fusionsebene relevant ist.
-
3 zeigt stark vereinfacht einen prinzipiellen Ablauf des vorgeschlagenen Verfahrens mit den vorgeschlagenen spezifischen Datenverarbeitungswegen.
-
In einem Schritt 200 erfolgt ein zyklisches Erfassen von Echosignalen am Objekt O mittels wenigstens zweier Sensoren 10, 20 einer ersten Sensormodalität der Sensorvorrichtung 100.
-
In einem Schritt 210 erfolgt ein Zuordnen der ermittelten Echosignale aus einem aktuellen Zyklus im Hinblick zu einem bekannten Objekt O aus einer Objektliste, die mit Objekten befüllt ist, die mit Daten der ersten Sensormodalität in wenigstens einem vorherigen Zyklus und/oder Daten wenigstens einer zweiten Sensormodalität der Sensorvorrichtung 100 generiert wurden.
-
In einem Schritt 220 erfolgt eine Prüfung, ob eine Zuordnung zu bekannten Objekten in der Objektliste durchgeführt werden kann.
-
Falls dies aufgrund der Prüfung in Schritt 220 möglich ist, erfolgt in einem Schritt 240 ein Aktualisieren des Bewegungszustands vom Objekt O mithilfe der Informationen in den Echosignalen der wenigstens zwei Sensoren 10, 20.
-
Falls die Prüfung in Schritt 220 allerdings ergibt, dass eine Zuordnung zu bekannten Objekten in der Objektliste nicht möglich ist, wird in Schritt 230 ein neues Objekt basierend auf einer Echotrilateration erstellt und erst danach Schritt 240 durchgeführt.
-
Vorteilhaft lässt sich das vorgeschlagene Verfahren als eine Software realisieren, die beispielsweise auf der Sensorvorrichtung 100 abläuft. Eine einfache Adaptierbarkeit des Verfahrens ist auf diese Weise unterstützt.
-
Eine Vorverarbeitung der Daten kann dabei z.B. direkt am Sensor erfolgen und eine Kombinatorik kann auf einem zentralen Computer (z.B. einem zentralen Steuergerät des Fahrzeugs) durchgeführt werden.
-
Der Fachmann wird die Merkmale der Erfindung in geeigneter Weise abändern und/oder miteinander kombinieren, ohne vom Kern der Erfindung abzuweichen.
