-
Die vorliegende Erfindung betrifft ein Verfahren und eine Objekttrackingeinrichtung für eine sensorbasierte Objektnachverfolgung. Die Erfindung betrifft weiter ein entsprechend eingerichtetes bzw. ausgestattetes Kraftfahrzeug.
-
In verschiedenen technischen Anwendungen und Bereichen - beispielsweise aber nicht ausschließlich im Fahrzeug- und Verkehrsbereich - kann eine sensorische Erfassung und Nachverfolgung, also ein Tracking von Objekten in einer jeweiligen Umgebung nützlich sein, etwa zum Vermeiden von Kollisionen, zum Planen von Trajektorien, zur Überwachung und/oder dergleichen mehr. Da unterschiedliche Arten von entsprechenden Sensoren unterschiedliche Vor- und Nachteile aufweisen können, werden oftmals mehrere unterschiedliche Sensoren eingesetzt und deren Sensordaten oder Outputs miteinander kombiniert.
-
Beispielsweise ist in der
DE 10 2021 113 653 B3 ein System zur Sensordatenfusion für die Umgebungswahrnehmung beschrieben. Konkret wird dort ein Verfahren zum Erstellen eines Umgebungsmodells für ein hochautomatisiert betriebenes Fahrzeug mit mindestens zwei Sensoren zur Umgebungserfassung vorgeschlagen. Das dortige Verfahren umfasst eine Projektion von Rohdaten eines ersten Sensors auf ein Belegungsgitter durch Erzeugen eines Gitterzellenmaßes in Abhängigkeit eines inversen Sensormodells und eine Projektion vorverarbeiteter Objektdaten eines Gitterzellenmaßes in Abhängigkeit eines inversen Sensorobjektmodells. Die projizierten Daten werden dann zu einem Belegungsgitter fusioniert. Aus daraus extrahierten Gitterdaten wird dann ein Umgebungsmodell erstellt, das zum hochautomatisierten Betrieb des Fahrzeugs bereitgestellt wird. Damit soll ein entsprechendes Umfeldmodell für Fahrzeuge mit einer hohen Zahl an Sensoren ressourcenminimiert mit hoher Vertrauenssicherheit erstellbar sein.
-
Als weiteres Beispiel beschreibt die
DE 10 2019 115 235 A1 eine Objektverfolgung im toten Winkel. Das dortige Verfahren umfasst ein Identifizieren eines Objekts einschließlich Punkten auf dem Objekt und ein Durchführen einer Verfolgung des Objekts auf Grundlage eines Bewegungsmodells, das eine Beziehung der Punkte zueinander beinhaltet. Es wird dann eine Position eines der Punkte in einem toten Winkel auf Grundlage der Verfolgung ausgegeben.
-
Problematisch bei bisherigen Ansätzen können jedoch oftmals Laufzeiten, Latenzen und Bandbreiten für die Signal- oder Datenverarbeitung sein. Dazu offenbart die
DE 10 2018 105 293 A1 ein Verfahren zur vernetzten Szenendarstellung und -erweiterung in Fahrzeugumgebungen in autonomen Fahrsystemen. Das dortige Verfahren umfasst das Ermitteln von Daten, die sich auf eine Position eines ersten Objekts beziehen, sowie das Ermitteln einer Bandbreite und einer Latenzzeit eines Übertragungskanals. Es wird dann ein Teil der Daten in Reaktion auf die Bandbreite und Latenzzeit des Übertragungskanals übertragen.
-
Aufgabe der vorliegenden Erfindung ist es, eine Reaktionszeit optimierte Objektnachverfolgung zu ermöglichen.
-
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Weitere mögliche Ausgestaltungen der Erfindung sind in den Unteransprüchen, der Beschreibung und den Figuren offenbart. Merkmale, Vorteile und mögliche Ausgestaltungen, die im Rahmen der Beschreibung für einen der Gegenstände der unabhängigen Ansprüche dargelegt sind, sind zumindest analog als Merkmale, Vorteile und mögliche Ausgestaltungen des jeweiligen Gegenstands der anderen unabhängigen Ansprüche sowie jeder möglichen Kombination der Gegenstände der unabhängigen Ansprüche, gegebenenfalls in Verbindung mit einem oder mehr der Unteransprüche, anzusehen.
-
Das erfindungsgemäße Verfahren kann im Rahmen der sensorbasierten Objektnachverfolgung angewendet werden, insbesondere in einem entsprechend eingerichteten Kraftfahrzeug. Grundsätzlich ist das erfindungsgemäße Verfahren aber nicht auf diesen Anwendungsfall beschränkt. In dem erfindungsgemäßen Verfahren werden in jedem Messzyklus Sensordaten einer Sensorik erfasst. Diese Sensorik umfasst dabei mehrere einzelne Sensoren, die insbesondere von unterschiedlicher Art sein können. Die einzelnen Sensoren oder die diese umfassende Sensorik kann selbst bereits Objekte detektieren und über die Zeit bzw. über mehrere Frames oder Messzyklen hinweg nachverfolgen. Dies kann beispielsweise durch die Sensorik bzw. einzelnen Sensoren in einer internen Datenverarbeitung oder Vorverarbeitung automatisch erfolgen. Ebenso können von der Sensorik oder den einzelnen Sensoren stammende Sensordaten beispielsweise durch eine zur Durchführung oder Anwendung des erfindungsgemäßen Verfahrens eingerichtete Objektnachverfolgungs- oder Trackingeinrichtung, also etwa ein entsprechend eingerichtetes Steuergerät oder dergleichen, die bzw. das mit der Sensorik bzw. den einzelnen Sensoren gekoppelt sein oder gekoppelt werden kann, erfasst bzw. entsprechend verarbeitet werden.
-
Weiter werden in dem erfindungsgemäßen Verfahren jeweils in den Sensordaten bzw. durch diese repräsentierte detektierte Objekte jeweils zu einem Objekttrack, in dem das jeweilige Objekt beschreibende oder charakterisierende Objektdaten gespeichert werden, zugeordnet. Ein solcher Objekttrack kann also ein jeweils objektspezifischer bzw. für jeweils ein detektiertes Objekt angelegter Datensatz sein. In den Objekttracks können also die detektierten Objekte oder deren Daten oder Eigenschaften nachgehalten oder verwaltet werden, während das jeweilige Objekt nachverfolgt, also getrackt wird. Diese Objekttracks können auch als interne Tracks bezeichnet werden, da sie beispielsweise sensorik- bzw. sensorintern oder innerhalb der entlang einer entsprechenden Signal- oder Datenverarbeitungspipeline sensornahen Objekttrackingeinrichtung verwaltet werden können.
-
In einem bestehenden Objekttrack können beispielsweise Objekteigenschaften oder Objektzustände aus dem jeweils letzten oder auch vorangegangenen Messzyklen gespeichert sein. Für neu detektierte Objekte kann jeweils ein neuer Objekttrack angelegt werden. Durch die entsprechende Objekterkennung anhand der erfassten Sensordaten und die Zuordnung zu den Objekttracks ist dann bekannt, mittels welcher der einzelnen Sensoren ein bestimmtes Objekt detektiert wurde. Dies kann ebenfalls in den Objekttracks gespeichert werden.
-
Weiter werden die Objekttracks bzw. die darin gespeicherten Daten oder Angaben zu den Objekten anhand der zu den entsprechend zugeordneten Objekten korrespondierenden Sensordaten aus dem jeweils aktuellen Messzyklus, also anhand der jeweils neuesten verfügbaren bzw. erfassten Sensordaten aktualisiert. Damit kann also sichergestellt werden, dass in den Objekttracks jeweils aktuelle Daten oder Angaben zu dem jeweils zugeordneten Objekt gespeichert sind bzw. werden.
-
Erfindungsgemäß werden in dem Verfahren bereits vor dem jeweils aktuellen Messzyklus erstmalig detektierte und in dem jeweils aktuellen Messzyklus nur anhand der jeweils aktuellen Sensordaten genau eines der mehreren einzelnen Sensoren detektierte Objekte, die seit wenigstens einer vorgegebenen, mehrere Messzyklen umfassenden Zeitspanne ausschließlich in oder anhand von Sensordaten nur genau dieses Sensors detektiert wurden, als Einzelsensorobjekte identifiziert bzw. gekennzeichnet oder eingestuft. Solche Einzelsensorobjekte sind dann also Objekte, die zumindest innerhalb der vorgegebenen Zeitspanne immer nur von ein und demselben einzelnen Sensor detektiert wurden. Es werden also nur solche Objekte als Einzelsensorobjekte identifiziert. Es kann vorgesehen sein, dass Objekte, die beispielsweise innerhalb der vorgegebenen Zeitspanne nicht detektiert wurden und/oder die erst in dem aktuellen Messzyklus erstmalig bzw. neu detektiert wurden oder dergleichen, auch dann nicht als Einzelsensorobjekte identifiziert werden, wenn sie bisher oder aktuell nur von einem einzigen Sensor detektiert wurden. Andere Objekte, die in dem aktuellen Messzyklus und/oder innerhalb der vorgegebenen Zeitspanne mittels mehrerer und/oder wechselnder der einzelnen Sensoren detektiert bzw. in oder anhand von Sensordaten mehrerer unterschiedlicher der einzelnen Sensoren erkannt wurden, können hingegen beispielsweise als Multisensorobjekttracks identifiziert werden. Wird ein bisher, also bis zum jeweils aktuellen Messzyklus oder Zeitpunkt als Einzelsensorobjekt identifiziertes Objekt im aktuellen Messzyklus durch wenigstens einen anderen Sensoren als bisher detektiert, so kann das Objekt damit sofort, also noch in demselben aktuellen Messzyklus seine Identifikation oder Einstufung als Einzelsensorobjekt verlieren.
-
Die vorgegebene Zeitspanne kann jeweils vom aktuellen Zeitpunkt in die Vergangenheit erreichen, also als gleitendes Zeitfenster aufgefasst werden. Beispielsweise kann die vorgegebene Zeitspanne in Millisekunden oder als Anzahl von Messzyklen oder dergleichen angegeben oder definiert sein. Beispielsweise kann die vorgegebene Zeitspanne in einem Anwendungsfall im Fahrzeugbereich etwa 500 ms oder 10 Messzyklen oder dergleichen umfassen. Ebenso können jedoch andere Werte oder Längen der vorgegebenen Zeitspanne verwendet werden, beispielsweise je nach Bedarf, Anwendungsfall, typischer Messfrequenz der Sensoren, Geschwindigkeit oder Taktfrequenz einer Signal- oder Datenverarbeitungseinrichtung und/oder dergleichen mehr.
-
Weiter ist es erfindungsgemäß vorgesehen, dass Objekttracks, denen kein Einzelsensorobjekt zugeordnet wurde bzw. die darin gespeicherten Daten oder Angaben zu den Objekten, anhand der zu den zugeordneten Objekten korrespondierenden Sensordaten aus dem jeweils aktuellen Messzyklus, also anhand der jeweils neuesten verfügbaren bzw. erfassten Sensordaten, unter Verwendung eines vorgegebenen Filters bzw. Fusionsmechanismus automatisch aktualisiert werden. Dies kann beispielsweise außer den Einzelsensorobjekt bzw. den entsprechenden Objekttracks, denen ein Einzelsensorobjekt zugeordnet wurde, alle übrigen oder zumindest jeweils die bereits vor dem aktuellen Messzyklus bestehenden übrigen Objekttracks betreffen. Der vorgegebene Filter oder Fusionsmechanismus kann beispielsweise ein Kalmanfilter sein oder einen solchen umfassen oder anwenden. Ebenso kann aber prinzipiell ein anderer Filter oder Fusionsmechanismus oder Datenfilter angewendet werden, insbesondere wenn dieser effektiv als Tiefpass fungiert. Durch den vorgegebenen Filter oder Fusionsmechanismus können die Sensordaten mehrerer unterschiedlicher Sensoren und/oder bereits in dem jeweiligen Objekttrack gespeicherte Daten und die Sensordaten aus dem jeweils aktuellen Messzyklus miteinander fusioniert bzw. kombiniert werden. Ein solches Filtern oder Fusionieren kann eine Gewichtung älterer und aktueller Daten bedeuten oder umfassen. Dies kann bei gleichförmigen Bewegungen detektierte Objekte zu einem vorteilhaft glatten und konsistenten Tracking beitragen.
-
Weiter werden erfindungsgemäß die Objekttracks, denen ein Einzelsensorobjekt zugeordnet wurde, separat davon, also von den übrigen bzw. nicht mit Einzelsensorobjekt verknüpften Objekttracks bzw. unabhängig von dem für diese verwendeten Filter- oder Fusionsverfahren, anhand der zu den zugeordneten Einzelsensorobjekten korrespondierenden Sensordaten aus dem jeweils aktuellen Messzyklus, also anhand der jeweils neuesten verfügbaren bzw. erfassten Sensordaten ohne Verwendung des vorgegebenen Filters, insbesondere ohne Verwendung überhaupt irgend eines Filters, direkt aktualisiert. Mit anderen Worten können hier also Objekte bzw. die zugehörigen Daten und Objekttracks abhängig davon unterschiedlich verarbeitet oder gehandhabt werden, ob das jeweilige Objekt von mehreren Sensoren detektiert bzw. von einem anderen als dem letzten oder ursprünglichen Sensor bestätigt wurde oder ob das jeweilige Objekt nur in den Sensordaten eines einzelnen Sensors auftaucht, also als Einzelsensorobjekt identifiziert wird bzw. ist.
-
In bisherigen Ansätzen oder Fusionssystemen, in denen Sensordaten mehrerer Sensoren etwa mittels eines Kalmanfilters fusioniert werden, erfolgt ein Zuordnen, also Assoziieren, und Aktualisieren bestehender Objekttracks typischerweise unabhängig davon, welcher Sensor oder welche Sensoren das jeweilige Objekt detektieren oder bereits detektiert haben. Dementsprechend können dort Sensordaten zum Teil unnötigerweise zweifach gefiltert werden, nämlich einmal sensorintern und ein weiteres Mal beim Aktualisieren des jeweiligen Objekttracks. Dies kann zusätzlichen Datenverarbeitungsaufwand bedeuten und bei nicht-gleichförmigen Bewegungen eines Objekts, beispielsweise bei einem Bremsen oder einem Einschervorgang oder dergleichen, eine zusätzliche Filterlatenz erzeugen, da beispielsweise ein Mittel- oder Kombinationswert aus der aktuellen und wenigstens einer vorangegangenen Messung entsprechenden Sensor- oder Objektdaten gebildet wird. Dadurch kann beispielsweise eine Reaktion auf entsprechend kritische Ereignisse, die oftmals mit nicht-gleichförmigen Bewegungen einhergehen, entsprechend verspätet erfolgen. Durch das zusätzliche oder doppelte Filtern kann also eine tatsächliche Dynamik der Bewegung des jeweiligen Objekts nur gedämpft oder verzögert erkannt werden. Zudem kann die Laufzeit oder Datenverarbeitungszeit nichtlinear mit der Anzahl detektierter bzw. potenziell zuzuordnender Objekte oder mit zunehmender Anzahl als Zuordnungsziel potenziell infrage kommender Objekttracks zunehmen. Dafür kann beispielsweise die ungarische Methode - auch ungarischer Algorithmus oder Kuhn-Munkres -Algorithmus genannt - angewendet werden, die eine Komplexität von O(N3) bezogen auf die Anzahl N der Objekte aufweist.
-
Dieser Problematik kann durch die vorliegende Erfindung zumindest teilweise begegnet werden. Dazu werden in der vorliegenden Erfindung die Einzelsensorobjekte bzw. die entsprechenden Sensordaten zum oder beim Aktualisieren des jeweiligen Objekttracks nicht erneut gefiltert. Dadurch können nicht-gleichförmige Bewegungen der entsprechenden Objekte entsprechend früher oder zuverlässiger erkannt werden. Dies wiederum kann dann entsprechend frühere oder schnellere Reaktionen auf Einzelsensorobjekte, also Objekte die von nur einem Sensor detektiert werden, ermöglichen, wie etwa im Fahrzeugbereich ein schnelleres Einleiten eines Bremsmanövers oder Fahrstreifenwechsels oder dergleichen. Damit kann die vorliegende Erfindung sowohl zu einer verbesserten Sicherheit durch schnellere Reaktionszeiten bzw. geringere Latenzen beitragen als auch einen Datenverarbeitungsaufwand und einen damit assoziierten Energieverbrauch für die Objektnachverfolgung reduzieren.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung ordnen die Sensoren einem anhand der jeweiligen Sensordaten detektierten Objekt jeweils einen über wiederholte Detektionen desselben Objekts mittels des jeweiligen Sensors für das jeweilige Objekt gleichbleibenden sensorspezifischen Identifikator zu. Ein solcher Identifikator kann beispielsweise eine Identifikationsnummer oder dergleichen sein. Durch den jeweiligen Identifikator wird also das jeweilige Objekt ebenso wie der Sensor, der das jeweilige Objekt detektiert hat, identifiziert oder angegeben. Der jeweilige Identifikator wird in dem jeweiligen Objekttrack gespeichert. Die Einzelsensorobjekte werden dann, insbesondere ausschließlich, anhand dieser Identifikatoren zu dem jeweiligen Objekttrack für das jeweilige Objekt zugeordnet. Das Zuordnen oder Assoziieren der von den Sensoren detektierten Einzelsensorobjekte zu den entsprechenden Objekttracks erfolgt hier also mittels des Identifikators, den der jeweilige Sensor für ein bestimmtes physikalisches detektiertes Objekt - während dieses sensorintern nachverfolgt wird - konstant lässt bzw. mittels eines entsprechenden Abgleichs oder Matchings zwischen dem dem jeweiligen Objekt zugeordneten und auch den jeweiligen Sensor identifizierenden Identifikator und den in den Objekttracks gespeicherten Identifikatoren. Wird also beispielsweise in dem jeweils aktuellen Messzyklus ein bereits bekanntes, also bereits wenigstens einmal zu einem früheren Zeitpunkt detektiertes Objekt, zu dem noch der Objekttrack gespeichert ist, erneut detektiert, kann überprüft werden, ob es bereits oder noch immer den Objekttrack mit demselben Identifikator gibt, der von dem jeweiligen auch diesem Objekt zugewiesen wurde. Ist dies der Fall, so kann das jeweilige Objekt dann direkt zu genau diesem Objekttrack zugeordnet werden. Diese Zuordnung oder Assoziierung kann also rein identifikatorbasiert erfolgen, sodass hier also beispielsweise kein Distanzkriterium benötigt oder ausgewertet und keine Assoziierung oder Zuordnung von Sensordaten zu mehreren Objekten bzw. eines bestimmten Objekts zu mehreren Objekttracks berechnet werden muss oder dergleichen. Die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung ermöglicht damit eine besonders einfache, aufwandsarme, schnelle und eindeutige bzw. konsistente Zuordnung von Einzelsensorobjekten zu deren Objekttracks.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden nicht als Einzelsensorobjekte identifizierte detektierte Objekte anhand einer vorgegebenen Distanzmetrik zu den Objekttracks zugeordnet. Als solche Distanzmetrik kann insbesondere eine bzw. die Mahalanobis-Distanz verwendet werden. Es kann also ein entsprechendes Objekt beispielsweise jeweils zu demjenigen Objekttrack zugeordnet werden, für den sich gemäß der vorgegebenen Distanzmetrik die geringste Distanz ergibt. Dies kann eine zuverlässige Zuordnung auch in komplexen Situationen, in denen beispielsweise mehrere unterschiedliche Sensoren - möglicherweise unterschiedlich eindeutige oder unterschiedlich stark streuende - Daten zu einem Objekt liefern oder dergleichen.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden zum Aktualisieren des Objekttracks für ein Einzelsensorobjekt anhand der zugehörigen aktuellen Sensordaten ermittelte dynamische Eigenschaften des jeweiligen Einzelsensorobjekts in dem jeweiligen Objekttrack für dieses Einzelsensorobjekt direkt mit entsprechenden anhand der aktuellen Sensordaten ermittelten Werten für die dynamischen Eigenschaften des jeweiligen Einzelsensorobjekts überschrieben. Dieses direkte Überschreiben der entsprechenden Daten oder Werte in dem Objekttrack erfolgt zum Aktualisieren des jeweiligen Objekttracks hier also anstelle der Aktualisierung oder Fusion mittels eines Filters. Dies kann insbesondere praktikabel möglich sein, wenn die einzelnen Sensoren bereits ein internes Objekttracking durchführen. Da für ein Einzelsensorobjekt dann keine Sensordaten eines weiteren oder anderen Sensors berücksichtigt werden müssen, würde ein zusätzliches Filtern oder Durchlaufen eines Fusionsmechanismus oder dergleichen keinen Vorteil bieten und kann daher eingespart werden, um entsprechenden Datenverarbeitungsaufwand und damit einhergehende Verzögerungen zu vermeiden. Durch das hier vorgeschlagene direkte Überschreiben der dynamischen Eigenschaften in den Objekttracks kann die Aktualisierung also besonders schnell, einfach und aufwandsarm durchgeführt werden.
-
Die dynamischen Eigenschaften können beispielsweise den Zustand oder entsprechende Zustandsdaten des jeweiligen Einzelsensorobjekts angeben oder umfassen. Als dynamische Eigenschaften können beispielsweise die Position und/oder die Geschwindigkeit und/oder die Beschleunigung und/oder der Gierwinkel und/oder die Gierrate und/oder dergleichen mehr des jeweiligen Einzelsensorobjekts ermittelt werden. Diese können beispielsweise auf ein vorgegebenes, insbesondere weltfestes, Koordinatensystem oder auf den jeweiligen Sensor bzw. die Sensorik oder im Anwendungsfall eines Kraftfahrzeugs beispielsweise relativ zu dem mit dem jeweiligen Sensor ausgestatteten Kraftfahrzeug bzw. bezogen auf ein Fahrzeugkoordinatensystem des Kraftfahrzeugs ermittelt bzw. angegeben werden. Gemeinsam mit den dynamischen Eigenschaften bzw. Zustandsdaten können zugehörige Kovarianzmatrizen in gleicher Weise gehandhabt werden.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden zum Aktualisieren des Objekttracks zumindest für ein bereits vor dem aktuellen Messzyklus wenigstens einmal detektiertes Einzelsensorobjekt statische Eigenschaften zumindest des jeweiligen Einzelsensorobjekts aus älteren Daten übernommen bzw. beibehalten oder über die Zeit bis zum jeweils aktuellen Zeitpunkt geschätzt. In letzterem Fall können die entsprechend geschätzten Werte oder Eigenschaften dann in den jeweiligen Objekttrack geschrieben oder gespeichert werden. Statische Eigenschaften im vorliegenden Sinne können beispielsweise eine Klassifizierung, ein Alter, eine Einstufung hinsichtlich des Bewegungszustands als stillstehendes Objekt oder als bewegtes Objekt und/oder dergleichen mehr sein oder umfassen. Das Alter eines Objekts kann hier etwa angeben, zu welchem Zeitpunkt das jeweilige Objekt erstmalig detektiert wurde. Dies kann insbesondere sensorunabhängig sein, da beispielsweise ein erstmaliges Detektieren eines Objekts mittels eines ersten Sensors, etwa eines Radars oder dergleichen, erfolgen kann, dasselbe Objekt aber im aktuellen Messzyklus oder bereits über mehrere Messzyklen hinweg beispielsweise nur mittels eines anderen zweiten Sensors, wie etwa einer Kamera oder dergleichen, detektiert werden kann. Das Alter eines solchen im aktuellen Messzyklus nur mittels eines zweiten Sensors detektierten Objekts kann dann bereits ab der ersten Detektion mittels des davon verschiedenen ersten Sensors bestimmt oder gemessen werden.
-
Die älteren Daten können beispielsweise der bereits für das jeweilige Einzelsensorobjekt bestehende Objekttrack bzw. die darin gespeicherten Daten oder Angaben und/oder ältere Sensordaten für das jeweilige Einzelsensorobjekt sein oder umfassen. Die älteren Sensordaten können dabei von demselben Sensor, mittels dessen das Einzelsensorobjekt auch im jeweils aktuellen Messzyklus detektiert wurde, oder von einem oder mehr anderen Sensoren stammen. In letzterem Fall können die älteren Sensordaten bzw. die bei der jeweils aktuellen Aktualisierung übernommenen oder beibehalten statischen Eigenschaften gegebenenfalls aus einer Zeit stammen, zu der das jeweilige Objekt noch nicht als Einzelsensorobjekte identifiziert bzw. eingestuft war oder als Einzelsensorobjekt hinsichtlich eines anderen Sensors identifiziert oder eingestuft war.
-
In diesem Sinne kann also auch für ein aktuell als Einzelsensorobjekt identifiziertes Objekt eine Art Datenfusion erfolgen, da die in dem jeweiligen Objekttrack gespeicherten Daten oder Angaben letztendlich auf von unterschiedlichen Sensoren stammenden Sensordaten beruhen können. Diese Art von Datenfusion, bei der aus älteren Sensordaten eines anderen Sensors bestimmte statische Eigenschaften in den jeweiligen Objekttrack übernommen oder in diesem beibehalten werden, kann jedoch wesentlich aufwandsärmer und schneller durchführbar sein als die an anderer Stelle beschriebene, beispielsweise filterbasierte Fusion von aktuellen Sensordaten mehrerer unterschiedlicher Sensoren, wie sie etwa für nicht als Einzelsensorobjekte identifizierte Objekte im jeweils aktuellen Messzyklus durchgeführt werden kann. Für solche statischen Eigenschaften können also gegebenenfalls frühere oder ältere Informationen von anderen Sensoren verwendet werden, auch wenn das jeweilige Einzelsensorobjekt im aktuellen Messzyklus nicht mittels dieses anderen Sensors oder dieser anderen Sensoren detektiert wird oder wurde.
-
Hat beispielsweise als ein erster Sensor eine Kamera das Objekt bereits zuvor klassifiziert, wird diese Klassifikation, also die entsprechende statische Eigenschaften gegebenenfalls nicht überschrieben, auch wenn das Objekt aktuell als nur mittels eines anderen, zweiten Sensors, wie etwa eines Radars oder dergleichen, detektiertes Einzelsensorobjekt identifiziert ist. Dies kann entsprechenden zusätzlichen oder doppelten bzw. mehrfachen Aufwand, etwa für eine erneute Bestimmung der jeweiligen statischen Eigenschaft, vermeiden. Dieses Vorgehen kann zumindest dann angewendet werden, wenn der vorherige Sensor, der das jeweilige Objekt bereits zu einem früheren, also vor dem aktuellen Messzyklus liegenden Zeitpunkt detektiert hat, besser zum Bestimmen der jeweiligen statischen Eigenschaft geeignet ist als derjenige Sensor, mittels dessen das jeweilige Einzelsensorobjekt im aktuellen Messzyklus detektiert wurde. Dazu kann beispielsweise eine entsprechende Gütehierarchie der verschiedenen einzelnen Sensoren für die verschiedenen statischen Eigenschaften vorgegeben sein. Ist der Sensor, mittels dessen das jeweilige Einzelsensorobjekt im aktuellen Messzyklus detektiert wird, besser zum Bestimmen einer bestimmten statischen Eigenschaft geeignet, so kann diese statische Eigenschaft gegebenenfalls, insbesondere bei einer Abweichung, in dem jeweiligen Objekttrack überschrieben werden. Dadurch kann ein stets optimales oder bestmögliches, im Durchschnitt aber besonders aufwandsarmes Verwalten oder Nachhalten der statischen Eigenschaften von Einzelsensorobjekten ermöglicht werden.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden jeweils beim ersten Aktualisieren eines Objekttracks nach dem Identifizieren des zugehörigen Objekts als Einzelsensorobjekt Abhängigkeiten von anderen Sensoren und/oder anderen Objekten bzw. Objekttracks aufgehoben. Es können dann also beispielsweise ein oder mehr Eigenschaften oder Datenfelder des Objekts bzw. des jeweiligen Objekttracks und/oder entsprechende sensorinterne Daten, Angaben oder Verknüpfungen, wie etwa eine Kreuzkorrelation mit einem anderen Sensor oder mit anderen Sensordaten oder mit einem oder mehr anderen Objekten oder Objekttracks oder dergleichen, gelöscht oder auf einen von vorgegebenen Standardwert zurückgesetzt werden. Dadurch kann das jeweilige Einzelsensorobjekt bzw. der jeweilige Objekttrack eines Einzelsensorobjekts dann unabhängig und somit besonders einfach, aufwandsarm und schnell gehandhabt, also beispielsweise verwaltet oder aktualisiert werden.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird ein Objekttrack zu einem bestehenden, also bereits zu einem früheren Zeitpunkt oder in einem früheren Messzyklus detektierten Einzelsensorobjekt automatisch direkt gelöscht, wenn das jeweilige Einzelsensorobjekt von dem jeweiligen Sensor für eine vorgegebene Zeit nicht ausgegeben, also detektiert oder prädiziert wird bzw. wurde. Beispielsweise wird dann gegebenenfalls nicht noch auf weitere Sensordaten von einem anderen Sensor oder deren Auswertung gewartet. Dadurch kann verhindert werden, dass Objekte weiter berücksichtigt oder prädiziert werden, ohne dass dafür entsprechende Sensordaten als Grundlage vorhanden sind. Dadurch kann ein Datenverarbeitungs- oder Verwaltungsaufwand für die Objektnachverfolgung reduziert und eine Wahrscheinlichkeit für Fehlreaktionen auf nicht länger tatsächlich detektierte oder verlässlich prädizierte Objekte reduziert werden.
-
In einer möglichen Weiterbildung der vorliegenden Erfindung umfasst die vorgegebene Zeit wenigstens einen Messzyklus des jeweiligen Sensors. Es kann also ein bestehendes Objekt, insbesondere ein Einzelsensorobjekt, bzw. der zugehörige Objekttrack von dem jeweiligen Sensor oder der Sensorik insgesamt, beispielsweise über wenigstens oder genau einen Messzyklus, in dem das jeweilige Objekt nicht detektiert wird, beibehalten oder aufrechterhalten bzw. am Leben erhalten werden. Dafür kann eine jeweils sensorinterne Logik oder Datenverwaltung des jeweiligen einzelnen Sensors verwendet werden. Sensorextern kann der jeweilige Objekttrack dann gegebenenfalls sofort oder unmittelbar gelöscht werden, sobald der jeweilige Sensor das Objekt nicht mehr ausgibt. Dadurch können die beschriebenen Vorteile besonders sicher und zuverlässig realisiert werden, da die einzelnen Sensoren typischerweise bereits eine für ihre jeweilige Arbeitsweise optimierte Funktionalität zum Nachverfolgen bzw. Prädizieren von Objekten aufweisen können.
-
Die vorliegende Erfindung betrifft auch eine Objekttrackingeinrichtung, insbesondere für ein Kraftfahrzeug. Die erfindungsgemäße Objekttrackingeinrichtung weist eine Datenverarbeitungseinrichtung zum Verarbeiten von Sensordaten mehrerer Sensoren auf. Dabei ist die erfindungsgemäße Objekttrackingeinrichtung zum, insbesondere automatischen, Ausführen des erfindungsgemäßen Verfahrens eingerichtet. Dazu kann die Objekttrackingeinrichtung bzw. deren Datenverarbeitungseinrichtung eine Prozesseinrichtung, also etwa einen Mikrochip, Mikroprozessor oder Mikrocontroller oder dergleichen, und einen damit gekoppelten computerlesbaren Datenspeicher aufweisen. In diesem Datenspeicher kann dann ein entsprechendes Betriebs- oder Computerprogramm gespeichert sein, das die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschriebenen Verfahrensschritte, Maßnahmen oder Abläufe codiert oder implementiert. Dieses Betriebs- oder Computerprogramm kann dann mittels der Prozesseinrichtung ausführbar sein, um die Ausführung des entsprechenden Verfahrens zu bewirken. Die erfindungsgemäße Objekttrackingeinrichtung kann insbesondere die im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Objekttrackingeinrichtung sein oder dieser entsprechen. Die erfindungsgemäße Objekttrackingeinrichtung kann beispielsweise die im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Sensorik umfassen oder eine Schnittstelle zum direkten oder indirekten Koppeln mit einer solchen Sensorik bzw. mehreren einzelnen Sensoren, etwa über ein Bordnetz eines mit der Objekttrackingeinrichtung ausgestatteten Kraftfahrzeugs, aufweisen.
-
Die vorliegende Erfindung betrifft auch ein Kraftfahrzeug, das eine Sensorik mit mehreren unterschiedlichen Sensoren zur Umgebungserfassung und eine erfindungsgemäße Objekttrackingeinrichtung aufweist. Das erfindungsgemäße Kraftfahrzeug kann insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren und/oder im Zusammenhang mit der erfindungsgemäßen Objekttrackingeinrichtung genannte Kraftfahrzeug sein oder diesem entsprechen.
-
Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Die Zeichnung zeigt in:
- 1 eine schematische Darstellung eines Kraftfahrzeugs, das mit einer Multisensor-Sensorik ausgestattet und für eine optimierte Objektnachverfolgung eingerichtet ist; und
- 2 eine beispielhafte Schemadarstellung zur Veranschaulichung eines Verfahrens für die sensorbasierte Objektnachverfolgung.
-
1 zeigt eine beispielhafte schematische Darstellung eines Kraftfahrzeugs 1, das mit einer Sensorik 2 zur Umgebungserfassung ausgestattet ist. Die Sensorik 2 umfasst hier mehrere einzelne Sensoren 3 sowie beispielhaft auch eine Vorverarbeitungseinrichtung 4. Eine solche Vorverarbeitungseinrichtung 4 kann ebenso jeweils in die einzelnen Sensoren 3 integriert sein. Ebenso können die einzelnen Sensoren 3 räumlich voneinander beabstandet, also an verschiedenen Stellen des Kraftfahrzeugs 1 angeordnet sein. Weiter ist das Kraftfahrzeug 1 hier mit einer schematisch angedeuteten Objekttrackingeinrichtung 5 zur Objektnachverfolgung, also für ein Tracking von mittels eines oder mehr der Sensoren 3 detektierte Objekte in der jeweiligen Umgebung des Kraftfahrzeugs 1 ausgestattet. Die Objekttrackingeinrichtung 5 kann beispielsweise über eine Schnittstelle 6 direkt oder über ein Bordnetz des Kraftfahrzeugs 1 mit der Sensorik 2 bzw. den einzelnen Sensoren 3 gekoppelt sein. Ebenso kann die Objekttrackingeinrichtung 5 in die Sensorik 2 integriert oder mit dieser kombiniert sein. Beispielhaft und schematisch umfasst die Objekttrackingeinrichtung 5 hier einen Prozessor 7 und einen computerlesbaren Datenspeicher 8 zur Verarbeitung von durch die Sensorik 2 bereitgestellten vorverarbeiteten Sensordaten der einzelnen Sensoren 3.
-
Zur weiteren Veranschaulichung der Objektnachverfolgung zeigt 2 ein beispielhaftes Schema 9. Darin sind Objekttracks 10 repräsentiert, die jeweils zu mittels wenigstens eines der Sensoren 3 detektierten Objekten Daten, Angaben, Eigenschaften, einen Identifikator, der das jeweilige Objekt und Sensoren 3, die das Objekt detektiert haben, angibt, und/oder dergleichen mehr enthalten können. Ein Objekttrack 10 repräsentiert also jeweils ein detektiertes physikalisches Objekt und dessen Eigenschaften, wie etwa dessen Position, Geschwindigkeit, Orientierung, Klassifikation und/oder dergleichen mehr. Ebenso können die Objekttracks 10 jeweils ein Datenfeld enthalten, in dem angegeben oder gespeichert ist, welcher Sensor 3 oder welche Sensoren 3 das jeweilige Objekt beispielsweise in den letzten 500 ms oder 10 Messzyklen oder dergleichen detektiert hat bzw. basierend auf den Sensordaten welches oder welcher der Sensoren 3 der jeweilige Objekttrack 10 innerhalb der entsprechenden Zeit aktualisiert wurde. In jedem Frame oder Messzyklus können ein oder mehr der Sensoren 3 jeweils Objektmesswerte bereitstellen, die bereits sensorintern über die Zeit getrackt werden. Die Sensoren 3 können also nicht nur direkt gemessene Objekteigenschaften, wie etwa die Position oder Orientierung des jeweiligen Objekts, sondern auch dynamische Eigenschaften oder Zustandsdaten, wie etwa die Geschwindigkeit oder Gierrate oder dergleichen des jeweiligen Objekts über die Zeit tracken oder schätzen. Diese Daten oder Eigenschaften können ebenfalls in den Objekttracks 10 gespeichert werden.
-
In einem aktuellen Messzyklus können entsprechende aktuelle Sensordaten 11 von einem oder mehr der Sensoren 3 bereitgestellt bzw. erfasst werden. Es können dann einige oder alle der in den Objekttracks 11 gespeicherten Daten oder Angaben zunächst auf den aktuellen Zeitpunkt bzw. den Mess- oder Aufnahmezeitpunkt der aktuellen Sensordaten 11 prädiziert, also beispielsweise extrapoliert oder fortentwickelt oder fortgeschrieben werden.
-
Basierend darauf und den jeweils aktuellen Sensordaten 11 kann dann eine Einzelsensorobjektidentifizierung 13 durchgeführt werden. Dabei können, etwa basierend auf dem genannten Datenfeld, Objekttracks 10 identifiziert werden, die ausschließlich basierend auf den aktuellen Sensordaten 11 eines einzigen der Sensoren 3 zu aktualisieren sind und beispielsweise für wenigstens eine vorgegebene Zeit bereits ausschließlich basierend auf Sensordaten 11 genau dieses Sensors 3 aktualisiert wurden. Mit anderen Worten können hier detektierte Objekte, die aktuell und bereits für wenigstens eine vorgegebene Zeitspanne nur von einem einzigen der Sensoren 3 gesehen oder detektiert wurden, als Einzelsensorobjekte und die zugehörigen Objekttracks 10 als Einzelsensorobjekttracks 14 identifiziert werden. Werden in einem Messzyklus beispielsweise als aktuelle Sensordaten 11 Kameradaten erfasst, so können alle Objekttracks 10 als Einzelsensorobjekttracks 14 identifiziert werden, die innerhalb einer vorgegebenen vom aktuellen Zeitpunkt in die Vergangenheit zurückreichenden vorgegebenen Zeitspanne, beispielsweise über die letzten 10 Messzyklen oder dergleichen, wenigstens einmal, jedoch ausschließlich basierend auf Sensordaten 11 der Kamera und nicht basierend auf Sensordaten 11 eines anderen Sensors 3 oder basierend auf einem anderen Objekt oder zu einem anderen Objekt gehörigen Sensordaten 11 oder dergleichen aktualisiert wurden.
-
Die übrigen Objekttracks 10 ebenso wie gegebenenfalls in dem aktuellen Messzyklus bzw. basierend auf den aktuellen Sensordaten 11 neu angelegte Objekttracks 10 können hingegen beispielsweise als Multisensorobjekttracks 15 identifiziert werden.
-
Basierend auf den aktuellen Sensordaten 11 und den Multisensorobjekttracks 15 können die nicht als Einzelsensorobjekte identifizierten übrigen Objekte in einem ersten Zuordnungsverfahren 16 zu jeweils einem der Multisensorobjekttracks 15 oder - bei einer erstmaligen Detektion eines Objekts im aktuellen Messzyklus - zu einem jeweiligen neuen Objekttrack 10 zugeordnet werden. In diesem ersten Zuordnungsverfahren 16 kann für die entsprechende Zuordnung oder Assoziierung zwischen nicht als Einzelsensorobjekt identifizierten Objekten und Multisensorobjekttracks 15 beispielsweise eine vorgegebene Distanzmetrik ausgewertet werden.
-
Die Multisensorobjekttracks 15, denen dabei ein in den aktuellen Sensordaten 11 detektiertes Objekt zugeordnet wurde, können dann in einem ersten Aktualisierungsverfahren 17 anhand der aktuellen Sensordaten 11 aktualisiert werden. Dabei wird insbesondere ein Filter- oder Fusionsmechanismus, beispielsweise ein vorgegebener Kalmanfilter oder dergleichen angewendet.
-
Separat davon kann für die Einzelsensorobjekte und die entsprechenden Einzelsensorobjekttracks 14 ein zweites Zuordnungsverfahren 18 durchgeführt werden, um jeweils eines der Einzelsensorobjekte genau einem der Einzelsensorobjekttracks 14 zuzuordnen. In dem zweiten Zuordnungsverfahren 18 wird keine Distanzmetrik berechnet und ausgewertet. Stattdessen basiert das zweite Zuordnungsverfahren 18 auf einer direkten Zuordnung anhand der Identifikatoren, die in dem genannten Datenfeld gespeichert und auch durch die Sensoren 3 oder die Sensorik 2, beispielsweise die Vorverarbeitungseinrichtung 4, jedem detektierten Objekt zugewiesen werden. Die Zuordnung zwischen Einzelsensorobjekten und Einzelsensorobjekttracks 14 in dem zweiten Zuordnungsverfahren 18 kann also durch ein oder basierend auf einem entsprechenden Identifikator-Matching erfolgen. Jeder der Objekttracks 10 kann beispielsweise in dem genannten Datenfeld alle Identifikatoren speichern, die von den Sensoren 3, die das in dem jeweiligen verwaltete Objekt innerhalb der oder einer vorgegebenen Zeitspanne detektiert haben, für dieses Objekt vergeben wurden. Diese Identifikatoren identifizieren dabei sowohl das jeweilige Objekt als auch den jeweils detektierenden Sensor 3. Wenn also der Identifikator eines Einzelsensorobjekts einem bereits in einem der Objekttracks 10 gespeicherten Identifikator entspricht, kann in dem zweiten Zuordnungsverfahren 18 das jeweilige Einzelsensorobjekt ohne Weiteres direkt diesem Einzelsensorobjekttrack 14 zugeordnet werden.
-
Verbleibt dabei ein Einzelsensorobjekttrack 14, dem kein Einzelsensorobjekt zugeordnet wird, so kann im Rahmen einer Löschung 19 dieser Einzelsensorobjekttrack 14 direkt automatisch gelöscht werden. Dass es keine entsprechende Zuordnung oder Assoziierung eines Einzelsensorobjekts zu einem solchen Einzelsensorobjekttrack 14 gab, kann bedeuten, dass der jeweilige Sensor 3 das jeweilige Einzelsensorobjekt nicht mehr ausgibt, also weder detektiert noch prädiziert hat und zudem auch kein anderer der Sensoren 3 innerhalb der vorgegebenen Zeitspanne, beispielsweise innerhalb der letzten 500 ms oder 10 Messzyklen oder dergleichen, Sensordaten 11 zu dem jeweiligen Objekttrack 10 beigetragen hat.
-
Für die Einzelsensorobjekttracks 14, denen im aktuellen Messzyklus ein Einzelsensorobjekt zugeordnet wurde, kann hingegen ein zweites Aktualisierungsverfahren 20 angewendet werden. Dieses zweite Aktualisierungsverfahren 20 verwendet im Gegensatz zu dem ersten Aktualisierungsverfahren 17 keinen Filter, insbesondere keinen als Tiefpass fungierenden oder dämpfenden Filter. Stattdessen können hier dynamische Eigenschaften bzw. die Zustände oder Zustandsdaten des jeweiligen Einzelsensorobjekts, die beispielsweise direkt von dem jeweiligen Sensor 3, etwa im Rahmen der Vorverarbeitung entsprechender Sensorrohdaten, bestimmt wurden, gegebenenfalls einschließlich entsprechender Kovarianzmatrizen direkt aus den aktuellen Sensordaten 11 in den jeweiligen Einzelsensorobjekttrack 14 kopiert oder geschrieben werden.
-
Solche dynamischen Eigenschaften können vielfältige einzelne Eigenschaften oder Werte sein oder umfassen, die sich dynamisch verändern können, wie beispielsweise Position, Geschwindigkeit, Beschleunigung, Gierrate, Ein- oder Ausschaltstatus eines Blinkers, Warnblinkers, Rücklichts, Bremslichts und/oder dergleichen mehr. Weitere Daten oder Eigenschaften können beispielsweise anhand der aktuellen Sensordaten 11 und bereits in dem jeweiligen Einzelsensorobjekttrack 14 gespeicherten Daten oder Eigenschaften bestimmt und entsprechend aktualisiert werden. Dies kann beispielsweise einen Bewegungsstatus, also eine Einstufung des jeweiligen Objekts als bewegtes oder stillstehendes Objekt, eine Bewegungsrichtung, ein Alter und/oder dergleichen mehr betreffen. Statische Eigenschaften, wie beispielsweise eine Klassifikation des jeweiligen Objekts sowie gegebenenfalls semistatische Eigenschaften, die sich im Vergleich zu den dynamischen Eigenschaften typischerweise höchstens langsam verändern, können - beispielsweise gemäß einer entsprechenden Vorgabe - ebenso gehandhabt bzw. aktualisiert oder unverändert in dem jeweiligen Einzelsensorobjekttrack 14 beibehalten werden.
-
Bei einer erstmaligen Einstufung oder Identifikation eines Objekttracks 10 als Einzelsensorobjekttrack 14 können gegebenenfalls bestehende Kreuzkorrelationen mit anderen Objekten, Sensoren 3 oder Objekttracks 10 gelöscht oder zurückgesetzt werden. Dabei können beispielsweise Abhängigkeiten für die Bestimmung von Messunsicherheiten oder Abhängigkeiten von einem anderen Koordinatensystem eines anderen der Sensoren 3 oder dergleichen gelöscht oder zurückgesetzt werden.
-
Als Ergebnis oder Output des ersten Aktualisierungsverfahrens 17 und des zweiten Aktualisierungsverfahrens 20 ergeben sich dann entsprechend aktualisierte Objekttracks 10 als Ausgangsbasis für den nächsten Messzyklus.
-
Insgesamt zeigen die beschriebenen Beispiele wie ein effizientes Einzelsensortracking von Objekten in einem Multisensor-Framework oder -System realisiert werden kann.
-
Bezugszeichenliste
-
- 1
- Kraftfahrzeug
- 2
- Sensorik
- 3
- Sensoren
- 4
- Vorverarbeitungseinrichtung
- 5
- Objekttrackingeinrichtung
- 6
- Schnittstelle
- 7
- Prozessor
- 8
- Datenspeicher
- 9
- Schema
- 10
- Objekttracks
- 11
- Sensordaten
- 12
- Prädiktion
- 13
- Einzelsensorobjektidentifizierung
- 14
- Einzelsensorobjekttracks
- 15
- Multisensorobjekttracks
- 16
- erstes Zuordnungsverfahren
- 17
- erstes Aktualisierungsverfahren
- 18
- zweites Zuordnungsverfahren
- 19
- Löschung
- 20
- zweites Aktualisierungsverfahren
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102021113653 B3 [0003]
- DE 102019115235 A1 [0004]
- DE 102018105293 A1 [0005]
