-
Die vorliegende Erfindung betrifft ein computerbasiertes System zur Objektverfolgung mittels einer Reihe von per Sensor aufeinanderfolgend erstellten Datensätzen, insbesondere frameartigen Datensätzen, welches eine erste Rechner-Einheit zur schrittweisen Objektverfolgung mittels der einzelnen Datensätze aufweist, der zumindest zwei unterschiedliche Objektverfolgungs-Algorithmen zur Verfügung stehen, bei denen das Ergebnis der Objektverfolgung vom Ergebnis zumindest eines vorherigen Schrittes abhängt.
-
Die Erfindung betrifft weiterhin eine Verwendung des Systems, ein entsprechendes Verfahren zur Objektverfolgung und ein entsprechendes Computerprogrammprodukt.
-
Bei Automotive-Anwendungen ist der Sensor oftmals ein LIDAR-Sensor (LiDAR: Light Detection and Ranging), beispielsweise ein Scanning-LIDAR-Sensor. Die entsprechenden Datensätze sind dann die Datensätze der aufeinanderfolgend erstellten Scans. Die einzelnen Scans bilden dabei eine Art Frame/Einzelbild.
-
Bei der schrittweisen Objektverfolgung werden der ersten Rechner-Einheit die einzelnen Datensätze sukzessive zugeführt. Der genutzte Objektverfolgungs-Algorithmus arbeitet in vielen Fällen rekursiv und nutzt neben dem aktuellen Datensatz auch Informationen über das Ergebnis der Objektverfolgung aus dem vorherigen Schritt bzw. vorherigen Schritten.
-
Die zumindest zwei unterschiedlichen Objektverfolgungs-Algorithmen können nun voneinander abweichende Leistungsindikatoren bzw. Leistungskennzahlen (KPIs: Key Performance Indicators) abdecken, also bezüglich unterschiedlicher Aspekte der Objektverfolgung (Schnelligkeit, Genauigkeit, etc.) mehr oder weniger leistungsfähig sein. Ein Umschalten zwischen den Algorithmen könnte in diesem Fall dadurch motiviert sein, dass zu einem bestimmten Zeitpunkt ein anderer Aspekt der Objektverfolgung wichtig wird.
-
Soll die per Objektverfolgungs-Algorithmus durchgeführte Objekterkennung bezüglich eines bestimmten Satzes bzw. einer definierten Menge von relevanten Leistungsindikatoren „besonders gut“ sein, so muss der genutzte Objektverfolgungs-Algorithmus eine hohe Zahl dieser relevanten Leistungsindikatoren abdecken und wird dementsprechend auch recht viel Rechenleistung benötigen. Die maximale Rechenleistung einer gegebenen Rechner-Einheit zur Durchführung der Objekterkennung ist jedoch beschränkt.
-
Es ist Aufgabe der Erfindung Maßnahmen anzugeben, durch die eine -bezogen auf eine vorgegebene Rechenleistung der ersten Rechner-Einheit- leistungsfähige Objekterkennung ermöglicht wird.
-
Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
-
Bei dem erfindungsgemäßen computerbasierten System zur Objektverfolgung mittels einer Reihe von per Sensor aufeinanderfolgend erstellten Datensätzen, insbesondere frameartigen Datensätzen, welches eine erste Rechner-Einheit zur schrittweisen Objektverfolgung mittels der einzelnen Datensätze aufweist, der zumindest zwei unterschiedliche Objektverfolgungs-Algorithmen zur Verfügung stehen, bei denen das Ergebnis der Objektverfolgung vom Ergebnis zumindest eines vorherigen Schrittes abhängt, ist vorgesehen, dass der erste Objektverfolgungs-Algorithmus eine bestimmte Menge von definierten Leistungsindikatoren und der zweite Objektverfolgungs-Algorithmus nur eine echte Teilmenge dieser Menge von definierten Leistungsindikatoren abdeckt, wobei die Auswahl eines dieser Objektverfolgungs-Algorithmen zur Nutzung beim aktuellen Schritt in Abhängigkeit von der aktuellen Rechnerauslastung der besagten Rechner-Einheit erfolgt. Das System weist weiterhin eine zweiten Rechner-Einheit zur schrittweisen Objektverfolgung mittels der einzelnen Datensätze auf, deren Objektverfolgungs-Algorithmus die bestimmte Menge von Leistungsindikatoren abdeckt. Dabei ist das System dazu eingerichtet, dass die zweite Rechner-Einheit der ersten Rechner-Einheit bei Nutzung des zweiten Objektverfolgungs-Algorithmus Informationen über das Ergebnis der Objektverfolgung aus mindestens einem vorherigen Schritt der Objektverfolgung bereitstellt. Bevorzugt hängt auch bei der zweiten Rechner-Einheit das Ergebnis der Objektverfolgung vom Ergebnis zumindest eines vorherigen Schrittes ab.
-
Die erste Rechner-Einheit ist in der Regel eine lokale Einheit. Bei Automotive-Anwendungen ist diese erste Rechner-Einheit wie auch der Sensor im Allgemeinen fahrzeugseitig vorhanden. Da der zweite Objektverfolgungs-Algorithmus nur eine (im mathematischen Sinne) echte Teilmenge der Menge von Leistungsindikatoren (KPIs: Key Performance Indicators) des ersten Objektverfolgungs-Algorithmus abdeckt, wird bei seiner Verwendung weniger Rechenleistung der ersten Rechner-Einheit benötigt, sodass ein solches System ein Vorgehen ermöglicht, bei dem lokal mittels der ersten Rechner-Einheit zeitnah eine Objektverfolgung von hoher Qualität bezüglich der Leistungsindikatoren sichergestellt ist.
-
Bei diesem Vorgehen wird der erste Objektverfolgungs-Algorithmus standardmäßig auf der der ersten Rechner-Einheit ausgeführt und es sind Mittel zur Bestimmung der Rechnerauslastung, z.B. durch Messung der Ausführungszeit, implementiert. Wenn über diese Mittel festgestellt wird, dass der erste Objektverfolgungs-Algorithmus die Ausführung der Objektverfolgung auf der ersten Rechner-Einheit verzögert, wird auf die Nutzung des zweiten Objektverfolgungs-Algorithmus umgeschaltet. Auf diese Weise kann mit der begrenzten Rechnerleistung der ersten Rechner-Einheit die Objektverfolgung „solange wie möglich“ in Echtzeit mit der gewünschten Menge an Leistungsindikatoren durchgeführt werden. Mittels des zweiten Objektverfolgungs-Algorithmus ist dies auch in Echtzeit, jedoch mit einer eingeschränkten Anzahl an Leistungsindikatoren, also in der Regel mit Qualitätseinbußen, möglich. Diese sollen aber so gering wie möglich gehalten werden. Die Qualitätseinbußen betreffen im Übrigen nicht nur die Zeit der Nutzung des zweiten Objekterkennungs-Algorithmus, sondern auch eine gewisse Zeit nachdem schon wieder zur Nutzung des ersten Objektverfolgungs-Algorithmus zurückgekehrt wurde.
-
Bei den hier beschriebenen Objektverfolgungs-Algorithmen hängt die Objektverfolgung von der Analyse „historischer Daten“, also der Auswertung der Datensätze bei den vorangegangenen bzw. bereits erfolgten Schritten ab. Wenn nun der zweite Objekterkennungs-Algorithmus aktiviert wird, verschlechtert dies die Leistungsindikatoren (KPls) und/oder die Qualität der Objekterkennung aufgrund der weniger gut verfolgten bzw. weniger gut erfassten Objekte. Eine Verbesserung wird jedoch dadurch erreicht, dass die zweite Rechner-Einheit der ersten Rechner-Einheit bei Nutzung des zweiten Objektverfolgungs-Algorithmus Informationen über das Ergebnis der Objektverfolgung aus mindestens einem vorherigen Schritt der Objektverfolgung bereitstellt. Dadurch werden die Qualitätseinbußen relativ gering gehalten.
-
Diese Maßnahme hilft nicht nur bezüglich der Leistungsindikatoren (KPls) bei der Ausführung des zweiten Objektverfolgungs-Algorithmus, sondern es überwindet auch die durch das temporäre Vorliegen „historischer Daten von niedriger Qualität“ hervorgerufenen Schwierigkeiten bei der Rückkehr zur Nutzung des ersten Objektverfolgungs-Algorithmus und hilft dort zur Konvergenz der Leistungsfähigkeit hin zu der bei Nutzung des ersten Objektverfolgungs-Algorithmus zu erwartenden Qualität der Objekterkennung in kürzerer Zeit.
-
Gemäß einer bevorzugten Ausführungsform der Erfindung vorgesehen, dass das System eingerichtet ist, dass zumindest bei Nutzung des zweiten Algorithmus durch die erste Rechner-Einheit auch die zweite Rechner-Einheit zur Objektverfolgung den Datensatz D(n) des aktuellen Schritts n nutzt. Dazu bekommt die zweite Rechner-Einheit diesen Datensatz D(n) „zeitgleich“ mit der ersten Rechner-Einheit zur Verfügung gestellt.
-
Die beiden Rechnereinheiten sind im System derart miteinander verknüpft, dass ein entsprechender Daten- bzw. Informationsaustausch zwischen den Rechner-Einheiten gewährleistet ist.
-
Durch die Nutzung einer solchen zusätzlichen zweiten Rechner-Einheit kann eine bestehende erste Rechner-Einheit zur Durchführung der Objektverfolgung einfach ergänzt werden.
-
Es ist insbesondere vorgesehen, dass die beiden Rechner-Einheiten miteinander datenübertragungstechnisch verbundene oder zumindest verbindbare eigenständige Rechner-Einheiten sind. Da die zweite Rechner-Einheit „nur“ Ergebnisse der Objektverfolgung vergangener Schritte liefern muss, kann sie auch an anderer Stelle lokalisiert sein. Dabei ist die zweite Rechner-Einheit insbesondere eine Cloud-Einheit in einer Netzwerk-Cloud oder alternativ eine separate Rechner-Einheit, beispielsweise in einem Netzwerk im weiteren räumlichen Umfeld der ersten Rechner-Einheit.
-
Mit Vorteil sind die Datensätze mittels eines Sensors der folgenden Sensortypen erstellt: LIDAR, RADAR, Kamera. Diese Sensortypen werden bei Automotive-Anwendungen häufig verwendet und bei den Datensätzen all dieser Sensortypen werden die beschriebenen Objektverfolgungs-Algorithmen regelmäßig genutzt.
-
Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung weist das System, einen Performance-Monitor zur Überwachung der aktuellen Rechnerauslastung der ersten Rechner-Einheit auf. Insbesondere weist die erste Rechner-Einheit des Systems diesen Performance-Monitor auf.
-
Die Erfindung betrifft weiterhin die Verwendung des vorstehend genannten Systems zur Objektverfolgung bei einem mindestens einen Sensor aufweisenden Fahrzeug, insbesondere zur Objektverfolgung in der Umgebung des Fahrzeugs.
-
Bei dem erfindungsgemäßen Verfahren zur Objektverfolgung mittels einer Reihe von per Sensor aufeinanderfolgend erstellten Datensätzen, insbesondere frameartigen Datensätzen, und eines computerbasierten Systems mit einer ersten Rechner-Einheit, welcher zur schrittweisen Objektverfolgung mittels der einzelnen Datensätze zumindest zwei unterschiedliche Objektverfolgungs-Algorithmen zur Verfügung stehen, bei denen das Ergebnis der Objektverfolgung vom Ergebnis zumindest eines vorherigen Schrittes abhängt, ist vorgesehen, dass der erste Objektverfolgungs-Algorithmus eine bestimmte Menge von definierten Leistungsindikatoren und der zweite Objektverfolgungs-Algorithmus nur eine echte Teilmenge dieser Menge von definierten Leistungsindikatoren abdeckt. Dabei erfolgt die Auswahl eines dieser Objektverfolgungs-Algorithmen zur Nutzung beim aktuellen Schritt n in Abhängigkeit von der aktuellen Rechnerauslastung der ersten Rechner-Einheit und das System umfasst weiterhin eine zweite Rechner-Einheit zur schrittweisen Objektverfolgung mittels der einzelnen Datensätze, deren Objektverfolgungs-Algorithmus die bestimmte Menge von Leistungsindikatoren (vollständig) abdeckt, wobei die zweite Rechner-Einheit der ersten Rechner-Einheit bei Nutzung des zweiten Objektverfolgungs-Algorithmus Informationen über das Ergebnis der Objektverfolgung aus mindestens einem vorherigen Schritt der Objektverfolgung bereitstellt.
-
Die Anmerkungen bezüglich des computerbasierten Systems zur Objektverfolgung gelten entsprechend auch für dieses Verfahren zur Objektverfolgung.
-
Gemäß einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens nutzt - zumindest bei Nutzung des zweiten Algorithmus durch die erste Rechner-Einheit - auch die zweite Rechner-Einheit zur Objektverfolgung den Datensatz D(n) des aktuellen Schritts n. Dazu bekommt die zweite Rechner-Einheit diesen Datensatz D(n) „zeitgleich“ mit der ersten Rechner-Einheit zur Verfügung gestellt.
-
Gemäß einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens werden die Datensätze mittels einem Sensor der folgenden Sensortypen erstellt: LIDAR, RADAR, Kamera.
-
Weiterhin ist mit Vorteil vorgesehen, dass ein Performance-Monitor zur Überwachung der aktuellen Rechnerauslastung der ersten Rechner-Einheit genutzt wird.
-
Bei dem erfindungsgemäßen Computerprogrammprodukt ist vorgesehen, dass dieses Programmteile umfasst, die in einem Prozessor eines computerbasierten Systems geladen zur Durchführung des vorstehend genannten Verfahrens eingerichtet sind. In der Regel ist dieser Prozessor der Prozessor der ersten Rechner-Einheit des Systems.
-
Nachfolgend wird die Erfindung unter Bezugnahme auf die anliegenden Zeichnungen anhand einer bevorzugten Ausführungsform näher erläutert.
-
Es zeigt
- 1 eine Draufsicht auf eine Straßensituation mit einem Fahrzeug, das einen Sensor zur Umfelderkennung und eine Rechner-Einheit eines computerbasierten Systems zur Objektverfolgung aufweist und
- 2 den funktionalen Aufbau des computerbasierten Systems zur Objektverfolgung gemäß einer ersten Ausführungsform der Erfindung in einer schematischen Darstellung.
-
Die 1 zeigt eine Draufsicht auf eine Straßensituation mit einem Fahrzeug 10 und einem Objekt 12 im Umfeld 14 des Fahrzeugs 10. Das gezeigte Fahrzeug 10 ist ein Kraftfahrzeug, genauer gesagt ein Personenkraftwagen. Das Fahrzeug 10 umfasst neben den üblichen Komponenten einen Sensor 14 eines Systems zur Umfelderkennung. Der Sensor 14 hat ein Sichtfeld 16 und erzeugt eine Reihe/Serie von Scan-Datensätzen, wobei jeder dieser Datensätze eine Art Frame, also ein dem Sichtfeld 16 entsprechendes Einzelbild ist. Hier im Beispiel ist dieser Sensor 14 ein LIDAR-Sensor. In diesem Sichtfeld 16 befindet sich das sich bewegende Objekt 12. Das Fahrzeug 10 umfasst weiterhin zumindest eine Komponente 18 eines computerbasierten Systems 20 zur Objektverfolgung. Hier in 1 ist lediglich eine einzige dieser Komponenten eingezeichnet, nämlich eine erste Rechner-Einheit 18 zur schrittweisen Objektverfolgung mittels der einzelnen Datensätze. Eine weitere Komponente des computerbasierten Systems 20 ist eine zweite Rechner-Einheit 22 des computerbasierten Systems 20 die hier im Beispiel der 1 eine Cloud-Einheit in einer Netzwerk-Cloud 24 ist.
-
Im Folgenden soll nun das computerbasierte Systems 20 zur Objektverfolgung und dessen Funktion anhand der in 2 gezeigten Schemas beschrieben werden.
-
Das computerbasierte System 20 führt die Objektverfolgung mittels der Sensordaten des Sensors 14 oder mehreren Sensoren 14 durch. Die Sensordaten des Sensors 14 liegen dabei als eine Reihe/Serie von per Sensor 14 aufeinanderfolgend erstellten Datensätzen vor. Die Objektverfolgung wird dabei primär mittels der einen Rechner-Einheit 18 zur schrittweisen Objektverfolgung mittels der einzelnen Datensätze durchgeführt. Diese Rechnereinheit 18 ist eine Vor-Ort-Einheit mit limitierter Rechenkapazität, der zur Objektverfolgung zwei unterschiedliche Objektverfolgungs-Algorithmen 26, 28 zur Verfügung stehen. Der erste Objektverfolgungs-Algorithmus 26 deckt eine bestimmte/definierte Menge von Leistungsindikatoren (KPIs: Key Performance Indicators) ab oder anders ausgedrückt, er deckt alle Leistungsindikatoren eines dieser Menge entsprechenden Satzes von Leistungsindikatoren ab. Der zweite Objektverfolgungs-Algorithmus 28 deckt hingegen nur einen Teil dieser Menge von Leistungsindikatoren ab. Bei den hier beschriebenen Objektverfolgungs-Algorithmen 26, 28 gehen bei der Objektverfolgung neben dem Datensatz D(n) des aktuellen Schritts n auch die Ergebnisse der Objektverfolgung R(n-1), R(n-2) der Datensätze bei den vorangegangenen bzw. bereits erfolgten Schritten n-1, n-2, ... ein. Dies kann beispielsweise dadurch geschehen, dass immer auch das Ergebnis R(n-1) der Objektverfolgung aus dem vorherigen Schritt n-1 eingeht. Die Objektverfolgungs-Algorithmen 26, 28 sind also insbesondere rekursiv arbeitende Objektverfolgungs-Algorithmen 26, 28. Die erste Rechner-Einheit 18 ist dementsprechend eingerichtet, jedem der Objektverfolgungs-Algorithmen 26, 28 zur Objektverfolgung neben dem Datensatz D(n) des aktuellen Schritts n auch Informationen über das Ergebnis R(n-1) der Objektverfolgung aus dem vorherigen Schritt n-1 der Objektverfolgung zur Verfügung zu stellen.
-
Das System 20, in der Regel die erste Rechner-Einheit 18 dieses Systems 20, weist weiterhin einen Performance-Monitor 30 zur Überwachung ihrer aktuellen Rechnerauslastung auf. Die Entscheidung, mittels welchem der beiden Objektverfolgungs-Algorithmen 26, 28 der aktuelle Datensatz D(n) von der einen Rechen-Einheit ausgewertet wird, wird in Abhängigkeit von der per Performance-Monitor 30 ermittelten aktuellen Rechnerauslastung dieser ersten Rechner-Einheit 18 gefällt. Dabei wird der erste Objektverfolgungs-Algorithmus 26 standardmäßig ausgeführt. Dazu wird ihm der Datensatz D(n) des aktuellen Schritts n zur Verfügung gestellt. Wenn per Performance-Monitor 30 festgestellt wird, dass der erste Objektverfolgungs-Algorithmus 26 die Ausführung der Objektverfolgung verzögert, wird auf die Nutzung des zweiten Objektverfolgungs-Algorithmus 28 umgeschaltet und nun diesem der Datensatz D(n) des aktuellen Schritts n zur Verfügung gestellt. Auf diese Weise kann mit der begrenzten Rechnerleistung der ersten Rechner-Einheit 18 die Objektverfolgung „solange wie möglich“ in Echtzeit mit der gewünschten Menge an Leistungsindikatoren durchgeführt werden.
-
Die bereits erwähnte zweite Rechner-Einheit 22 ist eine Rechner-Einheit zur schrittweisen Objektverfolgung mittels der einzelnen Datensätze, deren Objektverfolgungs-Algorithmus (wie der erste Objektverfolgungs-Algorithmus 26) die volle Menge von Leistungsindikatoren abdeckt. Auch die zweite Rechner-Einheit 22 bekommt nun zusammen mit dem zweiten Objektverfolgungs-Algorithmus 28 den aktuellen Datensatz D(n) für die Objektverfolgung zur Verfügung gestellt. Sie kann nun im Folgenden der den zweiten Objektverfolgungs-Algorithmus 28 nutzenden ersten Rechner-Einheit 18 Informationen über Ergebnisse der Objektverfolgung aus vorherigen Schritten (zum Beispiel des Ergebnisses R(n-2) des vorletzten Schritts n-2) zur Verfügung stellen, bei denen die komplette Menge/der vollständige Satz von definierten Leistungsindikatoren abgedeckt ist. Dies verbessert das Ergebnis der Objektverfolgung durch die erste Rechner-Einheit 18.
-
Die Verbesserung wird dadurch erreicht, dass die zweite Rechner-Einheit 22 der ersten Rechner-Einheit 18 bei Nutzung des zweiten Objektverfolgungs-Algorithmus 28 Informationen über das Ergebnis der Objektverfolgung aus mindestens einem vorherigen Schritt der Objektverfolgung bereitstellt. Da diese Informationen nur zeitlich zurückliegende Objektverfolgungs-Ergebnisse betreffen, kann die zweite Rechner-Einheit 22 auch an anderer Stelle lokalisiert sein. Dabei ist die zweite Rechner-Einheit 22 insbesondere die Cloud-Einheit in der Netzwerk-Cloud 24 (wie in 1 gezeigt) oder alternativ eine separate lokale Rechner-Einheit 22, beispielsweise in einem Netzwerk im weiteren räumlichen Umfeld der ersten Rechner-Einheit 18.
-
Mit anderen Worten helfen diese Maßnahmen, die durch das temporäre Vorliegen „historischer Daten von niedriger Qualität“ bei der Nutzung des zweiten Objektverfolgungs-Algorithmus 28 hervorgerufenen Schwierigkeiten bei Nutzung des zweiten Objektverfolgungs-Algorithmus 28 und bei der Rückkehr zur Nutzung des ersten Objektverfolgungs-Algorithmus 26 zu überwinden und ermöglicht dabei eine Konvergenz der Leistungsfähigkeit hin zu der bei Nutzung des ersten Objektverfolgungs-Algorithmus 26 zu erwartenden Qualität der Objekterkennung in kürzerer Zeit.
-
Ein derartiges System 20 kann auch zur Objekterkennung aus Datensätzen anderer Sensoren 14 wie etwa RADAR-Sensoren oder Kameras bzw. gemischter Datensätze genutzt werden.
-
Bezugszeichenliste
-
- 10
- Fahrzeug
- 12
- Objekt
- 14
- Sensor
- 16
- Sichtfeld
- 18
- erste Rechner-Einheit
- 20
- computerbasiertes Systems
- 22
- zweite Rechner-Einheit
- 24
- Netzwerk-Cloud
- 26
- erster Objektverfolgungs-Algorithmus
- 28
- zweiter Objektverfolgungs-Algorithmus
- 30
- Performance-Monitor
- n
- aktueller Schritt
- D(n)
- Datensatz des aktuellen Schritts
- R(n-1)
- Ergebnis letzter Schritt
- R(n-2)
- Ergebnis vorletzter Schritt