DE102022206130A1

DE102022206130A1 - Verfahren zum Trainieren und Betreiben einer Bewegungsschätzung von Objekten

Info

Publication number: DE102022206130A1
Application number: DE102022206130.6A
Authority: DE
Inventors: Florian Drews; Florian Faion; Lars Rosenbaum; Michael Ulrich; Claudius Glaeser; Fabian Timm
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-06-20
Filing date: 2022-06-20
Publication date: 2023-12-21
Also published as: CN117268413A; US20230406298A1

Abstract

Verfahren 1000 zum Lernen der Extraktion von Bewegungsinformationen aus Sensordaten, zur anschließenden Anwendung in der Ermittlung von Geschwindigkeiten detektierter Objekte, das Verfahren aufweisend die Schritte:- Bereitstellen 100 einer Zeitreihe von Frames 15, 14, 13, 12, 11 von Sensordaten, welche durch physikalische Beobachtung mindestens eines Objekts 10 aufgenommen wurden,- Bereitstellen 200 einer Zeitreihe von Objektbegrenzungsboxen 25, 24, 23, 22, 21, die in Frames von Sensordaten jeweils das mindestens eine Objekt 10 umgrenzen,- Zuführen 300 mindestens der Objektbegrenzungsbox 22 zu einem Zeitpunkt t sowie einer Historie von Sensordaten 15, 14, 13 aus der Zeitreihe von Sensordaten 15, 14, 13, 12, 11, und/oder einer Historie von Objektbegrenzungsboxen 25, 24, 23 aus der Zeitreihe von Objektbegrenzungsboxen 25, 24, 23, 22, 21, vor dem Zeitpunkt t zu einem trainierbaren Machine Learning-Modell 30, das die Entwicklung der Objektbegrenzungsbox 31 für einen Zeitpunkt t+k vorhersagt,- Vergleichen 400 der so vorhergesagten Objektbegrenzungsbox 31 mit einer aus der Zeitreihe von Objektbegrenzungsboxen 25, 24, 23, 22, 21 bezogenen Vergleichs-Box 21 für den gleichen Zeitpunkt t+k,- Bewerten 500 einer Abweichung zwischen der vorhergesagten Objektbegrenzungsbox 31 und der Vergleichs-Box 21 mit einer vorgegebenen Kostenfunktion, und- Optimieren 600 von Parametern 301, die das Verhalten des trainierbaren Machine Learning-Modells 30 charakterisieren, mit dem Ziel, dass sich bei weiteren Vorhersagen von Objektbegrenzungsboxen 31 die Bewertung durch die Kostenfunktion voraussichtlich verbessert.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Lernen der Extraktion von Bewegungsinformationen aus Sensordaten, zur anschließenden Anwendung in der Ermittlung von Geschwindigkeiten detektierter Objekte. Die Erfindung betrifft auch ein Verfahren zur Extraktion von Bewegungsinformationen aus Sensordaten und damit die vorgenannte Anwendung in der Ermittlung von Geschwindigkeiten detektierter Objekte. Die Erfindung betrifft auch ein eines der vorgenannten Verfahren implementierendes Computerprogramm, einen maschinenlesbaren Datenträger mit einem solchen Computerprogramm sowie einen oder mehrere Computer aufweisend das vorgenannte Computerprogramm.
Stand der Technik
Eine umfassende Erkennung des Fahrzeugumfelds bildet die Grundlage für Fahrerassistenzsysteme und automatisierte Fahrfunktionen. Der Detektion, Klassifikation und Verfolgung - dem Tracking - von Objekten, wie z.B. anderen Verkehrsteilnehmern, kommt dabei eine besondere Bedeutung zu. Heutzutage kann eine Vielzahl an Sensoren zur Erfassung des Fahrzeugumfelds eingesetzt werden.
Maschinelle Lernverfahren, insbesondere beispielsweise Deep Learning, gewinnen im Bereich des automatisierten Fahrens zunehmend an Bedeutung. Beispielsweise kommen im Bereich der Umfeldwahrnehmung mit im Fahrzeug verbauten Sensoren verstärkt tiefe neuronale Netze zum Einsatz. Einige dieser Verfahren kombinieren verschiedene Sensormodalitäten, um Objekte im Fahrzeugumfeld zu detektieren oder die Verkehrsszene semantisch zu segmentieren.
Objektdetektionsnetze, welche zur Detektion von Objekten im Fahrzeugumfeld oder zur semantischen Segmentierung einer Verkehrsszene ausgebildet sind, werden typischerweise mittels Supervised Learning trainiert, d.h. auf Basis annotierter Umfelddaten. Die Erstellung und insbesondere die Annotation entsprechender Datensätze ist jedoch sehr zeit- und kostenintensiv. Der überwiegende Teil solcher Datensätze beinhaltet Annotationen für Objektbegrenzungsboxen von Objekten verschiedener Klassen. Typischerweise liegen in diesem Zusammenhang keine Annotationen für die Bewegung der Objekte, d.h. beispielsweise für Geschwindigkeiten der Objekte, vor.
Offenbarung der Erfindung
Die Kenntnis von Geschwindigkeiten unterschiedlicher, im Umfeld eines Fahrzeugs erfasster Objekte besitzt im Zusammenhang des autonomen Fahren sowie des assistenzbasierten Fahrens eine enorme Bedeutung, da in Reaktion auf ermittelte Bewegungen von Objekten in Fahrzeugnähe unter Umständen sicherheitsrelevante und/oder sicherheitskritische Aktionen wie Bremsungen oder Ausweichmanöver ausgelöst werden müssen. Es existieren Verfahren, mittels welcher die Extraktion von Objektparametern wie z.B. Länge, Breite und/oder Objekt-Orientierung aus Sensordaten gelernt werden kann. Dazu können Sensordaten, welche sich auf einen gemeinsamen Messzeitpunkt beziehen, herangezogen werden. Die Extraktion von Geschwindigkeitsinformationen von Objekten aus denselben Sensordaten ist dahingehend anspruchsvoller, da dazu die Berücksichtigung einer zeitlichen Evolution in den Sensordaten notwendig ist.
Im Rahmen der Erfindung wurde ein Verfahren zum Lernen der Extraktion von Bewegungsinformationen aus Sensordaten entwickelt. Dieses Verfahren ist auf eine anschließende Anwendung in der Ermittlung von Geschwindigkeiten detektierter Objekte gerichtet. Das Verfahren zum Lernen der Extraktion von Bewegungsinformationen aus Sensordaten weist dabei zumindest die im Folgenden beschriebenen Schritte auf. In einem Verfahrensschritt wird eine Zeitreihe von Frames von Sensordaten bereitgestellt, welche durch physikalische Beobachtung mindestens eines Objekts aufgenommen wurden. Des Weiteren wird in einem folgenden Schritt eine Zeitreihe von Objektbegrenzungsboxen bereitgestellt. Dabei umgrenzen die Objektbegrenzungsboxen in Frames von Sensordaten jeweils das mindestens eine Objekt. In einem folgenden Verfahrensschritt wird mindestens die Objektbegrenzungsbox zu einem Zeitpunkt t sowie eine Historie von Sensordaten aus der Zeitreihe von Sensordaten, und/oder eine Historie von Objektbegrenzungsboxen aus der Zeitreihe von Objektbegrenzungsboxen vor dem Zeitpunkt t einem trainierbaren Machine Learning Modell zugeführt. Das vorgenannte Machine Learning Modell ist dazu ausgebildet, die Entwicklung der Objektbegrenzungsbox für einen Zeitpunkt t+k vorherzusagen. Die daraufhin mittels des Machine Learning Modells vorhergesagte Objektbegrenzungsbox für den Zeitpunkt t+k wird anschließend mit einer aus der Zeitreihe von Objektbegrenzungsboxen bezogenen Vergleichs-Box für den gleichen Zeitpunkt t+k verglichen. In einem folgenden Verfahrensschritt wird eine Abweichung zwischen der vorhergesagten Objektbegrenzungsbox und der Vergleichs-Box mit einer vorgegebenen Kostenfunktion bewertet. In Anschluss daran werden Parameter, die das Verhalten des trainierbaren Machine Learning Modells charakterisieren optimiert. Dies geschieht auf das Ziel hin, dass sich bei weiteren Vorhersagen von Objektbegrenzungsboxen durch das Machine Learning-Modell die Bewertung durch die vorgenannte Kostenfunktion voraussichtlich verbessert.
Ein Frame umfasst im hier diskutierten Zusammenhang jeweils Daten - etwa Sensordaten -, die sich auf einen gemeinsamen Zeitpunkt, z.B. einen gemeinsamen Messzeitpunkt, beziehen.
Zumindest ein Teil der vorgenannten Objektbegrenzungsboxen kann beispielsweise in Form von Annotationen gegeben sein. Bewegungsinformationen müssen dabei nicht notwendig annotiert sein. Typischerweise verfügbare Datensätze mit Objektbegrenzungsboxen sind ausreichend. Werden die Objektbegrenzungsboxen in Form von Annotationen bereitgestellt, so trägt die Tatsache, dass Geschwindigkeitsinformationen nicht annotiert sein müssen, bereits zu einer signifikanten Zeit- und Kostenersparnis bei. Es ist weiterhin auch möglich, dass ein Teil oder die Gesamtheit der Objektbegrenzungsboxen durch Betrachtung jeweils eines Frames von Sensordaten und Extraktion von Objektparametern aus den jeweiligen Sensordaten ermittelt wird, beispielsweise unter Heranziehung eines Objektdetektors. In diesem Fall entfällt sogar die Notwendigkeit, annotierte Daten bereitzustellen, und es wird direkt mit zur Verfügung gestellten, nicht-annotierten Sensordaten gearbeitet. Dies kann wiederum zu einer erheblichen Reduktion von Zeit- und Kostenaufwand im Training eines Machine Learning-Modells beitragen.
Das oben und im Folgenden beschriebene Verfahren erlaubt es, Bewegungsinformationen aus den Sensordaten zu extrahieren, wobei die Bewegungsinformationen dabei unter Umständen beispielsweise nicht direkt durch Umfeld-Sensoren erfasst bzw. gemessen werden können. Direkte Geschwindigkeitsmessungen können etwa beispielsweise auf Grundlage von Messungen von Radarsensoren stattfinden, wobei in diesem Fall im allgemeinen nur eine radiale Geschwindigkeitskomponente einer direkten Messung zugänglich ist. Möglicherweise ist aber eine 2D Geschwindigkeit oder auch eine Gierrate von Bedeutung im Zusammenhang einer präzisen Umfelderfassung einschließlich der Bewegungsvorhersage von Objekten, um Kollisionen etc. durch frühzeitiges einleiten geeigneter (Sicherheits-) Aktionen zu vermeiden. Durch die Kombination bestehender Verfahren zur Geschwindigkeitsermittlung mit dem hier vorgeschlagenen Verfahren kann die Bewegungsschätzung von Objekten insgesamt verbessert und robuster gemacht werden. Dies ist insbesondere vorteilhaft im Fall der Objektverfolgung, d.h. eines Trackings, und erlaubt somit eine genauere und verbesserte Umfeldwahrnehmung.
Gemäß einer beispielhaften Ausführungsform wird mindestens ein Teil der Objektbegrenzungsboxen in der Zeitreihe von einem Objektdetektor ermittelt, und zwar unter Heranziehen von jeweils zeitlich korrespondierenden Frames von Sensordaten. In diesem letztgenannten Fall liegen die Objektbegrenzungsboxen demnach zumindest nicht alle in Form bereits annotierter Daten vor. Vielmehr wird zumindest ein Teil der Objektbegrenzungsboxen im Rahmen des Verfahrens selbst aus korrespondierenden Frames von Sensordaten ermittelt. Dadurch kann ein entsprechender Kostenaufwand im Zusammenhang der Erstellung von Annotationen zumindest reduziert werden.
Gemäß einer beispielhaften Ausführungsform sagt das Maschine Learning-Modell die zeitliche Entwicklung der Objektbegrenzungsbox unter Heranziehung mindestens eines physikalischen Bewegungsmodells vorher.
Beispielsweise kann das vorgenannte physikalische Bewegungsmodell dabei zumindest auf eine der Annahmen einer konstanten Geschwindigkeit, einer konstanten Geschwindigkeit und Fahrtrichtung, und/oder einer konstanten Geschwindigkeit und Dreh-Rate zurückgreifen.
Weiterhin ist es möglich, dass Informationen über beispielsweise die Bewegung des Sensoren aufnehmenden Fahrzeugs, d.h. des Fahrzeugs, auf dem die Sensoren installiert sein können, und welche die betrachteten Sensordaten jeweils liefern, genutzt werden, um eine Eigenbewegungskompensation durchzuführen.
Gemäß einer beispielhaften Ausführungsform enthalten die Sensordaten Radar-, LiDAR-, Kamera- und /oder Ultraschall-Sensordaten. Im Falle von LiDAR-Sensordaten kann es sich z.B. um entsprechende Daten eines FMCW LiDARs handeln. Dies sind diejenigen Typen von Sensoren, die am häufigsten für die Umfeldüberwachung von Fahrzeugen genutzt werden.
Gemäß einer beispielhaften Ausführungsform ist mindestens eine Objektbegrenzungsbox in der Zeitreihe mit mindestens einem Objektparameter annotiert und/oder dieser mindestens eine Objektparameter wird von dem Objektdetektor regressiert. Dabei gibt der vorgenannte mindestens eine Objektparameter eine Pose, eine lineare Geschwindigkeit, eine radiale Geschwindigkeit, eine radiale Beschleunigung, eine 2-dimensionale Geschwindigkeit, eine 2-dimensionale Beschleunigung, eine Winkelgeschwindigkeit und/oder eine Drehrate des Objekts an. Weiterhin ist vorgesehen, dass das Machine Learning-Modell den vorgenannten Objektparameter als zusätzliche Eingabe erhält. Das annotierte, bzw. durch Regression erworbene, Zusatzwissen kann dann genutzt werden, um die Genauigkeit der Vorhersage von Objektbegrenzungsboxen weiter zu verbessern.
Gemäß einer beispielhaften Ausführungsform können neben den Merkmalen der vorgenannten Ausführungsform zusätzlich zumindest die im Folgenden genannten vorgesehen sein. Der Objektparameter kann für den Zeitpunkt t+k ebenfalls von dem Machine Learning-Modell vorhergesagt werden und/oder unter Heranziehung der vom Machine Learning-Modell vorhergesagten Objektbegrenzungsbox ermittelt werden. Daraufhin kann eine Abweichung zwischen dem so erhaltenen Objektparameter für den Zeitpunkt t+k und dem vom Objektdetektor regressierten Objektparameter für den Zeitpunkt t+k mit einer weiteren Kostenfunktion bewertet werden. In Reaktion darauf können Parameter, die das Verhalten des Objektdetektors charakterisieren, optimiert werden, und zwar auf das Ziel gerichtet, dass bei weiterer Verarbeitung von Frames von Sensordaten durch den Objektdetektor die Bewertung durch die vorgenannte weitere Kostenfunktion voraussichtlich verbessert wird. Die Prognose auch der Objektparameter kann insbesondere beispielsweise genutzt werden, um das künftige Bewegungsverhalten eines Objekts, und/oder die Absicht, mit der ein solches Objekt gesteuert wird, vorherzusagen.
Gemäß einer beispielhaften Ausführungsform können unter Heranziehung von Sensordaten, welche sich auf eine Vielzahl von Reflexionen von Sensorsignalen an dem jeweiligen Objekt beziehen, zusätzlich Bewegungsparameter geschätzt werden. Dies geschieht mit dem Ziel, über eine radiale Geschwindigkeit des Objekts hinausgehende Geschwindigkeitsinformationen zu erhalten. Diese Schätzung der Bewegungsparameter kann dem Machine Learning-Modell ebenfalls als Eingabe zugeführt werden.
Aus Sensordaten kann typischerweise ein Ort, d.h. eine Distanz, ein Azimuthwinkel, sowie gegebenenfalls eine Elevation, extrahiert werden. Als weitere Attribute lassen sich unter Umständen eine 2D Geschwindigkeit und/oder eine Gierrate aus einer Vielzahl von erfassten (beispielsweise Radar-) Reflexionen an dem Objekt ermitteln.
Gemäß einer beispielhaften Ausführungsform können zusätzliche Informationen zur Eigenbewegung der die Sensordaten liefernden Sensoren genutzt werden, um eine Eigenbewegungskompensation durchzuführen und/oder um ebenfalls dem Machine Learning-Modell als Eingaben zugeführt zu werden. Jede solche Zusatzinformation kann die Genauigkeit verbessern, mit der Objektbegrenzungsboxen vorhergesagt werden können.
Gemäß einer beispielhaften Ausführungsform wird dem trainierten Machine Learning Modell eine Objektbegrenzungsbox zu einem aktuellen Zeitpunkt zugeführt, sowie weiterhin eine von diesem aktuellen Zeitpunkt ausgehende Historie von Sensordaten und/oder Objektbegrenzungsboxen. Daraufhin kann in einem weiteren Verfahrensschritt anhand von mit dem Machine Learning Modell vorhergesagten Objektbegrenzungsboxen für spätere Zeitpunkte eine künftige Bewegung mindestens eines Objekts vorhergesagt werden. Die so erhaltene Vorhersage kann beispielsweise genutzt werden, um das Verhalten eines eigenen Fahrzeugs auf die vorhergesagte Bewegung abzustimmen.
Im vorgenannten Fall können beispielsweise Sensordaten gewählt werden, die von mindestens einem an oder in einem Fahrzeug mitgeführten Sensor aufgenommen wurden.
In einer beispielhaften Ausführungsform können weiterhin die im Folgenden beschriebenen Verfahrensschritte vorgesehen sein. In einem weiteren Verfahrensschritt kann ein Ansteuersignal in Antwort auf die ermittelte Vorhersage der künftigen Bewegung des mindestens einen Objekts erzeugt werden. Daraufhin kann in einem weiteren Verfahrensschritt das Fahrzeug - das die Sensoren beherbergt, welche die durch das Machine Learning-Modell verarbeiteten Sensordaten liefern - mit dem Ansteuersignal angesteuert werden, um das Fahrzeug zu einer Bremsung, Beschleunigung, Weiterfahrt mit konstanter Geschwindigkeit und/oder einem Ausweichmanöver zu veranlassen. In diesem Kontext hat die hier vorgeschlagene Vorhersage von Objektbegrenzungsboxen die Wirkung, dass die vom Fahrzeug auf Grund der Ansteuerung mit dem Ansteuersignal ausgeführte Aktion mit einer größeren Wahrscheinlichkeit der durch die Umfeldüberwachung erfassten Situation angemessen ist.
Weiterhin bezieht sich die Erfindung auf ein Computerprogramm mit maschinenlesbaren Anweisungen, welche, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, eines der zuvor und im folgenden beschriebenen erfindungsgemäßen Verfahren auszuführen. Ebenfalls umfasst die Erfindung einen maschinenlesbaren Datenträger, auf welchem das vorstehende Computerprogramm gespeichert ist, sowie einen mit vorgenanntem Computerprogramm oder vorgenanntem maschinenlesbaren Datenträger ausgerüsteten Computer.
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
Ausführungsbeispiele
Es zeigt:

1 ein Ausführungsbeispiel betreffend ein Verfahren zum Lernen der Extraktion von Bewegungsinformationen aus Sensordaten;
2 ein weiteres Ausführungsbeispiel hinsichtlich des Verfahrens zum Lernen der Extraktion von Bewegungsinformationen.

1 zeigt ein Ausführungsbeispiel eines Verfahrens 1000 zum Lernen der Extraktion von Bewegungsinformationen aus Sensordaten. Die Sensordaten können dabei beispielsweise Radar-, LiDAR-, Kamera-, und/oder Ultraschall-Sensordaten enthalten. Das Lernen hat eine anschließende Anwendung zum Ziel, die der Ermittlung von Geschwindigkeiten von in den Sensordaten detektierten Objekten dient. In einem ersten Verfahrensschritt 100 wird im Zuge des Lernens bzw. Trainings eine Zeitreihe von Frames 15, 14, 13, 12, 11 - in 1 bezogen auf aufeinanderfolgende, voranschreitende Zeitpunkte t-n, t-m, t-I, t und t+k - bereitgestellt. Die Frames 15, 14, 13, 12, 11 sind dabei jeweils durch physikalische Beobachtung mindestens eines Objekts 10 aufgenommen worden. Bei dem Objekt kann es sich, wie beispielhaft in 1 gezeigt, um ein Fahrzeug handeln. Das Objekt kann jedoch beispielsweise auch durch einen Fußgänger, Radfahrer, Motorradfahrer oder einen Quadfahrer, also allgemein beispielsweise durch einen Verkehrsteilnehmer gegeben sein.
In Verfahrensschritt 200 wird daraufhin eine Zeitreihe von Objektbegrenzungsboxen 25, 24, 23, 22, 21 bereitgestellt, wobei die vorgenannten Objektbegrenzungsboxen in Frames von Sensordaten jeweils das mindestens eine Objekt 10 umgrenzen. Wie auch die korrespondierenden Frames 15, 14, 13, 12, 11 beziehen sich die Objektbegrenzungsboxen 25, 24, 23, 22, 21 in 1 auf aufeinanderfolgende, voranschreitende Zeitpunkte t-n, t-m, t-l, t und t+k. Es ist beispielsweise möglich, das mindestens ein Teil der Objektbegrenzungsboxen 25, 24, 23, 22, 21 in der Zeitreihe von einem Objektdetektor 20 aus den jeweils zeitlich korrespondierenden Frames 15, 14, 13, 12, 11 von Sensordaten ermittelt wird. Die Frames, in denen die Objektbegrenzungsboxen 25, 24, 23, 22, 21 auftreten, können damit beispielsweise insbesondere mit den Frames 15, 14, 13, 12, und 11 übereinstimmen. Gegenüber den Frames 15, 14, 13, 12 und 11 können die die Objektbegrenzungsboxen 25, 24, 23, 22 und 21 beinhaltenden Frames jedoch beispielsweise auch vereinfacht sein, d.h. z.B. als Hintergrund erkannte, für die zu bearbeitende Aufgabe irrelevante Bereiche, unscharf oder auch in einer bestimmten Farbe eingefärbt anzeigen. Für das vorstehend und im Folgenden beschriebene Verfahren ist das Vorhandensein eines Objektdetektors 20 jedoch optional und nicht notwendig. Ein Objektdetektor 20 kann herangezogen werden, um mindestens einen Teil der Objektbegrenzungsboxen 25, 24, 23, 22, 21 aus den jeweils zeitlich korrespondierenden Frames von Sensordaten, 15, 14, 13, 12, 11 zu ermitteln. Die Objektbegrenzungsboxen sowie die diese beinhaltenden Frames müssen im Zuge des hier beschriebenen Verfahrens jedoch nicht durch einen Objektdetektor ermittelt worden sein. Dies kann beispielsweise auch vor Beginn des hier beschriebenen Verfahrens stattgefunden haben.
Einem trainierbaren Machine Learning-Modell 30, welches die zeitliche Entwicklung von Objektbegrenzungsboxen vorhersagt, wird daraufhin in einem Verfahrensschritt 300 mindestens eine Objektbegrenzungsbox 22 korrespondierend zu einem Zeitpunkt t zugeführt. Weiterhin wird dem Machine Learning-Modell 30 eine Historie von Sensordaten 15, 14, 13 korrespondierend zu Zeitpunkten t-n, t-m, t-l vor dem Zeitpunkt t zugeführt und/oder eine Historie von Objektbegrenzungsboxen 25, 24, 23 - ebenfalls korrespondierend zu Zeitpunkten t-n, t-m, t-l vor dem Zeitpunkt t - aus der Zeitreihe von Objektbegrenzungsboxen 25, 24, 23, 22, 21. Unter Nutzung der zugeführten Informationen - Sensordaten und/oder Objektbegrenzungsboxen - sagt das Machine Learning-Modell daraufhin vorher, wie sich die Objektbegrenzungsbox 22 zum Zeitpunkt t+k entwickelt haben wird; d.h. es wird eine Vorhersage einer Objektbegrenzungsbox 31 für den Zeitpunkt t+k angegeben. Diese Vorhersage kann beispielsweise insbesondere unter Heranziehung mindestens eines physikalischen Bewegungsmodells durch das Machine Learning-Modell 30 getroffen werden. Das vorgenannte Bewegungsmodell kann dabei beispielsweise zumindest auf eine der Annahmen einer konstanten Geschwindigkeit, einer konstanten Geschwindigkeit und Fahrtrichtung, und/oder einer konstanten Geschwindigkeit und Dreh-Rate zurückgreifen.
Es ist beispielsweise weiterhin möglich, dass mindestens eine der Objektbegrenzungsboxen 25, 24, 23 und 22 in der Zeitreihe mit mindestens einem Objektparameter (v; v_r; a; ω) annotiert ist und/oder dieser Objektparameter von dem Objektdetektor - insoweit dieser vorhanden ist - unter Nutzung zumindest eines der Frames von Sensordaten 15, 14, 13, 12 regressiert wird. Der vorgenannte Objektparameter kann dabei eine Pose, lineare Geschwindigkeit, radiale Geschwindigkeit, radiale Beschleunigung, 2-dimensionale Geschwindigkeit, 2-dimensionale Beschleunigung, Winkelgeschwindigkeit und/oder Drehrate des Objekts angeben. Der Objektparameter (v; v_r; a; ω) kann dem Machine Learning-Modell 30 insbesondere als eine zusätzliche Eingabe zugeführt werden.
Im folgenden Verfahrensschritt 400 wird daraufhin die vorgenannte, vorhergesagte Objektbegrenzungsbox 31 mit einer Objektbegrenzungsbox 21, welche aus der Zeitreihe von Objektbegrenzungsboxen 25, 24, 23, 22, 21 bezogen wird und sich auf den gleichen Zeitpunkt t+k bezieht, verglichen. In Verfahrensschritt 500 erfolgt eine Bewertung einer Abweichung zwischen der vorhergesagten Objektbegrenzungsbox 31 und der Vergleichs-Box 21 mit einer vorgegebenen Kostenfunktion. Im Anschluss werden in Schritt 600 Parameter 301, welche des Verhalten des trainierbaren Machine Learning-Modells 30 charakterisieren, optimiert, mit dem Ziel, dass sich bei weiteren Vorhersagen von Objektbegrenzungsboxen in Analogie zur Vorhersage der Objektbegrenzungsbox 31 die Bewertung durch die vorgenannte Kostenfunktion voraussichtlich verbessert.
Ist ein Objektparameter (v; v_r; a; ω) als Annotation gegeben oder im Rahmen des Verfahrens zuvor regressiert worden, so kann ein korrespondierender Objektparameter für den Zeitpunkt t+k ebenfalls von dem Machine Learning-Modell 30 vorhergesagt werden (v'; v_r'; a'; ω') und/oder unter Heranziehung der vom Machine Learning-Modell 30 vorhergesagten Objektbegrenzungsbox 31 ermittelt werden (v''; v_r''; a''; ω''). Daraufhin kann eine Abweichung zwischen dem vorhergesagten Objektparameter (v'; v_r'; a'; ω') für den Zeitpunkt t+k und dem vom Objektdetektor regressierten Objektparameter (v''; v_r''; a''; ω'') für den Zeitpunkt t+k mit einer weiteren Kostenfunktion bewertet werden. Daraufhin kann eine Optimierung von Parametern 201, welche das Verhalten des Objektdetektors 20 charakterisieren, durchgeführt werden. Die Optimierung ist auf das Ziel hin gerichtet, dass bei weiterer Verarbeitung von Frames 15, 14, 13, 12, 11 von Sensordaten durch den Objektdetektor 20 die Bewertung durch diese weitere Kostenfunktion voraussichtlich verbessert wird.
Wie ebenfalls in 1 dargestellt, können unter Heranziehung von Sensordaten 40 optional zusätzliche Bewegungsparameter 41 geschätzt werden, welche sich auf eine Vielzahl von Reflexionen von Sensorsignalen an dem jeweiligen Objekt 10 beziehen. Beispielsweise lassen sich aus (Radar-) Sensorsignalen typischerweise eine Distanz, ein Azimuthwinkel, ggf. eine Elevation, sowie eine radiale Geschwindigkeit eines Objekts ermitteln. Aus einer Vielzahl von z.B. Radar-Sensorsignalen an einem Objekt 10 lassen sich unter Umständen zusätzlich eine 2D Geschwindigkeit und/oder eine Gierrate ermitteln bzw. schätzen. Ziel ist es in diesem Zusammenhang, über eine radiale Geschwindigkeit des Objekts 10 hinausgehende Geschwindigkeitsinformationen zu erhalten. Die entsprechende Schätzung der Bewegungsparameter 41 kann dem Machine Learning-Modell 30 beispielsweise ebenfalls als Eingabe zugeführt werden.
Zusätzliche Informationen zur Eigenbewegung der die Sensordaten liefernden Sensoren 2, in 1 beispielsweise also das den Sensor 2 beherbergende Fahrzeug, können beispielsweise genutzt werden, um eine Eigenbewegungskompensation durchzuführen und/oder ebenfalls dem Machine Learning-Modell 30 als Eingaben zugeführt werden.
Mittels des in 1 dargestellten Ausführungsbeispiels kann ebenfalls nachvollzogen werden, wie Schritte zur Extraktion von Bewegungsinformationen mittels des bereits trainierten Machine Learning-Modells 30 aussehen. Dazu wird dem trainierten Machine-Learning-Modell 30 eine Objektbegrenzungsbox 22 zu einem aktuellen Zeitpunkt (in 1 dargestellt: dem Zeitpunkt t), sowie eine von diesem aktuellen Zeitpunkt ausgehende Historie von Sensordaten 13, 14, 15 und/oder Objektbegrenzungsboxen 23, 24,25 zugeführt. Anhand von mit dem trainierten Machine Learning-Modell 30 vorhergesagten Objektbegrenzungsboxen 31 für spätere Zeitpunkte (in Fig.: Zeitpunkt t+k) wird eine künftige Bewegung mindestens eines Objekts 10 vorhergesagt. In diesem Zusammenhang der angewandten Extraktion von Bewegungsinformationen werden typischer Sensordaten gewählt werden, die von mindestens einem an oder in einem Fahrzeug 1 mitgeführten Sensor 2 aufgenommen wurden. Das hier vorgeschlagene Verfahren verbessert und erweitert damit die Umfelderfassung durch ein teilautonomes oder fahrerassistenzbasiertes Fahrzeug.
Im vorgenannten Zusammenhang können damit beispielsweise die folgenden weiteren Verfahrensschritt 700 und 800 vorgesehen sein. In Schritt 700 wird ein Ansteuersignal in Antwort auf die ermittelte Vorhersage für die künftige Bewegung des mindestens einen Objekts 10 ermittelt. Daraufhin wird in Schritt 800 das Fahrzeug 1 mit dem Ansteuersignal angesteuert, um das Fahrzeug 1 zu einer Bremsung, Beschleunigung, Weiterfahrt mit konstanter Geschwindigkeit und/oder einem Ausweichmanöver zu veranlassen.
2 zeigt beispielhaft einige Aspekte einer Ausführungsform des hier vorgestellten Verfahrens. Ein Frame von Sensordaten 12 zum Zeitpunkt t wird hier einem Objektdetektor 20 zugeführt. Dieser detektiert in den Sensordaten 12 ein Objekt O und umfasst dieses mit einer Objektbegrenzungsbox 22 korrespondierend zum Zeitpunkt t. Ein Machine Learning-Modell 30 mit einem entsprechenden Transformationsmodul überführt die Objektbegrenzungsbox 22 in eine Objektbegrenzungsbox 31. Dies kann - wie oben bereits beschrieben - auf Basis geschätzter Bewegungsparameter und/oder physikalischer Bewegungsmodelle geschehen. Die Objektbegrenzungsbox 31 wird daraufhin verglichen mit beispielsweise einer Objektbegrenzungsbox 21. Letztere Objektbegrenzungsbox 21 umfasst das Objekt O in Sensordaten, welche sich auf den Zeitpunkt t+k beziehen. Insbesondere sind dazu Sensordaten 11, welche sich auf den Zeitpunkt t+k beziehen, einem Objektdetektor 20 zugeführt worden, welcher in diesen Daten dasselbe Objekt O detektiert und dieses entsprechend mit der Objektbegrenzungsbox 21 umfasst hat. Die Abweichungen zwischen den Objektbegrenzungsboxen 31 und 21 können mittels einer Kostenfunktion bewertet werden und auf Basis dieser Bewertung können Parameter des Machine Learning-Modells 30 optimiert werden, auf das Ziel hin, dass eine neuerliche Bewertung durch die Kostenfunktion sich voraussichtlich verbessert. Dies wird in 2 durch die Punkt-Strich-Linie angedeutet, welche auf das Machine Learning-Modell 30 weist. Zusätzlich oder alternativ zum Vergleich der Objektbegrenzungsboxen 31 und 21 kann ein Vergleich zwischen den Objektbegrenzungsboxen 31 und 31' durchgeführt und dieser durch eine weitere Kostenfunktion bewertet werden. Bei Objektbegrenzungsbox 31' handelt es sich dabei um eine Annotation. Auf Basis der vorgenannten Bewertung können Parameter des Machine Learning-Modells 30 und/oder des Objektdetektors optimiert werden, auf das Ziel hin, dass eine neuerliche Bewertung durch die weitere Kostenfunktion sich voraussichtlich verbessert. Dies wird in 2 durch die Wellen-Linie angedeutet, welche auf das Machine Learning-Modell 30 und den Objektdetektor 20 weist. Weiterhin angedeutet ist in 2, dass zur Verbesserung des Objektdetektors 20 neben den vorgenannten Optimierungsmöglichkeiten auch ein Vergleich zwischen der Objektbegrenzungsbox 20 zum Zeitpunkt t und einer korrespondierenden Annotation 22' durchgeführt werden kann, und auf Basis der Bewertung des Vergleichs Parameter des Objektdetektors 20 angepasst werden können.

Claims

Verfahren (1000) zum Lernen der Extraktion von Bewegungsinformationen aus Sensordaten, zur anschließenden Anwendung in der Ermittlung von Geschwindigkeiten detektierter Objekte, das Verfahren aufweisend die Schritte: - Bereitstellen (100) einer Zeitreihe von Frames (15, 14, 13, 12, 11) von Sensordaten, welche durch physikalische Beobachtung mindestens eines Objekts (10) aufgenommen wurden, - Bereitstellen (200) einer Zeitreihe von Objektbegrenzungsboxen (25, 24, 23, 22, 21), die in Frames von Sensordaten jeweils das mindestens eine Objekt (10) umgrenzen, - Zuführen (300) mindestens der Objektbegrenzungsbox (22) zu einem Zeitpunkt t sowie einer Historie von Sensordaten (15, 14, 13) aus der Zeitreihe von Sensordaten (15, 14, 13, 12, 11), und/oder einer Historie von Objektbegrenzungsboxen (25, 24, 23) aus der Zeitreihe von Objektbegrenzungsboxen (25, 24, 23, 22, 21), vor dem Zeitpunkt t zu einem trainierbaren Machine Learning-Modell (30), das die Entwicklung der Objektbegrenzungsbox (31) für einen Zeitpunkt t+k vorhersagt, - Vergleichen (400) der so vorhergesagten Objektbegrenzungsbox (31) mit einer aus der Zeitreihe von Objektbegrenzungsboxen (25, 24, 23, 22, 21) bezogenen Vergleichs-Box (21) für den gleichen Zeitpunkt t+k, - Bewerten (500) einer Abweichung zwischen der vorhergesagten Objektbegrenzungsbox (31) und der Vergleichs-Box (21) mit einer vorgegebenen Kostenfunktion, und - Optimieren (600) von Parametern (301), die das Verhalten des trainierbaren Machine Learning-Modells (30) charakterisieren, mit dem Ziel, dass sich bei weiteren Vorhersagen von Objektbegrenzungsboxen (31) die Bewertung durch die Kostenfunktion voraussichtlich verbessert.
Verfahren (1000) nach Anspruch 1, wobei mindestens ein Teil der Objektbegrenzungsboxen (25, 24, 23, 22, 21) in der Zeitreihe von einem Objektdetektor (20) aus den jeweils zeitlich korrespondierenden Frames (15, 14, 13, 12, 11) von Sensordaten ermittelt wird.
Verfahren (1000) nach einem der Ansprüche 1 bis 2, wobei das Machine Learning-Modell (30) die Entwicklung der Objektbegrenzungsbox (31) unter Heranziehung mindestens eines physikalischen Bewegungsmodells vorhersagt.
Verfahren (1000) nach Anspruch 3, wobei das Bewegungsmodell zumindest auf eine der Annahmen einer konstanten Geschwindigkeit, einer konstanten Geschwindigkeit und Fahrtrichtung, und/oder einer konstanten Geschwindigkeit und Dreh-Rate zurückgreift.
Verfahren (1000) nach einem der Ansprüche 1 bis 4, wobei die Sensordaten Radar-, LiDAR-, Kamera- und/oder Ultraschall-Sensordaten enthalten.
Verfahren (1000) nach einem der vorhergehenden Ansprüche, wobei • mindestens eine Objektbegrenzungsbox (25; 24; 23; 22; 21) in der Zeitreihe mit mindestens einem Objektparameter (v; v_r; a; ω), der eine Pose, lineare Geschwindigkeit, radiale Geschwindigkeit, radiale Beschleunigung, 2-dimensionale Geschwindigkeit, 2-dimensionale Beschleunigung, Winkelgeschwindigkeit und/oder Drehrate des Objekts angibt, annotiert ist, und/oder dieser Objektparameter (v; v_r; a; ω) von dem Objektdetektor (20) regressiert wird, und • das Machine Learning-Modell (30) diesen Objektparameter (v; v_r; a; ω) als zusätzliche Eingabe erhält.
Verfahren (1000) nach Anspruch 6, wobei • der Objektparameter für den Zeitpunkt t+k ebenfalls von dem Machine Learning-Modell (30) vorhergesagt wird (v'; v_r'; a'; ω'), und/oder unter Heranziehung der vom Machine Learning-Modell (30) vorhergesagten Objektbegrenzungsbox (31) ermittelt wird (v''; v_r''; a''; ω'') , • eine Abweichung zwischen dem so erhaltenen Objektparameter (v'; v_r'; a'; ω') für den Zeitpunkt t+k und dem vom Objektdetektor regressierten Objektparameter (v''; v_r''; a''; ω'') für den Zeitpunkt t+k mit einer weiteren Kostenfunktion bewertet wird, und • Parameter (201), die das Verhalten des Objektdetektors(20) charakterisieren, optimiert werden mit dem Ziel, dass bei weiterer Verarbeitung von Frames (11, 12, 13) von Sensordaten durch den Objektdetektor (20) die Bewertung durch diese weitere Kostenfunktion voraussichtlich verbessert wird.
Verfahren (1000) nach einem der vorhergehenden Ansprüche, wobei zusätzlich Bewegungsparameter (41) geschätzt werden unter Heranziehung von Sensordaten (40), welche sich auf eine Vielzahl von Reflexionen von Sensorsignalen an dem jeweiligen Objekt (10) beziehen, mit dem Ziel über eine radiale Geschwindigkeit des Objekts (10) hinausgehende Geschwindigkeitsinformationen zu erhalten, und wobei diese Schätzung der Bewegungsparameter (41) dem Machine Learning-Modell (30) ebenfalls als Eingabe zugeführt wird.
Verfahren (1000) nach einem der vorhergehenden Ansprüche, wobei zusätzliche Informationen zur Eigenbewegung der die Sensordaten liefernden Sensoren (2) • genutzt werden, um eine Eigenbewegungskompensation durchzuführen, und/oder • ebenfalls dem Machine Learning-Modell (30) als Eingaben zugeführt werden.
Verfahren (1000) nach einem der vorhergehenden Ansprüche, wobei • dem trainierten Machine Learning-Modell (30) eine Objektbegrenzungsbox (22) zu einem aktuellen Zeitpunkt sowie eine von diesem aktuellen Zeitpunkt ausgehende Historie von Sensordaten (13, 14, 15) und/oder Objektbegrenzungsboxen (23, 24, 25) zugeführt werden; und • anhand von mit dem Machine Learning-Modell (30) vorhergesagten Objektbegrenzungsboxen (31) für spätere Zeitpunkte eine künftige Bewegung mindestens eines Objekts (10) vorhergesagt wird.
Verfahren (1000) nach Anspruch 10, wobei Sensordaten gewählt werden, die von mindestens einem an oder in einem Fahrzeug (1) mitgeführten Sensor (2) aufgenommen wurden.
Verfahren (1000) nach Anspruch 11, weiterhin umfassend die Schritte: - Erzeugen (700) eines Ansteuersignals in Antwort auf die ermittelte Vorhersage für die künftige Bewegung des mindestens einen Objekts (10), - Ansteuern (800) des Fahrzeugs (1) mit dem Ansteuersignal, um das Fahrzeug (1) zu einer Bremsung, Beschleunigung, Weiterfahrt mit konstanter Geschwindigkeit und/oder einem Ausweichmanöver zu veranlassen.
Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 12 auszuführen.
Maschinenlesbarer Datenträger mit dem Computerprogramm nach Anspruch 12
Ein oder mehrere Computer, ausgerüstet mit dem Computerprogramm nach Anspruch 13 und/oder dem maschinenlesbaren Datenträger nach Anspruch 14.