DE102021206014A1 - Bewegungsvorhersage für Verkehrsteilnehmer - Google Patents

Abstract

Verfahren (100) zur Vorhersage der Bewegung mindestens eines verkehrsrelevanten Objekts (1) auf der Basis von Beobachtungen des Umfelds (2) dieses Objekts (1) mit den Schritten:• eine Beobachtung oτ0des Umfelds (2) zu einem Zeitpunkt τ0wird von einem trainierten Encodernetzwerk (3) auf eine Repräsentation zτ0mit verminderter Dimensionalität abgebildet (110);• anhand einer von dem Objekt (1) zum Zeitpunkt τ0vollführten Aktion aτ0und der Repräsentation zτ0wird mit mindestens einem trainierten Vorhersagenetzwerk (4, 5)◯ eine Vorhersage ẑτ1der Repräsentation zτ1, auf die eine künftige Beobachtung oτ1zum Zeitpunkt τ1>τ0vom trainierten Encodernetzwerk (3) voraussichtlich abgebildet wird, und/oder◯ eine Vorhersage âτ1einer Aktion aτ1, die das Objekt (1) zum Zeitpunkt τ1voraussichtlich ausführt, ermittelt (120);• anhand der Vorhersage ẑτ1und/oder âτ1wird eine Vorhersage d̂τ1für den dynamischen Zustand d̂τ1des Objekts (1) zum Zeitpunkt τ1ermittelt (130).

Description

• Die vorliegende Erfindung betrifft die Vorhersage der Bewegung eines Fahrzeugs auf der Basis von Beobachtungen des Umfelds dieses Fahrzeugs.
• Stand der Technik
• Fahrzeuge, die sich zumindest teilweise automatisiert im Straßenverkehr bewegen, werden nicht schlagartig die von Menschen gesteuerten Fahrzeuge verdrängen und auch nicht auf separaten Trassen vom menschlich gesteuerten Verkehr isoliert sein. Vielmehr werden sich diese Fahrzeuge im Mischverkehr mit menschlich gesteuerten Fremdobjekte sicher bewegen müssen, wobei diese Fremdobjekte auch etwa Fußgänger oder Radfahrer als schwächere Verkehrsteilnehmer umfassen. Bei menschlich gesteuerten Fremdobjekten besteht immer eine Unsicherheit dahingehend, welche Bewegungsaktion diese Fremdobjekte als nächstes durchführen. Ein Steuerungssystem für das zumindest teilweise automatisierte Fahren ist also darauf angewiesen, sich das künftige Verhalten von Fremdobjekten zumindest teilweise aus der Beobachtung des bisherigen Verhaltens zu erschließen.
• Aus der DE 10 2018 210 280 A1 ist ein Verfahren zur Vorhersage der Trajektorien von Fremdobjekten im Umfeld eines Ego-Fahrzeugs bekannt. Diese Vorhersage führt über eine Ermittlung, auf welches Nahziel die Bewegung eines jeden der Fremdobjekte hinführt und nach welchen grundlegenden Regeln diese Bewegung abläuft.
• Offenbarung der Erfindung
• Im Rahmen der Erfindung wurde ein Verfahren zur Vorhersage der Bewegung mindestens eines verkehrsrelevanten Objekts auf der Basis von Beobachtungen des Umfelds dieses Objekts entwickelt.
• Unter einem verkehrsrelevanten Objekt wird jedes bewegliche Objekt verstanden, dessen Bewegung es für mindestens einen anderen Verkehrsteilnehmer erforderlich machen kann, sein Verhalten zu ändern. Dies können insbesondere Objekte sein, deren Trajektorie eine geplante oder aktuell verfolgte Trajektorie des anderen Verkehrsteilnehmers, etwa eines Ego-Fahrzeugs, schneiden könnte. Dies kann den anderen Verkehrsteilnehmer beispielsweise dazu veranlassen, seine eigene Trajektorie zu ändern, um einen Zusammenstoß mit dem Objekt zu vermeiden.
• Verkehrsrelevante Objekte können insbesondere beispielsweise Kraftfahrzeuge oder auch unmotorisierte Fahrzeuge, wie etwa Fahrräder oder Seifenkisten, sein. Auch Fußgänger oder Tiere sind verkehrsrelevante Objekte. Ein Objekt muss aber nicht zwangsläufig menschlich, tierisch oder automatisch gesteuert sein, um verkehrsrelevant zu sein. So kann beispielsweise auch eine Mülltonne, die der Wind vor sich hertreibt, ein verkehrsrelevantes Objekt sein.
• Im Rahmen des Verfahrens wird eine Beobachtung o_τ0 des Umfelds des Objekts zu einem Zeitpunkt τ₀ von einem trainierten Encodernetzwerk auf eine Repräsentation z_τ0 mit verminderter Dimensionalität abgebildet. Dabei kann dieser Zeitpunkt τ₀ auch ein Zeitintervall repräsentieren und beispielsweise ein Bezugspunkt dieses Zeitintervalls sein, wie etwa der Anfang, die Mitte oder das Ende. Diese Beobachtung kann beispielsweise mit einem von dem Objekt mitgeführten Sensor aufgenommen werden, aber auch beispielsweise mit einem anderen Sensor, in dessen Erfassungsbereich sich das Objekt befindet. Wichtig ist lediglich, dass eine Bewegung des Objekts sich auf die künftig anfallenden Beobachtungen auswirkt.
• Beobachtungen o können insbesondere beispielsweise Bilder des Umfelds des Objekts umfassen. Diese Bilder können beispielsweise Kamerabilder, Videobilder, Radarbilder, Lidar-Bilder, Wärmebilder und/oder Ultraschallbilder umfassen.
• Anhand einer von dem Objekt zum Zeitpunkt τ₀ vollführten Aktion a_τ0 und der Repräsentation z_τ0 wird mit mindestens einem trainierten Vorhersagenetzwerk
• • eine Vorhersage ẑ_τ1 der Repräsentation z_τ1, auf die eine künftige Beobachtung o_τ1 zum Zeitpunkt τ₁>τ₀ vom trainierten Encodernetzwerk voraussichtlich abgebildet wird, und/oder
• • eine Vorhersage â_τ1 einer Aktion a_τ1, die das Objekt zum Zeitpunkt τ₁ voraussichtlich ausführt,
ermittelt. Eine derartige Aktion a kann beispielsweise eine Beschleunigung, eine Verzögerung, eine Drehung und/oder eine Lenkbewegung des Objekts umfassen.
• Anhand der Vorhersage ẑ_τ1 und/oder â_τ1 wird eine Vorhersage d̂_τ1 für den dynamischen Zustand d̂_τ1 des Objekts zum Zeitpunkt τ₁ ermittelt. Dieser dynamische Zustand d̂_τ1 kann insbesondere beispielsweise die Position x_τ1 des Objekt zum Zeitpunkt τ₁, und/oder die Geschwindigkeit v_τ1 des Objekts zum Zeitpunkt τ₁, und/oder die Orientierung θ_τ1 des Objekts zum Zeitpunkt τ₁, umfassen. Dementsprechend kann die Vorhersage d̂_τ1 insbesondere beispielsweise Vorhersagen x̂_τ1, v̂_τ1 bzw. θ̂_τ1 umfassen. Der dynamische Zustand d̂_τ1 kann alternativ oder auch in Kombination hierzu zusätzlich noch longitudinale und laterale Geschwindigkeit und Beschleunigung oder Pfadkrümmung umfassen. All diese Größen können relevant für nachgelagerte Komponenten sein und daher anhand des aktuellen Zustands d_τ0 und der Aktion â_τ1 (bzw. der Vorhersage a_τ1) mit Hilfe eines Modells abgeleitet werden. Mit dieser Information kann beispielsweise eine Prognose für die Trajektorie des Objekts fortgeschrieben werden.
• Es wurde erkannt, dass das Ermitteln einer Prognose ausgehend von einer Repräsentation z_τ0 die Genauigkeit der Vorhersage verbessert und diese Vorhersage weiterhin robust gegen Störungen in den Beobachtungen, wie beispielsweise Rauschen, macht. Wenn das Encodernetzwerk beispielsweise im Tandem mit einem Decodernetzwerk darauf trainiert wird, dass eine vom Encodernetzwerk zu einer Repräsentation z verarbeitete Beobachtung o nach Verarbeitung dieser Repräsentation z durch das Decodernetzwerk möglichst gut rekonstruiert wird, wird die Information aus der Beobachtung o durch den „Flaschenhals“ der deutlich geringeren Dimensionalität der Repräsentation z gezwängt. Das Encodernetzwerk wird also gezwungen, eine Auswahl dahingehend zu treffen, welche Informationen aus der Beobachtung o in Bezug auf die jeweilige Anwendung besonders wichtig sind. So gehört beispielsweise Rauschen nicht zu der Information, die für die Rekonstruktion der ursprünglichen Beobachtung o zwingend erforderlich ist, und wird daher in der Repräsentation unterdrückt.
• Weiterhin ermöglicht die Aufteilung der Gesamtaufgabe in die Ermittlung der Vorhersagen ẑ_τ1 und/oder â_τ1 einerseits und in die Weiterverarbeitung zu der Vorhersage x̂_τ1, v̂_τ1 bzw. θ̂_τ1 für die Position x̂_τ1, die Geschwindigkeit v_τ1 bzw. die Orientierung θ_τ1 des Objekts zum Zeitpunkt τ₁ andererseits, die durch ein Modell erklärbaren Aspekte der Kinematik des Objekts in die letztgenannte Weiterverarbeitung auszulagern. Beim Training des Encodernetzwerks und des oder der Vorhersagenetzwerke spielen dann nur noch diejenigen Aspekte der Kinematik eine Rolle, die nicht schon anderweitig erklärbar sind. Auf diese Weise wird die Genauigkeit der insgesamt erhaltenen Vorhersagen x̂_τ1, v̂_τ1 bzw. θ̂_τ1 verbessert, und die Ermittlung dieser Vorhersagen wird auch robuster gemacht.
• So kann etwa in einer besonders vorteilhaften Ausgestaltung die Vorhersage d̂_τ1 für den dynamischen Zustand d̂_τ1 des Objekts, also etwa die Vorhersage x̂_τ1, und/oder die Vorhersage v̂_τ1, und/oder die Vorhersage θ̂_τ1,anhand eines vorgegebenen kinematischen Modells des Objekts aus der Vorhersage ẑ_τ1 und/oder â_τ1 ermittelt werden. Auf diese Weise kann jedes bereits vorhandene Vorwissen über das jeweilige Objekt genutzt werden. So haben beispielsweise Fahrzeuge bestimmte minimale Wendekreise, durch die schnelle Richtungsänderungen begrenzt sind.
• Die Situation ist ein Stück weit analog zu den beiden Wegen, auf denen ein 3D-Modell eines gegebenen Objekts für dessen Fertigung mit einem 3D-Drucker erhalten werden kann. Der erste Weg besteht darin, durch Ausmessen bestimmter Formen am Objekt eine Konstruktionsbeschreibung des Objekts zu erhalten und das Objekt anhand dieser Konstruktionsbeschreibung zu fertigen. Dies verspricht eine gute Genauigkeit der Fertigung und erfordert vergleichsweise wenig Rechenzeit. Der zweite Weg besteht darin, eine Geometrie des Objekts, für die keine Konstruktionsbeschreibung verfügbar ist, umlaufend zu fotografieren und die Geometrie mittels Photogrammetrie zu rekonstruieren. Dies erfordert viel Rechenzeit und verspricht eine nicht ganz so genaue Fertigung wie eine Fertigung nach Konstruktionsbeschreibung, funktioniert aber universell mit jedem Objekt. Im Rahmen der Fertigungsaufgabe ist es nun vorteilhaft, diejenigen Anteile des Objekts, für die es eine Konstruktionsbeschreibung gibt, anhand dieser Konstruktionsbeschreibung zu fertigen und nur das Fehlende mit Photogrammetrie zu ergänzen.
• In einer weiteren vorteilhaften Ausgestaltung wird mit einem ersten Vorhersagenetzwerk die Vorhersage ẑ_τ1 ermittelt, und mit einem zweiten Vorhersagenetzwerk wird aus der Vorhersage ẑ_τ1 die Vorhersage â_τ1 ermittelt. Die Fortentwicklung vom Zeitpunkt τ₀ zum Zeitpunkt τ₁ findet dann komplett im Raum der niederdimensionalen Repräsentationen z statt. Erst danach wird das Ergebnis in eine Aktion a übersetzt. Auf diese Weise kann sich jedes der Vorhersagenetzwerke auf seine Aufgabe spezialisieren, was die Genauigkeit der letztendlich erhaltenen Vorhersage â_τ1 weiter verbessert.
• Dabei kann das zweite Vorhersagenetzwerk im Interesse einer weiteren Verbesserung der Genauigkeit optional zusätzlich die Aktion a_τ0 und/oder die Repräsentation z_τ0 zur Ermittlung der Vorhersage â_τ1 heranziehen.
• In einer weiteren vorteilhaften Ausgestaltung wird mit dem oder den Vorhersagenetzwerken aus den Vorhersagen ẑ_τ1 und â_τ1
• • eine Vorhersage ẑ_τ2 der Repräsentation z_τ2, auf die eine künftige Beobachtung o_τ2 zum Zeitpunkt τ₂>τ₁ vom trainierten Encodernetzwerk voraussichtlich abgebildet wird, und/oder
• • eine Vorhersage â_τ2 einer Aktion a_τ2, die das Objekt zum Zeitpunkt τ₂ voraussichtlich ausführt,
ermittelt. Auf diese Weise kann eine Vorhersage über einen beliebig langen Prognosezeitraum in viele Einzelprognosen aufgeteilt werden. Hierdurch wird insgesamt die Prognose über den langen Zeitraum deutlich vereinfacht. Dies ist ein Stück weit damit vergleichbar, dass es einfacher ist, 1 m hoch auf eine Stufe und von dort erneut 1 m hoch auf eine weitere Stufe zu springen, als mit einem einzigen Sprung die 2 m Höhe bis zur zweiten Stufe zu überwinden.
• Wie zuvor erläutert, können beim zumindest teilweise automatisierten Fahren die Vorhersagen d̂_τ1 für den dynamischen Zustand d_τ1, x̂_τ1 für die Position x̂_τ1, v̂_τ1 für die Geschwindigkeit v_τ1 und/oder θ̂_τ1 für die Orientierung θ_τ1 des Objekts zum Zeitpunkt τ₁ insbesondere für die Prüfung der Frage herangezogen werden, ob die Trajektorie des Objekts die Trajektorie eines zu führenden Fahrzeugs möglicherweise schneidet.
• Daher wird in einer besonders vorteilhaften Ausgestaltung aus mindestens einer Vorhersage d_τ1, und/oder x̂_τ1, und/oder v̂_τ1, und/oder θ̂_τ1, ein Ansteuersignal für ein Fahrzeug ermittelt. Dieses Fahrzeug wird mit dem Ansteuersignal angesteuert. Auf diese Weise kann in Situationen, in denen ein Zusammenstoß des Fahrzeugs mit dem Objekt bevorsteht, dieser Zusammenstoß mit einer höheren Wahrscheinlichkeit vermieden werden, indem das Fahrzeug beispielsweise gebremst und/oder auf eine ausweichenden Kurs umgeleitet wird. Zugleich wird in Situationen, in denen objektiv kein Zusammenstoß droht, mit einer geringeren Wahrscheinlichkeit ein Ausweich- oder Bremsmanöver durchgeführt. Derartige grundlose Manöver könnten beispielsweise die Insassen eines automatisiert fahrenden Fahrzeugs stark irritieren und kämen auch beispielsweise für einen menschlichen Fahrer eines nachfolgenden Fahrzeugs völlig überraschend. Dieser Fahrer könnte daher möglicherweise zu spät reagieren und auffahren.
• Die Erfindung stellt auch ein Verfahren zum Trainieren einer Anordnung aus einem Encodernetzwerk und einem oder mehreren Vorhersagenetzwerken für den Einsatz in dem zuvor beschriebenen Verfahren bereit.
• Im Rahmen dieses Verfahrens werden ein Encodernetzwerk sowie ein oder mehrere Vorhersagenetzwerke bereitgestellt. Weiterhin wird eine Zeitreihe von Beobachtungen o des Umfelds des Objekts, dessen Bewegung vorherzusagen ist, bereitgestellt. Die Beobachtungen o werden mit dem trainierten Encodernetzwerk auf Repräsentationen z abgebildet.
• Anhand mindestens einer Repräsentation z_τ0, die sich auf eine Beobachtung o_τ0 des Umfelds des Objekts zu einem Zeitpunkt τ₀ bezieht, werden mit dem zuvor beschriebenen Verfahren nach einem der Ansprüche 1 bis 5 Vorhersagen ẑ_τ1 und â_τ1 ermittelt. Parameter, die das Verhalten des oder der Vorhersagenetzwerke charakterisieren, werden auf das Ziel optimiert, dass
• • die Vorhersage ẑ_τ1 möglichst gut mit einer Repräsentation ẑ_τ1 übereinstimmt, auf die das Encodernetzwerk eine aus der Zeitreihe bezogene Beobachtung o_τ1 zum Zeitpunkt τ₁>τ₀ abbildet; und/oder
• • die Vorhersage â_τ1 möglichst gut mit einer tatsächlich vom Objekt zum Zeitpunkt τ₁ ausgeführten Aktion â_τ1 übereinstimmt.
• Auf diese Weise können das oder die Vorhersagenetzwerke „selbst-überwacht“ trainiert werden. Das heißt, das Training muss nur auf Informationen zurückgreifen, die sich aus der Beobachtung des Objekts selbst ergeben. Es ist kein „Labeln“ dieser Beobachtungen mit Soll-Vorhersagen nötig.
• Beide Optimierungsziele können beispielsweise je einen Term zu einer Kostenfunktion L („Loss-Funktion“) für die Optimierung beisteuern: $$L=\Vert {\widehat{z}}_{\tau 1}-z_{\tau 1}\Vert +\Vert {\widehat{a}}_{\tau 1}-{\widehat{a}}_{\tau 1}\Vert .$$

  
• Die vom Objekt zum Zeitpunkt τ₁ ausgeführte Aktion â_τ1 muss aber nicht unbedingt aus der Beobachtung des Objekts selbst bezogen werden. Wenn eine Soll-Aktion $a_{\tau 1}^{*}$

  

  zur Verfügung steht, die das Objekt zum Zeitpunkt τ₁ ausführen soll, kann diese an Stelle von â_τ1 eingesetzt werden.
• Der Aspekt der Selbstüberwachung kann in einer weiteren vorteilhaften Ausgestaltung noch weiter gestärkt werden. In dieser Ausgestaltung wird zusätzlich aus Repräsentationen ẑ_τ1 und z_τ0 eine Rekonstruktion â_τ0 der Aktion a_τ0, die das Objekt zum früheren Zeitpunkt τ₀ ausgeführt hat, ermittelt. Die Parameter, die das Verhalten des oder der Vorhersagenetzwerke charakterisieren, werden dann zusätzlich auf das Ziel optimiert, dass die Rekonstruktion â_τ0 möglichst gut mit der Aktion a_τ0 übereinstimmt. Hierzu kann beispielsweise die obige Loss-Funktion erweitert werden: $$L=\Vert {\widehat{z}}_{\tau 1}-z_{\tau 1}\Vert +\Vert {\widehat{a}}_{\tau 1}-{\widehat{a}}_{\tau 1}\Vert +\Vert {\widehat{a}}_{\tau 0}-a_{\tau 0}\Vert .$$

  
• Die Rekonstruktion â_τ0 kann insbesondere beispielsweise mit einem trainierbaren Rekonstruktionsnetzwerk ermittelt werden. Die Parameter, die dieses Rekonstruktionsnetzwerk charakterisieren, können ebenfalls auf das Ziel optimiert werden, dass die Rekonstruktion â_τ0 möglichst gut mit der Aktion a_τ0 übereinstimmt. Die Rekonstruktion â_τ0 ist quasi eine „Vorhersage“ der Vergangenheit auf der Basis der bis zur Gegenwart aufgelaufenen Beobachtungen o.
• Sollten für die Vorhersagen d_τ1, x̂_τ1, v_τ1 bzw. θ̂_τ1 zugehörige Soll-Vorhersagen („ground truth“) $d_{\tau 1}^{*},x_{\tau 1}^{*},v_{\tau 1}^{*}$

  

  bzw. ${\theta }_{\tau 1}^{*}$

  

  vorliegen, kann auch eine Abweichung $\Vert {\widehat{d}}_{\tau 1}-d_{\tau 1}^{*}\Vert ,+\Vert {\widehat{x}}_{\tau 1}-{\widehat{x}}_{\tau 1}\Vert +\Vert {\widehat{v}}_{\tau 1}-{\widehat{v}}_{\tau 1}\Vert \text{ bwz}\text{. }\Vert {\widehat{\theta }}_{\tau 1}-{\theta }_{\tau 1}^{*}\Vert$

  

  in die Loss-Funktion L aufgenommen werden. Das heißt, dass die Parameter, die das Verhalten des oder der Vorhersagenetzwerke charakterisieren, zusätzlich auf das Ziel optimiert werden, die jeweiligen Abweichungen von den Soll-Vorhersagen $x_{\tau 1}^{*},v_{\tau 1}^{*}$

  

  bzw. ${\theta }_{\tau 1}^{*}$

  

  zu minimieren. Die Soll-Vorhersagen $x_{\tau 1}^{*},v_{\tau 1}^{*}\text{ bwz}\text{. }{\theta }_{\tau 1}^{*}$

  

  können beispielsweise durch Messung erhalten werden. Die Abweichung kann beispielsweise mit dem Hu ber-Abstand $$\Vert {\widehat{x}}_{\tau 1}-x_{\tau 1}^{*}\Vert =:\Vert \Delta x_{\tau 1}\Vert =\{\begin{array}{cc}\frac{1}{2}\Delta x_{\tau 1}^2,& \left|\Delta x_{\tau 1}\right|<h,\\ h\left(\left|\Delta x_{\tau 1}\right|\right)-\frac{1}{2}h& \text{sonst}\end{array}$$

  

  ermittelt werden, der bei h=1,0 abschneidet. Der Huber-Abstand beinhaltet vorhergesagte Positionen x̂_τ1, die mit dem vollständig differenzierbaren kinematischen Modell ermittelt wurden. Daher ist die Loss-Funktion zumindest in Bezug auf diesen Huber-Abstand differenzierbar, so dass Gradienten gebildet und durch das oder die Vorhersagenetzwerke zurückpropagiert werden können. Der Huber-Abstand ist nur ein Beispiel. Alternativ oder auch in Kombination hierzu können beliebige andere Normen für die Abweichung, wie etwa ein L1-Loss oder ein L2-Loss, verwendet werden.
• Das Encodernetzwerk kann schon im fertig trainierten Zustand bezogen werden. Es kann jedoch im Rahmen des Trainingsverfahrens ebenfalls trainiert oder nachtrainiert werden. Dieses Training kann insbesondere auf die gleichen Ziele gerichtet sein wie das Training der Vorhersagenetzwerke. Beispielsweise kann das Encodernetzwerk gemeinsam mit den Vorhersagenetzwerken trainiert werden. Somit werden in einer besonders vorteilhaften Ausgestaltung gemeinsam mit den Parametern, die das Verhalten der Vorhersagenetzwerke charakterisieren, auch Parameter, die das Verhalten des Encodernetzwerks charakterisieren, optimiert.
• Das Encodernetzwerk kann aber auch beispielsweise in einer Encoder-Decoder-Anordnung mit einem Decodernetzwerk trainiert werden. Hierzu werden in einer weiteren vorteilhaften Ausgestaltung ein zu trainierendes Encodernetzwerk und ein zu trainierendes Decodernetzwerk bereitgestellt, wobei das Decodernetzwerk dazu ausgebildet ist, Repräsentationen z auf Beobachtungen o abzubilden. Trainings-Beobachtungen o# werden mit dem Encodernetzwerk zu Repräsentationen z# verarbeitet.
• Aus den Repräsentationen z# werden mit dem Decodernetzwerk Beobachtungen o## rekonstruiert. Parameter, die das Verhalten des Encodernetzwerks und des Decodernetzwerks charakterisieren, werden auf das Ziel optimiert, dass die rekonstruierten Beobachtungen o## möglichst gut mit den Trainings-Beobachtungen o# übereinstimmen.
• Die Verfahren können insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, das beschriebenen Verfahren zum Trainieren des neuronalen Netzwerks auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.
• Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
• Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
• Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
• Ausführungsbeispiele
• Es zeigt:
• 1 Ausführungsbeispiel des Verfahrens 100 zur Vorhersage der Bewegung eines verkehrsrelevanten Objekts 1;
• 2 Ausführungsbeispiel des Verfahrens 200 zum Trainieren der Anordnung aus Encodernetzwerk 3 sowie Vorhersagenetzwerken 4, 5.
• 1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100 zur Vorhersage der Bewegung eines verkehrsrelevanten Objekts 1.
• In Schritt 110 wird eine Beobachtung o_τ0 des Umfelds 2 des Objekts 1 zu einem Zeitpunkt τ₀ von einem trainierten Encodernetzwerk 3 auf eine Repräsentation z_τ0 mit verminderter Dimensionalität abgebildet.
• In Schritt 120 wird anhand einer von dem Objekt 1 zum Zeitpunkt τ₀ vollführten Aktion a_τ0 und der Repräsentation z_τ0 mit mindestens einem trainierten Vorhersagenetzwerk 4, 5
• • eine Vorhersage ẑ_τ1 der Repräsentation z_τ1, auf die eine künftige Beobachtung o_τ1 zum Zeitpunkt τ₁>τ₀ vom trainierten Encodernetzwerk 3 voraussichtlich abgebildet wird, und/oder
• • eine Vorhersage â_τ1 einer Aktion a_τ1, die das Objekt (1) zum Zeitpunkt τ₁ voraussichtlich ausführt,
ermittelt.
• Hierbei kann gemäß Block 121 mit einem ersten Vorhersagenetzwerk 3 die Vorhersage ẑ_τ1 und gemäß Block 122 mit einem zweiten Vorhersagenetzwerk 4 aus der Vorhersage ẑ_τ1 die Vorhersage â_τ1 ermittelt werden. Gemäß Block 122a kann das zweite Vorhersagenetzwerk zusätzlich die Aktion a_τ0 und/oder die Repräsentation z_τ0 zur Ermittlung der Vorhersage â_τ1 heranziehen.
• In Schritt 130 wird anhand der Vorhersage ẑ_τ1 und/oder â_τ1 wird eine Vorhersage d̂_τ1 für den dynamischen Zustand d̂_τ1 des Objekts 1 zum Zeitpunkt τ₁ ermittelt. Diese Vorhersage d̂_τ1 kann insbesondere beispielsweise eine Vorhersage x̂_τ1 für die Position x_τ1 des Objekts 1 zum Zeitpunkt τ₁, und/oder eine Vorhersage v̂_τ1 für die Geschwindigkeit v_τ1 des Objekts 1 zum Zeitpunkt τ₁, und/oder eine Vorhersage θ̂_τ1 für die Orientierung θ_τ1 des Objekts 1 zum Zeitpunkt τ₁, umfassen. Diese Vorhersagen können gemäß Block 131 anhand eines vorgegebenen kinematischen Modells des Objekts 1 aus der Vorhersage ẑ_τ1 und/oder â_τ1 ermittelt werden.
• In Schritt 140 kann zusätzlich aus den Vorhersagen ẑ_τ1 und â_τ1
• • eine Vorhersage ẑ_τ2 der Repräsentation z_τ2, auf die eine künftige Beobachtung o_τ2 zum Zeitpunkt τ₂>τ₁ vom trainierten Encodernetzwerk voraussichtlich abgebildet wird, und/oder
• • eine Vorhersage â_τ2 einer Aktion a_τ2, die das Objekt 1 zum Zeitpunkt τ₂ voraussichtlich ausführt,
ermittelt werden. Auch diese Vorhersagen ẑ_τ2 und/oder â_τ2 können in Schritt 130 zur Ermittlung der Vorhersagen d_τ1, x̂_τ1, v̂_τ1 und/oder θ̂_τ1 herangezogen werden.
• In Schritt 150 wird aus mindestens einer Vorhersage d_τ1, x̂_τ1, und/oder v̂_τ1, und/oder θ̂_τ1, ein Ansteuersignal 150a für ein Fahrzeug 50 ermittelt. In Schritt 160 wird dieses Fahrzeug 50 mit dem Ansteuersignal 150a angesteuert.
• 2 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 200 zum Trainieren der Anordnung aus Encodernetzwerk 3 sowie Vorhersagenetzwerken 4, 5.
• In Schritt 210 werden ein Encodernetzwerk 3 sowie ein oder mehrere zu trainierende Vorhersagenetzwerke 4, 5 bereitgestellt.
• Innerhalb des Kastens 210 ist beispielhaft dargestellt, wie im Einzelnen das Encodernetzwerk 3 in einem trainierten oder zumindest vortrainierten Zustand beschafft werden kann.
• Gemäß Block 211 können ein zu trainierendes Encodernetzwerk 3 und ein zu trainierendes Decodernetzwerk 7 bereitgestellt werden. Hierbei ist das Decodernetzwerk 7 dazu ausgebildet, Repräsentationen z auf Beobachtungen o abzubilden.
• Trainings-Beobachtungen o# können gemäß Block 212 mit dem Encodernetzwerk 3 zu Repräsentationen z# verarbeitet werden. Aus diesen Repräsentationen z# können dann gemäß Block 213 Beobachtungen o## rekonstruiert werden.
• Gemäß Block 214 können Parameter 3a, 7a, die das Verhalten des Encodernetzwerks 3 und des Decodernetzwerks 7 charakterisieren, auf das Ziel optimiert werden, dass die rekonstruierten Beobachtungen o## möglichst gut mit den Trainings-Beobachtungen o# übereinstimmen.
• In Schritt 220 wird eine Zeitreihe von Beobachtungen o des Umfelds 2 des Objekts 1 bereitgestellt.
• In Schritt 230 werden die Beobachtungen o mit dem trainierten Encodernetzwerk 3 auf Repräsentationen z abgebildet.
• In Schritt 240 werden anhand mindestens einer Repräsentation z_τ0, die sich auf eine Beobachtung o_τ0 des Umfelds 2 des Objekts 1 zu einem Zeitpunkt τ₀ bezieht, mit dem zuvor beschriebenen Verfahren 100 Vorhersagen ẑ_τ1 und â_τ1 ermittelt.
• In Schritt 250 werden Parameter 4a, 5a, die das Verhalten des oder der Vorhersagenetzwerke 4, 5 charakterisieren, auf das Ziel optimiert, dass
• • die Vorhersage ẑ_τ1 möglichst gut mit einer Repräsentation ẑ_τ1 übereinstimmt, auf die das Encodernetzwerk 3 eine aus der Zeitreihe bezogene Beobachtung o_τ1 zum Zeitpunkt τ₁>τ₀ abbildet; und/oder
• • die Vorhersage â_τ1 möglichst gut mit einer tatsächlich vom Objekt 1 zum Zeitpunkt τ₁ ausgeführten Aktion â_τ1 übereinstimmt.
• Der fertig trainierte Zustand der Parameter 4a, 5a ist mit den Bezugszeichen 4a*, 5a* bezeichnet.
• Gemäß Block 241 kann aus Repräsentationen ẑ_τ1 und z_τ0 eine Rekonstruktion â_τ0 der Aktion a_τ0, die das Objekt 1 zum früheren Zeitpunkt τ₀ ausgeführt hat, ermittelt werden. Die Parameter 4a, 5a, die das Verhalten des oder der Vorhersagenetzwerke 4, 5 charakterisieren, können dann gemäß Block 251 zusätzlich auf das Ziel optimiert werden, dass die Rekonstruktion â_τ0 möglichst gut mit der Aktion a_τ0 übereinstimmt.
• Hierbei kann insbesondere beispielsweise gemäß Block 241a die Rekonstruktion â_τ0 mit einem trainierbaren Rekonstruktionsnetzwerk 6 ermittelt werden. Die Parameter, die das Verhalten des Rekonstruktionsnetzwerks 6 charakterisieren, können dann gemäß Block 241b ebenfalls auf das Ziel optimiert werden, dass die Rekonstruktion â_τ0 möglichst gut mit der Aktion a_τ0 übereinstimmt.
• Gemäß Block 252 können weiterhin die Parameter, die das Verhalten des oder der Vorhersagenetzwerke 4, 5 charakterisieren, zusätzlich auf das Ziel optimiert werden, dass Abweichungen $\Vert {\widehat{d}}_{\tau 1}-d_{\tau 1}^{*}\Vert ,\Vert {\widehat{x}}_{\tau 1}-x_{\tau 1}^{*}\Vert ,\Vert {\widehat{v}}_{\tau 1}-v_{\tau 1}^{*}\Vert$

  

  bzw. $\Vert {\widehat{\theta }}_{\tau 1}-{\theta }_{\tau 1}^{*}\Vert$

  

  der Vorhersagen d_T1, x_T1, v̂_τ1 bzw. θ̂_τ1 von zugehörigen Soll-Vorhersagen $d_{\tau 1}^{*},x_{\tau 1}^{*},v_{\tau 1}^{*}\text{ bwz}\text{. }{\theta }_{\tau 1}^{*}$

  

  minimiert werden. Die Soll-Vorhersagen können beispielsweise aus Messungen der Größen d_τ1, x̂_τ1, v_τ1 bzw. θ_τ1 erhalten werden.
• Gemäß Block 253 können gemeinsam mit den Parametern 4a, 5a, die das Verhalten der Vorhersagenetzwerke 4, 5 charakterisieren, auch Parameter 3a, die das Verhalten des Encodernetzwerks 3 charakterisieren, optimiert werden.
• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• DE 102018210280 A1 [0003]

Claims (18)

1. Verfahren (100) zur Vorhersage der Bewegung mindestens eines verkehrsrelevanten Objekts (1) auf der Basis von Beobachtungen des Umfelds (2) dieses Objekts (1) mit den Schritten: • eine Beobachtung o_τ0 des Umfelds (2) zu einem Zeitpunkt τ₀ wird von einem trainierten Encodernetzwerk (3) auf eine Repräsentation z_τ0 mit verminderter Dimensionalität abgebildet (110); • anhand einer von dem Objekt (1) zum Zeitpunkt τ₀ vollführten Aktion a_τ0 und der Repräsentation z_τ0 wird mit mindestens einem trainierten Vorhersagenetzwerk (4, 5) o eine Vorhersage ẑ_τ1 der Repräsentation z_τ1, auf die eine künftige Beobachtung o_τ1 zum Zeitpunkt τ₁>τ₀ vom trainierten Encodernetzwerk (3) voraussichtlich abgebildet wird, und/oder o eine Vorhersage â_τ1 einer Aktion a_τ1, die das Objekt (1) zum Zeitpunkt τ₁ voraussichtlich ausführt, ermittelt (120); • anhand der Vorhersage ẑ_τ1 und/oder â_τ1 wird eine Vorhersage d̂_τ1 für den dynamischen Zustand d̂_τ1 des Objekts (1) zum Zeitpunkt τ₁ ermittelt (130).
2. Verfahren (100) nach Anspruch 1, wobei der dynamische Zustand d̂_τ1 des Objekts (1) die Position x_τ1 des Objekt zum Zeitpunkt τ₁, und/oder die Geschwindigkeit v_τ1 des Objekts zum Zeitpunkt τ₁, und/oder die Orientierung θ_τ1 des Objekts zum Zeitpunkt τ₁, umfasst.
3. Verfahren (100) nach einem der Ansprüche 1 bis 2, wobei mit einem ersten Vorhersagenetzwerk (3) die Vorhersage ẑ_τ1 ermittelt wird (121) und mit einem zweiten Vorhersagenetzwerk (4) aus der Vorhersage ẑ_τ1 die Vorhersage â_τ1 ermittelt wird (122).
4. Verfahren (100) nach Anspruch 3, wobei das zweite Vorhersagenetzwerk zusätzlich die Aktion a_τ0 und/oder die Repräsentation z_τ0 zur Ermittlung der Vorhersage â_τ1 heranzieht (122a).
5. Verfahren (100) nach einem der Ansprüche 1 bis 4, wobei mit dem oder den Vorhersagenetzwerken (4, 5) aus den Vorhersagen ẑ_τ1 und â_τ1 • eine Vorhersage ẑ_τ2 der Repräsentation z_τ2, auf die eine künftige Beobachtung o_τ2 zum Zeitpunkt τ₂>τ₁ vom trainierten Encodernetzwerk voraussichtlich abgebildet wird, und/oder • eine Vorhersage â_τ2 einer Aktion a_τ2, die das Objekt (1) zum Zeitpunkt τ₂ voraussichtlich ausführt, ermittelt wird (140).
6. Verfahren (100) nach einem der Ansprüche 1 bis 5, wobei die Vorhersage d_τ1, und/oder die Vorhersage x̂_τ1, und/oder die Vorhersage v̂_τ1, und/oder die Vorhersage θ̂_τ1, anhand eines vorgegebenen kinematischen Modells des Objekts (1) aus der Vorhersage ẑ_τ1 und/oder â_τ1 ermittelt wird (131).
7. Verfahren (100) nach einem der Ansprüche 1 bis 6, wobei zusätzlich • aus mindestens einer Vorhersage d_τ1, und/oder x̂_τ1, und/oder v̂_τ1, und/oder θ̂_τ1, ein Ansteuersignal (150a) für ein Fahrzeug (50) ermittelt wird (150) und • dieses Fahrzeug (50) mit dem Ansteuersignal (150a) angesteuert wird (160).
8. Verfahren (200) zum Trainieren einer Anordnung aus einem Encodernetzwerk (3) und einem oder mehreren Vorhersagenetzwerken (4, 5) für den Einsatz in dem Verfahren nach einem der Ansprüche 1 bis 7 mit den Schritten: • es werden ein Encodernetzwerk (3) sowie ein oder mehrere Vorhersagenetzwerke (4, 5) bereitgestellt (210); • es wird eine Zeitreihe von Beobachtungen o des Umfelds (2) des Objekts (1) bereitgestellt (220); • die Beobachtungen o werden mit dem trainierten Encodernetzwerk (3) auf Repräsentationen z abgebildet (230); • anhand mindestens einer Repräsentation z_τ0, die sich auf eine Beobachtung o_τ0 des Umfelds (2) des Objekts (1) zu einem Zeitpunkt τ₀ bezieht, werden mit dem Verfahren (100) nach einem der Ansprüche 1 bis 5 Vorhersagen ẑ_τ1 und â_τ1 ermittelt (240); • Parameter (4a, 5a), die das Verhalten des oder der Vorhersagenetzwerke (4, 5) charakterisieren, werden auf das Ziel optimiert (250), dass o die Vorhersage ẑ_τ1 möglichst gut mit einer Repräsentation ẑ_τ1 übereinstimmt, auf die das Encodernetzwerk (3) eine aus der Zeitreihe bezogene Beobachtung Beobachtung o_τ1 zum Zeitpunkt τ₁>τ₀ abbildet; und/oder o die Vorhersage â_τ1 möglichst gut mit einer tatsächlich vom Objekt (1) zum Zeitpunkt τ₁ ausgeführten Aktion â_τ1 übereinstimmt.
9. Verfahren (200) nach Anspruch 8, wobei zusätzlich • aus Repräsentationen ẑ_τ1 und z_τ0 eine Rekonstruktion â_τ0 der Aktion a_τ0, die das Objekt (1) zum früheren Zeitpunkt τ₀ ausgeführt hat, ermittelt wird (241), und • die Parameter (4a, 5a), die das Verhalten des oder der Vorhersagenetzwerke (4, 5) charakterisieren, zusätzlich auf das Ziel optimiert werden (251), dass die Rekonstruktion â_τ0 möglichst gut mit der Aktion a_τ0 übereinstimmt.
10. Verfahren (200) nach Anspruch 9, wobei die Rekonstruktion â_τ0 mit einem trainierbaren Rekonstruktionsnetzwerk (6) ermittelt wird (241a) und wobei die Parameter, die das Verhalten des Rekonstruktionsnetzwerks (6) charakterisieren, ebenfalls auf das Ziel optimiert werden (241b), dass die Rekonstruktion â_τ0 möglichst gut mit der Aktion a_τ0 übereinstimmt.
11. Verfahren (200) nach einem der Ansprüche 8 bis 10, wobei die Parameter (4a, 5a), die das Verhalten des oder der Vorhersagenetzwerke (4, 5) charakterisieren, zusätzlich auf das Ziel optimiert werden (252), dass Abweichungen $\Vert {\widehat{d}}_{\tau 1}-d_{\tau 1}^{*}\Vert ,\Vert {\widehat{x}}_{\tau 1}-x_{\tau 1}^{*}\Vert ,\Vert {\widehat{v}}_{\tau 1}-v_{\tau 1}^{*}\Vert \text{ bwz}\text{.}\Vert {\widehat{\theta }}_{\tau 1}-{\theta }_{\tau 1}^{*}\Vert$

    

    der Vorhersagen d_τ1, x̂_τ1, v̂_τ1 bzw. θ̂_τ1 von zugehörigen Soll-Vorhersagen $$

    

    $d_{\tau 1}^{*},x_{\tau 1}^{*},v_{\tau 1}^{*}\text{ bwz}\text{. }{\theta }_{\tau 1}^{*}$

    

    minimiert werden.
12. Verfahren (200) nach einem der Ansprüche 8 bis 11, wobei gemeinsam mit den Parametern (4a, 5a), die das Verhalten der Vorhersagenetzwerke (4, 5) charakterisieren, auch Parameter (3a), die das Verhalten des Encodernetzwerks (3) charakterisieren, optimiert werden (253).
13. Verfahren (200) nach einem der Ansprüche 8 bis 12, wobei das Bereitstellen (210) des Encodernetzwerks (3) beinhaltet, • ein zu trainierendes Encodernetzwerk (3) und ein zu trainierendes Decodernetzwerk (7) bereitzustellen (211), wobei das Decodernetzwerk (7) dazu ausgebildet ist, Repräsentationen z auf Beobachtungen o abzubilden, • Trainings-Beobachtungen o# mit dem Encodernetzwerk (3) zu Repräsentationen z# zu verarbeiten (212), • aus den Repräsentationen z# mit dem Decodernetzwerk (7) Beobachtungen o## zu rekonstruieren (213) und • Parameter (3a, 7a), die das Verhalten des Encodernetzwerks (3) und des Decodernetzwerks (7) charakterisieren, auf das Ziel zu optimieren (214), dass die rekonstruierten Beobachtungen o## möglichst gut mit den Trainings-Beobachtungen o# übereinstimmen.
14. Verfahren (100, 200) nach einem der Ansprüche 1 bis 13, wobei die Beobachtungen o Bilder des Umfelds des Objekts umfassen.
15. Verfahren (100, 200) nach einem der Ansprüche 1 bis 14, wobei die Aktionen a Beschleunigungen, Verzögerungen, Drehungen und/oder Lenkbewegungen des Objekts (1) umfassen.
16. Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, ein Verfahren (100, 200) nach einem der Ansprüche 1 bis 15 auszuführen.
17. Maschinenlesbarer Datenträger und/oder Downloadprodukt mit dem Computerprogramm nach Anspruch 16.
18. Ein oder mehrere Computer mit dem Computerprogramm nach Anspruch 16, und/oder mit dem maschinenlesbaren Datenträger und/oder Downloadprodukt nach Anspruch 17.

Images