DE102018216417A1 - Ortsvorhersage für dynamische Objekte - Google Patents

Ortsvorhersage für dynamische Objekte Download PDF

Info

Publication number
DE102018216417A1
DE102018216417A1 DE102018216417.7A DE102018216417A DE102018216417A1 DE 102018216417 A1 DE102018216417 A1 DE 102018216417A1 DE 102018216417 A DE102018216417 A DE 102018216417A DE 102018216417 A1 DE102018216417 A1 DE 102018216417A1
Authority
DE
Germany
Prior art keywords
objects
object list
location
program
dynamic objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018216417.7A
Other languages
English (en)
Inventor
Geza Velkey
Kornel Istvan Kis
Levente Kis
Peter Korosi-Szabo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102018216417.7A priority Critical patent/DE102018216417A1/de
Priority to US16/577,159 priority patent/US11541885B2/en
Priority to CN201910915452.5A priority patent/CN110949380A/zh
Publication of DE102018216417A1 publication Critical patent/DE102018216417A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00272Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Steuerungssystem und ein Verfahren zur Vorhersage eines Orts von dynamischen Objekten, beispielsweise von Fußgängern, die von den Sensoren eines Fahrzeugs erfasst werden können. Das Steuerungssystem (10) weist eine Vielzahl von Sensoren (30) auf und ein Rechensystem (40), das eingerichtet ist, die Objekte (20), welche von der Vielzahl von Sensoren (30) erfasst sind, mittels eines ersten Programms zu einer Objektliste (22) zu kombinieren, wobei jeder Eintrag der Objektliste (22) für jedes der Objekte (20) den Ort, eine Geschwindigkeit und eine freie Strecke umfasst, und die Objektliste (22) einen Zeitstempel enthält; und aus einer vordefinierten Anzahl von Objektlisten (22), mittels eines zweiten Programms, für mindestens einen Teil der dynamischen Objekte (20) eine weitere Objektliste (23) zu bestimmen, wobei die weitere Objektliste (23) einen Zeitstempel für einen zukünftigen Zeitpunkt enthält und mindestens den Ort der dynamischen Objekte (20) umfasst.

Description

  • Die vorliegende Erfindung betrifft ein Steuerungssystem für ein Fahrzeug und ein Verfahren zur Vorhersage eines Orts von dynamischen Objekten, beispielsweise von Fußgängern, die von den Sensoren des Fahrzeugs erfasst werden können.
  • Stand der Technik
  • Die Erfassung der dynamischen Umgebung eines Fahrzeugs ist eine Aufgabe, die gegenwärtig in vielen Situationen nur mit sehr hoher Rechenleistung bewerkstelligt werden kann. Beispielsweise für Fahrzeuge, welche eine hohe Unterstützung des Fahrers anbieten oder zumindest teilweise automatisiert fahrende Fahrzeuge, ist die Vorhersage eines Orts von dynamischen Objekten wichtig, insbesondere um Kollisionen zu vermeiden und/oder vorzubeugen.
  • Offenbarung der Erfindung
  • Ein Aspekt der Erfindung betrifft ein Steuerungssystem für ein Fahrzeug. Ein Fahrzeug kann ein Landfahrzeug, insbesondere ein Personenkraftwagen, Lastwagen, Bus oder ein Spezialfahrzeug sein. Ein Steuerungssystem zur Vorhersage eines Orts von dynamischen Objekten weist eine Vielzahl von Sensoren und ein Rechensystem auf. Die dynamischen Objekte können z.B. Fußgänger, Fahrradfahrer oder andere Verkehrsteilnehmer sein, insbesondere Verkehrsteilnehmer, deren Bewegung von einer linearen oder gleichmäßigen Bewegung stark abweichen kann. Die Sensoren können z.B. eine oder mehrere Kameras, Lidar, Radar oder andere Sensormechanismen verwenden.
  • Das Rechensystem ist eingerichtet, die Objekte, welche von der Vielzahl von Sensoren erfasst sind, mittels eines ersten Programms zu einer Objektliste zu kombinieren. Derartige Programme, welche die Kombination von Objekten, beispielsweise zu einer sog. Weltsicht, durchführen, sind, zumindest in einigen Ausprägungen, mittlerweile als Pakete verfügbar.
  • Die Objekte werden in einer Objektliste dargestellt, wobei jeder Eintrag der Objektliste für jedes der Objekte den Ort, eine Geschwindigkeit und eine freie Strecke umfasst, und die Objektliste einen Zeitstempel enthält. Diese Angaben können beispielsweise in dem Speicher eines Rechensystems erfasst sein; die Angaben entsprechen dabei Angaben in der realen Welt. So können Raumkoordinaten z.B. GPS-Koordinaten entsprechen oder (ggf. normierten) Entfernungen zu einem Fahrzeug, z.B. zu dem Fahrzeug, in oder an welchem die Sensoren angeordnet sind. In einer Ausführungsform ist der Ort als Raumkoordinaten oder Polarkoordinaten dargestellt.
  • Die Geschwindigkeiten sind Vektoren, die in vielen Ausführungsformen in ähnlicher Weise wie die Raumkoordinaten in dem Rechensystem dargestellt werden. Die freie Strecke kann z.B. durch zwei Raumkoordinaten dargestellt sein, beispielsweise als Entfernung zu einem benachbarten statischen und/oder dynamischen Objekt. Die freie Strecke kann Teil einer Umgebungsbeschreibung sein, die in einem Speicher, auf den das Rechensystem zugreifen kann, gespeichert sein kann. Es gibt also eine Sequenz von Objektlisten, von denen jede einen Zeitstempel enthält. In einer Ausführungsform können die Zeitstempel äquidistant sein, in einer anderen Ausführungsform kann die Häufigkeit der Erstellung einer Zeitliste von Umgebungsfaktoren, z.B. von der Anzahl der dynamischen Objekte, abhängig sein.
  • Das Rechensystem ist weiterhin eingerichtet, aus einer vordefinierten Anzahl von Objektlisten, mittels eines zweiten Programms, für mindestens einen Teil der dynamischen Objekte eine weitere Objektliste zu bestimmen, wobei die weitere Objektliste einen Zeitstempel für einen zukünftigen Zeitpunkt enthält und mindestens den Ort der dynamischen Objekte umfasst. Es wird also eine weitere Objektliste oder eine vordefinierte Anzahl von weiteren Objektlisten erzeugt. Dies geschieht auf Basis einer vordefinierten Anzahl von Objektlisten, die in der Vergangenheit erstellt wurden; eine Objektliste kann auch in der Gegenwart erstellt werden. Diese Objektlisten verwendet ein zweites Programm zur Prognose, d.h. zur Erzeugung einer Objektliste, die Attribute der Objekte in der Zukunft bestimmt. Dazu können beispielsweise lineare oder nicht-lineare Prognosemethoden verwendet werden. Durch diese Anordnung wird die Vorhersage eines Orts von dynamischen Objekten, beispielsweise von Fußgängern, die von den Sensoren eines Fahrzeugs erfasst werden können, erheblich verbessert werden, d.h. beschleunigt und/oder präzisiert werden.
  • Ein weiterer Aspekt der Erfindung betrifft ein Verfahren für ein zumindest teilweise automatisiert fahrendes Fahrzeug. Das Verfahren dient zur Vorhersage eines Orts von dynamischen Objekten in der Umgebung des Fahrzeugs. Die dynamischen Objekte können z.B. andere Fahrzeuge, Fußgänger, Fahrradfahrer oder andere Verkehrsteilnehmer sein, insbesondere Verkehrsteilnehmer, deren Bewegung von einer linearen oder gleichmäßigen Bewegung stark abweichen kann.
  • Das Verfahren umfasst die Schritte:
    • - Erfassen der Objekte, mittels einer Vielzahl von Sensoren;
    • - Kombinieren der Objekte, mittels eines ersten Programms, zu einer Objektliste, wobei jeder Eintrag der Objektliste für jedes der Objekte den Ort, eine Geschwindigkeit und eine freie Strecke umfasst, und die Objektliste einen Zeitstempel enthält; und
    • - Bestimmen, aus einer vordefinierten Anzahl von Objektlisten, mittels eines zweiten Programms, für mindestens einen Teil der dynamischen Objekte einer weiteren Objektliste, wobei die weitere Objektliste einen Zeitstempel für einen zukünftigen Zeitpunkt enthält und mindestens den Ort der dynamischen Objekte umfasst.
  • Die Sensoren können z.B. eine oder mehrere Kameras, Lidar, Radar oder andere Sensormechanismen verwenden. Die Sensoren erfassen damit die dynamischen Objekte, beispielsweise mittels eines einzelnen Sensors oder auch mittels einer Kombination von Sensoren, wobei z.B. auch verschiedene Typen von Sensoren kombiniert werden können, wie z.B. Signale von den Kameras mit Signalen von den Radarsensoren. Das erste Programm kombiniert die Objekte, welche von der Vielzahl von Sensoren erfasst sind, zu der Objektliste. Dabei umfasst jeder Eintrag der Objektliste für jedes der Objekte den Ort, eine Geschwindigkeit und eine freie Strecke. Weiterhin enthält die Objektliste einen Zeitstempel. Diese Angaben entsprechen z.B. Angaben in der realen Welt. So können Raumkoordinaten z.B. GPS-Koordinaten entsprechen oder (ggf. normierten) Entfernungen zu einem Fahrzeug, z.B. zu dem Fahrzeug, in oder an welchem die Sensoren angeordnet sind. In einer Ausführungsform ist der Ort als Raumkoordinaten oder Polarkoordinaten dargestellt.
  • So kann einer der Einträge in der Objektliste in der realen Welt einem Fahrrad, insbesondere einem bewegten Fahrrad, entsprechen. Das Fahrrad befindet sich zu einem bestimmten Zeitpunkt an einem bestimmten Ort. Dabei entspricht der bestimmte Zeitpunkt z.B. einem ersten Zeitstempel der Objektliste. Der Ort kann z.B. durch Raumkoordinaten in der Objektliste dargestellt sein. Das Fahrrad weist eine Geschwindigkeit auf; diese kann z.B. durch einen Vektor von Raumkoordinaten in der Objektliste dargestellt sein. Weiterhin weist das Fahrrad eine freie Strecke auf, die beispielsweise als ein Endpunkt dargestellt sein kann. Auf analoge Weise kann beispielsweise auch Ort, Geschwindigkeit und freie Strecke eines weiteren Objekts, z.B. eines Fußgängers, bestimmt werden und in die Objektliste eingetragen werden. Dieser Eintrag kann in diesem Beispiel in derselben Objektliste dargestellt sein und auch den ersten Zeitstempel tragen.
  • Auf Basis dieser Daten der Objektliste und/oder weiterer Objektlisten, die z.B. zu einem früheren Zeitpunkt erstellt wurden und einen anderen Zeitstempel tragen, wird mittels des zweiten Programms für mindestens einen Teil der dynamischen Objekte - in diesem Beispiel etwa für das Fahrrad und den Fußgänger - eine weitere Objektliste bestimmt. Die weitere Objektliste enthält einen Zeitstempel für einen zukünftigen Zeitpunkt und umfasst mindestens den Ort der dynamischen Objekte. Dabei können sich die Objekte z.B. linear oder nicht-linear bewegen. Es kann also auf Basis dieser Objektliste beispielsweise berechnet werden, ob es, zu dem zukünftigen Zeitpunkt, zu einer Kollision des Fahrrads oder des Fußgängers mit dem Fahrzeug kommen könnte. Mit dieser Information kann das Fahrzeug angesteuert werden. In Fällen bei denen eine mögliche Kollision mit dem Fahrzeug berechnet wird, kann das Fahrzeug beispielsweise das Brems- und/oder das Lenksystem beeinflussen, also z.B. von dem Ort der potentiellen Kollision weglenken oder abbremsen.
  • In einer Ausführungsform verwendet das zweite Programm eine sogenannte LSTM-Methodik; diese Abkürzung bezeichnet sog. „Long Short-Term Memory“-Methoden. Dabei handelt es sich um rekurrente neuronale Netze. Diese werden verwendet, um sequentielle Daten, insbesondere zeitlich sequentielle Daten, zu verarbeiten, d.h. in diesem Fall, um die Regeln und die Werte für die weitere Objektliste zu bestimmen, die mindestens den Ort der dynamischen Objekte umfasst. Die LSTM bilden dabei Abstraktionen der Daten, auf deren Basis sie trainiert wurden. Diese werden hier in vorteilhafter Weise angewendet, um die Interaktionen der verschiedenen erfassten Objekte zu modellieren. Damit kann beispielsweise eine nicht-lineare Bewegung erfasst werden. Bei dem obigen Beispiel könnte z.B. eine Situation erkannt werden, bei der das Fahrrad dem Fußgänger ausweicht und dadurch, mittels der Bestimmung der weiteren Objektliste, zu einer potentiellen Kollision kommen könnte, was zu einer Aktion des Fahrzeugs führen könnte.
  • In einer Ausführungsform verwendet das zweite Programm sogenannte „Social LSTM Networks“. Bei dieser Ausprägung werden insbesondere Verhaltensweisen von Menschen in Ansammlungen von Menschen berücksichtigt. Vorteilhafterweise verwenden die Social LSTM Networks das Prinzip der Lokalität, d.h. dass die Objekte mit besonders hoher Wahrscheinlichkeit von den Objekten in deren Umgebung, insbesondere deren unmittelbaren Umgebung, beeinflusst werden. In dem hier aufgeführten Beispiel könnte die Wahrscheinlichkeit, dass das Fahrrad auf eine Bewegung des Fußgängers reagiert, höher sein als eine Reaktion auf ein weiter entferntes Objekt.
  • Im Fall der Verletzung dieser Annahme, d.h. Beeinflussung durch Objekte in deren Umgebung, wird dabei auf ein Backup-Modell zurückgefallen. Social LSTM Networks modellieren dabei jedes der Objekte einzeln. In einer Ausführungsform wird dabei ein Gitter um das Fahrzeug gebildet, und Objekte in demselben Gitterbereich (oder derselben Zelle des Gitters) interagieren. Damit wird ein Art „Kommunikation“ zwischen den Objekten modelliert, z.B. Fußgänger, die einander oder einem Fahrrad ausweichen. Beispielsweise diese Art der „Kommunikation“ zwischen den Objekten wird dabei in vorteilhafter Weise genutzt.
  • Damit kann die Vorhersage eines Orts von dynamischen Objekten deutlich weiter verbessert werden. In einer Ausführungsform werden mit diesen Informationen künstliche neuronale Netze trainiert; denn gegenüber anderen Methodiken, wie z.B. einer regelbasierten Erfassung von möglichen Prognosen von Orten, können Beispiel-basiert die wichtigsten, die häufigsten und/oder die kritischsten Situationen bevorzugt erkannt und so die Prognose und/oder die Reaktionen des Steuerungssystems deutlich verbessert werden.
  • In einer Ausführungsform umfasst jeder Eintrag der Objektliste weiterhin eine Wahrscheinlichkeit. Dies kann die Reaktionsgeschwindigkeit des Fahrzeugs weiter erhöhen, weil dadurch Einträge mit geringerer Wahrscheinlichkeit anders behandelt werden können als Einträge mit höherer Wahrscheinlichkeit. So können Einträge mit höherer Wahrscheinlichkeit z.B. mit größerer Vorhersagetiefe behandelt werden oder in manchen Rechensystemen früher und/oder mit höherer Priorität behandelt werden oder deren Behandlung abgebrochen werden.
  • In einer Ausführungsform ist der Ort, zumindest für einen Teil der Objekte, als bivariate Normalverteilung dargestellt. Wenn die Größe der Objekte bekannt ist, wird in vielen Fällen die exakte Größe in die Objektliste eingetragen. Beispielsweise in Fällen, bei die Größe der Objekte nicht bekannt ist, kann eine bivariate Normalverteilung statt dessen eingetragen sein.
  • In einer Ausführungsform sind Entfernungen, zumindest für einen Teil der Objekte, logarithmisch dargestellt. Dies ist besonders dann vorteilhaft, wenn die dargestellten Entfernungen für die verschiedenen Objekte stark variieren, oder auch, wenn ein Objekt sich weiter entfernt, z.B. bei einer tieferen Prognose. In einer Ausführungsform kann die logarithmische Darstellung abhängig von der Entfernung der Objekte verwendet werden. In manchen Fällen kann bei der logarithmische Darstellung eine geringere Genauigkeit verwendet werden. Dies berücksichtigt insbesondere das Verhalten von Fahrzeugen, die sich in unterschiedlichen Umgebungen mit unterschiedlichen Geschwindigkeiten bewegen.
  • In einer Ausführungsform weisen die Zeitstempel einen Abstand von 10 ms bis 500 ms, insbesondere von 50 ms bis 200 ms, auf. Der Abstand der Zeitstempel ist, unter anderem, abhängig von der Geschwindigkeit des eigenen Fahrzeugs.
  • In einer Ausführungsform stellt die Objektliste einen Tensor dar. Dies hat sich für eine Reihe von Szenarien als eine besonders sinnvolle Methodik für die Darstellung herausgestellt.
  • Ein weiterer Aspekt der Erfindung betrifft ein Programmelement, welches, wenn es auf einem Rechensystem ausgeführt wird, eingerichtet ist, das hier beschriebene Verfahren durchzuführen.
  • Ein weiterer Aspekt der Erfindung betrifft ein computerlesbares Medium, auf dem das genannte Programmelement gespeichert ist.
  • Figurenliste
  • Es zeigt:
    • 1: die schematische Darstellung einer Objektliste gemäß einer Ausführungsform der vorliegenden Erfindung;
    • 2: die schematische Darstellung einer Sequenz von Objektlisten gemäß einer Ausführungsform der vorliegenden Erfindung;
    • 3: die schematische Darstellung eines Verfahrens gemäß einer Ausführungsform der vorliegenden Erfindung zur Vorhersage eines Orts von dynamischen Objekten.
  • 1 zeigt die schematische Darstellung einer Objektliste 22. Dabei sind die einzelnen dynamischen Objekte 20 als kleine Kuben dargestellt und mit axyz bezeichnet. Bei dieser Darstellung sind die x- und y-Achse die Ortskoordinaten der Objekte; die z-Achse stellt die Attribute der Objekte dar. So bezeichnet das rechts unten dargestellte Objekt a651 ein Objekt, das sich an der Position x=6 und y=5 befindet, mit dem ersten Attribut. In dem gezeigten Beispiel ist die Anzahl der Attribute für jedes Objekt gleich; in anderen Ausführungsformen ist aber auch eine variable Anzahl von Attributen möglich. In dem gezeigten Beispiel sind die hell gezeichneten Objekte a111 und a121 erfasste oder identifizierte fremde Objekte, beispielsweise kann a111 einen Fußgänger und a121 eine Radfahrer bezeichnen. Das dunkel gezeichnete Objekt a341 kann das eigene Fahrzeug sein. Jedem der Objekte ist damit, wenn wie in diesem Ausführungsbeispiel Raumkoordinaten verwendet werden, eine x-y-Position zugewiesen. Der Ort kann als bivariate Normalverteilung dargestellt sein. Der Maßstab der x-y-Position kann linear oder, zumindest für einen Teil der Objekte 20, logarithmisch sein. Für jedes der Objekte 20 ist in der Attributliste mindestens eine Geschwindigkeit und eine freie Strecke des Objekts hinterlegt. Die Objektliste 22 enthält weiterhin einen Zeitstempel; dieser ist hier nicht dargestellt, weil er eine Eigenschaft der gesamten Objektliste 22 ist.
  • 2 zeigt die schematische Darstellung einer Sequenz von Objektlisten 22, welche zur Bestimmung einer weiteren Objektliste 23 führt. Dabei ist die weitere Objektliste 23 eine Prediktion aus der Sequenz von Objektlisten 22. Daher enthält die Objektliste 23 einen Zeitstempel für einen zukünftigen Zeitpunkt.
  • In 2 werden drei Ebenen 29 der Vorhersage gezeigt. Jede der Ebenen 29 weist zwei Objektlisten 22 auf, welche Beobachtungen mit erfassten Objekten umfassen und mit Xt bzw. - für den weiteren Schritt - mit Xt+1 bezeichnet sind. In jeder Ebene 29 wird aus den Objektlisten 22 und einem internen Zustand Ht die Ausgabe Ct und die jeweils nächste Objektliste 23 - als Prediktion - bestimmt. Dabei können die Prediktionen der Vergangenheit (d.h. mit einem älteren Zeitstempel) mit erfassten Werten korrigiert werden, bevor sie von einer Ebene 29 in die nächste Ebene 29 übernommen werden. Bei dem gezeigten Beispiel wird dies über drei Ebenen 29 durchgeführt, so dass die aktuelle Objektliste 23 gewissermaßen die „Erfahrungen“ aus drei Schritten der Vergangenheit enthält. Für die Prediktionen wird ein zweites Programm verwendet. Das zweite Programm kann eine LSTM-Methodik, insbesondere eine Social LSTM Networks Methodik, verwenden.
  • 3 zeigt die schematische Darstellung eines Verfahrens 50 zur Vorhersage eines Orts von dynamischen Objekten 20. Die dynamischen Objekte 20 können z.B. Fußgänger, Fahrradfahrer oder andere Verkehrsteilnehmer sein, insbesondere Verkehrsteilnehmer, deren Bewegung von einer linearen oder gleichmäßigen Bewegung stark abweichen kann. In einem Schritt 51 werden die dynamischen Objekte 20 mittels einer Vielzahl von Sensoren 30 erfasst. Die Sensoren 30 können z.B. eine oder mehrere Kameras, Lidar, Radar oder andere Sensormechanismen verwenden.
  • In Schritt 52 werden die Objekte 20, mittels eines ersten Programms, zu einer Objektliste 22 kombiniert. Dabei umfasst jeder Eintrag der Objektliste für jedes der Objekte den Ort, eine Geschwindigkeit und eine freie Strecke, und die Objektliste 22 enthält einen Zeitstempel. Die Zeitstempel werden in der Vergangenheit oder in der Gegenwart erstellt.
  • In Schritt 53 werden aus einer vordefinierten Anzahl von Objektlisten 22, mittels eines zweiten Programms, eine oder mehrere weitere Objektlisten 22 erstellt. Die mittels des zweiten Programms erstellte weitere Objektliste 23 enthält einen Zeitstempel für einen zukünftigen Zeitpunkt und umfasst mindestens den Ort der dynamischen Objekte 20.

Claims (12)

  1. Steuerungssystem (10) zur Vorhersage eines Orts von dynamischen Objekten (20), aufweisend: eine Vielzahl von Sensoren (30) und ein Rechensystem (40), das eingerichtet ist, - die Objekte (20), welche von der Vielzahl von Sensoren (30) erfasst sind, mittels eines ersten Programms zu einer Objektliste (22) zu kombinieren, wobei jeder Eintrag der Objektliste (22) für jedes der Objekte (20) den Ort, eine Geschwindigkeit und eine freie Strecke umfasst, und die Objektliste (22) einen Zeitstempel enthält; und - aus einer vordefinierten Anzahl von Objektlisten (22), mittels eines zweiten Programms, für mindestens einen Teil der dynamischen Objekte (20) eine weitere Objektliste (23) zu bestimmen, wobei die weitere Objektliste (23) einen Zeitstempel für einen zukünftigen Zeitpunkt enthält und mindestens den Ort der dynamischen Objekte (20) umfasst.
  2. Verfahren zur Vorhersage eines Orts von dynamischen Objekten (20), mit den Schritten: - Erfassen der Objekte (20), mittels einer Vielzahl von Sensoren (30); - Kombinieren der Objekte (20), mittels eines ersten Programms, zu einer Objektliste (22), wobei jeder Eintrag der Objektliste (22) für jedes der Objekte (20) den Ort, eine Geschwindigkeit und eine freie Strecke umfasst, und die Objektliste (22) einen Zeitstempel enthält; und - Bestimmen, aus einer vordefinierten Anzahl von Objektlisten (22), mittels eines zweiten Programms, für mindestens einen Teil der dynamischen Objekte (20) einer weiteren Objektliste (23), wobei die weitere Objektliste (23) einen Zeitstempel für einen zukünftigen Zeitpunkt enthält und mindestens den Ort der dynamischen Objekte (20) umfasst.
  3. Verfahren nach Anspruch 2, wobei das zweite Programm eine LSTM-Methodik verwendet.
  4. Verfahren nach Anspruch 2 oder 3, wobei das zweite Programm Social LSTM Networks verwendet.
  5. Verfahren nach einem der Ansprüche 2 bis 4, wobei jeder Eintrag der Objektliste (22) weiterhin eine Wahrscheinlichkeit umfasst.
  6. Verfahren nach einem der Ansprüche 2 bis 5, wobei der Ort, zumindest für einen Teil der Objekte (20), als bivariate Normalverteilung dargestellt ist.
  7. Verfahren nach einem der Ansprüche 2 bis 6, wobei Entfernungen, zumindest für einen Teil der Objekte (20), logarithmisch dargestellt sind.
  8. Verfahren nach einem der Ansprüche 2 bis 7, wobei die Zeitstempel einen Abstand von 10 ms bis 500 ms, insbesondere von 50 ms bis 200 ms, aufweisen.
  9. Verfahren nach einem der Ansprüche 2 bis 8 wobei die Objektliste (22) einen Tensor darstellt.
  10. Programmelement, welches, wenn es auf einem Rechensystem (40) ausgeführt wird, eingerichtet ist, das Verfahren nach einem der Ansprüche 2 bis 9 durchzuführen.
  11. Computerlesbares Medium, auf dem ein Programmelement nach Anspruch 10 gespeichert ist.
  12. Vorrichtung, die dazu eingerichtet ist, ein Verfahren nach einem der Ansprüche 2 bis 9 auszuführen.
DE102018216417.7A 2018-09-26 2018-09-26 Ortsvorhersage für dynamische Objekte Pending DE102018216417A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102018216417.7A DE102018216417A1 (de) 2018-09-26 2018-09-26 Ortsvorhersage für dynamische Objekte
US16/577,159 US11541885B2 (en) 2018-09-26 2019-09-20 Location prediction for dynamic objects
CN201910915452.5A CN110949380A (zh) 2018-09-26 2019-09-26 用于动态对象的位置预测

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018216417.7A DE102018216417A1 (de) 2018-09-26 2018-09-26 Ortsvorhersage für dynamische Objekte

Publications (1)

Publication Number Publication Date
DE102018216417A1 true DE102018216417A1 (de) 2020-03-26

Family

ID=69725488

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018216417.7A Pending DE102018216417A1 (de) 2018-09-26 2018-09-26 Ortsvorhersage für dynamische Objekte

Country Status (3)

Country Link
US (1) US11541885B2 (de)
CN (1) CN110949380A (de)
DE (1) DE102018216417A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7203563B2 (ja) * 2018-10-29 2023-01-13 日立Astemo株式会社 移動体挙動予測装置
US11884304B2 (en) * 2021-09-08 2024-01-30 Ford Global Technologies, Llc System, method, and computer program product for trajectory scoring during an autonomous driving operation implemented with constraint independent margins to actors in the roadway

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011101246A1 (de) * 2011-05-11 2012-11-15 Conti Temic Microelectronic Gmbh Redudante objektdetektion für fahrerassistenzsysteme
DE102014008578A1 (de) * 2014-06-12 2015-12-17 Audi Ag Verfahren zur Ermittlung von Positionsdaten zur Nutzung beim Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Positionsdatenermittlungs- und-verteilssystem
DE102014215124A1 (de) * 2014-08-01 2016-02-04 Bayerische Motoren Werke Aktiengesellschaft Mobileinheit und Verfahren zur Positionsbestimmung eines Umgebungsobjektes einer Mobileinheit
DE102015122824A1 (de) * 2015-01-13 2016-07-14 Gm Global Technology Operations, Llc Bestimmung einer Objekt-zu-Objekt-Position unter Verwenden von Datenfusionstechniken

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101711025B1 (ko) * 2011-04-21 2017-02-28 한국전자통신연구원 우선 관제 대상 선정 장치와 방법 및 대상물 관제 장치
DE102013110615B3 (de) * 2013-09-26 2014-11-27 Sick Ag 3D-Kamera nach dem Stereoskopieprinzip und Verfahren zum Erfassen von Tiefenkarten
DE102015212026A1 (de) * 2015-06-29 2016-12-29 Siemens Aktiengesellschaft Verfahren zum Betreiben eines Netzwerks mit mehreren Knoteneinrichtungen und Netzwerk
US9986404B2 (en) * 2016-02-26 2018-05-29 Rapidsos, Inc. Systems and methods for emergency communications amongst groups of devices based on shared data
US10656245B2 (en) * 2017-09-05 2020-05-19 Valeo Radar Systems, Inc. Automotive radar sensor blockage detection using adaptive overlapping visibility
US11620906B2 (en) * 2017-12-27 2023-04-04 Direct Current Capital LLC Method for accessing supplemental sensor data from other vehicles
CN108564118B (zh) * 2018-03-30 2021-05-11 陕西师范大学 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法
US10579888B2 (en) * 2018-05-15 2020-03-03 GM Global Technology Operations LLC Method and system for improving object detection and object classification
US20200192393A1 (en) * 2018-12-12 2020-06-18 Allstate Insurance Company Self-Modification of an Autonomous Driving System

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011101246A1 (de) * 2011-05-11 2012-11-15 Conti Temic Microelectronic Gmbh Redudante objektdetektion für fahrerassistenzsysteme
DE102014008578A1 (de) * 2014-06-12 2015-12-17 Audi Ag Verfahren zur Ermittlung von Positionsdaten zur Nutzung beim Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Positionsdatenermittlungs- und-verteilssystem
DE102014215124A1 (de) * 2014-08-01 2016-02-04 Bayerische Motoren Werke Aktiengesellschaft Mobileinheit und Verfahren zur Positionsbestimmung eines Umgebungsobjektes einer Mobileinheit
DE102015122824A1 (de) * 2015-01-13 2016-07-14 Gm Global Technology Operations, Llc Bestimmung einer Objekt-zu-Objekt-Position unter Verwenden von Datenfusionstechniken

Also Published As

Publication number Publication date
US20200094823A1 (en) 2020-03-26
CN110949380A (zh) 2020-04-03
US11541885B2 (en) 2023-01-03

Similar Documents

Publication Publication Date Title
DE102016000493B4 (de) Verfahren zum Betrieb eines Fahrzeugsystems und Kraftfahrzeug
DE102015225751A1 (de) Verfahren und Vorrichtung zum Prädizieren einer Bewegung eines Straßenverkehrsteilnehmers in einem Verkehrsraum
DE102017113324A1 (de) Vorrichtung und Verfahren zum Vorhersagen von Zielen der visuellen Aufmerksamkeit
DE102019219241A1 (de) Verfahren zum Erstellen eines Verkehrsteilnehmeralgorithmus zur Computersimulation von Verkehrsteilnehmern, Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt sowie Kraftfahrzeug
DE102020200169B3 (de) Verfahren zur Zusammenführung mehrerer Datensätze für die Erzeugung eines aktuellen Spurmodells einer Fahrbahn und Vorrichtung zur Datenverarbeitung
WO2020094279A1 (de) Prädiktion eines voraussichtlichen fahrverhaltens
DE102022112059B3 (de) Verfahren, System und Computerprogrammprodukt zur Kalibrierung und Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS)
DE102018216417A1 (de) Ortsvorhersage für dynamische Objekte
DE102018209804A1 (de) Verfahren und Vorrichtung zur Vorhersage einer wahrscheinlichen Fahrroute für ein Fahrzeug
DE102020108127A1 (de) Interpretieren von daten einer reinforcement-learning-agent-steuerung
DE102018219760A1 (de) Kollisionsprädiktionssystem
WO2022089800A1 (de) Verfahren zur bereitstellung von informationen über verkehrsteilnehmer
DE102019217533A1 (de) Verfahren zur Abschätzung einer Abdeckung des Raums von Verkehrsszenarien
DE102019216235A1 (de) Verfahren zum Vorhersagen der Bewegung eines Fahrzeugs und zumindest eines weiteren Fahrzeugs
DE102020200876B4 (de) Verfahren zum Verarbeiten von Sensordaten einer Sensorik eines Fahrzeugs
DE102020214203A1 (de) Verfahren zum Bestimmen einer Spurwechselintention eines sich in einer unmittelbaren Umgebung eines Kraftfahrzeugs befindlichen weiteren Kraftfahrzeugs, sowie Assistenzsystem
DE112020006317T5 (de) Computersystem und verfahren zum trainieren eines verkehrsagenten in einer simulationsumgebung
DE102020215885A1 (de) Verfahren und system zur erkennung und mitigation von störungen
DE102006004361B4 (de) Verfahren und System zur Ermittlung der Aufenthaltswahrscheinlichkeit eines Fahrzeuges
DE102022132917A1 (de) Verfahren und System zur Bestimmung der Kritikalität und Kontrollierbarkeit von Szenarien für automatisierte Fahrfunktionen
DE102022132922A1 (de) Verfahren und System zur virtuellen Verifikation von automatisierten Fahrfunktionen
DE102021209680A1 (de) Verfahren zur Verbesserung der Schätzung von Existenzwahrscheinlichkeiten
DE102022116564A1 (de) Verfahren, System und Computerprogrammprodukt zur Bewertung von Testfällen zum Testen und Trainieren eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS)
DE102019213599A1 (de) Verfahren zum Bestimmen einer klassifizierten Schwarmtrajektorie
DE102022208519A1 (de) Computerimplementiertes Verfahren und Computerprogramm zur Bewegungsplanung eines Ego-Fahrsystems in einer Verkehrssituation, computerimplementiertes Verfahren zur Bewegungsplanung eines Ego-Fahrsystems in einer realen Verkehrssituation Steuergerät für ein Ego-Fahrzeug

Legal Events

Date Code Title Description
R163 Identified publications notified