DE102018216417A1 - Ortsvorhersage für dynamische Objekte - Google Patents
Ortsvorhersage für dynamische Objekte Download PDFInfo
- Publication number
- DE102018216417A1 DE102018216417A1 DE102018216417.7A DE102018216417A DE102018216417A1 DE 102018216417 A1 DE102018216417 A1 DE 102018216417A1 DE 102018216417 A DE102018216417 A DE 102018216417A DE 102018216417 A1 DE102018216417 A1 DE 102018216417A1
- Authority
- DE
- Germany
- Prior art keywords
- objects
- object list
- location
- program
- dynamic objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000007246 mechanism Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 240000004759 Inga spectabilis Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013277 forecasting method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
- B60W60/00272—Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
- B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Medical Informatics (AREA)
- Traffic Control Systems (AREA)
Abstract
Die vorliegende Erfindung betrifft ein Steuerungssystem und ein Verfahren zur Vorhersage eines Orts von dynamischen Objekten, beispielsweise von Fußgängern, die von den Sensoren eines Fahrzeugs erfasst werden können. Das Steuerungssystem (10) weist eine Vielzahl von Sensoren (30) auf und ein Rechensystem (40), das eingerichtet ist, die Objekte (20), welche von der Vielzahl von Sensoren (30) erfasst sind, mittels eines ersten Programms zu einer Objektliste (22) zu kombinieren, wobei jeder Eintrag der Objektliste (22) für jedes der Objekte (20) den Ort, eine Geschwindigkeit und eine freie Strecke umfasst, und die Objektliste (22) einen Zeitstempel enthält; und aus einer vordefinierten Anzahl von Objektlisten (22), mittels eines zweiten Programms, für mindestens einen Teil der dynamischen Objekte (20) eine weitere Objektliste (23) zu bestimmen, wobei die weitere Objektliste (23) einen Zeitstempel für einen zukünftigen Zeitpunkt enthält und mindestens den Ort der dynamischen Objekte (20) umfasst.
Description
- Die vorliegende Erfindung betrifft ein Steuerungssystem für ein Fahrzeug und ein Verfahren zur Vorhersage eines Orts von dynamischen Objekten, beispielsweise von Fußgängern, die von den Sensoren des Fahrzeugs erfasst werden können.
- Stand der Technik
- Die Erfassung der dynamischen Umgebung eines Fahrzeugs ist eine Aufgabe, die gegenwärtig in vielen Situationen nur mit sehr hoher Rechenleistung bewerkstelligt werden kann. Beispielsweise für Fahrzeuge, welche eine hohe Unterstützung des Fahrers anbieten oder zumindest teilweise automatisiert fahrende Fahrzeuge, ist die Vorhersage eines Orts von dynamischen Objekten wichtig, insbesondere um Kollisionen zu vermeiden und/oder vorzubeugen.
- Offenbarung der Erfindung
- Ein Aspekt der Erfindung betrifft ein Steuerungssystem für ein Fahrzeug. Ein Fahrzeug kann ein Landfahrzeug, insbesondere ein Personenkraftwagen, Lastwagen, Bus oder ein Spezialfahrzeug sein. Ein Steuerungssystem zur Vorhersage eines Orts von dynamischen Objekten weist eine Vielzahl von Sensoren und ein Rechensystem auf. Die dynamischen Objekte können z.B. Fußgänger, Fahrradfahrer oder andere Verkehrsteilnehmer sein, insbesondere Verkehrsteilnehmer, deren Bewegung von einer linearen oder gleichmäßigen Bewegung stark abweichen kann. Die Sensoren können z.B. eine oder mehrere Kameras, Lidar, Radar oder andere Sensormechanismen verwenden.
- Das Rechensystem ist eingerichtet, die Objekte, welche von der Vielzahl von Sensoren erfasst sind, mittels eines ersten Programms zu einer Objektliste zu kombinieren. Derartige Programme, welche die Kombination von Objekten, beispielsweise zu einer sog. Weltsicht, durchführen, sind, zumindest in einigen Ausprägungen, mittlerweile als Pakete verfügbar.
- Die Objekte werden in einer Objektliste dargestellt, wobei jeder Eintrag der Objektliste für jedes der Objekte den Ort, eine Geschwindigkeit und eine freie Strecke umfasst, und die Objektliste einen Zeitstempel enthält. Diese Angaben können beispielsweise in dem Speicher eines Rechensystems erfasst sein; die Angaben entsprechen dabei Angaben in der realen Welt. So können Raumkoordinaten z.B. GPS-Koordinaten entsprechen oder (ggf. normierten) Entfernungen zu einem Fahrzeug, z.B. zu dem Fahrzeug, in oder an welchem die Sensoren angeordnet sind. In einer Ausführungsform ist der Ort als Raumkoordinaten oder Polarkoordinaten dargestellt.
- Die Geschwindigkeiten sind Vektoren, die in vielen Ausführungsformen in ähnlicher Weise wie die Raumkoordinaten in dem Rechensystem dargestellt werden. Die freie Strecke kann z.B. durch zwei Raumkoordinaten dargestellt sein, beispielsweise als Entfernung zu einem benachbarten statischen und/oder dynamischen Objekt. Die freie Strecke kann Teil einer Umgebungsbeschreibung sein, die in einem Speicher, auf den das Rechensystem zugreifen kann, gespeichert sein kann. Es gibt also eine Sequenz von Objektlisten, von denen jede einen Zeitstempel enthält. In einer Ausführungsform können die Zeitstempel äquidistant sein, in einer anderen Ausführungsform kann die Häufigkeit der Erstellung einer Zeitliste von Umgebungsfaktoren, z.B. von der Anzahl der dynamischen Objekte, abhängig sein.
- Das Rechensystem ist weiterhin eingerichtet, aus einer vordefinierten Anzahl von Objektlisten, mittels eines zweiten Programms, für mindestens einen Teil der dynamischen Objekte eine weitere Objektliste zu bestimmen, wobei die weitere Objektliste einen Zeitstempel für einen zukünftigen Zeitpunkt enthält und mindestens den Ort der dynamischen Objekte umfasst. Es wird also eine weitere Objektliste oder eine vordefinierte Anzahl von weiteren Objektlisten erzeugt. Dies geschieht auf Basis einer vordefinierten Anzahl von Objektlisten, die in der Vergangenheit erstellt wurden; eine Objektliste kann auch in der Gegenwart erstellt werden. Diese Objektlisten verwendet ein zweites Programm zur Prognose, d.h. zur Erzeugung einer Objektliste, die Attribute der Objekte in der Zukunft bestimmt. Dazu können beispielsweise lineare oder nicht-lineare Prognosemethoden verwendet werden. Durch diese Anordnung wird die Vorhersage eines Orts von dynamischen Objekten, beispielsweise von Fußgängern, die von den Sensoren eines Fahrzeugs erfasst werden können, erheblich verbessert werden, d.h. beschleunigt und/oder präzisiert werden.
- Ein weiterer Aspekt der Erfindung betrifft ein Verfahren für ein zumindest teilweise automatisiert fahrendes Fahrzeug. Das Verfahren dient zur Vorhersage eines Orts von dynamischen Objekten in der Umgebung des Fahrzeugs. Die dynamischen Objekte können z.B. andere Fahrzeuge, Fußgänger, Fahrradfahrer oder andere Verkehrsteilnehmer sein, insbesondere Verkehrsteilnehmer, deren Bewegung von einer linearen oder gleichmäßigen Bewegung stark abweichen kann.
- Das Verfahren umfasst die Schritte:
- - Erfassen der Objekte, mittels einer Vielzahl von Sensoren;
- - Kombinieren der Objekte, mittels eines ersten Programms, zu einer Objektliste, wobei jeder Eintrag der Objektliste für jedes der Objekte den Ort, eine Geschwindigkeit und eine freie Strecke umfasst, und die Objektliste einen Zeitstempel enthält; und
- - Bestimmen, aus einer vordefinierten Anzahl von Objektlisten, mittels eines zweiten Programms, für mindestens einen Teil der dynamischen Objekte einer weiteren Objektliste, wobei die weitere Objektliste einen Zeitstempel für einen zukünftigen Zeitpunkt enthält und mindestens den Ort der dynamischen Objekte umfasst.
- Die Sensoren können z.B. eine oder mehrere Kameras, Lidar, Radar oder andere Sensormechanismen verwenden. Die Sensoren erfassen damit die dynamischen Objekte, beispielsweise mittels eines einzelnen Sensors oder auch mittels einer Kombination von Sensoren, wobei z.B. auch verschiedene Typen von Sensoren kombiniert werden können, wie z.B. Signale von den Kameras mit Signalen von den Radarsensoren. Das erste Programm kombiniert die Objekte, welche von der Vielzahl von Sensoren erfasst sind, zu der Objektliste. Dabei umfasst jeder Eintrag der Objektliste für jedes der Objekte den Ort, eine Geschwindigkeit und eine freie Strecke. Weiterhin enthält die Objektliste einen Zeitstempel. Diese Angaben entsprechen z.B. Angaben in der realen Welt. So können Raumkoordinaten z.B. GPS-Koordinaten entsprechen oder (ggf. normierten) Entfernungen zu einem Fahrzeug, z.B. zu dem Fahrzeug, in oder an welchem die Sensoren angeordnet sind. In einer Ausführungsform ist der Ort als Raumkoordinaten oder Polarkoordinaten dargestellt.
- So kann einer der Einträge in der Objektliste in der realen Welt einem Fahrrad, insbesondere einem bewegten Fahrrad, entsprechen. Das Fahrrad befindet sich zu einem bestimmten Zeitpunkt an einem bestimmten Ort. Dabei entspricht der bestimmte Zeitpunkt z.B. einem ersten Zeitstempel der Objektliste. Der Ort kann z.B. durch Raumkoordinaten in der Objektliste dargestellt sein. Das Fahrrad weist eine Geschwindigkeit auf; diese kann z.B. durch einen Vektor von Raumkoordinaten in der Objektliste dargestellt sein. Weiterhin weist das Fahrrad eine freie Strecke auf, die beispielsweise als ein Endpunkt dargestellt sein kann. Auf analoge Weise kann beispielsweise auch Ort, Geschwindigkeit und freie Strecke eines weiteren Objekts, z.B. eines Fußgängers, bestimmt werden und in die Objektliste eingetragen werden. Dieser Eintrag kann in diesem Beispiel in derselben Objektliste dargestellt sein und auch den ersten Zeitstempel tragen.
- Auf Basis dieser Daten der Objektliste und/oder weiterer Objektlisten, die z.B. zu einem früheren Zeitpunkt erstellt wurden und einen anderen Zeitstempel tragen, wird mittels des zweiten Programms für mindestens einen Teil der dynamischen Objekte - in diesem Beispiel etwa für das Fahrrad und den Fußgänger - eine weitere Objektliste bestimmt. Die weitere Objektliste enthält einen Zeitstempel für einen zukünftigen Zeitpunkt und umfasst mindestens den Ort der dynamischen Objekte. Dabei können sich die Objekte z.B. linear oder nicht-linear bewegen. Es kann also auf Basis dieser Objektliste beispielsweise berechnet werden, ob es, zu dem zukünftigen Zeitpunkt, zu einer Kollision des Fahrrads oder des Fußgängers mit dem Fahrzeug kommen könnte. Mit dieser Information kann das Fahrzeug angesteuert werden. In Fällen bei denen eine mögliche Kollision mit dem Fahrzeug berechnet wird, kann das Fahrzeug beispielsweise das Brems- und/oder das Lenksystem beeinflussen, also z.B. von dem Ort der potentiellen Kollision weglenken oder abbremsen.
- In einer Ausführungsform verwendet das zweite Programm eine sogenannte LSTM-Methodik; diese Abkürzung bezeichnet sog. „Long Short-Term Memory“-Methoden. Dabei handelt es sich um rekurrente neuronale Netze. Diese werden verwendet, um sequentielle Daten, insbesondere zeitlich sequentielle Daten, zu verarbeiten, d.h. in diesem Fall, um die Regeln und die Werte für die weitere Objektliste zu bestimmen, die mindestens den Ort der dynamischen Objekte umfasst. Die LSTM bilden dabei Abstraktionen der Daten, auf deren Basis sie trainiert wurden. Diese werden hier in vorteilhafter Weise angewendet, um die Interaktionen der verschiedenen erfassten Objekte zu modellieren. Damit kann beispielsweise eine nicht-lineare Bewegung erfasst werden. Bei dem obigen Beispiel könnte z.B. eine Situation erkannt werden, bei der das Fahrrad dem Fußgänger ausweicht und dadurch, mittels der Bestimmung der weiteren Objektliste, zu einer potentiellen Kollision kommen könnte, was zu einer Aktion des Fahrzeugs führen könnte.
- In einer Ausführungsform verwendet das zweite Programm sogenannte „Social LSTM Networks“. Bei dieser Ausprägung werden insbesondere Verhaltensweisen von Menschen in Ansammlungen von Menschen berücksichtigt. Vorteilhafterweise verwenden die Social LSTM Networks das Prinzip der Lokalität, d.h. dass die Objekte mit besonders hoher Wahrscheinlichkeit von den Objekten in deren Umgebung, insbesondere deren unmittelbaren Umgebung, beeinflusst werden. In dem hier aufgeführten Beispiel könnte die Wahrscheinlichkeit, dass das Fahrrad auf eine Bewegung des Fußgängers reagiert, höher sein als eine Reaktion auf ein weiter entferntes Objekt.
- Im Fall der Verletzung dieser Annahme, d.h. Beeinflussung durch Objekte in deren Umgebung, wird dabei auf ein Backup-Modell zurückgefallen. Social LSTM Networks modellieren dabei jedes der Objekte einzeln. In einer Ausführungsform wird dabei ein Gitter um das Fahrzeug gebildet, und Objekte in demselben Gitterbereich (oder derselben Zelle des Gitters) interagieren. Damit wird ein Art „Kommunikation“ zwischen den Objekten modelliert, z.B. Fußgänger, die einander oder einem Fahrrad ausweichen. Beispielsweise diese Art der „Kommunikation“ zwischen den Objekten wird dabei in vorteilhafter Weise genutzt.
- Damit kann die Vorhersage eines Orts von dynamischen Objekten deutlich weiter verbessert werden. In einer Ausführungsform werden mit diesen Informationen künstliche neuronale Netze trainiert; denn gegenüber anderen Methodiken, wie z.B. einer regelbasierten Erfassung von möglichen Prognosen von Orten, können Beispiel-basiert die wichtigsten, die häufigsten und/oder die kritischsten Situationen bevorzugt erkannt und so die Prognose und/oder die Reaktionen des Steuerungssystems deutlich verbessert werden.
- In einer Ausführungsform umfasst jeder Eintrag der Objektliste weiterhin eine Wahrscheinlichkeit. Dies kann die Reaktionsgeschwindigkeit des Fahrzeugs weiter erhöhen, weil dadurch Einträge mit geringerer Wahrscheinlichkeit anders behandelt werden können als Einträge mit höherer Wahrscheinlichkeit. So können Einträge mit höherer Wahrscheinlichkeit z.B. mit größerer Vorhersagetiefe behandelt werden oder in manchen Rechensystemen früher und/oder mit höherer Priorität behandelt werden oder deren Behandlung abgebrochen werden.
- In einer Ausführungsform ist der Ort, zumindest für einen Teil der Objekte, als bivariate Normalverteilung dargestellt. Wenn die Größe der Objekte bekannt ist, wird in vielen Fällen die exakte Größe in die Objektliste eingetragen. Beispielsweise in Fällen, bei die Größe der Objekte nicht bekannt ist, kann eine bivariate Normalverteilung statt dessen eingetragen sein.
- In einer Ausführungsform sind Entfernungen, zumindest für einen Teil der Objekte, logarithmisch dargestellt. Dies ist besonders dann vorteilhaft, wenn die dargestellten Entfernungen für die verschiedenen Objekte stark variieren, oder auch, wenn ein Objekt sich weiter entfernt, z.B. bei einer tieferen Prognose. In einer Ausführungsform kann die logarithmische Darstellung abhängig von der Entfernung der Objekte verwendet werden. In manchen Fällen kann bei der logarithmische Darstellung eine geringere Genauigkeit verwendet werden. Dies berücksichtigt insbesondere das Verhalten von Fahrzeugen, die sich in unterschiedlichen Umgebungen mit unterschiedlichen Geschwindigkeiten bewegen.
- In einer Ausführungsform weisen die Zeitstempel einen Abstand von 10 ms bis 500 ms, insbesondere von 50 ms bis 200 ms, auf. Der Abstand der Zeitstempel ist, unter anderem, abhängig von der Geschwindigkeit des eigenen Fahrzeugs.
- In einer Ausführungsform stellt die Objektliste einen Tensor dar. Dies hat sich für eine Reihe von Szenarien als eine besonders sinnvolle Methodik für die Darstellung herausgestellt.
- Ein weiterer Aspekt der Erfindung betrifft ein Programmelement, welches, wenn es auf einem Rechensystem ausgeführt wird, eingerichtet ist, das hier beschriebene Verfahren durchzuführen.
- Ein weiterer Aspekt der Erfindung betrifft ein computerlesbares Medium, auf dem das genannte Programmelement gespeichert ist.
- Figurenliste
- Es zeigt:
-
1 : die schematische Darstellung einer Objektliste gemäß einer Ausführungsform der vorliegenden Erfindung; -
2 : die schematische Darstellung einer Sequenz von Objektlisten gemäß einer Ausführungsform der vorliegenden Erfindung; -
3 : die schematische Darstellung eines Verfahrens gemäß einer Ausführungsform der vorliegenden Erfindung zur Vorhersage eines Orts von dynamischen Objekten. -
1 zeigt die schematische Darstellung einer Objektliste22 . Dabei sind die einzelnen dynamischen Objekte20 als kleine Kuben dargestellt und mitaxyz bezeichnet. Bei dieser Darstellung sind die x- und y-Achse die Ortskoordinaten der Objekte; die z-Achse stellt die Attribute der Objekte dar. So bezeichnet das rechts unten dargestellte Objekta651 ein Objekt, das sich an der Position x=6 und y=5 befindet, mit dem ersten Attribut. In dem gezeigten Beispiel ist die Anzahl der Attribute für jedes Objekt gleich; in anderen Ausführungsformen ist aber auch eine variable Anzahl von Attributen möglich. In dem gezeigten Beispiel sind die hell gezeichneten Objektea111 unda121 erfasste oder identifizierte fremde Objekte, beispielsweise kanna111 einen Fußgänger unda121 eine Radfahrer bezeichnen. Das dunkel gezeichnete Objekta341 kann das eigene Fahrzeug sein. Jedem der Objekte ist damit, wenn wie in diesem Ausführungsbeispiel Raumkoordinaten verwendet werden, eine x-y-Position zugewiesen. Der Ort kann als bivariate Normalverteilung dargestellt sein. Der Maßstab der x-y-Position kann linear oder, zumindest für einen Teil der Objekte20 , logarithmisch sein. Für jedes der Objekte20 ist in der Attributliste mindestens eine Geschwindigkeit und eine freie Strecke des Objekts hinterlegt. Die Objektliste22 enthält weiterhin einen Zeitstempel; dieser ist hier nicht dargestellt, weil er eine Eigenschaft der gesamten Objektliste22 ist. -
2 zeigt die schematische Darstellung einer Sequenz von Objektlisten22 , welche zur Bestimmung einer weiteren Objektliste23 führt. Dabei ist die weitere Objektliste23 eine Prediktion aus der Sequenz von Objektlisten22 . Daher enthält die Objektliste23 einen Zeitstempel für einen zukünftigen Zeitpunkt. - In
2 werden drei Ebenen29 der Vorhersage gezeigt. Jede der Ebenen29 weist zwei Objektlisten22 auf, welche Beobachtungen mit erfassten Objekten umfassen und mitXt bzw. - für den weiteren Schritt - mitXt+1 bezeichnet sind. In jeder Ebene29 wird aus den Objektlisten22 und einem internen ZustandHt die AusgabeCt und die jeweils nächste Objektliste23 - als Prediktion - bestimmt. Dabei können die Prediktionen der Vergangenheit (d.h. mit einem älteren Zeitstempel) mit erfassten Werten korrigiert werden, bevor sie von einer Ebene29 in die nächste Ebene29 übernommen werden. Bei dem gezeigten Beispiel wird dies über drei Ebenen29 durchgeführt, so dass die aktuelle Objektliste23 gewissermaßen die „Erfahrungen“ aus drei Schritten der Vergangenheit enthält. Für die Prediktionen wird ein zweites Programm verwendet. Das zweite Programm kann eine LSTM-Methodik, insbesondere eine Social LSTM Networks Methodik, verwenden. -
3 zeigt die schematische Darstellung eines Verfahrens50 zur Vorhersage eines Orts von dynamischen Objekten20 . Die dynamischen Objekte20 können z.B. Fußgänger, Fahrradfahrer oder andere Verkehrsteilnehmer sein, insbesondere Verkehrsteilnehmer, deren Bewegung von einer linearen oder gleichmäßigen Bewegung stark abweichen kann. In einem Schritt51 werden die dynamischen Objekte20 mittels einer Vielzahl von Sensoren30 erfasst. Die Sensoren30 können z.B. eine oder mehrere Kameras, Lidar, Radar oder andere Sensormechanismen verwenden. - In Schritt
52 werden die Objekte20 , mittels eines ersten Programms, zu einer Objektliste22 kombiniert. Dabei umfasst jeder Eintrag der Objektliste für jedes der Objekte den Ort, eine Geschwindigkeit und eine freie Strecke, und die Objektliste22 enthält einen Zeitstempel. Die Zeitstempel werden in der Vergangenheit oder in der Gegenwart erstellt. - In Schritt
53 werden aus einer vordefinierten Anzahl von Objektlisten22 , mittels eines zweiten Programms, eine oder mehrere weitere Objektlisten22 erstellt. Die mittels des zweiten Programms erstellte weitere Objektliste23 enthält einen Zeitstempel für einen zukünftigen Zeitpunkt und umfasst mindestens den Ort der dynamischen Objekte20 .
Claims (12)
- Steuerungssystem (10) zur Vorhersage eines Orts von dynamischen Objekten (20), aufweisend: eine Vielzahl von Sensoren (30) und ein Rechensystem (40), das eingerichtet ist, - die Objekte (20), welche von der Vielzahl von Sensoren (30) erfasst sind, mittels eines ersten Programms zu einer Objektliste (22) zu kombinieren, wobei jeder Eintrag der Objektliste (22) für jedes der Objekte (20) den Ort, eine Geschwindigkeit und eine freie Strecke umfasst, und die Objektliste (22) einen Zeitstempel enthält; und - aus einer vordefinierten Anzahl von Objektlisten (22), mittels eines zweiten Programms, für mindestens einen Teil der dynamischen Objekte (20) eine weitere Objektliste (23) zu bestimmen, wobei die weitere Objektliste (23) einen Zeitstempel für einen zukünftigen Zeitpunkt enthält und mindestens den Ort der dynamischen Objekte (20) umfasst.
- Verfahren zur Vorhersage eines Orts von dynamischen Objekten (20), mit den Schritten: - Erfassen der Objekte (20), mittels einer Vielzahl von Sensoren (30); - Kombinieren der Objekte (20), mittels eines ersten Programms, zu einer Objektliste (22), wobei jeder Eintrag der Objektliste (22) für jedes der Objekte (20) den Ort, eine Geschwindigkeit und eine freie Strecke umfasst, und die Objektliste (22) einen Zeitstempel enthält; und - Bestimmen, aus einer vordefinierten Anzahl von Objektlisten (22), mittels eines zweiten Programms, für mindestens einen Teil der dynamischen Objekte (20) einer weiteren Objektliste (23), wobei die weitere Objektliste (23) einen Zeitstempel für einen zukünftigen Zeitpunkt enthält und mindestens den Ort der dynamischen Objekte (20) umfasst.
- Verfahren nach
Anspruch 2 , wobei das zweite Programm eine LSTM-Methodik verwendet. - Verfahren nach
Anspruch 2 oder3 , wobei das zweite Programm Social LSTM Networks verwendet. - Verfahren nach einem der
Ansprüche 2 bis4 , wobei jeder Eintrag der Objektliste (22) weiterhin eine Wahrscheinlichkeit umfasst. - Verfahren nach einem der
Ansprüche 2 bis5 , wobei der Ort, zumindest für einen Teil der Objekte (20), als bivariate Normalverteilung dargestellt ist. - Verfahren nach einem der
Ansprüche 2 bis6 , wobei Entfernungen, zumindest für einen Teil der Objekte (20), logarithmisch dargestellt sind. - Verfahren nach einem der
Ansprüche 2 bis7 , wobei die Zeitstempel einen Abstand von 10 ms bis 500 ms, insbesondere von 50 ms bis 200 ms, aufweisen. - Verfahren nach einem der
Ansprüche 2 bis8 wobei die Objektliste (22) einen Tensor darstellt. - Programmelement, welches, wenn es auf einem Rechensystem (40) ausgeführt wird, eingerichtet ist, das Verfahren nach einem der
Ansprüche 2 bis9 durchzuführen. - Computerlesbares Medium, auf dem ein Programmelement nach
Anspruch 10 gespeichert ist. - Vorrichtung, die dazu eingerichtet ist, ein Verfahren nach einem der
Ansprüche 2 bis9 auszuführen.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018216417.7A DE102018216417A1 (de) | 2018-09-26 | 2018-09-26 | Ortsvorhersage für dynamische Objekte |
US16/577,159 US11541885B2 (en) | 2018-09-26 | 2019-09-20 | Location prediction for dynamic objects |
CN201910915452.5A CN110949380A (zh) | 2018-09-26 | 2019-09-26 | 用于动态对象的位置预测 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018216417.7A DE102018216417A1 (de) | 2018-09-26 | 2018-09-26 | Ortsvorhersage für dynamische Objekte |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102018216417A1 true DE102018216417A1 (de) | 2020-03-26 |
Family
ID=69725488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102018216417.7A Pending DE102018216417A1 (de) | 2018-09-26 | 2018-09-26 | Ortsvorhersage für dynamische Objekte |
Country Status (3)
Country | Link |
---|---|
US (1) | US11541885B2 (de) |
CN (1) | CN110949380A (de) |
DE (1) | DE102018216417A1 (de) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7203563B2 (ja) * | 2018-10-29 | 2023-01-13 | 日立Astemo株式会社 | 移動体挙動予測装置 |
US11884304B2 (en) * | 2021-09-08 | 2024-01-30 | Ford Global Technologies, Llc | System, method, and computer program product for trajectory scoring during an autonomous driving operation implemented with constraint independent margins to actors in the roadway |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011101246A1 (de) * | 2011-05-11 | 2012-11-15 | Conti Temic Microelectronic Gmbh | Redudante objektdetektion für fahrerassistenzsysteme |
DE102014008578A1 (de) * | 2014-06-12 | 2015-12-17 | Audi Ag | Verfahren zur Ermittlung von Positionsdaten zur Nutzung beim Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Positionsdatenermittlungs- und-verteilssystem |
DE102014215124A1 (de) * | 2014-08-01 | 2016-02-04 | Bayerische Motoren Werke Aktiengesellschaft | Mobileinheit und Verfahren zur Positionsbestimmung eines Umgebungsobjektes einer Mobileinheit |
DE102015122824A1 (de) * | 2015-01-13 | 2016-07-14 | Gm Global Technology Operations, Llc | Bestimmung einer Objekt-zu-Objekt-Position unter Verwenden von Datenfusionstechniken |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101711025B1 (ko) * | 2011-04-21 | 2017-02-28 | 한국전자통신연구원 | 우선 관제 대상 선정 장치와 방법 및 대상물 관제 장치 |
DE102013110615B3 (de) * | 2013-09-26 | 2014-11-27 | Sick Ag | 3D-Kamera nach dem Stereoskopieprinzip und Verfahren zum Erfassen von Tiefenkarten |
DE102015212026A1 (de) * | 2015-06-29 | 2016-12-29 | Siemens Aktiengesellschaft | Verfahren zum Betreiben eines Netzwerks mit mehreren Knoteneinrichtungen und Netzwerk |
US9986404B2 (en) * | 2016-02-26 | 2018-05-29 | Rapidsos, Inc. | Systems and methods for emergency communications amongst groups of devices based on shared data |
US10656245B2 (en) * | 2017-09-05 | 2020-05-19 | Valeo Radar Systems, Inc. | Automotive radar sensor blockage detection using adaptive overlapping visibility |
US11620906B2 (en) * | 2017-12-27 | 2023-04-04 | Direct Current Capital LLC | Method for accessing supplemental sensor data from other vehicles |
CN108564118B (zh) * | 2018-03-30 | 2021-05-11 | 陕西师范大学 | 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法 |
US10579888B2 (en) * | 2018-05-15 | 2020-03-03 | GM Global Technology Operations LLC | Method and system for improving object detection and object classification |
US20200192393A1 (en) * | 2018-12-12 | 2020-06-18 | Allstate Insurance Company | Self-Modification of an Autonomous Driving System |
-
2018
- 2018-09-26 DE DE102018216417.7A patent/DE102018216417A1/de active Pending
-
2019
- 2019-09-20 US US16/577,159 patent/US11541885B2/en active Active
- 2019-09-26 CN CN201910915452.5A patent/CN110949380A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011101246A1 (de) * | 2011-05-11 | 2012-11-15 | Conti Temic Microelectronic Gmbh | Redudante objektdetektion für fahrerassistenzsysteme |
DE102014008578A1 (de) * | 2014-06-12 | 2015-12-17 | Audi Ag | Verfahren zur Ermittlung von Positionsdaten zur Nutzung beim Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Positionsdatenermittlungs- und-verteilssystem |
DE102014215124A1 (de) * | 2014-08-01 | 2016-02-04 | Bayerische Motoren Werke Aktiengesellschaft | Mobileinheit und Verfahren zur Positionsbestimmung eines Umgebungsobjektes einer Mobileinheit |
DE102015122824A1 (de) * | 2015-01-13 | 2016-07-14 | Gm Global Technology Operations, Llc | Bestimmung einer Objekt-zu-Objekt-Position unter Verwenden von Datenfusionstechniken |
Also Published As
Publication number | Publication date |
---|---|
US20200094823A1 (en) | 2020-03-26 |
CN110949380A (zh) | 2020-04-03 |
US11541885B2 (en) | 2023-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102016000493B4 (de) | Verfahren zum Betrieb eines Fahrzeugsystems und Kraftfahrzeug | |
DE102015225751A1 (de) | Verfahren und Vorrichtung zum Prädizieren einer Bewegung eines Straßenverkehrsteilnehmers in einem Verkehrsraum | |
DE102017113324A1 (de) | Vorrichtung und Verfahren zum Vorhersagen von Zielen der visuellen Aufmerksamkeit | |
DE102019219241A1 (de) | Verfahren zum Erstellen eines Verkehrsteilnehmeralgorithmus zur Computersimulation von Verkehrsteilnehmern, Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt sowie Kraftfahrzeug | |
DE102020200169B3 (de) | Verfahren zur Zusammenführung mehrerer Datensätze für die Erzeugung eines aktuellen Spurmodells einer Fahrbahn und Vorrichtung zur Datenverarbeitung | |
WO2020094279A1 (de) | Prädiktion eines voraussichtlichen fahrverhaltens | |
DE102022112059B3 (de) | Verfahren, System und Computerprogrammprodukt zur Kalibrierung und Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) | |
DE102018216417A1 (de) | Ortsvorhersage für dynamische Objekte | |
DE102018209804A1 (de) | Verfahren und Vorrichtung zur Vorhersage einer wahrscheinlichen Fahrroute für ein Fahrzeug | |
DE102020108127A1 (de) | Interpretieren von daten einer reinforcement-learning-agent-steuerung | |
DE102018219760A1 (de) | Kollisionsprädiktionssystem | |
WO2022089800A1 (de) | Verfahren zur bereitstellung von informationen über verkehrsteilnehmer | |
DE102019217533A1 (de) | Verfahren zur Abschätzung einer Abdeckung des Raums von Verkehrsszenarien | |
DE102019216235A1 (de) | Verfahren zum Vorhersagen der Bewegung eines Fahrzeugs und zumindest eines weiteren Fahrzeugs | |
DE102020200876B4 (de) | Verfahren zum Verarbeiten von Sensordaten einer Sensorik eines Fahrzeugs | |
DE102020214203A1 (de) | Verfahren zum Bestimmen einer Spurwechselintention eines sich in einer unmittelbaren Umgebung eines Kraftfahrzeugs befindlichen weiteren Kraftfahrzeugs, sowie Assistenzsystem | |
DE112020006317T5 (de) | Computersystem und verfahren zum trainieren eines verkehrsagenten in einer simulationsumgebung | |
DE102020215885A1 (de) | Verfahren und system zur erkennung und mitigation von störungen | |
DE102006004361B4 (de) | Verfahren und System zur Ermittlung der Aufenthaltswahrscheinlichkeit eines Fahrzeuges | |
DE102022132917A1 (de) | Verfahren und System zur Bestimmung der Kritikalität und Kontrollierbarkeit von Szenarien für automatisierte Fahrfunktionen | |
DE102022132922A1 (de) | Verfahren und System zur virtuellen Verifikation von automatisierten Fahrfunktionen | |
DE102021209680A1 (de) | Verfahren zur Verbesserung der Schätzung von Existenzwahrscheinlichkeiten | |
DE102022116564A1 (de) | Verfahren, System und Computerprogrammprodukt zur Bewertung von Testfällen zum Testen und Trainieren eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) | |
DE102019213599A1 (de) | Verfahren zum Bestimmen einer klassifizierten Schwarmtrajektorie | |
DE102022208519A1 (de) | Computerimplementiertes Verfahren und Computerprogramm zur Bewegungsplanung eines Ego-Fahrsystems in einer Verkehrssituation, computerimplementiertes Verfahren zur Bewegungsplanung eines Ego-Fahrsystems in einer realen Verkehrssituation Steuergerät für ein Ego-Fahrzeug |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified |