DE102019133902A1

DE102019133902A1 - pedestrian simulation

Info

Publication number: DE102019133902A1
Application number: DE102019133902.2A
Authority: DE
Inventors: Thomas Hülshorst; Mohammad Rasty; Sebastien Christiaens
Original assignee: FEV Europe GmbH
Current assignee: FEV Group GmbH
Priority date: 2018-12-19
Filing date: 2019-12-11
Publication date: 2020-01-30

Abstract

Die Erfindung betrifft ein Verfahren zur Anwendung im ADAS Bereich, umfassend die Schritte:a) Erfassen von ersten Bewegungsdaten (5) von realen ersten Fußgängern (1);b) Verarbeiten der ersten Bewegungsdaten (5) so, dass kategorisierte erste Bewegungsdaten (6) erzeugt werden;c1) Simulieren (11) von Fußgängern (2) anhand der kategorisierten ersten Bewegungsdaten (6) durch ein zweites neuronales Netzwerk (8).The invention relates to a method for use in the ADAS area, comprising the steps of: a) acquiring first movement data (5) from real first pedestrians (1); b) processing the first movement data (5) in such a way that categorized first movement data (6) c1) simulating (11) pedestrians (2) on the basis of the categorized first movement data (6) through a second neural network (8).

Description

Die Erfindung betrifft ein Verfahren zur Simulation von Fußgängern, ein Verfahren zur Vorhersage des Verhaltens von Fußgängern, ein System zur Erfassung und Verarbeitung von Daten und ein System zur Simulation von Fußgängern und/oder zur Vorhersage des Verhaltens von Fußgängern und eine Datenbank.The invention relates to a method for simulating pedestrians, a method for predicting the behavior of pedestrians, a system for recording and processing data and a system for simulating pedestrians and / or for predicting the behavior of pedestrians and a database.

Die JP2005050117A offenbart ein System zur Fußgängersimulation, welches eingerichtet ist, das kollektive Verhalten von Fußgängern vorherzusagen.The JP2005050117A discloses a pedestrian simulation system that is designed to predict the collective behavior of pedestrians.

Das erfindungsgemäße Verfahren zur ersten Anwendung im ADAS Bereich umfasst die Schritte:

a) Erfassen von ersten Bewegungsdaten von realen ersten Fußgängern;
b) Verarbeiten der ersten Bewegungsdaten so, dass kategorisierte erste Bewegungsdaten erzeugt werden;
c1) Simulieren von Fußgängern anhand der kategorisierten ersten Bewegungsdaten durch ein zweites neuronales Netzwerk.

The method according to the invention for the first application in the ADAS area comprises the steps:

a) acquisition of first movement data from real first pedestrians;
b) processing the first movement data in such a way that categorized first movement data are generated;
c1) Simulating pedestrians based on the categorized first movement data through a second neural network.

ADAS Systeme werden im Betrieb von autonom und/oder teilweise autonom fahrenden Fahrzeugen verwendet. Die Entwicklung und/oder die Validierung von ADAS Systemen erfolgen vorteilhafterweise in simulierten Umgebungen. Dies reduziert zum einen den Aufwand und damit die Kosten für einen solchen Test. Zum anderen werden dabei die Gefahren für Verkehrsteilnehmer reduziert, da sich das autonome Fahrzeug während des Tests nicht innerhalb des realen Straßenverkehrs befindet.ADAS systems are used in the operation of autonomous and / or partially autonomous vehicles. The development and / or validation of ADAS systems is advantageously carried out in simulated environments. On the one hand, this reduces the effort and thus the costs for such a test. On the other hand, the dangers for road users are reduced, since the autonomous vehicle is not within the real traffic during the test.

Das erfindungsgemäße Verfahren ermöglicht eine realitätsnahe Simulation von Fußgängern anhand von Bewegungsdaten. Die Bewegungsdaten werden mittels realer Fußgänger erfasst. Die realitätsnahe Simulation von Fußgängern ermöglicht die Erhöhung der Genauigkeit der Tests für ADAS Systeme, ohne reale Verkehrsteilnehmer zu gefährden.The method according to the invention enables realistic simulation of pedestrians on the basis of movement data. The movement data are recorded using real pedestrians. The realistic simulation of pedestrians enables the accuracy of the tests for ADAS systems to be increased without endangering real road users.

Das erfindungsgemäße Verfahren zur zweiten Anwendung im ADAS Bereich umfasst die Schritte:

a) Erfassen von ersten Bewegungsdaten von realen ersten Fußgängern;
b) Verarbeiten der ersten Bewegungsdaten so, dass kategorisierte erste Bewegungsdaten erzeugt werden;
c2) Ermitteln von zweiten Bewegungsdaten von realen zweiten Fußgängern mittels Sensoren des zweiten ADAS Systems ;
d2) Verarbeiten der zweiten Bewegungsdaten so, dass die kategorisierten zweiten Bewegungsdaten erzeugt werden anhand der kategorisierten ersten Bewegungsdaten durch das zweite neuronale Netzwerk.
e2) Ermitteln einer Vorhersage des Verhaltens von Fußgängern anhand von zweiten kategorisierten Bewegungsdaten durch das zweite neuronale Netzwerk.

The method according to the invention for a second application in the ADAS area comprises the steps:

a) acquisition of first movement data from real first pedestrians;
b) processing the first movement data in such a way that categorized first movement data are generated;
c2) determining second movement data from real second pedestrians by means of sensors of the second ADAS system;
d2) processing the second movement data in such a way that the categorized second movement data is generated by the second neural network on the basis of the categorized first movement data.
e2) determining a prediction of the behavior of pedestrians on the basis of second categorized movement data by the second neural network.

Im Rahmen der Erfindung zeigte sich, dass herkömmliche ADAS Systeme im Betrieb nur auf Daten zugreifen, welche von Sensoren ermittelt werden, die mit dem ADAS System verbunden sind. Diese ADAS Systeme können damit nur auf das Verhalten von Fußgängern reagieren, welches gerade stattfindet und/oder schon stattgefunden hat, und welches von den Sensoren erfasst wird und/oder wurde.In the context of the invention, it was found that conventional ADAS systems only access data in operation which are determined by sensors which are connected to the ADAS system. These ADAS systems can therefore only react to the behavior of pedestrians that is taking place and / or has already taken place, and that is and / or has been detected by the sensors.

Durch das erfindungsgemäße Verfahren wird es ermöglicht das Verhalten von Fußgängern vorherzusagen. Durch diese Vorhersage wird es ermöglicht, frühzeitig auf das Verhalten von Fußgängern zu reagieren, wodurch die Sicherheit von Verkehrsteilnehmern erhöht wird.The method according to the invention makes it possible to predict the behavior of pedestrians. This prediction makes it possible to react early to the behavior of pedestrians, which increases the safety of road users.

Ein erfindungsgemäßes System zur Erfassung und Verarbeitung von ersten Bewegungsdaten von realen ersten Fußgängern ist eingerichtet ein erfindungsgemäßes Verfahren durchzuführen.A system according to the invention for recording and processing first movement data from real first pedestrians is set up to carry out a method according to the invention.

Ein erfindungsgemäßes System zur Simulation von Fußgängern und/oder zur Vorhersage des Verhaltens von Fußgängern ist eingerichtet ein erfindungsgemäßes Verfahren durchzuführen.A system according to the invention for simulating pedestrians and / or for predicting the behavior of pedestrians is set up to carry out a method according to the invention.

Eine erfindungsgemäße Datenbank umfasst kategorisierte erste Bewegungsdaten für die erste und/oder die zweite Anwendung im ADAS Bereich.A database according to the invention comprises categorized first movement data for the first and / or the second application in the ADAS area.

Die Vorteile des erfindungsgemäßen Verfahrens ergeben sich in gleicher Weise für die erfindungsgemäßen Systeme.The advantages of the method according to the invention result in the same way for the systems according to the invention.

Die abhängigen Ansprüche beschreiben weitere vorteilhafte Ausführungsformen der Erfindung.The dependent claims describe further advantageous embodiments of the invention.

Ein bevorzugtes Ausführungsbeispiel wird anhand der folgenden Figuren näher erläutert. Dabei zeigt

1 eine schematische Darstellung eines erfindungsgemäßen Verfahrens zur Simulation von Fußgängern und/oder zur Vorhersage über das Verhalten von Fußgängern, und
2 erfindungsgemäße Systeme zur Simulation von Fußgängern und/oder zur Vorhersage über das Verhalten von Fußgängern.

A preferred embodiment is explained in more detail with reference to the following figures. It shows

1 a schematic representation of a method according to the invention for simulating pedestrians and / or for predicting the behavior of pedestrians, and
2 Systems according to the invention for simulating pedestrians and / or for predicting the behavior of pedestrians.

1 zeigt schematisch ein erfindungsgemäßes Verfahren zur Simulation 11 von Fußgängern 2. Das Verfahren umfasst die Schritte:

a) Erfassen von ersten Bewegungsdaten 5 von realen ersten Fußgängern 1; und
b) Verarbeiten der ersten Bewegungsdaten 5 so, dass kategorisierte erste Bewegungsdaten 6 erzeugt werden; und
c1) Simulieren 11 von Fußgängern 2 anhand der kategorisierten ersten Bewegungsdaten 6 durch ein zweites neuronales Netzwerk 8.

1 shows schematically an inventive method for simulation 11 of pedestrians 2 , The process includes the steps:

a) Acquisition of first movement data 5 from real first pedestrians 1 ; and
b) processing the first movement data 5 so that categorized first movement data 6 be generated; and
c1) Simulate 11 of pedestrians 2 based on the categorized first movement data 6 through a second neural network 8th ,

In diesem Ausführungsbeispiel werden die Schritte in der zeitlichen Reihenfolge a), b) und c1) durgeführt.In this exemplary embodiment, the steps are carried out in the chronological order a), b) and c1).

Die ersten Bewegungsdaten 5 umfassen Beschleunigungen von Körperteilen, Blickrichtungen, Positionierung des Fußgängers, Positionierung von Körperteilen und/oder Herzfrequenzen der realen ersten Fußgängern 1.The first movement data 5 include accelerations of body parts, directions of view, positioning of the pedestrian, positioning of body parts and / or heart rates of the real first pedestrians 1 ,

Die ersten Bewegungsdaten 5 umfassen Bewegungen und/oder Aktionen, welche der realen Fußgänger 1 ausführt, bevor er eine Straße überquert. Dies kann beispielsweise das leichte Vor- und/oder Zurücksetzen eines Beins sein, wenn sich der Fußgänger nahe an einem Straßenrand befindet. Dies ermöglicht eine Zuordnung des Vorsetzens des Beins zu kategorisierten ersten Bewegungsdaten 6 des Überquerens einer Straße. Dadurch können gängige Bewegungsmuster präzise kategorisiert werden.The first movement data 5 include movements and / or actions that the real pedestrian 1 executes before crossing a street. This can be, for example, the slight forward and / or backward movement of a leg when the pedestrian is close to a roadside. This enables an assignment of the forward positioning of the leg to categorized first movement data 6 of crossing a street. This allows common movement patterns to be categorized precisely.

Zur Mimik zählt beispielsweise die Blickrichtung des realen Fußgängers 1. Diese ermöglicht eine präzise Kategorisierung der Bewegungen und/oder Aktionen des Fußgängers zu den kategorisierten ersten Bewegungsdaten 6. So wird beispielsweise anhand der Blickrichtung ein anstehendes schräges Überqueren der Straße kategorisiert.Facial expressions include, for example, the view of the real pedestrian 1 , This enables a precise categorization of the movements and / or actions of the pedestrian to the categorized first movement data 6 , For example, an upcoming diagonal crossing of the street is categorized based on the viewing direction.

Die Verarbeitung der ersten Bewegungsdaten 5 zu den kategorisierten ersten Bewegungsdaten 6 erfolgt anhand von gängigen Bewegungsmustern und/oder gängigen Merkmalen und/oder gängigen Verhaltensweisen von Fußgängern.The processing of the first transaction data 5 to the categorized first movement data 6 takes place on the basis of common movement patterns and / or common characteristics and / or common behaviors of pedestrians.

In diesem Ausführungsbeispiel werden die kategorisierten ersten Bewegungsdaten 6 in einer Datenbank hinterlegt.In this embodiment, the categorized first movement data 6 stored in a database.

Zu einem gängigen Bewegungsmuster zählen beispielsweise das Überqueren einer Straße an einer Ampel und/oder das Überqueren einer Straße an einem Zebrastreifen. Die gängigen Verhaltensweisen umfassen Gemütszustände der realen ersten Fußgänger 1, wie beispielsweise hektisch, entspannt und/oder betrunken.A common movement pattern includes, for example, crossing a street at a traffic light and / or crossing a street at a crosswalk. The common behaviors include states of mind of the real first pedestrians 1 , such as hectic, relaxed and / or drunk.

Die gängigen Merkmale von Fußgängern umfassen das Geschlecht, die Körpergröße und/oder das Alter der realen ersten Fußgänger 1. Diese gängigen Merkmale können unabhängig von den ersten Bewegungsdaten 5 erfasst werden, werden aber von den ersten Bewegungsdaten 5 umfasst. In diesem Ausführungsbeispiel werden die gängigen Merkmale der realen ersten Fußgänger 1 zeitlich vor der Schritt a) anhand einer Befragung und/oder einer Inspektion der realen ersten Fußgänger 1 erfasst.The common characteristics of pedestrians include the gender, height and / or age of the real first pedestrians 1 , These common features can be independent of the first transaction data 5 are recorded, but are from the first movement data 5 includes. In this embodiment, the common features of the real first pedestrians 1 prior to step a) based on a survey and / or an inspection of the real first pedestrians 1 detected.

Das zweite neuronale Netzwerk 8 wurde trainiert anhand der kategorisierten ersten Bewegungsdaten 6 und der ersten Bewegungsdaten 5. Dieses Training erfolgt in einer zeitlichen Reihenfolge zwischen den Schritten b) und c1).The second neural network 8th was trained based on the categorized first movement data 6 and the first movement data 5 , This training takes place in a chronological order between steps b) and c1).

In Schritt c1) werden Fußgänger 2 simuliert, welche gängigen Bewegungsmuster, gängige Verhaltensweisen und/oder gängige Merkmale der realen ersten Fußgänger möglichst realitätsnah wiedergeben. Dabei werden vornehmlich solche Bewegungsmuster, Verhaltensweisen und/oder Merkmale kombiniert, welche zuvor von den realen ersten Fußgängern 1 kombiniert wurden.In step c1) pedestrians 2 simulates which common movement patterns, common behaviors and / or common characteristics of the real first pedestrians are as realistic as possible. Mainly those movement patterns, behaviors and / or characteristics are combined that were previously used by the real first pedestrians 1 were combined.

In einer alternativen Ausführungsform werden in Schritt c1) Fußgänger 2 gänzlich zufällig simuliert 11. Dabei werden gängigen Bewegungsmuster, gängige Verhaltensweisen und/oder gängige Merkmale zufällig miteinander kombiniert. Dadurch wird eine große Bandbreite an simulierten 11 Fußgängern 2 ermöglicht.In an alternative embodiment, in step c1) pedestrians 2 completely simulated at random 11. Common movement patterns, common behaviors and / or common features are randomly combined. This will simulate a wide range of 11 pedestrians 2 allows.

Das Verfahren umfasst zudem den Schritt:

d1) Validieren und/oder anpassen eines ersten ADAS Systems 9 anhand der Simulation 11 von Fußgängern 2.

The process also includes the step:

d1) Validate and / or adapt a first ADAS system 9 based on the simulation 11 of pedestrians 2 ,

Der Schritt d1) wird in der zeitlichen Reihenfolge nach Schritt c1) durchgeführt.Step d1) is carried out in the chronological order after step c1).

Das erste ADAS System 9 wird gegen die simulierten Fußgänger 2 getestet. Dies ermöglicht eine schnelle und sichere Validierung des ersten ADAS Systems 9.The first ADAS system 9 is against the simulated pedestrians 2 tested. This enables fast and secure validation of the first ADAS system 9 ,

Für den Fall, dass eine Validierung fehlschlägt, weil das ADAS System 9 nicht innerhalb vorgegebener Parameter funktioniert, wird eine Anpassung des ADAS Systems 9 vorgenommen. Danach wird eine erneute Validierung des ADAS Systems 9 durchgeführt. Diese Schritte werden wiederholt durchgeführt, bis eine Validierung erfolgreich durchgeführt wurde.In the event that validation fails because of the ADAS system 9 If the ADAS system does not work within the specified parameters, it will be adjusted 9 performed. Then a new validation of the ADAS system 9 carried out. These steps are repeated until a validation has been successfully carried out.

Die vorgegebenen Parameter umfassen unter anderem Fehler des ADAS Systems 9 bezogen auf die Reaktionen auf Fußgängern.The specified parameters include errors of the ADAS system 9 based on reactions to pedestrians.

Dies ermöglicht ADAS Systeme, welche innerhalb der vorgegebenen Parameter funktionieren. This enables ADAS systems that work within the specified parameters.

Ein erfindungsgemäßes Verfahren zur Vorhersage 12 des Verhaltens von Fußgängern 3 umfasst die Schritte:

a) Erfassen von ersten Bewegungsdaten 5 von realen ersten Fußgängern 1;
b) Verarbeiten der ersten Bewegungsdaten 5 so, dass kategorisierte erste Bewegungsdaten 6 erzeugt werden;
c2) Ermitteln von zweiten Bewegungsdaten von realen zweiten Fußgängern 4 mittels Sensoren 13 eines zweiten ADAS Systems 10;
d2) Verarbeiten der zweiten Bewegungsdaten so, dass die kategorisierten zweiten Bewegungsdaten erzeugt werden anhand der kategorisierten ersten Bewegungsdaten 6 durch das zweite neuronale Netzwerk 8.
e2) Ermitteln einer Vorhersage 12 des Verhaltens von Fußgängern 3 anhand von zweiten kategorisierten Bewegungsdaten durch das zweite neuronale Netzwerk 8.

An inventive method for prediction 12 behavior of pedestrians 3 includes the steps:

a) Acquisition of first movement data 5 from real first pedestrians 1 ;
b) processing the first movement data 5 so that categorized first movement data 6 be generated;
c2) Determination of second movement data from real second pedestrians 4 using sensors 13 of a second ADAS system 10 ;
d2) processing the second movement data in such a way that the categorized second movement data are generated on the basis of the categorized first movement data 6 through the second neural network 8th ,
e2) Get a prediction 12 behavior of pedestrians 3 based on second categorized movement data through the second neural network 8th ,

In diesem Ausführungsbeispiel sind die Sensoren 13 Kameras. Auch Rada oder Lidar Sensoren können zusätzlich umfasst sein. Die zweiten Bewegungsdaten werden anhand von Kameradaten ermittelt, welche die Kamera von den zweiten realen Fußgängern 4 aufzeichnet.In this embodiment, the sensors are 13 Cameras. Rada or lidar sensors can also be included. The second movement data are determined on the basis of camera data which the camera receives from the second real pedestrians 4 records.

Die zweiten Bewegungsdaten umfassen Beschleunigungen von Körperteilen, Positionierung der realen zweiten Fußgänger 4 und/oder Positionierung von Körperteilen.The second movement data include accelerations of body parts, positioning of the real second pedestrians 4 and / or positioning of body parts.

Die Verarbeitung der zweiten Bewegungsdaten zu den kategorisierten zweiten Bewegungsdaten erfolgt anhand von gängigen Bewegungsmustern und/oder gängigen Merkmalen und/oder gängigen Verhaltensweisen von Fußgängern.The processing of the second movement data to the categorized second movement data takes place on the basis of common movement patterns and / or common characteristics and / or common behaviors of pedestrians.

Da das neuronale Netzwerk anhand der kategorisierten ersten Bewegungsdaten 6 und den ersten Bewegungsdaten 5 trainiert wurde, ergibt sich eine Ermittlung der Vorhersage 12 ebenfalls anhand dieser Daten.Since the neural network based on the categorized first movement data 6 and the first movement data 5 was trained, the prediction is determined 12 also based on this data.

Das Verfahren umfasst zudem den Schritt:

f2) Anpassen von Ausgaben und/oder Ausgabedaten des zweiten ADAS Systems 10 an die ermittelte Vorhersage 12 über das Verhaltens von Fußgängern 3.

The process also includes the step:

f2) adaptation of outputs and / or output data of the second ADAS system 10 to the prediction determined 12 about the behavior of pedestrians 3 ,

In diesem Ausführungsbeispiel wird das zweite ADAS System 10 für den autonomen und/oder teilweise autonomen Betrieb eines Fahrzeugs eingesetzt.In this embodiment, the second ADAS system 10 used for the autonomous and / or partially autonomous operation of a vehicle.

Die Schritte c2) und d2) werden in diesem Ausführungsbeispiel alternativ und/oder zusätzlich zu den Schritten c1) und d1) durchgeführt. Die Schritte c2), d2), c1) oder d1) werden in der zeitlichen Reihenfolge nach dem Schritt b) durchgeführt. Eine zeitgleiche Durchführung der Schritte c1) und d1) mit den Schritten c2), d2), e2) und f2) ist möglich.Steps c2) and d2) are carried out alternatively and / or in addition to steps c1) and d1) in this exemplary embodiment. Steps c2), d2), c1) or d1) are carried out in the chronological order after step b). Steps c1) and d1) can be carried out simultaneously with steps c2), d2), e2) and f2).

Ohne die Berücksichtigung der ermittelten Vorhersage 12 über das Verhaltens von Fußgängern 3 würde das ADAS System 10 nur Daten der Sensoren 13 des zweiten ADAS Systems 10 berücksichtigen. Dadurch würden die ermittelten Reaktionen des zweiten ADAS Systems 10 auch nur diese Daten reflektieren. Beispielsweise würde ein sich am Straßenrand befindlicher Fußgänger nicht berücksichtigt werden, solange er die Straße nicht betritt.Without taking the prediction into account 12 about the behavior of pedestrians 3 would the ADAS system 10 only sensor data 13 of the second ADAS system 10 consider. This would result in the determined reactions of the second ADAS system 10 even just reflect this data. For example, a pedestrian on the side of the road would not be considered as long as he does not enter the road.

Wird durch die Vorhersage 12 ermittelt, dass der Fußgänger wahrscheinlich innerhalb der nächsten 1-20 Sekunden auf die Straße treten wird, werden diese Informationen ebenfalls berücksichtigt. So wird dann beispielsweise ein Bremsvorgang des Fahrzeugs initiiert noch bevor der Fußgänger die Straße betritt. Dies ermöglicht eine Erhöhung der Sicherheit für die Verkehrsteilnehmer.Will by prediction 12 If the pedestrian is likely to step on the street within the next 1-20 seconds, this information is also taken into account. For example, braking of the vehicle is then initiated even before the pedestrian enters the street. This enables increased safety for road users.

Wir in einem anderen Fall durch die Vorhersage 12 ermittelt, dass ein Fußgänger, welcher sich auf der Straße befindet, diese wahrscheinlich verlassen wird, bevor das Fahrzeug bei gleichbleibender Geschwindigkeit an die aktuelle Position des Fußgängers gelangt, wird ein sonst initiierter Bremsvorgang nicht durchgeführt. Dies ermöglicht eine Erhöhung der Effizienz des Fahrzeugs.We in another case by predicting 12 If it is determined that a pedestrian who is on the road is likely to leave it before the vehicle reaches the current position of the pedestrian at a constant speed, an otherwise initiated braking process is not carried out. This enables the efficiency of the vehicle to be increased.

2 zeigt ein erfindungsgemäßes System 15 zur Erfassung und Verarbeitung von ersten Bewegungsdaten 5 von realen ersten Fußgängern 1. Das System ist eingerichtet ein erfindungsgemäßes Verfahren durchzuführen 2 shows a system according to the invention 15 for capturing and processing the first movement data 5 from real first pedestrians 1 , The system is set up to carry out a method according to the invention

Die Verarbeitung der ersten Bewegungsdaten 5 erfolgt durch einen Algorithmus 7, welcher auf einem ersten neuronalen Netzwerk basiert.The processing of the first transaction data 5 is done by an algorithm 7 , which is based on a first neural network.

In diesem Ausführungsbeispiel umfasst das System 15 einen Computer, welcher eingerichtet ist den Algorithmus 7 durchzuführen. Dieser basiert auf dem ersten neuronalen Netz.In this embodiment, the system includes 15 a computer, which is set up the algorithm 7 perform. This is based on the first neural network.

In einer nicht gezeigten Ausführungsform des erfindungsgemäßen Verfahrens ist das erste neuronale Netz identisch mit dem zweiten Neuronalen Netz 8 ausgebildet.In an embodiment of the method according to the invention, not shown, the first neural network is identical to the second neural network 8th educated.

Die gängigen Bewegungsmuster und/oder die gängigen Verhaltensweisen von Fußgängern werden aus den ersten Bewegungsdaten 5 ermittelt. Dabei werden Bewegungsmuster und/oder Verhaltensweisen in den ersten Bewegungsdaten 5 identifiziert, die von realen Fußgängern 1 häufiger ausgeführt werden. Die gängigen Bewegungsmuster und/oder Verhaltensweisen können zusätzlich manuell festgelegt werden. Diese basieren auf den Erfahrungen von Fußgängern. The usual movement patterns and / or the usual behaviors of pedestrians are derived from the first movement data 5 determined. Movement patterns and / or behaviors are included in the first movement data 5 identified by real pedestrians 1 run more often. The common movement patterns and / or behaviors can also be set manually. These are based on the experience of pedestrians.

Das manuelle Hinzufügen von gängigen Bewegungsmustern und/oder Verhaltensweisen ermöglicht eine Reduktion des Risikos, dass wichtige gängige Bewegungsmuster und/oder Verhaltensweisen während der Erfassung der ersten Bewegungsdaten 5 nicht von den realen ersten Fußgängern 1 ausgeführt wurden, beispielweise, weil das Testgebiet zu klein bemessen wurde, und/oder die untersuchte Menge an realen ersten Fußgängern 1 und/oder ersten Bewegungsdaten 5 zu klein gewählt wurde.The manual addition of common movement patterns and / or behaviors enables a reduction in the risk of important common movement patterns and / or behaviors during the acquisition of the first movement data 5 not from the real first pedestrians 1 were carried out, for example because the test area was too small and / or the examined amount of real first pedestrians 1 and / or first movement data 5 was chosen too small.

Die gängigen Merkmale der ersten realen Fußgänger 1 werden verwendet, um die ersten Bewegungsdaten 5 bei der Erfassung zu markieren. So wird eine spätere Zuordnung der ersten Bewegungsdaten 5 zu Merkmalen von demjenigen realen ersten Fußgänger 1 ermöglicht, von dem die ersten Bewegungsdaten 5 erfasst wurden.The common characteristics of the first real pedestrians 1 are used to get the first movement data 5 to mark when recording. This is how a later assignment of the first movement data 5 to features of that real first pedestrian 1 from which the first movement data 5 were recorded.

Die ersten Bewegungsdaten 5 der realen ersten Fußgänger 1 werden durch Sensoren 14 erfasst, welche an den realen ersten Fußgängern 1 angebracht sind.The first movement data 5 the real first pedestrian 1 are through sensors 14 recorded which on the real first pedestrians 1 are attached.

Die Sensoren umfassen satellitengestützte Positionsbestimmungseinrichtungen, Blickrichtungssensoren, Herzfrequenzsensoren und Beschleunigungssensoren.The sensors include satellite-based position determination devices, line-of-sight sensors, heart rate sensors and acceleration sensors.

Eine satellitengestützte Positionsbestimmungseinrichtung ist in diesem Ausführungsbeispiel an einer Brille angebracht, welche die realen ersten Fußgänger 1 tragen. Die Brille weist zusätzlich auch Blickrichtungssensoren auf, welche die Blickrichtung von zwei Augen eines realen ersten Fußgängers 1 erfassen kann.In this exemplary embodiment, a satellite-based position determining device is attached to a pair of glasses which are the real first pedestrians 1 wear. The glasses also have gaze direction sensors, which gaze the direction of two eyes of a real first pedestrian 1 can capture.

Die Brille ermöglicht eine Erfassung der Blickrichtung und der Position des realen ersten Fußgängers 1, ohne dass dieser große körperliche Beeinträchtigungen aufgrund der Sensoren spürt. Dadurch wird die Wahrscheinlichkeit einer sensorbedingten Verfälschung der ersten Bewegungsdaten 5 vermindert.The glasses enable the gaze direction and the position of the real first pedestrian to be recorded 1 without feeling any major physical impairment due to the sensors. This makes the probability of a sensor-related falsification of the first movement data 5 reduced.

Ein Herzfrequenzsensor ermöglicht eine Abschätzung des Gemütszustandes der realen ersten Fußgänger, unabhängig von den anderweitig erfassten ersten Bewegungsdaten 5. Die ermöglicht eine gemütszustandsbedingte Auswertung der ersten Bewegungsdaten 5.A heart rate sensor makes it possible to estimate the state of mind of the real first pedestrians, regardless of the first movement data recorded otherwise 5 , This enables a mood-related evaluation of the first movement data 5 ,

Die Beschleunigungssensoren sind an der Kleidung der realen ersten Fußgänger 1 angebracht. Es werden in diesem Ausführungsbeispiel 15 Bewegungssensoren pro Fußgänger verwendet. Diese sind an allen großen Gelenken, wie Ellenbogen, Handgelenk, Hüfte, Knien und Hals angebracht. Sie ermöglichen eine Erfassung von Bewegungen, welche die realen ersten Fußgänger 1 ausführen. Auf diese Weise wird beispielsweise das Vorsetzen eines Beins erfasst.The acceleration sensors are on the clothing of the real first pedestrians 1 appropriate. It will be in this embodiment 15 Motion sensors used per pedestrian. These are attached to all large joints such as elbows, wrists, hips, knees and neck. They enable the detection of movements that are the real first pedestrians 1 To run. In this way, for example, the positioning of a leg is detected.

Ein erfindungsgemäßes System 16 zur Simulation 11 von Fußgängern 2 und/oder zur Vorhersage 12 des Verhaltens von Fußgängern 3 ist eingerichtet ein erfindungsgemäßes Verfahren durchzuführen.A system according to the invention 16 for simulation 11 of pedestrians 2 and / or for prediction 12 behavior of pedestrians 3 is set up to carry out a method according to the invention.

In diesem Ausführungsbeispiel umfasst das System 16 einen Computer. Der Computer ist eingerichtet einen Algorithmus durchzuführen, welcher basierend auf dem zweiten neuronalen Netzwerk 8 eine Verarbeitung der ersten Bewegungsdaten 5, eine Simulation 11 von Fußgängern 2 und/oder eine Vorhersage über das Verhalten von Fußgängern 3 ermöglicht.In this embodiment, the system includes 16 a computer. The computer is set up to carry out an algorithm which is based on the second neural network 8th a processing of the first movement data 5 , a simulation 11 of pedestrians 2 and / or a prediction about pedestrian behavior 3 allows.

Die Verwendung des neuronalen Netzwerks 8 ermöglicht realitätsnahe Simulation 11 und eine präzise Vorhersage 12.The use of the neural network 8th enables realistic simulation 11 and a precise prediction 12 ,

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

JP 2005050117 A [0002]

Claims

Procedure for a first application in the ADAS area, comprising the steps: a) capturing first movement data (5) from real first pedestrians (1); b) processing the first movement data (5) so that categorized first movement data (6) are generated; c1) simulating (11) pedestrians (2) on the basis of the categorized first movement data (6) by a second neural network (8).

Procedure according to Claim 1 , comprising the step: d1) validating and / or adapting a first ADAS system (9) based on the simulation (11) of pedestrians (2).

Procedure for a second application in the ADAS area, comprising the steps: a) capturing first movement data (5) from real first pedestrians (1); b) processing the first movement data (5) so that categorized first movement data (6) are generated; c2) determining second movement data from real second pedestrians (4) by means of sensors (13) of a second ADAS system (10); d2) processing the second movement data in such a way that categorized second movement data are generated on the basis of the categorized first movement data (6) by the second neural network (8). e2) determining a prediction (12) of the behavior of pedestrians (3) on the basis of the second categorized movement data by the second neural network (8).

Procedure according to Claim 3 , comprising the step: f2) adapting outputs and / or output data of the second ADAS system (10) to the determined prediction (12) about the behavior of pedestrians (3).

Procedure according to one of the Claims 1 to 2 or 3 to 4 The first movement data (5) are processed by an algorithm (7) which is based on a first neural network.

Procedure according to one of the Claims 1 to 2 or 3 to 5 , wherein the processing of the first movement data (5) and / or the second movement data to the categorized first movement data (6) and / or the categorized second movement data takes place on the basis of common movement patterns and / or common characteristics and / or common behaviors of pedestrians.

Procedure according to one of the Claims 1 to 2 or 3 to 6 The first movement data (5) of the real first pedestrians (1) are recorded by sensors (14) which are attached to the real first pedestrians (1).

System (15) for recording and processing first movement data (5) from real first pedestrians (1), set up a method according to one of the Claims 1 to 7 perform.

System (16) for simulating (11) pedestrians (2) and / or for predicting (12) the behavior of pedestrians (3), set up a method according to one of the Claims 1 to 7 perform.

Database for the first and / or the second application in the ADAS area, comprising categorized first movement data (6) according to one of the Claims 1 to 7 ,