DE102019212829A1 - Automated detection of abnormal behavior on the part of a road user - Google Patents

Automated detection of abnormal behavior on the part of a road user Download PDF

Info

Publication number
DE102019212829A1
DE102019212829A1 DE102019212829.7A DE102019212829A DE102019212829A1 DE 102019212829 A1 DE102019212829 A1 DE 102019212829A1 DE 102019212829 A DE102019212829 A DE 102019212829A DE 102019212829 A1 DE102019212829 A1 DE 102019212829A1
Authority
DE
Germany
Prior art keywords
neural network
artificial neural
vehicle
road user
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019212829.7A
Other languages
German (de)
Inventor
Ulrich Eberle
Sven Hallerbach
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STELLANTIS AUTO SAS, FR
Original Assignee
PSA Automobiles SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PSA Automobiles SA filed Critical PSA Automobiles SA
Priority to DE102019212829.7A priority Critical patent/DE102019212829A1/en
Priority to EP20761802.6A priority patent/EP4022589A1/en
Priority to PCT/EP2020/073724 priority patent/WO2021037838A1/en
Publication of DE102019212829A1 publication Critical patent/DE102019212829A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Abstract

Die Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes, aufweisend die Schritte:- Ermitteln (S1) von ersten Daten über einen ersten Verkehrsteilnehmer (1) durch eine Versuchsfahrzeugsensoreinheit (11),- Ermitteln (S2) von zweiten Daten über den ersten Verkehrsteilnehmer (1) durch eine externe Sensoreinheit (30),- Trainieren (S3) des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang und mit einem vorgegebenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang, und- Abspeichern (S4) des trainierten neuronalen Netzes in einer Speichereinheit (3) zur späteren Ausführung in dem Fahrzeug (20), wobei das abgespeicherte trainierte künstliche neuronale Netz dazu ausgeführt ist, mit aktuell von einer Fahrzeugsensoreinheit (21) eines Fahrzeugs (20) erfassten ersten Daten über einen zweiten Verkehrsteilnehmer (2) als einziger Eingang des künstlichen neuronalen Netzes ausgeführt zu werden.The invention relates to a method for training an artificial neural network, comprising the steps: ascertaining (S1) first data about a first road user (1) by a test vehicle sensor unit (11), - ascertaining (S2) second data about the first road user (1) by an external sensor unit (30), - training (S3) the artificial neural network with the first data and with the second data in each case as an input and with a predetermined measure for classification into normal or abnormal behavior of the road user as a predetermined output, and- storing (S4) the trained neural network in a memory unit (3) for later execution in the vehicle (20), the stored trained artificial neural network being designed to be updated by a vehicle sensor unit (21) of a vehicle (20) recorded first data about a second road user (2) as the only input of the artificial neural network s to be executed.

Description

Die Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs, ein Verfahren zum Ausführen eines so trainierten künstlichen neuronalen Netzes in einem Fahrzeug, ein ebensolches Fahrzeug, ein System mit einem Versuchsfahrzeug zum Trainieren eines künstlichen neuronalen Netzes zur Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs, sowie ein Computerprogrammprodukt und ein computerlesbares Medium jeweils zur Ausführung der jeweiligen Verfahren.The invention relates to a method for training an artificial neural network with regard to the detection of abnormal behavior of road traffic participants, a method for executing an artificial neural network trained in this way in a vehicle, a similar vehicle, a system with a test vehicle for training an artificial neural network for the detection of abnormal behavior of road traffic participants, as well as a computer program product and a computer-readable medium in each case for the execution of the respective method.

Aufgabe der Erfindung ist es, das automatisierte bzw. autonome Fahren mit einem Fahrzeug im Straßenverkehr zu verbessern.The object of the invention is to improve automated or autonomous driving with a vehicle in road traffic.

Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.The invention results from the features of the independent claims. Advantageous further developments and refinements are the subject matter of the dependent claims.

Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs, aufweisend die Schritte:

  • - Ermitteln von ersten Daten über einen ersten Verkehrsteilnehmer durch eine an einem Versuchsfahrzeug angeordnete Versuchsfahrzeugsensoreinheit,
  • - Ermitteln von zweiten Daten über den ersten Verkehrsteilnehmer durch eine externe Sensoreinheit, wobei die externe Sensoreinheit stationär im Bereich einer Straße angeordnet ist oder an einem Luftfahrzeug angeordnet ist,
  • - Trainieren des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang des künstlichen neuronalen Netzes und mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers bezogenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes, und
  • - Abspeichern des trainierten künstlichen neuronalen Netzes in einer Speichereinheit zur späteren Ausführung in dem Fahrzeug, wobei das abgespeicherte trainierte künstliche neuronale Netz dazu ausgeführt ist, mit aktuell von einer Fahrzeugsensoreinheit eines Fahrzeugs erfassten ersten Daten über einen zweiten Verkehrsteilnehmer als einziger Eingang des künstlichen neuronalen Netzes ausgeführt zu werden.
A first aspect of the invention relates to a method for training an artificial neural network with regard to the detection of abnormal behavior of road traffic participants, comprising the steps:
  • - Determination of first data about a first road user by a test vehicle sensor unit arranged on a test vehicle,
  • - Determination of second data about the first road user by an external sensor unit, wherein the external sensor unit is arranged stationary in the area of a road or is arranged on an aircraft,
  • - Training the artificial neural network with the first data and with the second data in each case as an input of the artificial neural network and with a predetermined measure related to the behavior of the first road user for classification into normal or abnormal behavior of the road user as a predetermined output of the artificial neural Network, and
  • - Saving the trained artificial neural network in a memory unit for later execution in the vehicle, the saved trained artificial neural network being designed to be executed with first data currently recorded by a vehicle sensor unit of a vehicle about a second road user as the only input of the artificial neural network to become.

Die externe Sensoreinheit ist bevorzugt an einem Luftfahrzeug, insbesondere einem unbemannten Luftfahrzeug wie einem Quadrocopter, einem Hexacopter, einem Oktocopter, oder an einer Starrflügel-Drohne angeordnet. Alternativ bevorzugt dazu ist die externe Sensoreinheit in einem Bereich einer Straße, auf der das Versuchsfahrzeug unterwegs ist, stationär angeordnet, das heißt an einer fixen Einrichtung wie einer Straßenlaterne, einer Warnbake, einem Masten eines Verkehrszeichens, einer Ampel, oder anderen Bauten insbesondere an einer Kreuzung angeordnet.The external sensor unit is preferably arranged on an aircraft, in particular an unmanned aircraft such as a quadrocopter, a hexacopter, an octocopter, or on a fixed-wing drone. Alternatively, preferably, the external sensor unit is arranged in a stationary manner in an area of a road on which the test vehicle is traveling, i.e. on a fixed device such as a street lamp, a warning beacon, a mast of a traffic sign, a traffic light, or other structures, in particular on a Intersection arranged.

Durch die externe Sensoreinheit und die Versuchsfahrzeugsensoreinheit ergeben sich zwei Informationsquellen, um Daten über das Verhalten des ersten Verkehrsteilnehmers zu gewinnen. Dies erleichtert vorteilhaft das akkurate Trainieren des künstlichen neuronalen Netzes, da mittels der externen Sensoreinheit, die naturgemäß von oben herab auf die Fahrbahn und insbesondere auf die Kreuzung auf den ersten Verkehrsteilnehmer herab blickt, näherungsweise vollkommen exakte Daten über das Verhalten des ersten Verkehrsteilnehmers vorliegen, die unter Umständen durch die bloße Beobachtung durch die Versuchsfahrzeugsensoreinheit nicht in ausreichendem Maße vorliegen würden, da diese nicht auf die Straße und insbesondere die Kreuzung mit dem ersten Verkehrsteilnehmer herab blickt. So lassen sich vorteilhaft sogenannte „ground-truth“ Daten gewinnen, wobei dieser Begriff insbesondere im Bereich des maschinellen Lernens dann verwendet wird, wenn zu Trainingszwecken vollständige und fehlerfreie Datensätze im Eingang verwendet werden, sodass ein Fehler im maschinellen Lernen aufgrund von unvollständigen oder fehlerhaften Datensätzen praktisch ausgeschlossen werden kann und das maschinelle Lernen bestmöglich erfolgt.The external sensor unit and the test vehicle sensor unit result in two sources of information in order to obtain data on the behavior of the first road user. This advantageously facilitates the accurate training of the artificial neural network, since by means of the external sensor unit, which naturally looks down from above at the road and especially at the intersection at the first road user, approximately completely exact data about the behavior of the first road user are available Under certain circumstances, the mere observation by the test vehicle sensor unit would not be present to a sufficient extent, since it does not look down on the road and in particular the intersection with the first road user. So-called "ground truth" data can advantageously be obtained, whereby this term is used in particular in the area of machine learning when complete and error-free data sets are used in the input for training purposes, so that an error in machine learning is due to incomplete or incorrect data sets can be practically ruled out and machine learning takes place in the best possible way.

Ein künstliches neuronales Netz ist im Wesentlichen eine anpassbare Funktion, die mittels Eingangsdaten und Ausgangsdaten und mittels einer Kostenfunktion eine Abbildung zwischen den Eingangsdaten und den Ausgangsdaten erzeugen kann. Im Stand der Technik sind hierbei eine Vielzahl verschiedener Architekturen von neuronalen Netzen bekannt.An artificial neural network is essentially an adaptable function that can generate a mapping between the input data and the output data using input data and output data and using a cost function. A large number of different neural network architectures are known in the prior art.

Solche künstliche neuronale Netze werden gemäß dem ersten Aspekt der Erfindung verwendet, um einen deterministischen Zusammenhang herzustellen zwischen sensorisch erfassten Daten über das Verhalten des ersten Verkehrsteilnehmers und einem Maß oder bereits einer Entscheidung, ob das Verhalten des ersten Verkehrsteilnehmers einem normalen Verhalten oder einem anormalen Verhalten eines Verkehrsteilnehmers entspricht.According to the first aspect of the invention, such artificial neural networks are used to establish a deterministic relationship between sensor-recorded data about the behavior of the first road user and a measure or a decision as to whether the behavior of the first road user is normal behavior or abnormal behavior Road user.

Unter dem Verhalten des (ersten) Verkehrsteilnehmers wird insbesondere eine Trajektorienführung verstanden, die bevorzugt eine Ortsinformation, einen Geschwindigkeitsverlauf und einen Beschleunigungsverlauf entlang der Trajektorie und optional weiterhin bevorzugt auch eine Seitenbeschleunigung des ersten Verkehrsteilnehmers umfasst.The behavior of the (first) road user is in particular one Understood trajectory guidance, which preferably includes location information, a speed profile and an acceleration profile along the trajectory and optionally also preferably a lateral acceleration of the first road user.

Was ein normales Verhalten und was ein anormales Verhalten des ersten Verkehrsteilnehmers ist, ist dabei im Wesentlichen freie Definitionssache und es ist Aufgabe eines Ingenieurs, dies zu definieren. Eine solche Definition ist Teil des Trainieren des künstlichen neuronalen Netzes und ist dem Ausgang des neuronalen Netzes zugeordnet. Das heißt, dass das neuronale Netz zum Zwecke des Trainierens mit den ermittelten ersten Daten und den ermittelten zweiten Daten im Eingangskanal des neuronalen Netzes gespeist wird, sodass das neuronale Netz auf diese Eingänge hin einen Ausgang berechnet, wobei der Ausgang ein Maß für die Normalität oder die Anormalität des Verhaltens des ersten Verkehrsteilnehmers widerspiegelt, und zumindest während des Trainierens des künstlichen neuronalen Netzes der Ausgang einem vorgegebenen Maß oder bereits eine Entscheidung zum normalen oder anomalen Verhalten des ersten Verkehrsteilnehmers durch Vorgabe zugeordnet wird.What is normal behavior and what is abnormal behavior of the first road user is essentially a matter of free definition and it is the task of an engineer to define this. Such a definition is part of the training of the artificial neural network and is assigned to the output of the neural network. This means that the neural network is fed for the purpose of training with the determined first data and the determined second data in the input channel of the neural network, so that the neural network calculates an output for these inputs, the output being a measure of normality or reflects the abnormality of the behavior of the first road user, and at least during the training of the artificial neural network, the output is assigned to a predetermined level or a decision on the normal or abnormal behavior of the first road user is assigned by default.

So sind beim Trainieren des neuronalen Netzes Eingangswerte und Ausgangswerte bekannt, und insbesondere durch Minimieren einer Kostenfunktion, die eine Differenz zwischen den auf Basis der aktuellen Parameter des künstlichen neuronalen Netzes berechneten Ausgangswerten und den vorgegebenen Ausgangswerten umfasst, werden die Parameter so angeglichen, dass das künstliche neuronale Netz den Zusammenhang zwischen den Eingangswerten und Ausgangswerten während der Trainingsphase immer besser trifft, bis letztendlich das neuronale Netz so weit trainiert ist, dass es zuverlässig das Maß bezüglich dem normalen oder anormalen Verhalten des ersten Verkehrsteilnehmers selbst bestimmen kann. Dabei finden übliche Methoden des überwachten bzw. unüberwachten Lernens Einsatz.When training the neural network, input values and output values are known, and in particular by minimizing a cost function that includes a difference between the output values calculated on the basis of the current parameters of the artificial neural network and the specified output values, the parameters are adjusted so that the artificial neural network, the relationship between the input values and output values during the training phase always better meets, until ultimately the neural network is trained to such an extent that it can reliably determine the extent of the normal or abnormal behavior of the first road user itself. The usual methods of supervised and unsupervised learning are used.

Das Maß zum normalen oder anormalen Verhalten kann dabei insbesondere ein numerischer Wert sein, oder ein symbolischer Wert, worauf hin jeweils eine Entscheidung insbesondere durch Abgleich des numerischen Wertes oder des symbolischen Wertes mit einem Grenzwert getroffen werden kann, ob normales oder anormales Verhalten des ersten Verkehrsteilnehmers vorliegt, oder alternativ bevorzugt ist das Maß bereits eine binäre Variable und enthält direkt die Entscheidung, ob normales oder anomales Verhalten des ersten Verkehrsteilnehmers vorliegt, was insbesondere durch eine Aktivierungsfunktion erfolgt, die den Ausgang des künstlichen neuronalen Netzes auf insbesondere ‚0‘ oder auf ‚1‘ abbildet.The measure of normal or abnormal behavior can in particular be a numerical value or a symbolic value, whereupon a decision can be made, in particular by comparing the numerical value or the symbolic value with a limit value, whether normal or abnormal behavior of the first road user is present, or alternatively, the measure is already a binary variable and directly contains the decision as to whether the behavior of the first road user is normal or abnormal, which takes place in particular through an activation function that sets the output of the artificial neural network to, in particular, '0' or ' 1 '.

Bevorzugt wird das Trainieren des künstlichen neuronalen Netzes gemäß dem ersten Aspekt der Erfindung in einer großen Vielzahl an Wiederholungen ausgeführt, um ausreichend viele und ausreichend verschiedenartige erste Daten und zweite Daten von der Versuchsfahrzeugsensoreinheit bzw. der externen Sensoreinheit zu generieren und eine zuverlässige Abbildung durch das künstliche neuronale Netz zu erzeugen. Durch die Wiederholung des ersten Aspekts der Erfindung werden somit erste Daten und zweite Daten insbesondere an einer großen Vielzahl von ersten Verkehrsteilnehmern erzeugt und damit das künstliche neuronale Netz trainiert.The training of the artificial neural network according to the first aspect of the invention is preferably carried out in a large number of repetitions in order to generate a sufficient number and sufficiently different types of first data and second data from the test vehicle sensor unit or the external sensor unit and a reliable mapping by the artificial generate neural network. By repeating the first aspect of the invention, first data and second data are generated, in particular on a large number of first road users, and the artificial neural network is thus trained.

Es ist eine vorteilhafte Wirkung der Erfindung, dass mit praktisch gesehen vollständigen und fehlerfreien Daten (sogenannten „ground truth“ Daten) über den ersten Verkehrsteilnehmer das künstliche neuronale Netz trainiert wird, was die Qualität des Trainings des künstlichen neuronalen Netzes erheblich verbessert, wohingegen das trainierte künstliche neuronale Netz im Fahrzeug auf Basis von aktuellen ersten Daten aus der Fahrzeugsensoreinheit zuverlässig betrieben werden kann. Ein weiterer Vorteil der internen Sensoreinheit ist, dass diese durch ihre naturgemäße Anordnung oberhalb einer Straße oder an einem Luftfahrzeug nicht direkt von einem anderen Verkehrsteilnehmer bewertet wird, sodass zur Trainingsphase des künstlichen neuronalen Netzes das Training von dem anderen Verkehrsteilnehmer unbemerkt bleiben kann, wodurch sich unbeeinflusste ermittelte Daten über den jeweiligen erfassten Verkehrsteilnehmer ergeben.It is an advantageous effect of the invention that the artificial neural network is trained with practically complete and error-free data (so-called "ground truth" data) about the first road user, which significantly improves the quality of the training of the artificial neural network, whereas the trained artificial neural network in the vehicle can be operated reliably on the basis of current first data from the vehicle sensor unit. Another advantage of the internal sensor unit is that, due to its natural arrangement above a road or on an aircraft, it is not evaluated directly by another road user, so that the training can go unnoticed by the other road user during the training phase of the artificial neural network determined data about the respective recorded road user result.

Gemäß einer vorteilhaften Ausführungsform dient das Verfahren weiterhin zum Ausführen des künstlichen neuronalen Netzes in dem Fahrzeug und weist weiterhin die Schritte auf:

  • - Ausführen des abgespeicherten trainierten künstlichen neuronalen Netzes in dem Fahrzeug während der Fahrt des Fahrzeugs mit aktuellen, von der am Fahrzeug angeordneten Fahrzeugsensoreinheit ermittelten, ersten Daten über den zweiten Verkehrsteilnehmer, wobei die aktuell ermittelten ersten Daten der Fahrzeugsensoreinheit als einziger Eingang des künstlichen neuronalen Netzes dienen, und
  • - Entscheiden auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers vorliegt.
According to an advantageous embodiment, the method is also used to execute the artificial neural network in the vehicle and furthermore has the following steps:
  • - Execution of the stored trained artificial neural network in the vehicle while the vehicle is driving with current first data about the second road user determined by the vehicle sensor unit arranged on the vehicle, the currently determined first data of the vehicle sensor unit serving as the only input of the artificial neural network , and
  • - Based on the output of the artificial neural network, decide whether the second road user is behaving abnormally.

Gemäß dieser Ausführungsform wird ein künstliches neuronales Netz, das gemäß dem ersten Aspekt der Erfindung trainiert wurde, in einem weiteren Fahrzeug verwendet, um damit das Verhalten der Verkehrsteilnehmer zu überwachen. Das weitere Fahrzeug ist nicht notwendigerweise gleich dem Versuchsfahrzeug, kann es jedoch sein. Insofern erklärt sich, dass das Fahrzeug das mittels des Versuchsfahrzeugs trainierte künstliche neuronale Netz verwenden kann, da die Abbildung, welche das künstliche neuronale Netz wiedergibt, prinzipiell vom Trägerfahrzeug unabhängig ist. Vorteilhaft kann daher durch diese Ausführungsform ein künstliches neuronales Netz, welches mittels eines Versuchsfahrzeuges und mit einer externen Sensoreinheit bezüglich eines ersten Verkehrsteilnehmers trainiert wurde, auf einem beliebigen Fahrzeug verwendet werden, um das Verhalten eines zweiten Verkehrsteilnehmers, der vom ersten Verkehrsteilnehmer unabhängig ist, zu überwachen.According to this embodiment, an artificial neural network that was trained according to the first aspect of the invention is used in a further vehicle in order to monitor the behavior of the road users. The additional vehicle is not necessarily the same as the test vehicle, but it can be. To that extent explained that the vehicle can use the artificial neural network trained by means of the test vehicle, since the mapping which the artificial neural network reproduces is in principle independent of the carrier vehicle. With this embodiment, an artificial neural network, which was trained with a test vehicle and with an external sensor unit with respect to a first road user, can advantageously be used on any vehicle in order to monitor the behavior of a second road user who is independent of the first road user .

Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zum Ausführen eines künstlichen neuronalen Netzes in einem Fahrzeug, aufweisend die Schritte:

  • - Bereitstellen eines künstlichen neuronalen Netzes, wobei das künstliche neuronale Netz mit ersten, von einer an einem Versuchsfahrzeug angeordneten Versuchsfahrzeugsensoreinheit ermittelten, Daten über einen ersten Verkehrsteilnehmer und mit zweiten, von einer externen und stationär im Bereich einer Straße oder an einem Luftfahrzeug angeordneten Sensoreinheit ermittelten, Daten über den ersten Verkehrsteilnehmer jeweils als Eingang des künstlichen neuronalen Netzes trainiert worden ist, und wobei das künstliche neuronale Netz mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers bezogenen Maß zur Einordnung in normales oder anormales Verhalten des ersten Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes trainiert worden ist,
  • - Erfassen von aktuellen ersten Daten über einen zweiten Verkehrsteilnehmer durch eine am Fahrzeug angeordnete Fahrzeugsensoreinheit,
  • - Ausführen des trainierten künstlichen neuronalen Netzes in dem Fahrzeug während der Fahrt des Fahrzeugs mit aktuellen, von einer am Fahrzeug angeordneten Fahrzeugsensoreinheit ermittelten, ersten Daten über den zweiten Verkehrsteilnehmer, wobei die aktuell ermittelten ersten Daten der Fahrzeugsensoreinheit als einziger Eingang des künstlichen neuronalen Netzes dienen, und
  • - Entscheiden auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers vorliegt.
Another aspect of the invention relates to a method for executing an artificial neural network in a vehicle, comprising the steps:
  • - Provision of an artificial neural network, the artificial neural network ascertaining data on a first road user with a first, ascertained by a trial vehicle sensor unit arranged on a trial vehicle, and ascertained with a second, from an external and stationary sensor unit located in the area of a road or on an aircraft Data about the first road user has been trained as an input of the artificial neural network, and the artificial neural network with a predetermined level related to the behavior of the first road user for classification into normal or abnormal behavior of the first road user as a predetermined output of the artificial neural network Network has been trained,
  • - Acquisition of current first data about a second road user by a vehicle sensor unit arranged on the vehicle,
  • - Execution of the trained artificial neural network in the vehicle while the vehicle is in motion with current first data about the second road user determined by a vehicle sensor unit arranged on the vehicle, the currently determined first data of the vehicle sensor unit serving as the only input of the artificial neural network, and
  • - Based on the output of the artificial neural network, decide whether the second road user is behaving abnormally.

Die zum ersten Aspekt der Erfindung gemachten Erklärungen und die zur bevorzugten Ausführungsform des ersten Aspekts der Erfindung gemachten Erklärungen können uneingeschränkt auf den zweiten obigen Aspekt der Erfindung übertragen werden. The explanations made for the first aspect of the invention and the explanations made for the preferred embodiment of the first aspect of the invention can be applied without restriction to the second aspect of the invention above.

Gemäß einer weiteren vorteilhaften Ausführungsform erfolgt das Entscheiden, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers vorliegt, durch Vergleich des Ausgangs des künstlichen neuronalen Netzes mit einer vorgegeben Metrik. Bevorzugt ist die Metrik ein Grenzwert, gegen den der Ausgang des künstlichen neuronalen Netzes verglichen wird. Vorteilhaft wird hierdurch eine binäre Aussage ausgehend von einem numerischen Wert des Ausgangs des künstlichen neuronalen Netzes darüber getroffen, ob ein normales oder ein anomales Verhalten des zweiten Verkehrsteilnehmers vorliegt.According to a further advantageous embodiment, the decision as to whether the second road user is behaving abnormally is made by comparing the output of the artificial neural network with a predefined metric. The metric is preferably a limit value against which the output of the artificial neural network is compared. In this way, a binary statement is advantageously made based on a numerical value of the output of the artificial neural network about whether the second road user is behaving normally or abnormally.

Gemäß einer weiteren vorteilhaften Ausführungsform weist das Verfahren weiterhin den Schritt auf:

  • - Ausführen einer vorgegeben Reaktion, wenn das Entscheiden über anormales Verhalten des zweiten Verkehrsteilnehmers positiv ausfällt, wobei die vorgegebene Reaktion zumindest eine aus den folgenden ist:
    • . Ausgeben einer Warnung an den Fahrer des Fahrzeugs, . Vermindern des Grades der Autonomie, mit der das Fahrzeug aktuell betrieben wird,
    • . Ändern von Parametern eines automatischen oder autonomen Steueralgorithmus des Fahrzeugs derart, dass die Fahrweise des Fahrzeugs auf Basis des autonomen Steueralgorithmus defensiver wird,
    • . Ändern einer geplanten Trajektorie des Fahrzeugs.
According to a further advantageous embodiment, the method also has the step:
  • Execution of a predefined reaction if the decision about abnormal behavior of the second road user turns out to be positive, the predefined reaction being at least one of the following:
    • . Issuing a warning to the driver of the vehicle,. Reducing the degree of autonomy with which the vehicle is currently operated,
    • . Changing parameters of an automatic or autonomous control algorithm of the vehicle in such a way that the driving style of the vehicle becomes more defensive on the basis of the autonomous control algorithm,
    • . Changing a planned trajectory of the vehicle.

Das Vermindern des Grades der Autonomie, mit der das Fahrzeug aktuell betrieben wird kann einerseits in einem Abschalten einiger automatisierenden Komponenten des Fahrzeugs bestehen, weitergehend bis zum Übergeben der vollständigen und alleinigen Kontrollautorität über das Fahrzeug an den Fahrer des Fahrzeugs.The reduction in the degree of autonomy with which the vehicle is currently operated can consist, on the one hand, of switching off some of the automating components of the vehicle, up to and including the transfer of full and sole control authority over the vehicle to the driver of the vehicle.

Gemäß einer weiteren vorteilhaften Ausführungsform umfassen die ersten Daten kinematische Informationen über den ersten Verkehrsteilnehmer und/oder den zweiten Verkehrsteilnehmer. Kinematische Informationen über den ersten Verkehrsteilnehmer beziehen sich insbesondere auf Informationen, die eine Position oder eine zeitliche Ableitung der Position des ersten Verkehrsteilnehmers wiedergeben. So können kinematische Informationen eine Geschwindigkeit, eine Beschleunigung, eine zeitliche Ableitung der Beschleunigung, insbesondere in Fahrtrichtung, und weiterhin insbesondere auch rechtwinklig zur aktuellen Fahrtrichtung, umfassen. Auch können die kinematischen Informationen relativ zu Beschränkungen und Verkehrsregeln bereitgestellt werden, insbesondere Geschwindigkeiten relativ zu einer Geschwindigkeitsbeschränkung, Lenkbewegungen relativ zu einer Spur, insbesondere zu gestrichelten oder durchgezogenen Markierungen, und generell relativ zu anderen durch allgemeine Regeln oder speziellen Verkehrszeichen oder Leuchtanzeigen gemachten Beschränkungen. According to a further advantageous embodiment, the first data include kinematic information about the first road user and / or the second road user. Kinematic information about the first road user relates in particular to information that reproduces a position or a time derivative of the position of the first road user. Kinematic information can thus include a speed, an acceleration, a time derivative of the acceleration, in particular in the direction of travel, and furthermore in particular also at right angles to the current direction of travel. The kinematic information relative to restrictions and traffic rules, in particular speeds relative to a speed limit, steering movements relative to a lane, in particular to dashed or solid markings, and generally relative to other restrictions imposed by general rules or special traffic signs or illuminated displays.

Gemäß einer weiteren vorteilhaften Ausführungsform umfassen die zweiten Daten jeweils kinematische Informationen über den ersten Verkehrsteilnehmer.According to a further advantageous embodiment, the second data each include kinematic information about the first road user.

Gemäß einer weiteren vorteilhaften Ausführungsform umfassen die jeweiligen kinematischen Daten zumindest eine Position und/oder eine Trajektorie des jeweiligen Verkehrsteilnehmers.According to a further advantageous embodiment, the respective kinematic data include at least one position and / or a trajectory of the respective road user.

Gemäß einer weiteren vorteilhaften Ausführungsform umfassen die Daten über den ersten Verkehrsteilnehmer Informationen über eine aktuelle Spur, auf der sich der erste Verkehrsteilnehmer befindet, und/oder Informationen über einen oder mehrere Spurwechsel des ersten Verkehrsteilnehmers.According to a further advantageous embodiment, the data about the first road user include information about a current lane in which the first road user is located and / or information about one or more lane changes by the first road user.

Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug, aufweisend eine Fahrzeugsensoreinheit und eine Recheneinheit, wobei die Recheneinheit dazu ausgeführt ist, ein künstliches neuronalen Netzes bereitzustellen, wobei das künstliche neuronale Netz mit ersten, von einer an einem Versuchsfahrzeug angeordneten Versuchsfahrzeugsensoreinheit ermittelten, Daten über einen ersten Verkehrsteilnehmer und mit zweiten, von einer stationär im Bereich einer Straße angeordneten oder an einem Luftfahrzeug angeordneten externen Sensoreinheit ermittelten, Daten über den ersten Verkehrsteilnehmer jeweils als Eingang des künstlichen neuronalen Netzes trainiert worden ist, und wobei das künstliche neuronale Netz mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers bezogenen Maß zur Einordnung in normales oder anormales Verhalten des ersten Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes trainiert worden ist, wobei die Fahrzeugsensoreinheit zum Erfassen von aktuellen ersten Daten über einen zweiten Verkehrsteilnehmer ausgeführt ist, und wobei die Recheneinheit zum Ausführen des künstlichen neuronalen Netzes mit den aktuellen ersten Daten als einziger Eingang des künstlichen neuronalen Netzes und zum Entscheiden auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers vorliegt, ausgeführt ist.Another aspect of the invention relates to a vehicle having a vehicle sensor unit and a computing unit, the computing unit being designed to provide an artificial neural network, the artificial neural network having first data determined by a test vehicle sensor unit on a test vehicle via a first Traffic participant and with second, from an external sensor unit arranged stationary in the area of a road or arranged on an aircraft, data about the first traffic participant has been trained in each case as an input of the artificial neural network, and wherein the artificial neural network with a predetermined and based on the Behavior of the first road user related measure for classification into normal or abnormal behavior of the first road user has been trained as a predetermined output of the artificial neural network, the vehicle sensor unit for detection sen is executed from current first data about a second road user, and wherein the computing unit for executing the artificial neural network with the current first data as the only input of the artificial neural network and for deciding on the basis of the output of the artificial neural network whether an abnormal behavior of the second road user is present, is executed.

Gemäß einer vorteilhaften Ausführungsform weist die Fahrzeugsensoreinheit jeweils zumindest eine der folgenden auf:

  • - Kameraeinheit, insbesondere Stereokameraeinheit,
  • - Ultraschallsensoreinheit,
  • - Lidareinheit,
  • - Radareinheit, insbesondere Dopplerradareinheit.
According to an advantageous embodiment, the vehicle sensor unit has at least one of the following:
  • - camera unit, in particular stereo camera unit,
  • - ultrasonic sensor unit,
  • - Lidar unit,
  • - Radar unit, in particular Doppler radar unit.

Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Fahrzeugs ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit den vorgeschlagenen Verfahren vorstehend gemachten Ausführungen.Advantages and preferred developments of the proposed vehicle result from an analogous and analogous transfer of the statements made above in connection with the proposed method.

Ein weiterer Aspekt der Erfindung betrifft ein System mit einem Versuchsfahrzeug, mit einer Kalkulationseinheit, und mit einer externen Sensoreinheit, zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs, wobei das Versuchsfahrzeug eine Versuchsfahrzeugsensoreinheit aufweist und wobei die externe Sensoreinheit stationär im Bereich einer Straße angeordnet ist oder an einem Luftfahrzeug angeordnet ist, wobei

  • - die Versuchsfahrzeugsensoreinheit zum Ermitteln von ersten Daten über einen ersten Verkehrsteilnehmer ausgeführt ist,
  • - die externe Sensoreinheit zum Ermitteln von zweiten Daten über den ersten Verkehrsteilnehmer ausgeführt ist, und
  • - die Kalkulationseinheit zum Trainieren des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang des künstlichen neuronalen Netzes und mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers bezogenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes, und zum Abspeichern des trainierten künstlichen neuronalen Netzes in einer Speichereinheit zur späteren Ausführung in dem Fahrzeug ausgeführt ist, wobei das abgespeicherte trainierte künstliche neuronale Netz dazu ausgeführt ist, mit aktuell von einer Fahrzeugsensoreinheit eines Fahrzeugs erfassten ersten Daten über einen zweiten Verkehrsteilnehmer als einziger Eingang des künstlichen neuronalen Netzes ausgeführt zu werden.
Another aspect of the invention relates to a system with a test vehicle, with a calculation unit, and with an external sensor unit, for training an artificial neural network to detect abnormal behavior of road traffic participants, the test vehicle having a test vehicle sensor unit and the external sensor unit being stationary is arranged in the area of a road or is arranged on an aircraft, wherein
  • - the test vehicle sensor unit is designed to determine first data about a first road user,
  • - The external sensor unit is designed to determine second data about the first road user, and
  • - The calculation unit for training the artificial neural network with the first data and with the second data in each case as an input of the artificial neural network and with a predetermined measure related to the behavior of the first road user for classification into normal or abnormal behavior of the road user as a predetermined output of the artificial neural network, and for storing the trained artificial neural network in a memory unit for later execution in the vehicle, the stored trained artificial neural network being designed to contain first data about a second road user currently recorded by a vehicle sensor unit of a vehicle to be executed as the only input of the artificial neural network.

Gemäß einer weiteren vorteilhaften Ausführungsform weisen die externe Sensoreinheit und/oder die Versuchsfahrzeugsensoreinheit jeweils zumindest eine der folgenden auf:

  • - Kamera, insbesondere Stereokamera,
  • - Ultraschallsensoreinheit,
  • - Lidareinheit,
  • - Radareinheit, insbesondere Dopplerradareinheit,
According to a further advantageous embodiment, the external sensor unit and / or the test vehicle sensor unit each have at least one of the following:
  • - Camera, especially stereo camera,
  • - ultrasonic sensor unit,
  • - Lidar unit,
  • - radar unit, in particular Doppler radar unit,

Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Systems ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit den vorgeschlagenen Verfahren vorstehend gemachten Ausführungen.Advantages and preferred developments of the proposed system result from an analogous and analogous transfer of the statements made above in connection with the proposed method.

Ein weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren wie oben und im Folgenden beschrieben auszuführen.Another aspect of the invention relates to a computer program product, comprising instructions which, when the program is executed by a computer, cause the computer to execute the method as described above and below.

Ein weiterer Aspekt der Erfindung betrifft ein computerlesbares Medium, das computergesteuerte Anweisungen zum Ausführen des Verfahrens wie oben und im Folgenden beschrieben umfasst.Another aspect of the invention relates to a computer-readable medium which comprises computer-controlled instructions for carrying out the method as described above and below.

Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.Further advantages, features and details emerge from the following description, in which at least one exemplary embodiment is described in detail - possibly with reference to the drawing. Identical, similar and / or functionally identical parts are provided with the same reference symbols.

Es zeigen:

  • 1 ein Verfahren gemäß einem Ausführungsbeispiel der Erfindung,
  • 2 ein Verfahren gemäß einem weiteren Ausführungsbeispiel der Erfindung,
  • 3 ein System gemäß einem weiteren Ausführungsbeispiel der Erfindung, und
  • 4 ein Fahrzeug und einen zweiten Verkehrsteilnehmer gemäß einem weiteren Ausführungsbeispiel der Erfindung.
Show it:
  • 1 a method according to an embodiment of the invention,
  • 2 a method according to a further embodiment of the invention,
  • 3rd a system according to a further embodiment of the invention, and
  • 4th a vehicle and a second road user according to a further embodiment of the invention.

Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.The representations in the figures are schematic and not to scale.

1 zeigt ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs und zum Ausführen des künstlichen neuronalen Netzes in einem Fahrzeug 20, aufweisend die Schritte:

  • - Ermitteln S1 von ersten Daten über einen ersten Verkehrsteilnehmer 1 durch eine an einem Versuchsfahrzeug 10 angeordnete Versuchsfahrzeugsensoreinheit 11,
  • - Ermitteln S2 von zweiten Daten über den ersten Verkehrsteilnehmer 1 durch eine externe Sensoreinheit 30, wobei die externe Sensoreinheit 30 stationär im Bereich einer Straße angeordnet ist oder an einem Luftfahrzeug angeordnet ist,
  • - Trainieren S3 des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang des künstlichen neuronalen Netzes und mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers 1 bezogenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes, und
  • - Abspeichern S4 des trainierten künstlichen neuronalen Netzes in einer Speichereinheit 3 zur späteren Ausführung in dem Fahrzeug 20, wobei das abgespeicherte trainierte künstliche neuronale Netz dazu ausgeführt ist, mit aktuell von einer Fahrzeugsensoreinheit 21 eines Fahrzeugs 20 erfassten ersten Daten über einen zweiten Verkehrsteilnehmer 2 als einziger Eingang des künstlichen neuronalen Netzes ausgeführt zu werden,
  • - Ausführen S5 des abgespeicherten trainierten künstlichen neuronalen Netzes in dem Fahrzeug 20 während der Fahrt des Fahrzeugs 20 mit aktuellen, von der am Fahrzeug 20 angeordneten Fahrzeugsensoreinheit 21 ermittelten, ersten Daten über den zweiten Verkehrsteilnehmer 2, wobei die aktuell ermittelten ersten Daten der Fahrzeugsensoreinheit 21 als einziger Eingang des künstlichen neuronalen Netzes dienen,
  • - Entscheiden S6 auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers 2 vorliegt.
1 FIG. 13 shows a method for training an artificial neural network with respect to detection of abnormal behavior of road traffic participants and for executing the artificial neural network in a vehicle 20th , comprising the steps:
  • - Determine S1 of first data about a first road user 1 by one on a test vehicle 10 arranged test vehicle sensor unit 11 ,
  • - Determine S2 of second data about the first road user 1 by an external sensor unit 30th , the external sensor unit 30th is arranged stationary in the area of a road or is arranged on an aircraft,
  • - Work out S3 of the artificial neural network with the first data and with the second data in each case as an input of the artificial neural network and with a predetermined and based on the behavior of the first road user 1 related measure for classification in normal or abnormal behavior of the road user as a predetermined output of the artificial neural network, and
  • - Save S4 of the trained artificial neural network in a memory unit 3rd for later execution in the vehicle 20th , wherein the stored, trained artificial neural network is designed with currently from a vehicle sensor unit 21 of a vehicle 20th recorded first data about a second road user 2 to be implemented as the only input of the artificial neural network,
  • - To run S5 of the stored trained artificial neural network in the vehicle 20th while driving the vehicle 20th with current, from the one on the vehicle 20th arranged vehicle sensor unit 21 determined, first data about the second road user 2 , wherein the currently determined first data of the vehicle sensor unit 21 serve as the only input of the artificial neural network,
  • - Decide S6 based on the output of the artificial neural network, whether an abnormal behavior of the second road user 2 is present.

2 zeigt ein Verfahren zum Ausführen eines künstlichen neuronalen Netzes in einem Fahrzeug 20, aufweisend die Schritte:

  • - Bereitstellen H 1 eines künstlichen neuronalen Netzes, wobei das künstliche neuronale Netz mit ersten, von einer an einem Versuchsfahrzeug 10 angeordneten Versuchsfahrzeugsensoreinheit 11 ermittelten, Daten über einen ersten Verkehrsteilnehmer 1 und mit zweiten, von einer externen Sensoreinheit 30 ermittelten, Daten über den ersten Verkehrsteilnehmer 1 jeweils als Eingang des künstlichen neuronalen Netzes trainiert worden ist, wobei die externe Sensoreinheit 30 stationär im Bereich einer Straße angeordnet ist oder an einem Luftfahrzeug angeordnet ist, und wobei das künstliche neuronale Netz mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers 1 bezogenen Maß zur Einordnung in normales oder anormales Verhalten des ersten Verkehrsteilnehmers 1 als vorgegebener Ausgang des künstlichen neuronalen Netzes trainiert worden ist,
  • - Erfassen H2 von aktuellen ersten Daten über einen zweiten Verkehrsteilnehmer 2 durch eine am Fahrzeug 20 angeordnete Fahrzeugsensoreinheit 21,
  • - Ausführen H3 des trainierten künstlichen neuronalen Netzes in dem Fahrzeug 20 während der Fahrt des Fahrzeugs 20 mit aktuellen, von einer am Fahrzeug 20 angeordneten Fahrzeugsensoreinheit 21 ermittelten, ersten Daten über den zweiten Verkehrsteilnehmer 2, wobei die aktuell ermittelten ersten Daten der Fahrzeugsensoreinheit 21 als einziger Eingang des künstlichen neuronalen Netzes dienen,
  • - Entscheiden H4 auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers 2 vorliegt, wobei das Entscheiden, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers 2 vorliegt, durch Vergleich des Ausgangs des künstlichen neuronalen Netzes mit einer vorgegeben Metrik erfolgt, und
  • - Ausführen H5 einer vorgegeben Reaktion, wenn das Entscheiden über anormales Verhalten des zweiten Verkehrsteilnehmers 2 positiv ausfällt, wobei die vorgegebene Reaktion das Ausgeben einer visuellen und einer akustischen Warnung an den Fahrer des Fahrzeugs 20 ist.
2 FIG. 11 shows a method for implementing an artificial neural network in a vehicle 20th , comprising the steps:
  • - Providing H 1 of an artificial neural network, the artificial neural network with first, of one on a test vehicle 10 arranged test vehicle sensor unit 11 determined, data about a first road user 1 and with a second, from an external sensor unit 30th determined, data about the first road user 1 each has been trained as an input of the artificial neural network, the external sensor unit 30th is arranged stationary in the area of a road or is arranged on an aircraft, and wherein the artificial neural network with a predetermined and based on the behavior of the first road user 1 related measure for classification into normal or abnormal Behavior of the first road user 1 has been trained as a predetermined output of the artificial neural network,
  • - Capture H2 of current first data about a second road user 2 by one on the vehicle 20th arranged vehicle sensor unit 21 ,
  • - To run H3 of the trained artificial neural network in the vehicle 20th while driving the vehicle 20th with current, from one on the vehicle 20th arranged vehicle sensor unit 21 determined, first data about the second road user 2 , wherein the currently determined first data of the vehicle sensor unit 21 serve as the only input of the artificial neural network,
  • - Decide H4 based on the output of the artificial neural network, whether an abnormal behavior of the second road user 2 is present, the decision as to whether the behavior of the second road user is abnormal 2 is present, is carried out by comparing the output of the artificial neural network with a predetermined metric, and
  • - To run H5 a predetermined reaction when the decision is made about abnormal behavior of the second road user 2 is positive, with the predefined reaction outputting a visual and an acoustic warning to the driver of the vehicle 20th is.

Die Verfahren der 1 und 2 spiegeln sich in dem System der 3 und der Beschreibung des Fahrzeugs 20 aus der 4 wieder. Die Beschreibungen der Figuren können daher wechselseitig herangezogen werden.The procedures of 1 and 2 are reflected in the system of 3rd and the description of the vehicle 20th from the 4th again. The descriptions of the figures can therefore be used reciprocally.

3 zeigt ein System 100 mit einem Versuchsfahrzeug 10, mit einer Kalkulationseinheit 101, und mit einer externen Sensoreinheit 30, zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs. Das Versuchsfahrzeug 10 ist mit einer mit Kameras ausgestatteten Versuchsfahrzeugsensoreinheit 11 ausgerüstet. Die externe Sensoreinheit 30, ein unbemanntes Luftfahrzeug, fliegt im Bereich um das Versuchsfahrzeug 10 seitlich oberhalb der Straße, auf dem das Versuchsfahrzeug 10 sich aktuell befindet. Die Kameras der Versuchsfahrzeugsensoreinheit 11 ermitteln hierbei erste Daten über einen einen ersten Verkehrsteilnehmer 1, wobei der erste Verkehrsteilnehmer 1 als pars pro toto für eine Vielzahl von weiteren Verkehrsteilnehmern exemplarisch betrachtet wird. Die externe Sensoreinheit 30 ermittelt gleichzeitig - ebenfalls per Kamera - zweite Daten über den ersten Verkehrsteilnehmer 1. Somit liegen redundante, insbesondere aber auch sich ergänzende erste und zweite Daten über das Verhalten des ersten Verkehrsteilnehmers 1 vor. Beide, die ersten Daten und die zweiten Daten werden an die externe Kalkulationseinheit 101 gesendet, die das Trainieren des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang des künstlichen neuronalen Netzes und mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers 1 bezogenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes übernimmt. Die Kalkulationseinheit 101 speichert nach zahlreichen Wiederholungen dieses Vorgehens an einer Vielzahl von zweiten Verkehrsteilnehmern 1 das trainierte künstliche neuronale Netz in einer Speichereinheit 3 zur späteren Ausführung in dem Fahrzeug 20 der 4 ab. Dabei ist das abgespeicherte trainierte künstliche neuronale Netz so konfiguriert von der Kalkulationseinheit 101, dass es aktuell von einer Fahrzeugsensoreinheit 21 eines Fahrzeugs 20 erfassten ersten Daten über einen zweiten Verkehrsteilnehmer 2 als einziger Eingang des künstlichen neuronalen Netzes ausgeführt werden kann. Siehe dazu die Beschreibung der 4. 3rd shows a system 100 with a test vehicle 10 , with a calculation unit 101 , and with an external sensor unit 30th , for training an artificial neural network to detect abnormal behavior of road users. The test vehicle 10 is with a test vehicle sensor unit equipped with cameras 11 equipped. The external sensor unit 30th , an unmanned aerial vehicle, flies in the area around the test vehicle 10 laterally above the road on which the test vehicle is 10 is currently located. The cameras of the test vehicle sensor unit 11 determine first data about a first road user 1 , being the first road user 1 is considered as pars pro toto for a large number of other road users as an example. The external sensor unit 30th simultaneously determines - also by camera - second data about the first road user 1 . This means that there are redundant, but in particular also complementary, first and second data on the behavior of the first road user 1 in front. Both the first data and the second data are sent to the external calculation unit 101 sent that the training of the artificial neural network with the first data and with the second data each as an input of the artificial neural network and with a predetermined and based on the behavior of the first road user 1 related measure for classification in normal or abnormal behavior of the road user as a predetermined output of the artificial neural network takes over. The calculation unit 101 saves after numerous repetitions of this procedure on a large number of second road users 1 the trained artificial neural network in a memory unit 3rd for later execution in the vehicle 20th of the 4th from. The stored trained artificial neural network is configured in this way by the calculation unit 101 that it is currently from a vehicle sensor unit 21 of a vehicle 20th recorded first data about a second road user 2 can be executed as the only input of the artificial neural network. See the description of the 4th .

4 zeigt ein Fahrzeug 20, aufweisend eine Fahrzeugsensoreinheit 21 und eine Recheneinheit 22, wobei die Recheneinheit 22 das nach 3 trainierte künstliche neuronale Netz bereitstellt. Die Fahrzeugsensoreinheit 21 erfasst aktuelle erste Daten über einen zweiten Verkehrsteilnehmer 2 mit an der Fahrzeugfront und am Fahrzeugheck angeordneten Kameras. Die Recheneinheit 22 führt dann das bereits abgeschlossentrainierte künstliche neuronale Netz mit den aktuellen ersten Daten der Kameras der Fahrzeugsensoreinheit 21 als dem einzigen Eingang des künstlichen neuronalen Netzes aus. Je nach Ausgang des neuronalen Netzes wird entschieden, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers 2 vorliegt. Wird ein anormales Verhalten des zweiten Verkehrsteilnehmers 2 bestimmt, wird eine Warnung an den Fahrer des Fahrzeugs 20 ausgegeben. 4th shows a vehicle 20th , comprising a vehicle sensor unit 21 and an arithmetic unit 22nd , where the arithmetic unit 22nd that after 3rd trained artificial neural network provides. The vehicle sensor unit 21 records current first data about a second road user 2 with cameras arranged at the front and rear of the vehicle. The arithmetic unit 22nd then runs the already completed, trained artificial neural network with the current first data from the cameras of the vehicle sensor unit 21 as the only input of the artificial neural network. Depending on the output of the neural network, a decision is made as to whether the behavior of the second road user is abnormal 2 is present. Becomes abnormal behavior on the part of the second road user 2 determined, a warning is given to the driver of the vehicle 20th issued.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.Although the invention has been illustrated and explained in more detail by preferred exemplary embodiments, the invention is not restricted by the disclosed examples and other variations can be derived therefrom by the person skilled in the art without departing from the scope of protection of the invention. It is therefore clear that there is a multitude of possible variations. It is also clear that embodiments cited by way of example really only represent examples that are not to be interpreted in any way as a limitation, for example, of the scope of protection, the possible applications or the configuration of the invention. Rather, the preceding description and the description of the figures enable the person skilled in the art to implement the exemplary embodiments in concrete terms, whereby the person skilled in the art, with knowledge of the disclosed inventive concept, can make various changes, for example with regard to the function or the arrangement of individual elements mentioned in an exemplary embodiment, without leaving the scope of protection which is defined by the claims and their legal equivalents, such as further explanations in the description.

BezugszeichenlisteList of reference symbols

11
erster Verkehrsteilnehmerfirst road user
22
zweiter Verkehrsteilnehmersecond road user
33
SpeichereinheitStorage unit
1010
VersuchsfahrzeugTest vehicle
1111
VersuchsfahrzeugsensoreinheitTest vehicle sensor unit
2020th
Fahrzeugvehicle
2121
FahrzeugsensoreinheitVehicle sensor unit
2222nd
RecheneinheitArithmetic unit
3030th
externe Sensoreinheitexternal sensor unit
100100
Systemsystem
101101
Kalkulationseinheit Calculation unit
S1S1
ErmittelnDetermine
S2S2
ErmittelnDetermine
S3S3
TrainierenWork out
S4S4
AbspeichernSave
S5S5
AusführenTo run
S6S6
Entscheiden Decide
H1H1
BereitstellenProvide
H2H2
ErfassenCapture
H3H3
AusführenTo run
H4H4
EntscheidenDecide
H5H5
AusführenTo run

Claims (15)

Verfahren zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs, aufweisend die Schritte: - Ermitteln (S1) von ersten Daten über einen ersten Verkehrsteilnehmer (1) durch eine an einem Versuchsfahrzeug (10) angeordnete Versuchsfahrzeugsensoreinheit (11), - Ermitteln (S2) von zweiten Daten über den ersten Verkehrsteilnehmer (1) durch eine externe Sensoreinheit (30), wobei die externe Sensoreinheit (30) stationär im Bereich einer Straße angeordnet ist oder an einem Luftfahrzeug angeordnet ist, - Trainieren (S3) des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang des künstlichen neuronalen Netzes und mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers (1) bezogenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes, und - Abspeichern (S4) des trainierten künstlichen neuronalen Netzes in einer Speichereinheit (3) zur späteren Ausführung in dem Fahrzeug (20), wobei das abgespeicherte trainierte künstliche neuronale Netz dazu ausgeführt ist, mit aktuell von einer Fahrzeugsensoreinheit (21) eines Fahrzeugs (20) erfassten ersten Daten über einen zweiten Verkehrsteilnehmer (2) als einziger Eingang des künstlichen neuronalen Netzes ausgeführt zu werden.Method for training an artificial neural network with regard to the detection of abnormal behavior of road traffic participants, comprising the steps: - Determination (S1) of first data about a first road user (1) by a test vehicle sensor unit (11) arranged on a test vehicle (10), - Determination (S2) of second data about the first road user (1) by an external sensor unit (30), wherein the external sensor unit (30) is arranged stationary in the area of a road or is arranged on an aircraft, - Training (S3) of the artificial neural network with the first data and with the second data in each case as an input of the artificial neural network and with a predetermined measure related to the behavior of the first road user (1) for classification into normal or abnormal behavior of the road user as a predetermined output of the artificial neural network, and - Saving (S4) the trained artificial neural network in a memory unit (3) for later execution in the vehicle (20), the saved trained artificial neural network being designed to be updated by a vehicle sensor unit (21) of a vehicle (20) recorded first data about a second road user (2) to be executed as the only input of the artificial neural network. Verfahren nach Anspruch 1, wobei das Verfahren weiterhin zum Ausführen des künstlichen neuronalen Netzes in dem Fahrzeug (20) dient, weiterhin aufweisend den Schritt: - Ausführen (S5) des abgespeicherten trainierten künstlichen neuronalen Netzes in dem Fahrzeug (20) während der Fahrt des Fahrzeugs (20) mit aktuellen, von der am Fahrzeug (20) angeordneten Fahrzeugsensoreinheit (21) ermittelten, ersten Daten über den zweiten Verkehrsteilnehmer (2), wobei die aktuell ermittelten ersten Daten der Fahrzeugsensoreinheit (21) als einziger Eingang des künstlichen neuronalen Netzes dienen, - Entscheiden (S6) auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers (2) vorliegt.Procedure according to Claim 1 , wherein the method further serves to execute the artificial neural network in the vehicle (20), further comprising the step: executing (S5) the stored trained artificial neural network in the vehicle (20) while the vehicle (20) is in motion current first data about the second road user (2) determined by the vehicle sensor unit (21) arranged on the vehicle (20), the currently determined first data of the vehicle sensor unit (21) serving as the only input of the artificial neural network, - decision (S6 ) On the basis of the output of the artificial neural network, whether the second road user (2) is behaving abnormally. Verfahren zum Ausführen eines künstlichen neuronalen Netzes in einem Fahrzeug (20), aufweisend die Schritte: - Bereitstellen (H1) eines künstlichen neuronalen Netzes, wobei das künstliche neuronale Netz mit ersten, von einer an einem Versuchsfahrzeug (10) angeordneten Versuchsfahrzeugsensoreinheit (11) ermittelten, Daten über einen ersten Verkehrsteilnehmer (1) und mit zweiten, von einer externen und stationär im Bereich einer Straße oder an einem Luftfahrzeug angeordneten Sensoreinheit (30) ermittelten, Daten über den ersten Verkehrsteilnehmer (1) jeweils als Eingang des künstlichen neuronalen Netzes trainiert worden ist, und wobei das künstliche neuronale Netz mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers (1) bezogenen Maß zur Einordnung in normales oder anormales Verhalten des ersten Verkehrsteilnehmers (1) als vorgegebener Ausgang des künstlichen neuronalen Netzes trainiert worden ist, - Erfassen (H2) von aktuellen ersten Daten über einen zweiten Verkehrsteilnehmer (2) durch eine am Fahrzeug (20) angeordnete Fahrzeugsensoreinheit (21), - Ausführen (H3) des trainierten künstlichen neuronalen Netzes in dem Fahrzeug (20) während der Fahrt des Fahrzeugs (20) mit aktuellen, von einer am Fahrzeug (20) angeordneten Fahrzeugsensoreinheit (21) ermittelten, ersten Daten über den zweiten Verkehrsteilnehmer (2), wobei die aktuell ermittelten ersten Daten der Fahrzeugsensoreinheit (21) als einziger Eingang des künstlichen neuronalen Netzes dienen, und - Entscheiden (H4) auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers (2) vorliegt.A method for executing an artificial neural network in a vehicle (20), comprising the steps: - Providing (H1) an artificial neural network, the artificial neural network being determined with a first test vehicle sensor unit (11) arranged on a test vehicle (10) , Data about a first road user (1) and second data about the first road user (1) determined by an external and stationary sensor unit (30) arranged in the area of a road or on an aircraft, in each case as an input of the artificial neural network and wherein the artificial neural network has been trained as a predetermined output of the artificial neural network with a predetermined level related to the behavior of the first road user (1) for classification into normal or abnormal behavior of the first road user (1), H2) of current first data via a second link participants (2) by a vehicle sensor unit (21) arranged on the vehicle (20), Execution (H3) of the trained artificial neural network in the vehicle (20) while the vehicle (20) is traveling with current first data about the second road user (2) determined by a vehicle sensor unit (21) arranged on the vehicle (20), the currently determined first data of the vehicle sensor unit (21) serving as the only input of the artificial neural network, and - deciding (H4) on the basis of the output of the artificial neural network whether the second road user (2) is behaving abnormally. Verfahren nach Anspruch 3, wobei das Entscheiden, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers (2) vorliegt, durch Vergleich des Ausgangs des künstlichen neuronalen Netzes mit einer vorgegeben Metrik erfolgt.Procedure according to Claim 3 The decision as to whether the second road user (2) is behaving abnormally is made by comparing the output of the artificial neural network with a predefined metric. Verfahren nach einem der Ansprüche 2 oder 3 bis 4, weiterhin aufweisend den Schritt: - Ausführen (H5) einer vorgegeben Reaktion, wenn das Entscheiden über anormales Verhalten des zweiten Verkehrsteilnehmers (2) positiv ausfällt, wobei die vorgegebene Reaktion zumindest eine aus den folgenden ist: . Ausgeben einer Warnung an den Fahrer des Fahrzeugs (20), . Vermindern des Grades der Autonomie, mit der das Fahrzeug (20) aktuell betrieben wird. . Ändern von Parametern eines automatischen oder autonomen Steueralgorithmus des Fahrzeugs (20) derart, dass die Fahrweise des Fahrzeugs (20) auf Basis des autonomen Steueralgorithmus defensiver wird, . Ändern einer geplanten Trajektorie des Fahrzeugs (20).Method according to one of the Claims 2 or 3rd to 4th , further comprising the step: executing (H5) a predetermined reaction if the decision about abnormal behavior of the second road user (2) is positive, the predetermined reaction being at least one of the following:. Outputting a warning to the driver of the vehicle (20),. Reducing the degree of autonomy with which the vehicle (20) is currently operated. . Changing parameters of an automatic or autonomous control algorithm of the vehicle (20) in such a way that the driving style of the vehicle (20) becomes more defensive on the basis of the autonomous control algorithm,. Changing a planned trajectory of the vehicle (20). Verfahren nach einem der vorhergehenden Ansprüche, wobei die ersten Daten kinematische Informationen über den ersten Verkehrsteilnehmer (1) und/oder den zweiten Verkehrsteilnehmer (2) umfassen.Method according to one of the preceding claims, wherein the first data comprise kinematic information about the first road user (1) and / or the second road user (2). Verfahren nach einem der vorhergehenden Ansprüche, wobei die zweiten Daten jeweils kinematische Informationen über den ersten Verkehrsteilnehmer (1) umfassen.Method according to one of the preceding claims, wherein the second data each comprise kinematic information about the first road user (1). Verfahren nach einem der Ansprüche 6 bis 7, wobei die jeweiligen kinematischen Daten zumindest eine Position und/oder eine Trajektorie des jeweiligen Verkehrsteilnehmers (1,2) umfassen.Method according to one of the Claims 6 to 7th , wherein the respective kinematic data include at least one position and / or a trajectory of the respective road user (1, 2). Verfahren nach einem der vorhergehenden Ansprüche, wobei die Daten über den ersten Verkehrsteilnehmer (1) Informationen über eine aktuelle Spur, auf der sich der erste Verkehrsteilnehmer (1) befindet, und/oder Informationen über einen oder mehrere Spurwechsel des ersten Verkehrsteilnehmers (1) umfassen.Method according to one of the preceding claims, wherein the data about the first road user (1) includes information about a current lane in which the first road user (1) is located and / or information about one or more lane changes of the first road user (1) . Fahrzeug (20), aufweisend eine Fahrzeugsensoreinheit (21) und eine Recheneinheit (22), wobei die Recheneinheit (22) dazu ausgeführt ist, ein künstliches neuronales Netzes bereitzustellen, wobei das künstliche neuronale Netz mit ersten, von einer an einem Versuchsfahrzeug (10) angeordneten Versuchsfahrzeugsensoreinheit (11) ermittelten, Daten über einen ersten Verkehrsteilnehmer (1) und mit zweiten, von einer stationär im Bereich einer Straße angeordneten oder an einem Luftfahrzeug angeordneten externen Sensoreinheit (30) ermittelten, Daten über den ersten Verkehrsteilnehmer (1) jeweils als Eingang des künstlichen neuronalen Netzes trainiert worden ist, und wobei das künstliche neuronale Netz mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers (1) bezogenen Maß zur Einordnung in normales oder anormales Verhalten des ersten Verkehrsteilnehmers (1) als vorgegebener Ausgang des künstlichen neuronalen Netzes trainiert worden ist, wobei die Fahrzeugsensoreinheit (21) zum Erfassen von aktuellen ersten Daten über einen zweiten Verkehrsteilnehmer (2) ausgeführt ist, und wobei die Recheneinheit (22) zum Ausführen des künstlichen neuronalen Netzes mit den aktuellen ersten Daten als einziger Eingang des künstlichen neuronalen Netzes und zum Entscheiden auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers (2) vorliegt, ausgeführt ist.Vehicle (20), comprising a vehicle sensor unit (21) and a computing unit (22), the computing unit (22) being designed to provide an artificial neural network, the artificial neural network having first, from one on a test vehicle (10) arranged test vehicle sensor unit (11) determined, data about a first road user (1) and second data about the first road user (1) determined by an external sensor unit (30) located stationary in the area of a road or on an aircraft as input of the artificial neural network has been trained, and wherein the artificial neural network trains with a predetermined level related to the behavior of the first road user (1) for classification into normal or abnormal behavior of the first road user (1) as a predetermined output of the artificial neural network has been, wherein the vehicle sensor unit (21) is designed to acquire current first data about a second road user (2), and wherein the computing unit (22) for executing the artificial neural network with the current first data as the only input of the artificial neural network and for deciding on the basis of the output of the artificial neural network, whether there is an abnormal behavior of the second road user (2) is executed. Fahrzeug (20) nach Anspruch 10, wobei die Fahrzeugsensoreinheit (21) zumindest eine der folgenden aufweist: - Kameraeinheit, insbesondere Stereokameraeinheit, - Ultraschallsensoreinheit, - Lidareinheit, - Radareinheit, insbesondere Dopplerradareinheit.Vehicle (20) after Claim 10 wherein the vehicle sensor unit (21) has at least one of the following: camera unit, in particular stereo camera unit, ultrasonic sensor unit, lidar unit, radar unit, in particular Doppler radar unit. System (100) mit einem Versuchsfahrzeug (10), mit einer Kalkulationseinheit (101), und mit einer externen Sensoreinheit (30), zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs, wobei das Versuchsfahrzeug (10) eine Versuchsfahrzeugsensoreinheit (11) aufweist und wobei die externe Sensoreinheit (30) stationär im Bereich einer Straße angeordnet ist oder an einem Luftfahrzeug angeordnet ist, wobei - die Versuchsfahrzeugsensoreinheit (11) zum Ermitteln von ersten Daten über einen ersten Verkehrsteilnehmer (1) ausgeführt ist, - die externe Sensoreinheit (30) zum Ermitteln von zweiten Daten über den ersten Verkehrsteilnehmer (1) ausgeführt ist, und - die Kalkulationseinheit (101) zum Trainieren des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang des künstlichen neuronalen Netzes und mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers (1) bezogenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes, und zum Abspeichern des trainierten künstlichen neuronalen Netzes in einer Speichereinheit (3) zur späteren Ausführung in dem Fahrzeug (20) ausgeführt ist, wobei das abgespeicherte trainierte künstliche neuronale Netz dazu ausgeführt ist, mit aktuell von einer Fahrzeugsensoreinheit (21) eines Fahrzeugs (20) erfassten ersten Daten über einen zweiten Verkehrsteilnehmer (2) als einziger Eingang des künstlichen neuronalen Netzes ausgeführt zu werden.System (100) with a test vehicle (10), with a calculation unit (101), and with an external sensor unit (30) for training an artificial neural network with regard to the detection of abnormal behavior of road traffic participants, the test vehicle (10) having a Test vehicle sensor unit (11) and wherein the external sensor unit (30) is arranged stationary in the area of a road or is arranged on an aircraft, wherein - the test vehicle sensor unit (11) is designed to determine first data about a first road user (1), - the external sensor unit (30) is designed to determine second data about the first road user (1), and - the calculation unit (101) for training the artificial neural network with the first data and with the second data in each case as an input of the artificial neural network and with a predetermined measure related to the behavior of the first road user (1) for classification into normal or abnormal behavior of the road user as a predetermined output of the artificial neural network, and for storing the trained artificial neural network in a memory unit (3) for later execution in the vehicle (20), the stored trained artificial neural network being designed to use first data currently recorded by a vehicle sensor unit (21) of a vehicle (20) about a second road user (2) as the only input of the artificial neural network to be executed. System (100) nach Anspruch 12, wobei die externe Sensoreinheit (30) und/oder die Versuchsfahrzeugsensoreinheit (11) jeweils zumindest eine der folgenden aufweisen: - Kamera, insbesondere Stereokamera, - Ultraschallsensoreinheit, - Lidareinheit, - Radareinheit, insbesondere Dopplerradareinheit,System (100) according to Claim 12 , the external sensor unit (30) and / or the test vehicle sensor unit (11) each having at least one of the following: - camera, in particular stereo camera, - ultrasonic sensor unit, - lidar unit, - radar unit, in particular Doppler radar unit, Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 9 auszuführen.Computer program product, comprising instructions which cause the program to be executed by a computer, a method according to one of the Claims 1 to 9 to execute. Computerlesbares Medium, das computerausführbare Anweisungen zum Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 9 umfasst.Computer readable medium containing computer executable instructions for carrying out a method according to any one of Claims 1 to 9 includes.
DE102019212829.7A 2019-08-27 2019-08-27 Automated detection of abnormal behavior on the part of a road user Pending DE102019212829A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102019212829.7A DE102019212829A1 (en) 2019-08-27 2019-08-27 Automated detection of abnormal behavior on the part of a road user
EP20761802.6A EP4022589A1 (en) 2019-08-27 2020-08-25 Automated detection of abnormal behaviour of a road user
PCT/EP2020/073724 WO2021037838A1 (en) 2019-08-27 2020-08-25 Automated detection of abnormal behaviour of a road user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019212829.7A DE102019212829A1 (en) 2019-08-27 2019-08-27 Automated detection of abnormal behavior on the part of a road user

Publications (1)

Publication Number Publication Date
DE102019212829A1 true DE102019212829A1 (en) 2021-03-04

Family

ID=72243116

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019212829.7A Pending DE102019212829A1 (en) 2019-08-27 2019-08-27 Automated detection of abnormal behavior on the part of a road user

Country Status (3)

Country Link
EP (1) EP4022589A1 (en)
DE (1) DE102019212829A1 (en)
WO (1) WO2021037838A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392920A (en) * 2021-06-25 2021-09-14 北京百度网讯科技有限公司 Method, apparatus, device, medium, and program product for generating cheating prediction model
CN114944057A (en) * 2022-04-21 2022-08-26 中山大学 Road network traffic flow data restoration method and system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180336297A1 (en) * 2017-05-18 2018-11-22 TuSimple Perception simulation for improved autonomous vehicle control
WO2019070535A1 (en) * 2017-10-03 2019-04-11 Uber Technologies, Inc. Anomaly detection systems and methods for autonomous vehicles

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016212700A1 (en) * 2016-07-13 2018-01-18 Robert Bosch Gmbh Method and system for controlling a vehicle
US10518729B2 (en) * 2017-08-02 2019-12-31 Allstate Insurance Company Event-based connected vehicle control and response systems
US10803746B2 (en) * 2017-11-28 2020-10-13 Honda Motor Co., Ltd. System and method for providing an infrastructure based safety alert associated with at least one roadway
US11257370B2 (en) * 2018-03-19 2022-02-22 Derq Inc. Early warning and collision avoidance

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180336297A1 (en) * 2017-05-18 2018-11-22 TuSimple Perception simulation for improved autonomous vehicle control
WO2019070535A1 (en) * 2017-10-03 2019-04-11 Uber Technologies, Inc. Anomaly detection systems and methods for autonomous vehicles

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392920A (en) * 2021-06-25 2021-09-14 北京百度网讯科技有限公司 Method, apparatus, device, medium, and program product for generating cheating prediction model
CN114944057A (en) * 2022-04-21 2022-08-26 中山大学 Road network traffic flow data restoration method and system
CN114944057B (en) * 2022-04-21 2023-07-25 中山大学 Road network traffic flow data restoration method and system

Also Published As

Publication number Publication date
EP4022589A1 (en) 2022-07-06
WO2021037838A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
AT521607B1 (en) Method and device for testing a driver assistance system
DE102017215552A1 (en) Plausibility of object recognition for driver assistance systems
DE102017214611B4 (en) Method for checking a reaction signal of a vehicle component and checking device and motor vehicle
DE102010013943B4 (en) Method and device for a functional test of an object recognition device of a motor vehicle
DE102019206908A1 (en) Method for training at least one algorithm for a control unit of a motor vehicle, computer program product, motor vehicle and system
EP3271231A1 (en) Method and device for monitoring a target trajectory to be travelled by a vehicle for absence of collisions
DE102019105359B4 (en) Process for an ultrasonic measuring system in the vehicle for the detection and classification of objects in the area around the vehicle with the help of a deep learning process and a self-learning decision maker
DE112017007596T5 (en) Strategy generator and vehicle
DE102018103803A1 (en) A SYSTEM AND METHOD FOR DETECTING DEFECTIVE SENSOR INSTALLATION WITHIN A VEHICLE IN ORDER TO REDUCE THE RISKS ASSOCIATED WITH OBJECT DETECTION
EP4022589A1 (en) Automated detection of abnormal behaviour of a road user
DE102019219241A1 (en) Method for creating a road user algorithm for computer simulation of road users, method for training at least one algorithm for a control device of a motor vehicle, computer program product and motor vehicle
DE112018004003T5 (en) CONTROL AND METHOD FOR AUTOMATIC DRIVING
DE102019134408A1 (en) Self-learning network of neural network models for safety-relevant applications in the vehicle for the detection and classification of objects in the vicinity of the vehicle with the help of a deep learning process
DE102020210789A1 (en) Analysis of a neural network for a vehicle
DE102017201796A1 (en) Control device for determining a self-motion of a motor vehicle and motor vehicle and method for providing the control device
WO2019211293A1 (en) Method for operating a driver assistance system of an ego vehicle having at least one surroundings sensor for detecting the surroundings of the ego vehicle, computer readable medium, system and vehicle
WO2022251890A1 (en) Method and system for testing a driver assistance system for a vehicle
WO2022096236A1 (en) Method for determining a probability of existence of a possible element in the surroundings of a motor vehicle, driver assistance system and motor vehicle
DE102018206326B4 (en) Method for expanding a database of a Bayesian network
DE102020203829A1 (en) Method for monitoring a vehicle system for recognizing the surroundings of a vehicle
DE102018123735A1 (en) Method and device for improving object detection of a radar device
DE102019212830A1 (en) Analysis and validation of a neural network for a vehicle
WO2023193996A1 (en) Testing an automatic driving control function by way of semi-real traffic data
DE102022205174A1 (en) Collective information gathering for automated driving control functions
DE102020117811A1 (en) Method for providing a device for determining regions of interest for an automated vehicle function and assistance device for a motor vehicle

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R086 Non-binding declaration of licensing interest
R016 Response to examination communication
R084 Declaration of willingness to licence
R081 Change of applicant/patentee

Owner name: STELLANTIS AUTO SAS, FR

Free format text: FORMER OWNER: PSA AUTOMOBILES SA, POISSY, FR