AUTOMATISIERTE ERKENNUNG EINES ANORMALEN VERHALTENS EINES VERKEHRSTEILNEHMERS
Die Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs, ein Verfahren zum Ausführen eines so trainierten künstlichen neuronalen Netzes in einem Fahrzeug, ein ebensolches Fahrzeug, ein System mit einem Versuchsfahrzeug zum Trainieren eines künstlichen neuronalen Netzes zur Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs, sowie ein Computerprogrammprodukt und ein computerlesbares Medium jeweils zur Ausführung der jeweiligen Verfahren.
Aufgabe der Erfindung ist es, das automatisierte bzw. autonome Fahren mit einem Fahrzeug im Straßenverkehr zu verbessern.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs, aufweisend die Schritte:
- Ermitteln von ersten Daten über einen ersten Verkehrsteilnehmer durch eine an einem Versuchsfahrzeug angeordnete Versuchsfahrzeugsensoreinheit,
- Ermitteln von zweiten Daten über den ersten Verkehrsteilnehmer durch eine externe Sensoreinheit, wobei die externe Sensoreinheit stationär im Bereich einer Straße angeordnet ist oder an einem Luftfahrzeug angeordnet ist,
- Trainieren des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang des künstlichen neuronalen Netzes und mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers bezogenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes, und
- Abspeichern des trainierten künstlichen neuronalen Netzes in einer Speichereinheit zur späteren Ausführung in dem Fahrzeug, wobei das abgespeicherte trainierte künstliche neuronale Netz dazu ausgeführt ist, mit aktuell von einer Fahrzeugsensoreinheit eines Fahrzeugs erfassten ersten Daten über einen zweiten Verkehrsteilnehmer als einziger Eingang des künstlichen neuronalen Netzes ausgeführt zu werden.
Die externe Sensoreinheit ist bevorzugt an einem Luftfahrzeug, insbesondere einem unbemannten Luftfahrzeug wie einem Quadrocopter, einem Hexacopter, einem Oktocopter, oder an einer Starrflügel-Drohne angeordnet. Alternativ bevorzugt dazu ist die externe Sensoreinheit in einem Bereich einer Straße, auf der das Versuchsfahrzeug unterwegs ist, stationär angeordnet, das heißt an einer fixen Einrichtung wie einer Straßenlaterne, einer Warnbake, einem Masten eines Verkehrszeichens, einer Ampel, oder anderen Bauten insbesondere an einer Kreuzung angeordnet.
Durch die externe Sensoreinheit und die Versuchsfahrzeugsensoreinheit ergeben sich zwei Informationsquellen, um Daten über das Verhalten des ersten Verkehrsteilnehmers zu gewinnen. Dies erleichtert vorteilhaft das akkurate Trainieren des künstlichen neuronalen Netzes, da mittels der externen Sensoreinheit, die naturgemäß von oben herab auf die Fahrbahn und insbesondere auf die Kreuzung auf den ersten Verkehrsteilnehmer herab blickt, näherungsweise vollkommen exakte Daten über das Verhalten des ersten Verkehrsteilnehmers vorliegen, die unter Umständen durch die bloße Beobachtung durch die Versuchsfahrzeugsensoreinheit nicht in ausreichendem Maße vorliegen würden, da diese nicht auf die Straße und insbesondere die Kreuzung mit dem ersten Verkehrsteilnehmer herab blickt. So lassen sich vorteilhaft sogenannte "ground-truth" Daten gewinnen, wobei dieser Begriff insbesondere im Bereich des maschinellen Lernens dann verwendet wird, wenn zu Trainingszwecken vollständige und fehlerfreie Datensätze im Eingang verwendet werden, sodass ein Fehler im maschinellen Lernen aufgrund von unvollständigen oder fehlerhaften Datensätzen praktisch ausgeschlossen werden kann und das maschinelle Lernen bestmöglich erfolgt.
Ein künstliches neuronales Netz ist im Wesentlichen eine anpassbare Funktion, die mittels Eingangsdaten und Ausgangsdaten und mittels einer Kostenfunktion eine Abbildung zwischen den Eingangsdaten und den Ausgangsdaten erzeugen kann. Im Stand der Technik sind hierbei eine Vielzahl verschiedener Architekturen von neuronalen Netzen bekannt.
Solche künstliche neuronale Netze werden gemäß dem ersten Aspekt der Erfindung verwendet, um einen deterministischen Zusammenhang herzustellen zwischen sensorisch erfassten Daten über das Verhalten des ersten Verkehrsteilnehmers und einem Maß oder bereits einer Entscheidung, ob das Verhalten des ersten Verkehrsteilnehmers einem normalen Verhalten oder einem anormalen Verhalten eines Verkehrsteilnehmers entspricht.
Unter dem Verhalten des (ersten) Verkehrsteilnehmers wird insbesondere eine Trajektorienführung verstanden, die bevorzugt eine Ortsinformation, einen Geschwindigkeitsverlauf und einen Beschleunigungsverlauf entlang der Trajektorie und optional weiterhin bevorzugt auch eine Seitenbeschleunigung des ersten Verkehrsteilnehmers umfasst.
Was ein normales Verhalten und was ein anormales Verhalten des ersten Verkehrsteilnehmers ist, ist dabei im Wesentlichen freie Definitionssache und es ist Aufgabe eines Ingenieurs, dies zu definieren. Eine solche Definition ist Teil des Trainieren des künstlichen neuronalen Netzes und ist dem Ausgang des neuronalen Netzes zugeordnet. Das heißt, dass das neuronale Netz zum Zwecke des Trainierens mit den ermittelten ersten Daten und den ermittelten zweiten Daten im Eingangskanal des neuronalen Netzes gespeist wird, sodass das neuronale Netz auf diese Eingänge hin einen Ausgang berechnet, wobei der Ausgang ein Maß für die Normalität oder die Anormalität des Verhaltens des ersten Verkehrsteilnehmers widerspiegelt, und zumindest während des Trainierens des künstlichen neuronalen Netzes der Ausgang einem vorgegebenen Maß oder bereits eine Entscheidung zum normalen oder anomalen Verhalten des ersten Verkehrsteilnehmers durch Vorgabe zugeordnet wird.
So sind beim Trainieren des neuronalen Netzes Eingangswerte und Ausgangswerte bekannt, und insbesondere durch Minimieren einer Kostenfunktion, die eine Differenz zwischen den auf Basis der aktuellen Parameter des künstlichen neuronalen Netzes berechneten Ausgangswerten und den vorgegebenen Ausgangswerten umfasst, werden die Parameter so angeglichen, dass das künstliche neuronale Netz den Zusammenhang zwischen den Eingangswerten und Ausgangswerten während der Trainingsphase immer besser trifft, bis letztendlich das neuronale Netz so weit trainiert ist, dass es zuverlässig das Maß bezüglich dem normalen oder anormalen Verhalten des ersten Verkehrsteilnehmers selbst bestimmen kann. Dabei finden übliche Methoden des überwachten bzw. unüberwachten Lernens Einsatz.
Das Maß zum normalen oder anormalen Verhalten kann dabei insbesondere ein numerischer Wert sein, oder ein symbolischer Wert, worauf hin jeweils eine Entscheidung insbesondere durch Abgleich des numerischen Wertes oder des symbolischen Wertes mit einem Grenzwert getroffen werden kann, ob normales oder anormales Verhalten des ersten Verkehrsteilnehmers vorliegt, oder alternativ bevorzugt ist das Maß bereits eine binäre Variable und enthält direkt die Entscheidung, ob normales oder anomales Verhalten des ersten Verkehrsteilnehmers vorliegt, was insbesondere durch eine
Aktivierungsfunktion erfolgt, die den Ausgang des künstlichen neuronalen Netzes auf insbesondere 'O' oder auf ’T abbildet.
Bevorzugt wird das Trainieren des künstlichen neuronalen Netzes gemäß dem ersten Aspekt der Erfindung in einer großen Vielzahl an Wiederholungen ausgeführt, um ausreichend viele und ausreichend verschiedenartige erste Daten und zweite Daten von der Versuchsfahrzeugsensoreinheit bzw. der externen Sensoreinheit zu generieren und eine zuverlässige Abbildung durch das künstliche neuronale Netz zu erzeugen. Durch die Wiederholung des ersten Aspekts der Erfindung werden somit erste Daten und zweite Daten insbesondere an einer großen Vielzahl von ersten Verkehrsteilnehmern erzeugt und damit das künstliche neuronale Netz trainiert.
Es ist eine vorteilhafte Wirkung der Erfindung, dass mit praktisch gesehen vollständigen und fehlerfreien Daten (sogenannten "ground truth" Daten) über den ersten Verkehrsteilnehmer das künstliche neuronale Netz trainiert wird, was die Qualität des Trainings des künstlichen neuronalen Netzes erheblich verbessert, wohingegen das trainierte künstliche neuronale Netz im Fahrzeug auf Basis von aktuellen ersten Daten aus der Fahrzeugsensoreinheit zuverlässig betrieben werden kann. Ein weiterer Vorteil der internen Sensoreinheit ist, dass diese durch ihre naturgemäße Anordnung oberhalb einer Straße oder an einem Luftfahrzeug nicht direkt von einem anderen Verkehrsteilnehmer bewertet wird, sodass zur Trainingsphase des künstlichen neuronalen Netzes das Training von dem anderen Verkehrsteilnehmer unbemerkt bleiben kann, wodurch sich unbeeinflusste ermittelte Daten über den jeweiligen erfassten Verkehrsteilnehmer ergeben.
Gemäß einer vorteilhaften Ausführungsform dient das Verfahren weiterhin zum Ausführen des künstlichen neuronalen Netzes in dem Fahrzeug und weist weiterhin die Schritte auf:
- Ausführen des abgespeicherten trainierten künstlichen neuronalen Netzes in dem Fahrzeug während der Fahrt des Fahrzeugs mit aktuellen, von der am Fahrzeug angeordneten Fahrzeugsensoreinheit ermittelten, ersten Daten über den zweiten Verkehrsteilnehmer, wobei die aktuell ermittelten ersten Daten der Fahrzeugsensoreinheit als einziger Eingang des künstlichen neuronalen Netzes dienen, und
- Entscheiden auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers vorliegt.
Gemäß dieser Ausführungsform wird ein künstliches neuronales Netz, das gemäß dem ersten Aspekt der Erfindung trainiert wurde, in einem weiteren Fahrzeug verwendet, um
damit das Verhalten der Verkehrsteilnehmer zu überwachen. Das weitere Fahrzeug ist nicht notwendigerweise gleich dem Versuchsfahrzeug, kann es jedoch sein. Insofern erklärt sich, dass das Fahrzeug das mittels des Versuchsfahrzeugs trainierte künstliche neuronale Netz verwenden kann, da die Abbildung, welche das künstliche neuronale Netz wiedergibt, prinzipiell vom Trägerfahrzeug unabhängig ist. Vorteilhaft kann daher durch diese Ausführungsform ein künstliches neuronales Netz, welches mittels eines Versuchsfahrzeuges und mit einer externen Sensoreinheit bezüglich eines ersten Verkehrsteilnehmers trainiert wurde, auf einem beliebigen Fahrzeug verwendet werden, um das Verhalten eines zweiten Verkehrsteilnehmers, der vom ersten Verkehrsteilnehmer unabhängig ist, zu überwachen.
Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zum Ausführen eines künstlichen neuronalen Netzes in einem Fahrzeug, aufweisend die Schritte:
- Bereitstellen eines künstlichen neuronalen Netzes, wobei das künstliche neuronale Netz mit ersten, von einer an einem Versuchsfahrzeug angeordneten
Versuchsfahrzeugsensoreinheit ermittelten, Daten über einen ersten Verkehrsteilnehmer und mit zweiten, von einer externen und stationär im Bereich einer Straße oder an einem Luftfahrzeug angeordneten Sensoreinheit ermittelten, Daten über den ersten Verkehrsteilnehmer jeweils als Eingang des künstlichen neuronalen Netzes trainiert worden ist, und wobei das künstliche neuronale Netz mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers bezogenen Maß zur Einordnung in normales oder anormales Verhalten des ersten Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes trainiert worden ist,
- Erfassen von aktuellen ersten Daten über einen zweiten Verkehrsteilnehmer durch eine am Fahrzeug angeordnete Fahrzeugsensoreinheit,
- Ausführen des trainierten künstlichen neuronalen Netzes in dem Fahrzeug während der Fahrt des Fahrzeugs mit aktuellen, von einer am Fahrzeug angeordneten Fahrzeugsensoreinheit ermittelten, ersten Daten über den zweiten Verkehrsteilnehmer, wobei die aktuell ermittelten ersten Daten der Fahrzeugsensoreinheit als einziger Eingang des künstlichen neuronalen Netzes dienen, und
- Entscheiden auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers vorliegt.
Die zum ersten Aspekt der Erfindung gemachten Erklärungen und die zur bevorzugten Ausführungsform des ersten Aspekts der Erfindung gemachten Erklärungen können uneingeschränkt auf den zweiten obigen Aspekt der Erfindung übertragen werden.
Gemäß einerweiteren vorteilhaften Ausführungsform erfolgt das Entscheiden, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers vorliegt, durch Vergleich des Ausgangs des künstlichen neuronalen Netzes mit einer vorgegeben Metrik. Bevorzugt ist die Metrik ein Grenzwert, gegen den der Ausgang des künstlichen neuronalen Netzes verglichen wird. Vorteilhaft wird hierdurch eine binäre Aussage ausgehend von einem numerischen Wert des Ausgangs des künstlichen neuronalen Netzes darüber getroffen, ob ein normales oder ein anomales Verhalten des zweiten Verkehrsteilnehmers vorliegt.
Gemäß einerweiteren vorteilhaften Ausführungsform weist das Verfahren weiterhin den Schritt auf:
- Ausführen einer vorgegeben Reaktion, wenn das Entscheiden über anormales Verhalten des zweiten Verkehrsteilnehmers positiv ausfällt, wobei die vorgegebene Reaktion zumindest eine aus den folgenden ist: Ausgeben einer Warnung an den Fahrer des Fahrzeugs, Vermindern des Grades der Autonomie, mit der das Fahrzeug aktuell betrieben wird, Ändern von Parametern eines automatischen oder autonomen Steueralgorithmus des Fahrzeugs derart, dass die Fahrweise des Fahrzeugs auf Basis des autonomen Steueralgorithmus defensiver wird, Ändern einer geplanten Trajektorie des Fahrzeugs.
Das Vermindern des Grades der Autonomie, mit der das Fahrzeug aktuell betrieben wird kann einerseits in einem Abschalten einiger automatisierenden Komponenten des Fahrzeugs bestehen, weitergehend bis zum Übergeben der vollständigen und alleinigen Kontrollautorität über das Fahrzeug an den Fahrer des Fahrzeugs.
Gemäß einerweiteren vorteilhaften Ausführungsform umfassen die ersten Daten kinematische Informationen über den ersten Verkehrsteilnehmer und/oder den zweiten Verkehrsteilnehmer. Kinematische Informationen über den ersten Verkehrsteilnehmer beziehen sich insbesondere auf Informationen, die eine Position oder eine zeitliche Ableitung der Position des ersten Verkehrsteilnehmers wiedergeben. So können kinematische Informationen eine Geschwindigkeit, eine Beschleunigung, eine zeitliche Ableitung der Beschleunigung, insbesondere in Fahrtrichtung, und weiterhin insbesondere auch rechtwinklig zur aktuellen Fahrtrichtung, umfassen. Auch können die kinematischen Informationen relativ zu Beschränkungen und Verkehrsregeln bereitgestellt werden, insbesondere Geschwindigkeiten relativ zu einer Geschwindigkeitsbeschränkung, Lenkbewegungen relativ zu einer Spur, insbesondere zu gestrichelten oder durchgezogenen Markierungen, und generell relativ zu anderen durch allgemeine Regeln oder speziellen Verkehrszeichen oder Leuchtanzeigen gemachten Beschränkungen.
Gemäß einerweiteren vorteilhaften Ausführungsform umfassen die zweiten Daten jeweils kinematische Informationen über den ersten Verkehrsteilnehmer.
Gemäß einerweiteren vorteilhaften Ausführungsform umfassen die jeweiligen kinematischen Daten zumindest eine Position und/oder eine Trajektorie des jeweiligen Verkehrsteilnehmers.
Gemäß einerweiteren vorteilhaften Ausführungsform umfassen die Daten über den ersten Verkehrsteilnehmer Informationen über eine aktuelle Spur, auf der sich der erste Verkehrsteilnehmer befindet, und/oder Informationen über einen oder mehrere Spurwechsel des ersten Verkehrsteilnehmers.
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug, aufweisend eine Fahrzeugsensoreinheit und eine Recheneinheit, wobei die Recheneinheit dazu ausgeführt ist, ein künstliches neuronalen Netzes bereitzustellen, wobei das künstliche neuronale Netz mit ersten, von einer an einem Versuchsfahrzeug angeordneten Versuchsfahrzeugsensoreinheit ermittelten, Daten über einen ersten Verkehrsteilnehmer und mit zweiten, von einer stationär im Bereich einer Straße angeordneten oder an einem Luftfahrzeug angeordneten externen Sensoreinheit ermittelten, Daten über den ersten Verkehrsteilnehmer jeweils als Eingang des künstlichen neuronalen Netzes trainiert worden ist, und wobei das künstliche neuronale Netz mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers bezogenen Maß zur Einordnung in normales oder anormales Verhalten des ersten Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes trainiert worden ist, wobei die Fahrzeugsensoreinheit zum Erfassen von aktuellen ersten Daten über einen zweiten Verkehrsteilnehmer ausgeführt ist, und wobei die Recheneinheit zum Ausführen des künstlichen neuronalen Netzes mit den aktuellen ersten Daten als einziger Eingang des künstlichen neuronalen Netzes und zum Entscheiden auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers vorliegt, ausgeführt ist.
Gemäß einer vorteilhaften Ausführungsform weist die Fahrzeugsensoreinheit jeweils zumindest eine der folgenden auf:
- Kameraeinheit, insbesondere Stereokameraeinheit,
- Ultraschallsensoreinheit,
- Lidareinheit,
- Radareinheit, insbesondere Dopplerradareinheit.
Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Fahrzeugs ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit den vorgeschlagenen Verfahren vorstehend gemachten Ausführungen.
Ein weiterer Aspekt der Erfindung betrifft ein System mit einem Versuchsfahrzeug, mit einer Kalkulationseinheit, und mit einer externen Sensoreinheit, zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs, wobei das Versuchsfahrzeug eine Versuchsfahrzeugsensoreinheit aufweist und wobei die externe Sensoreinheit stationär im Bereich einer Straße angeordnet ist oder an einem Luftfahrzeug angeordnet ist, wobei
- die Versuchsfahrzeugsensoreinheit zum Ermitteln von ersten Daten über einen ersten Verkehrsteilnehmer ausgeführt ist,
- die externe Sensoreinheit zum Ermitteln von zweiten Daten über den ersten Verkehrsteilnehmer ausgeführt ist, und
- die Kalkulationseinheit zum Trainieren des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang des künstlichen neuronalen Netzes und mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers bezogenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes, und zum Abspeichern des trainierten künstlichen neuronalen Netzes in einer Speichereinheit zur späteren Ausführung in dem Fahrzeug ausgeführt ist, wobei das abgespeicherte trainierte künstliche neuronale Netz dazu ausgeführt ist, mit aktuell von einer Fahrzeugsensoreinheit eines Fahrzeugs erfassten ersten Daten über einen zweiten Verkehrsteilnehmer als einziger Eingang des künstlichen neuronalen Netzes ausgeführt zu werden.
Gemäß einerweiteren vorteilhaften Ausführungsform weisen die externe Sensoreinheit und/oder die Versuchsfahrzeugsensoreinheit jeweils zumindest eine der folgenden auf:
- Kamera, insbesondere Stereokamera,
- Ultraschallsensoreinheit,
- Lidareinheit,
- Radareinheit, insbesondere Dopplerradareinheit,
Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Systems ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit den vorgeschlagenen Verfahren vorstehend gemachten Ausführungen.
Ein weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren wie oben und im Folgenden beschrieben auszuführen.
Ein weiterer Aspekt der Erfindung betrifft ein computerlesbares Medium, das computergesteuerte Anweisungen zum Ausführen des Verfahrens wie oben und im Folgenden beschrieben umfasst.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
Es zeigen:
Fig. 1 ein Verfahren gemäß einem Ausführungsbeispiel der Erfindung,
Fig. 2 ein Verfahren gemäß einem weiteren Ausführungsbeispiel der Erfindung,
Fig. 3 ein System gemäß einem weiteren Ausführungsbeispiel der Erfindung, und
Fig. 4 ein Fahrzeug und einen zweiten Verkehrsteilnehmer gemäß einem weiteren Ausführungsbeispiel der Erfindung.
Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.
Fig. 1 zeigt ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs und zum Ausführen des künstlichen neuronalen Netzes in einem Fahrzeug 20, aufweisend die Schritte:
- Ermitteln S1 von ersten Daten über einen ersten Verkehrsteilnehmer 1 durch eine an einem Versuchsfahrzeug 10 angeordnete Versuchsfahrzeugsensoreinheit 11,
- Ermitteln S2 von zweiten Daten über den ersten Verkehrsteilnehmer 1 durch eine externe Sensoreinheit 30, wobei die externe Sensoreinheit 30 stationär im Bereich einer Straße angeordnet ist oder an einem Luftfahrzeug angeordnet ist,
- Trainieren S3 des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang des künstlichen neuronalen Netzes und mit einem
vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers 1 bezogenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes, und
- Abspeichern S4 des trainierten künstlichen neuronalen Netzes in einer Speichereinheit 3 zur späteren Ausführung in dem Fahrzeug 20, wobei das abgespeicherte trainierte künstliche neuronale Netz dazu ausgeführt ist, mit aktuell von einer Fahrzeugsensoreinheit 21 eines Fahrzeugs 20 erfassten ersten Daten über einen zweiten Verkehrsteilnehmer 2 als einziger Eingang des künstlichen neuronalen Netzes ausgeführt zu werden,
- Ausführen S5 des abgespeicherten trainierten künstlichen neuronalen Netzes in dem Fahrzeug 20 während der Fahrt des Fahrzeugs 20 mit aktuellen, von der am Fahrzeug 20 angeordneten Fahrzeugsensoreinheit 21 ermittelten, ersten Daten über den zweiten Verkehrsteilnehmer 2, wobei die aktuell ermittelten ersten Daten der Fahrzeugsensoreinheit 21 als einziger Eingang des künstlichen neuronalen Netzes dienen,
- Entscheiden S6 auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers 2 vorliegt.
Fig. 2 zeigt ein Verfahren zum Ausführen eines künstlichen neuronalen Netzes in einem Fahrzeug 20, aufweisend die Schritte:
- Bereitstellen H1 eines künstlichen neuronalen Netzes, wobei das künstliche neuronale Netz mit ersten, von einer an einem Versuchsfahrzeug 10 angeordneten Versuchsfahrzeugsensoreinheit 11 ermittelten, Daten über einen ersten Verkehrsteilnehmer 1 und mit zweiten, von einer externen Sensoreinheit 30 ermittelten, Daten über den ersten Verkehrsteilnehmer 1 jeweils als Eingang des künstlichen neuronalen Netzes trainiert worden ist, wobei die externe Sensoreinheit 30 stationär im Bereich einer Straße angeordnet ist oder an einem Luftfahrzeug angeordnet ist, und wobei das künstliche neuronale Netz mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers 1 bezogenen Maß zur Einordnung in normales oder anormales Verhalten des ersten Verkehrsteilnehmers 1 als vorgegebener Ausgang des künstlichen neuronalen Netzes trainiert worden ist,
- Erfassen H2 von aktuellen ersten Daten über einen zweiten Verkehrsteilnehmer 2 durch eine am Fahrzeug 20 angeordnete Fahrzeugsensoreinheit 21,
- Ausführen H3 des trainierten künstlichen neuronalen Netzes in dem Fahrzeug 20 während der Fahrt des Fahrzeugs 20 mit aktuellen, von einer am Fahrzeug 20 angeordneten Fahrzeugsensoreinheit 21 ermittelten, ersten Daten über den zweiten Verkehrsteilnehmer 2, wobei die aktuell ermittelten ersten Daten der
Fahrzeugsensoreinheit 21 als einziger Eingang des künstlichen neuronalen Netzes dienen,
- Entscheiden H4 auf Basis des Ausgangs des künstlichen neuronalen Netzes, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers 2 vorliegt, wobei das Entscheiden, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers 2 vorliegt, durch Vergleich des Ausgangs des künstlichen neuronalen Netzes mit einer vorgegeben Metrik erfolgt, und
- Ausführen H5 einer vorgegeben Reaktion, wenn das Entscheiden über anormales Verhalten des zweiten Verkehrsteilnehmers 2 positiv ausfällt, wobei die vorgegebene Reaktion das Ausgeben einer visuellen und einer akustischen Warnung an den Fahrer des Fahrzeugs 20 ist.
Die Verfahren der Fig. 1 und Fig. 2 spiegeln sich in dem System der Fig. 3 und der Beschreibung des Fahrzeugs 20 aus der Fig. 4 wieder. Die Beschreibungen der Figuren können daher wechselseitig herangezogen werden.
Fig. 3 zeigt ein System 100 mit einem Versuchsfahrzeug 10, mit einer Kalkulationseinheit 101, und mit einer externen Sensoreinheit 30, zum Trainieren eines künstlichen neuronalen Netzes bezüglich einer Erfassung anormalen Verhaltens von Teilnehmern des Straßenverkehrs. Das Versuchsfahrzeug 10 ist mit einer mit Kameras ausgestatteten Versuchsfahrzeugsensoreinheit 11 ausgerüstet. Die externe Sensoreinheit 30, ein unbemanntes Luftfahrzeug, fliegt im Bereich um das Versuchsfahrzeug 10 seitlich oberhalb der Straße, auf dem das Versuchsfahrzeug 10 sich aktuell befindet. Die Kameras der Versuchsfahrzeugsensoreinheit 11 ermitteln hierbei erste Daten über einen einen ersten Verkehrsteilnehmer 1, wobei der erste Verkehrsteilnehmer 1 als pars pro toto für eine Vielzahl von weiteren Verkehrsteilnehmern exemplarisch betrachtet wird. Die externe Sensoreinheit 30 ermittelt gleichzeitig - ebenfalls per Kamera - zweite Daten über den ersten Verkehrsteilnehmer 1. Somit liegen redundante, insbesondere aber auch sich ergänzende erste und zweite Daten über das Verhalten des ersten Verkehrsteilnehmers 1 vor. Beide, die ersten Daten und die zweiten Daten werden an die externe Kalkulationseinheit 101 gesendet, die das Trainieren des künstlichen neuronalen Netzes mit den ersten Daten und mit den zweiten Daten jeweils als Eingang des künstlichen neuronalen Netzes und mit einem vorgegebenen und auf das Verhalten des ersten Verkehrsteilnehmers 1 bezogenen Maß zur Einordnung in normales oder anormales Verhalten des Verkehrsteilnehmers als vorgegebener Ausgang des künstlichen neuronalen Netzes übernimmt. Die Kalkulationseinheit 101 speichert nach zahlreichen Wiederholungen dieses Vorgehens an einer Vielzahl von zweiten
Verkehrsteilnehmern 1 das trainierte künstliche neuronale Netz in einer Speichereinheit 3 zur späteren Ausführung in dem Fahrzeug 20 der Fig. 4 ab. Dabei ist das abgespeicherte trainierte künstliche neuronale Netz so konfiguriert von der Kalkulationseinheit 101, dass es aktuell von einer Fahrzeugsensoreinheit 21 eines Fahrzeugs 20 erfassten ersten Daten über einen zweiten Verkehrsteilnehmer 2 als einziger Eingang des künstlichen neuronalen Netzes ausgeführt werden kann. Siehe dazu die Beschreibung der Fig. 4.
Fig. 4 zeigt ein Fahrzeug 20, aufweisend eine Fahrzeugsensoreinheit 21 und eine Recheneinheit 22, wobei die Recheneinheit 22 das nach Fig. 3 trainierte künstliche neuronale Netz bereitstellt. Die Fahrzeugsensoreinheit 21 erfasst aktuelle erste Daten über einen zweiten Verkehrsteilnehmer 2 mit an der Fahrzeugfront und am Fahrzeugheck angeordneten Kameras. Die Recheneinheit 22 führt dann das bereits abgeschlossen trainierte künstliche neuronale Netz mit den aktuellen ersten Daten der Kameras der Fahrzeugsensoreinheit 21 als dem einzigen Eingang des künstlichen neuronalen Netzes aus. Je nach Ausgang des neuronalen Netzes wird entschieden, ob ein anormales Verhalten des zweiten Verkehrsteilnehmers 2 vorliegt. Wird ein anormales Verhalten des zweiten Verkehrsteilnehmers 2 bestimmt, wird eine Warnung an den Fahrer des Fahrzeugs 20 ausgegeben.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.
Bezugszeichenliste
1 erster Verkehrsteilnehmer
2 zweiter Verkehrsteilnehmer
3 Speichereinheit
10 Versuchsfahrzeug
11 Versuchsfahrzeugsensoreinheit
20 Fahrzeug
21 Fahrzeugsensoreinheit
22 Recheneinheit
30 externe Sensoreinheit
100 System
101 Kalkulationseinheit
51 Ermitteln
52 Ermitteln
53 Trainieren
54 Abspeichern
55 Ausführen
56 Entscheiden
H1 Bereitstellen
H2 Erfassen
H3 Ausführen
H4 Entscheiden
H5 Ausführen