DE102020212009A1

DE102020212009A1 - Steuervorrichtung für ein Fahrzeug

Info

Publication number: DE102020212009A1
Application number: DE102020212009.9A
Authority: DE
Inventors: Alexander Boronka; Padmanabhan Padmanabhan; Maojun He
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-09-24
Filing date: 2020-09-24
Publication date: 2022-03-24

Abstract

Steuervorrichtung (400) für ein Fahrzeug (100) aufweisend:- ein neuronales Netz (200) mit Eingängen für Sensoren (1a... 1n, 2a...2n, 3a... 3n), mit denen Sinneswahrnehmungen eines menschlichen Fahrers (D) des Fahrzeugs (100) nachgebildet werden;- wobei mit Sensorsignalen der Sensoren (1a...1n, 2a...2n, 3a...3n) ein visuelles und akustisches Umfeld des Fahrzeugs (100) und/oder Bewegungen des Fahrzeugs (100) erfasst werden; wobei- das neuronale Netz (200) eingerichtet ist, aus den Sensorsignalen wenigstens ein Steuersignal für wenigstens einen Aktuator des Fahrzeugs (100) zu generieren.

Description

Die Erfindung betrifft eine Steuervorrichtung für ein Fahrzeug. Die Erfindung betrifft ferner ein Verfahren zum Trainieren eines neuronalen Netzes für eine Steuervorrichtung eines Fahrzeugs während durch einen menschlichen Fahrer durchgeführten Trainingsfahrten des Fahrzeugs. Die Erfindung betrifft ferner Verfahren zum Generieren wenigstens eines Steuersignals für wenigstens einen Aktuator eines Fahrzeugs mittels eines neuronalen Netzes. Die Erfindung betrifft ferner Computerprogrammprodukte.
Stand der Technik
Viele Industrieunternehmen und Universitäten arbeiten im Bereich des (voll-) autonomen Fahrens, wobei eine Menge von Sensoren unterschiedlichen Typs verwendet wird, um die Umgebung des autonomen Fahrzeugs (AV) zu erfassen. Solche Sensoren umfassen z.B. LIDAR, Laserscan, Ultrasonic, 2D- und 3D-Kamerasysteme, Infrarotsensoren, Ultraschallsensoren, usw., wobei alle diese Sensoren an verschiedenen Positionen des automatisierten Fahrzeugs angebracht sind. Darüber hinaus werden andere Daten verwendet, um das automatisierte Fahrzeug zu führen, z.B. GPS-Signale, GSM/LTE-Signale, hochauflösende digitale Karten, usw.
Schon seit langem ist bekannt, dass ein Mensch in der Lage ist, ein Fahrzeug praktisch bei jedweder Verkehrssituation unabhängig von Wetter und anderen Umständen zu steuern. Dazu benutzt der Mensch in der Regel seine fünf Sinne, nämlich Sehen, Hören, Tasten, Riechen und Fühlen.
US 10,209,718 B2 offenbart ein Fahrzeugsensorsystem und ein Verfahren zu dessen Verwendung, wobei ein automatisiertes Fahren unter Verwendung einer visuellen Analyse mit Hilfe von Kameras vorgeschlagen wird.
Eine Aufgabe der Erfindung ist es, eine verbesserte Steuervorrichtung für ein Fahrzeug bereitzustellen.
Die Aufgabe wird gemäß einem ersten Aspekt gelöst mit einer Steuervorrichtung für ein Fahrzeug, aufweisend:

- ein neuronales Netz mit Eingängen für Sensoren, die ein visuelles und akustisches Umfeld des Fahrzeugs (100) und/oder Bewegungen des Fahrzeugs erfassen,
- wobei mit Sensorsignalen der Sensoren ein visuelles und akustisches Umfeld des Fahrzeugs und/oder Bewegungen des Fahrzeugs erfasst werden; wobei
- das neuronale Netz eingerichtet ist, aus den Sensorsignalen wenigstens ein Steuersignal für wenigstens einen Aktuator des Fahrzeugs zu generieren.

Mit den Sensorsignalen können Sinneswahrnehmungen eines menschlichen Fahrers des Fahrzeugs nachgebildet werden.
Auf diese Weise werden Sensordaten, die eine Wahrnehmung eines menschlichen Fahrers repräsentieren, für ein Führen eines Fahrzeugs mittels einer Steuervorrichtung mit einem neuronalen Netz verwendet.
Gemäß einem zweiten Aspekt wird die Aufgabe gelöst mit einem Verfahren zum Trainieren eines neuronalen Netzes für eine Steuervorrichtung eines Fahrzeugs, aufweisend die Schritte:

- Erfassen eines aktuellen Fahrzeugstatus in Form von definierten Fahrzeugparametern des Fahrzeugs;
- Zuführen der definierten Fahrzeugparameter an das neuronale Netz während der wenigstens einen Trainingsfahrt;
- Zuführen von Sensorsignalen von Sensoren des Fahrzeugs an das neuronale Netz während der wenigstens einen Trainingsfahrt, wobei mit den Sensorsignalen ein visuelles und akustisches Umfeld des Fahrzeugs und/oder Bewegungen des Fahrzeugs erfasst werden;
- Ermitteln eines insbesondere inkrementell zukünftigen Status des Fahrzeugs aus den zugeführten Sensorsignalen der Sensoren und den zugeführten Fahrzeugparametern mittels des neuronalen Netzes;
- Vergleichen des tatsächlichen zukünftigen Fahrzeugstatus mit dem vom neuronalen Netz ermittelten zukünftigen Fahrzeugstatus und Ermitteln eines Unterschieds der Fahrzeugstati; und
- Trainieren des neuronalen Netzes mit dem ermittelten Unterschied mit dem Ziel, den Unterschied zwischen dem tatsächlichen zukünftigen Fahrzeugstatus und dem vom neuronalen Netz ermittelten Fahrzeugstatus zu minimieren, insbesondere unter einen vorgegebenen Unterschied zu reduzieren.

Zu den Fahrzeugparametern eines Fahrzeugstatus zählen beispielsweise wenigstens einer der folgenden Parameter: Geschwindigkeit des Fahrzeuges, Drehrate des Fahrzeuges, Längs- und Querbeschleunigung bzw. -verzögerung des Fahrzeuges, Radgeschwindigkeit und -beschleunigung bzw. -verzögerung, Fahrrichtung, Stellung aller Pedale, insbesondere Gaspedal, Kupplungspedal, Bremspedal, Getriebestellung, insbesondere eingelegter Gang, Status von Aktuatoren wie Scheibenwischermotor, Signalhorn, Blinker, Fernlicht, Abblendlicht, Nebelleuchte, Beleuchtung allgemein, Status aller Lampen/Leuchten, etc.
Gemäß einem dritten Aspekt wird die Aufgabe gelöst mit Verfahren zum Generieren wenigstens eines Steuersignals für wenigstens einen Aktuator eines Fahrzeugs mittels eines neuronalen Netzes mit den Schritten:

- Zuführen von Sensorsignalen, die ein visuelles und akustisches Umfeld des Fahrzeugs und/oder Bewegungen des Fahrzeugs, an das neuronale Netz;
- Zuführen von definierten Fahrzeugparametern, die einen aktuellen Fahrzeugstatus des Fahrzeugs repräsentieren, an das neuronale Netz,;
- Ermitteln eines gewünschten zukünftigen Fahrzeugstatus mittels des neuronalen Netzes aus den Sensorsignalen und aus den definierten Fahrzeugparametern; und
- Ansteuern von Aktuatoren des Fahrzeugs zum Herbeiführen des vom neuronalen Netz ermittelten gewünschten zukünftigen Fahrzeugstatus.

Gemäß einem vierten Aspekt wird die Aufgabe gelöst mit einem Computerprogramm umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, das vorgeschlagene Verfahren zum Trainieren eines neuronalen Netzes für eine Steuervorrichtung eines Fahrzeugs auszuführen.
Gemäß einem fünften Aspekt wird die Aufgabe gelöst mit einem Computerprogramm umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, das vorgeschlagene Verfahren zum Generieren wenigstens eines Steuersignals für wenigstens einen Aktuator eines Fahrzeugs mittels eines neuronalen Netzes auszuführen.
Bevorzugte Weiterbildungen der Steuervorrichtung sind Gegenstand von abhängigen Ansprüchen.
Eine vorteilhafte Weiterbildung der Steuervorrichtung sieht vor, dass das neuronale Netz wenigstens einen Eingang für ein Sensorsignal wenigstens einer Kamera aufweist, die derart im Fahrzeug angeordnet ist, dass sie ein Sichtfeld des Fahrers erfasst. Auf diese Weise wird ein Sensorsignal bereitgestellt, das einen Sehsinn des menschlichen Fahrers möglichst naturgetreu nachbildet.
Eine weitere vorteilhafte Weiterbildung der Steuervorrichtung sieht vor, dass die wenigstens eine Kamera beweglich angeordnet ist, um Bewegungen eines Kopfes des menschlichen Fahrers möglichst naturgetreu nachzubilden. Auf diese Weise kann z.B. ein Umfeld-Erfassungsverhalten des Fahrers in Form eines Schulterblicks möglichst naturgetreu nachgebildet werden.
Eine weitere vorteilhafte Weiterbildung der Steuervorrichtung sieht vor, dass das neuronale Netz wenigstens einen Eingang für ein Sensorsignal wenigstens eines Mikrofons aufweist, das im Bereich eines Kopfes des Fahrers, beispielsweise in einer Kopfstütze des Fahrzeugs angeordnet ist. Auf diese Weise wird ein Sensorsignal bereitgestellt, das einen menschlichen Gehörsinn möglichst naturgetreu nachbildet.
Eine weitere vorteilhafte Weiterbildung der Steuervorrichtung sieht vor, dass das neuronale Netz wenigstens einen Eingang für ein Sensorsignal wenigstens eines Bewegungssensors aufweist, der in einem Sitz und/oder in einem Lenkrad des Fahrzeugs angeordnet ist. Auf diese Weise wird ein Sensorsignal bereitgestellt, das ein haptisches und beschleunigungstechnisches Empfinden des menschlichen Fahrers während einer Fahrt nachbildet.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass Zustandsänderungen und/oder Sensorsignale des Fahrzeugs zu definierten Zeitpunkten erfasst und dem neuronalen Netz zugeführt werden. Auf diese Weise kann eine Reaktionszeit des menschlichen Fahrers berücksichtigt werden, wodurch das Steuerungsverhalten des neuronalen Netzes bestmöglich an das menschliche Steuerungsverhalten angepasst werden kann.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass das neuronale Netz eine Speicherfunktion, d.h. eine Gedächtnisfunktion, besitzt, mittels derer Zustandsänderungen und/oder Sensorsignale des Fahrzeugs aus vorhergehenden Zeitpunkten gespeichert sind und zu einem späteren Zeitpunkt vom neuronalen Netz verwendet werden können. Dadurch wird ein guter Trainingseffekt beim Trainieren des neuronalen Netzes erreicht.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass eine Länge eines Zeitintervalls zwischen den definierten Zeitpunkten ca. 10 ms bis ca. 50 ms beträgt. Beispielsweise können dadurch Sensorsignale zyklisch an das neuronale Netz übermittelt werden, was in etwa einer „Zykluszeit“ (Reaktionszeit) eines menschlichen Fahrers entspricht. Im Ergebnis kann dadurch das neuronale Netz einem menschlichen Verhalten möglichst nachgebildete Steuersignale ermitteln.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass als ein Abbruchkriterium für ein Ende des Trainierens des neuronalen Netzes ein Erreichen eines vorgegebenen Unterschiedes zwischen dem tatsächlichen Fahrzeugstatus und dem vom neuronalen Netz vorhergesagten Fahrzeugstatus verwendet wird, d.h. eine definierte Stabilität des neuronalen Netzes erreicht wird. Auf diese Weise wird ein definiertes Abbruchkriterium für ein Ende des Trainierens des neuronalen Netzes definiert, welches anzeigt, dass sich z. B. in einer definierten Nachkommastelle einer internen Struktur des neuronalen Netzes nichts mehr ändert. Andernfalls muss das neuronale Netz weiter trainiert werden bis zu einem Zeitpunkt, zu der Unterschiedes zwischen dem tatsächlichen Fahrzeugstatus und dem vom neuronalen Netz vorhergesagten Fahrzeugstatus kleiner als der vorgegebene Unterschied ist.
Die Erfindung wird im Folgenden mit weiteren Merkmalen und Vorteilen anhand von mehreren Figuren im Detail beschrieben. Gleiche oder funktionsgleiche Elemente haben dabei gleiche Bezugszeichen.
Offenbarte Verfahrensmerkmale ergeben sich analog aus entsprechenden offenbarten Vorrichtungsmerkmalen und umgekehrt. Dies bedeutet insbesondere, dass sich Merkmale, technische Vorteile und Ausführungen betreffend die vorgeschlagenen Verfahren in analoger Weise aus entsprechenden Ausführungen, Merkmalen und Vorteilen betreffend die vorgeschlagene Steuervorrichtung ergeben und umgekehrt.
In den Figuren zeigt:

1 eine prinzipielle Darstellung eines Fahrzeugs mit Sensoren, die für die vorgeschlagene Vorrichtung und das vorgeschlagene Verfahren verwendet werden;
2 eine prinzipielle Darstellung eines vorgeschlagenen Verfahrens zum Trainieren eines neuronalen Netzes für eine Steuerungsvorrichtung;
3 eine Übersichtsdarstellung des vorgeschlagenen Verfahrens;
4 eine prinzipielle Darstellung eines vorgeschlagenen Verfahrens zum Generieren eines Steuersignals für wenigstens einen Aktuator des Fahrzeugs; und
5 eine prinzipielle Darstellung einer Ausführungsform des vorgeschlagenen Verfahrens zum Generieren wenigstens eines Steuersignals für wenigstens einen Aktuator eines Fahrzeugs mittels eines neuronalen Netzes

Beschreibung von Ausführungsformen
Ein Kerngedanke der vorliegenden Erfindung ist insbesondere eine Bereitstellung einer verbesserten Steuervorrichtung für ein insbesondere wenigstens teilweise automatisiertes bzw. autonomes Fahrzeug.
Vorgeschlagen wird mit der Erfindung ein Konzept, welches auf einer sensorischen Ausnützung von menschlichen Sinnen zum Trainieren eines neuronalen Netzes basiert. Insbesondere wird ein Verfahren vorgeschlagen, welches für ein Betreiben eines automatisierten bzw. autonomen Fahrzeugs verwendet werden kann. Das Konzept ist vorteilhaft kostenschonend, weil es mit einer definiert geringen Anzahl von Sensoren durchgeführt werden kann.
Bekannt ist, dass der menschliche Sehsinn zum Steuern eines Fahrzeugs absolut wichtig ist. Dabei ist es oft erforderlich, dass der Fahrer während des Fahrens oftmals auch den Kopf dreht, z.B. um Objekte im toten Winkel zu erkennen und um seinen Sichtwinkel zu erweitern/ändern.
Auch der Hörsinn ist hilfreich, z.B. zum Erkennen von Signaltönen anderer Verkehrsteilnehmer, die gefährliche Situationen andeuten und den Fahrer warnen sollen. Der Hörsinn ist ferner oftmals auch vorteilhaft, um ein Motorengeräusch anderer Verkehrsteilnehmer zu hören, die einen Überholvorgang beginnen. Der Hörsinn ist ferner oftmals auch vorteilhaft, um ein geändertes Abrollgeräusch und eine damit verbundene Traktion zu erfassen (z. B. beim Aquaplaning).
Ferner ist zum Steuern eines Fahrzeugs auch der Fühl- bzw. Tastsinn von Vorteil, wobei im Sinne der Erfindung Fühlen in einem weiteren Sinne verstanden wird. Zum Beispiel bekommt der Fahrer während des Lenkens des Fahrzeugs ein fühlbares Feedback auf mehrere Arten, z.B. beim Betätigen des Lenkrads, durch das Gaspedal, durch einen Widerstand beim Betätigen des Bremspedals, des Kupplungspedals, Fliehkräfte, Vibrationen bei Bodenwellen, usw.
Der Fühlsinn ist somit gewissermaßen ein Sinn, der die Bewegung (Beschleunigung, Abbremsung) des gesamten Systems „Fahrzeug“ auf den menschlichen Fahrer rückkoppelt. Zum Beispiel wird dabei eine Rückkopplung der Fahrbahn auf den Fahrer realisiert. Im Falle eines Auftretens von starken Schlägen, wird der Fahrer in der Regel das Tempo des Fahrzeugs reduzieren. Ferner sind manchmal auch gerippte Strukturen in Fahrbahnmarkierungen vorgesehen, die ein haptisches Feedback (Vibrationen) bei Überfahren der Fahrbahnmarkierungen an den Fahrer übermitteln und diesen somit zu einem korrigierenden Verhalten bringen.
Vorgeschlagen wird beispielsweise eine Kombination von Kameras 1a... 1n, die einen Sichtbereich des Fahrers abdecken, inklusive eines Bereichs von Rückspiegel, die den Sichtbereich des Fahrers bei Drehung des Kopfes abdecken. Ferner vorgeschlagen wird eine Verwendung eines Mikrofons oder Stereomikrofons und/oder eine Verwendung eines Sensors, der Beschleunigungen in allen Achsen des Fahrzeugs detektieren kann bzw. eine Rotation des Fahrzeugs um alle Achsen.
Vorgeschlagen wird, ein automatisiertes Fahrzeug mit einem neuronalen Netz, welches mit Sensorsignalen einer Sensorkombination, die eine menschliche Wahrnehmung wenigstens teilweise nachbilden, trainiert wurde, zu betreiben.
Im Ergebnis kann mit einer derartigen Sensorkombination ein menschliches Wahrnehmungssystem wenigstens teilweise nachgebildet werden, wobei die Kameras 1a... 1n den menschlichen Sehsinn inklusive einer Bewegung/Drehung des Kopfes mit einem Sichtfeld durch die Front- und Rückscheiben, die Mikrofone 3a...3n den menschlichen Hörsinn und/oder die Bewegungssensoren 2a...2n den Fühlsinn des Fahrers an seiner Sitzposition bzw. am Lenkrad nachbilden. Vorgeschlagen wird ein Verfahren, Sensorsignale dieser Sensorkombination einem trainierten neuronalen Netz bereitzustellen, um damit im Ergebnis ein automatisiertes Fahrzeug mithilfe des neuronalen Netzes zu betreiben.
Das Verhalten und die Wahrnehmungen des Fahrers des Fahrzeugs können als eine Funktion D definiert werden. Die Funktion D hat als Eingangsparameter wenigstens einen, insbesondere mehrere menschliche Sinne, die beim Betreiben des Fahrzeugs vom Fahrer verwendet werden. Auf diese Weise kann der Fahrer D folgendermaßen definiert werden: $D = f (Sehsinn, H \ddot{o} rsinn, F \ddot{u} hl-/Ber \ddot{u} hrungssinn)$
Der Ausgang dieser Funktion f ist die Art und Weise, wie der Fahrer das Fahrzeug basierend auf den Eingangssinnen steuert, d.h. insbesondere lenkt, bremst, beschleunigt oder andere Funktionen des Fahrzeuges steuert.
Dies bedeutet zum Beispiel eine Einstellung von folgenden Fahrzeugparametern:

- Lenkwinkel
- Neue Geschwindigkeit durch positive/negative Beschleunigung
- Betriebsmodi des Fahrzeugs (z.B. Lichter, Hupe, Richtungsanzeiger, usw.)
- Schaltungs-, Kupplungszustand, usw.
- Bremszustand, usw.

Die Aufzählung ist nicht abschließend, sondern nur beispielhaft.
Aufgrund der Tatsache, dass das Fahrzeug von einem menschlichen Fahrer gesteuert wird, sind auch immer Verzögerungszeiten zu berücksichtigen. Dies bedeutet, dass eine Änderung des Fahrzeugstatus immer erst nach einer gewissen zeitlichen Verzögerung, basierend auf einer geänderten Sinneserfassung basiert. Diese menschliche Verzögerungszeitkonstante wird im Folgenden mit T_h bezeichnet (Index h für „human“, Englisch für „Mensch“).
Ein Zustand des Fahrzeugs zum Zeitpunkt T₀ werde als S(T₀) bezeichnet und ein Zustand des Fahrzeugs zu einem Zeitpunkt T₁ werde als S(T₁) bezeichnet.
Die Gesamtheit eine Zustands S(T₀) oder S(T₀) nimmt der Fahrer über die Sinne auf. Mit $T_{1} = T_{0} + T_{h}$

Th: Verzögerungszeitkonstante

S (T_{1}) = D (S (T_{0}))

S(T0): Fahrzeugstatus zum Zeitpunkt T₀
S(T1): Fahrzeugstatus zum Zeitpunkt T₁
D(S(T0)): durch menschliches Fahren herbeigeführter Fahrzeugstatus zum Zeitpunkt T₀

In Worten ausgedrückt, ist ein Steuern bzw. Navigieren eines Fahrzeugs nichts anderes als ein kontinuierliches Empfangen von Informationen über den Fahrzeugstatus, wobei nach einer möglichst kurzen Zeitspanne das Fahrzeug in einen neuen Status übergeführt wird. Dabei kann der neue Status des Fahrzeugs derselbe sein, wenn es die Verkehrsbedingungen erlauben. Zum Beispiel wird der Fahrer D, wenn er das Fahrzeug bei einer roten Ampel anhält, den Zustand des Fahrzeugs für einen oder mehrere Zeitintervalle T_h beibehalten.
Hinweis: T_h stellt also die (manchmal auch sehr kleine) Zeitdauer zwischen zwei Fahrzeugzuständen dar.
Im Falle eines automatisierten Fahrzeugs wird die Funktion D wenigstens teilweise mithilfe eines neuronales Netzes 200 umgesetzt. Die Eingangsparameter in das neuronale Netz 200 sind dabei die gleichen bzw. äquivalenten wie die Eingangssignale in die Funktion D, die mithilfe von Sensoren erfasst werden.
Dies bedeutet, dass gleichermaßen wie der Fahrer D Informationen vom Sehsinn erhält, das neuronale Netz 200 Informationen von Kamerasignalen erhält. Gleichermaßen wie der Fahrer Informationen durch seinen Hörsinn erhält, erhält das neuronale Netz 200 die entsprechenden Informationen von Mikrofonen 3a...3n. Gleichermaßen wie der Fahrer D Informationen vom Fühlsinn erhält, erhält das neuronale Netz 200 die entsprechenden Informationen von Bewegungssensoren 2a...2n.
Vorzugsweise weise die verwendeten Sensoren ähnliche oder eine gleiche Empfindlichkeit wie die menschlichen Sinne auf. Die Sensorsignale der Sensoren werden verwendet, um das neuronale Netz 200 zu trainieren. Im Ergebnis kann das trainierte neuronale Netz 200 das Fahrzeug 100 wenigstens teilweise, insbesondere vollständig wie ein Fahrer steuern. Vorzugsweise kann das trainierte neuronale Netz 200 das Fahrzeug 100 mit derselben Genauigkeit und Qualität wie ein menschlicher Fahrer steuern.
Eine Steuervorrichtung 400 mit dem trainierten neuronalen Netz 200 ist somit z.B. in der Lage wenigstens einen der folgenden Fahrzeugparameter:

- Lenkwinkel
- Geschwindigkeiten bei steigender/fallender Beschleunigung
- Betriebsmodi des Fahrzeugs (z.B. Lichter, Hupe, Richtungsanzeiger, usw.)
- Schaltungs-, Kupplungszustand, usw.
- Bremszustände

Das neuronale Netz 200 wird zum Erreichen der vorgeschlagenen Funktionalität wie folgt trainiert:

1. Ein menschlicher Fahrer D fährt das Fahrzeug 100 wie vorgesehen.
2. dem neuronalen Netz 200 werden Signale von Sensoren in Form von Kameras 1a... 1n, Mikrofonen 3a...3n und/oder Bewegungssensoren 2a...2n sowie definierte Fahrzeugparameter des Fahrzeugs 100 zugeführt.
3. Nachdem der Fahrer Signale über seine Sinne wahrnimmt, führt der Fahrer den neuen Fahrzeugstatus S(T₁) während des Fahrens herbei, indem der Fahrer wenigstens einen Fahrzeugparameter verändert oder keinen Fahrzeugparameter verändert.
4. Das neuronale Netz 200 erkennt den neuen Fahrzeugstatus als gewünschtes Lernziel und wird in Verbindung mit den vorhandenen Eingangssignalen der Sensoren in der Weise trainiert, dass das neuronale Netz als Ausgangsdaten möglichst die gleiche Einstellung der vom Fahrer einstellbaren Fahrzeugparameter vorgibt, wie der Fahrer. Ein gut trainiertes neuronales Netz gibt als Ausgangsdaten vorzugsweise für alle insbesondere von dem Fahrer veränderbaren Fahrzeugparameter ähnliche, insbesondere gleiche Steuerwerte für die einstellbaren Fahrzeugparameter aus. Somit kann das trainierte neuronale Netz als Ausgangsdaten Steuerwerte z.B. für den Lenkwinkel, die Beschleunigung des Fahrzeuges, das Abbremsen des Fahrzeuges, den Zustand der Lichter, den Zustand der Hupe, den Zustand des Richtungsanzeigers, die Position des Getriebes (Wahl des Ganges), den Zustand der Kupplung, usw. ausgeben. Somit kann die Fahrrichtung des Fahrzeuges, die Stellung der Pedale, insbesondere Gaspedal, Kupplungspedal, Bremspedal, Getriebestellung, insbesondere eingelegter Gang, Status von Aktuatoren wie Scheibenwischermotor, Signalhorn, Blinker, Fernlicht, Abblendlicht, Nebelleuchte, Beleuchtung allgemein, Status aller Lampen/Leuchten vom neuronalen Netz vorgegeben werden. Die Ausgangsdaten des neuronalen Netzes werden von einer Steuervorrichtung verwendet, um das Fahrzeug wenigstens teilweise, insbesondere vollständig autonom zu steuern. In einer Ausführung verfügt das neuronale Netz über einen Datenspeicher, d.h. ein „Gedächtnis“, mit dem Eingangssignale der Sensoren und/oder Fahrzeugparameter gespeichert werden können und insbesondere zu einem späteren Zeitpunkt für das Training berücksichtigt werden können.

Auf diese Weise fungiert der menschliche Fahrer D als ein „natürlicher Lehrer“ des neuronalen Netzes 200. Nachdem der Status S(T_x) des Fahrzeugs 100 basierend auf dem vorhergehenden Status S(T_x-1) und den Eingangssignalen kontinuierlich aktualisiert wird, kann das neuronale Netz 200 auf die genannte Weise intensiv trainiert werden. Das Trainieren des neuronalen Netzes 200 kann beispielsweise beendet werden, wenn ein vorgegebener Unterschied zwischen dem tatsächlichen Fahrzeugstatus und dem vom neuronalen Netz ermittelten Fahrzeugstatus erreicht wird. Wenn das neuronale Netz 200 ausreichend trainiert wurde, d.h. einen ausreichend stabilen Zustand erreicht hat, ist es in der Lage, für das Fahrzeug 100 nahezu denselben Fahrzeugstatus S(T₁) oder tatsächlich denselben Fahrzeugstatus S(T₁) bereitzustellen wie ein menschlicher Fahrer D basierend auf dem vorherigen Fahrzeugstatus und Eingangsparametern in Form von Sensorsignalen. Dadurch ist das Fahrzeug 100 in der Lage, mit dem trainierten neuronalen Netz 200 wenigstens teilweise oder vollständig autonom in jeglicher Verkehrssituation gleichermaßen geführt zu werden wie von einem menschlichen Fahrer D.
Beispielsweise wird der Kopf des Fahrers D während der Trainingsfahrten mit einem Bewegungssensor 2a...2n ausgestattet, mit dem aufgezeichnet werden kann, in welche Richtung der Fahrer D den Kopf bewegt. Nachdem die Augenposition eines Menschen relativ ist, kann die Bewegung des Kopfes die Sichtrichtung des Fahrers D andeuten. Wenn beispielsweise der Fahrer D zur linken Seite blickt, berücksichtigt das neuronale Netz Umfelddaten der Kamera, die die linke Seite des Fahrzeugs 100 aufnimmt.
Wenn der Fahrer zum Zeitpunkt T₀ nach links blickt, zu dem sich das Fahrzeug 100 in einem Status S(T₀) befindet, bedeutet dies, dass der neue Status S(T₁) nach einer minimalen Verzögerungszeitkonstante T_h erreicht wird und berücksichtigt einen entsprechenden Winkel des Sehsinns. Andere Sichten etwa werden in der Aktion des Fahrers D zum Zeitpunkt T₀ nicht betrachtet, weil der Fahrer D zu diesem Zeitpunkt nur in eine definierte Richtung schaut. Im Gedächtnis des Fahrers können jedoch noch Informationen aus früheren Sichten vorhanden sein, welche die Aktion des Fahrers beeinflussen können.
Für das Training eines gedächtnislosen neuronalen Netzes 200 bedeutet dies zum Zeitpunkt T₀, dass andere Kameras 1a... 1n als jene, die in die Sehrichtung des Fahrers D gerichtet sind, vernachlässigt werden können und deshalb auch nicht berücksichtigt werden. Sehr wohl können bei vorhandenem Datenspeicher, d.h. „Gedächtnis“ im neuronalen Netz jedoch auch andere Sichten aus vorhergehenden Zeitpunkten berücksichtigt werden.
Nachdem das neuronale Netz 200 von menschlichen Fahrern D trainiert sein kann, bestimmt der Fahrstil des menschlichen Fahrers D das Training des neuronalen Netzes 200. Um einen angemessenen Lernfortschritt zu erreichen, werden vorzugsweise Daten, die mit einem Unfall und/oder nicht regelkonformem (z.B. ungesetzlichen) Betreiben des Fahrzeugs 100 verknüpft sind, für den Trainingsprozess des neuronalen Netzes 200 nicht berücksichtigt bzw. verworfen.
Der beim Training des neuronalen Netzes 200 das Fahrzeug 100 führende Fahrer D sollte daher die Verkehrsregeln unter allen Umständen beachten. Denkbar ist auch, dass übliche lokale Verkehrsverhalten von Verkehrsteilnehmern als Eingangsdaten zum Trainieren des neuronalen Netzes 200 verwendet werden. Ortsdaten können z.B. in Form von GPS-Daten den lokalen Trainingsdaten der lokalen Fahrzeuge 100 zugeordnet werden.
1 zeigt einen prinzipiellen Aufbau eines Fahrzeugs 100 mit an sich bekannten Sensoren, die in spezifischer Weise für die Speisung des neuronalen Netzes 200 beim Training und in der Betriebsphase verwendet werden. Man erkennt Kameras 1a... 1n, die üblichen Sehfelder eines Fahrers D (nicht dargestellt) erfassen. Ferner erkennbar sind Bewegungssensoren 2a...2n, die z. B. als Vibrationssensoren ausgebildet am Lenkrad 20 und/oder am Fahrersitz 10 montiert sein können, um Erschütterungen und/oder Vibrationen und/oder Beschleunigungsvorgänge und/oder Abbremsvorgänge und/oder Drehraten, etc. des Fahrzeugs 100 sensortechnisch zu erfassen. Ferner erkennbar sind Mikrofone 3a...3n, die vorzugsweise in der Kopfstütze 30 in der Nähe der Ohren des Fahrers D angeordnet sein können um Geräusche im Betrieb des Fahrzeugs 100 zu erfassen.
Die genannten Sensoren bilden die menschlichen Sinne Sehen, Hören und Fühlen möglichst naturgetreu ab, wobei die Sensoren zu diesem Zweck an geeigneten Positionen des Fahrzeugs 100 bzw. des Fahrers D des Fahrzeugs 100 angeordnet sind. Mit den genannten Sensoren wird während eines im Folgenden beschrieben Trainingsszenarios ein Umfeld des Fahrzeugs 100 erfasst und ein neuronales Netzwerk 200 (nicht dargestellt) trainiert. 2 zeigt ein Übersichtsbild des vorgeschlagenen Verfahrens zum Trainieren des neuronalen Netzes 200 während einer menschlich gesteuerten Trainingsfahrt des Fahrzeugs 100.
In einem Schritt 50 erfolgt eine visuelle Wahrnehmung, in einem Schritt 51 erfolgt eine akustische Wahrnehmung und in einem Schritt 52 erfolgt eine Bewegungswahrnehmung (z.B. Vibrationen des Fahrzeugs 100, Beschleunigungsvorgänge des Fahrzeugs 100, Bremsvorgänge des Fahrzeugs 100, usw.) durch einen menschlichen Fahrer D des Fahrzeugs 100, wobei die Schritte 50, 51 und 52 im Wesentlichen zeitgleich durchgeführt werden. In einem Schritt 54 betätigt der menschliche Fahrer D als Reaktion auf seine oben genannten Sinneseindrücke der Schritte 50, 51, 52 Bedienelemente und Aktuatoren (z.B. Lenkrad, Gaspedal, Bremspedal, Blinker, Hupe, Scheibenwischer, usw.) des Fahrzeugs 100, um dadurch das Fahrzeug 100 im Verkehr zu steuern. Zu diesem Zweck wird in einem Schritt 53 zu definierten Zeitpunkten jeweils ein vorhergehender Fahrzeugstatus in die Aktion des Fahrers D einbezogen.
Der in Schritt 53 ermittelte aktuelle Fahrzeugstatus des Fahrzeugs 100 und der in einem Schritt 55 ermittelte neue Fahrzeugstatus des Fahrzeugs 100 kann z.B. durch wenigstens einen der folgenden Parameter definiert sein: Geschwindigkeit, Beschleunigung, Fahrtrichtung, Drehrate um eine Hochachse, Raddrehzahl, Betriebszustände von Aktuatoren, Stellung des Lenkrads, Stellung des Gaspedals, Stellung des Bremspedals, Stellung der Kupplung, Stellung des Blinkers, Betätigung der Hupe, Betätigung des Scheibenwischers, usw.
Während der menschlichen Trainingsfahrt werden dem neuronalen Netz 200 in einem Schritt 56 optische Signale der Kameras 1a... 1n, in einem Schritt 57 akustische Signale der Mikrofone 3a...3n und/oder in einem Schritt 58 Signale der Bewegungssensoren 2a...2n als Eingangs- bzw. Trainingsdaten zugeführt.
Dabei werden Zustandsänderungen und/oder Sensorsignale des Fahrzeugs 100 zu definierten Zeitpunkten T₀...T_n erfasst und dem neuronalen Netz 200 zugeführt. Eine Länge eines Zeitintervalls zwischen den definierten Zeitpunkten T₀...T_n beträgt beispielsweise ca. 10 ms bis ca. 50 ms.
Im Schritt 53 wird der aktuelle Fahrzeugstatus 100 berücksichtigt und dem neuronalen Netz 200 entsprechende Daten zugeführt. Nunmehr ermittelt das neuronale Netz 200 in einem Schritt 59 aus dem aktuellen Fahrzeugstatus und den zugeführten Sensorsignalen einen neuen Fahrzeugstatus.
In einem Schritt 60 werden die in Schritt 55 (durch menschliches Fahren tatsächlich herbeigeführter Fahrzeugstatus) und in Schritt 59 (vom neuronalen Netz 200 ermittelter virtueller Fahrzeugstatus) vorliegenden Fahrzeugstati miteinander verglichen und ein Unterschied für vorgegebene Fahrzeugparameter des Fahrzeugstatus ermittelt. Dabei wird davon ausgegangen, dass der vom menschlichen Fahrer herbeigefügte Status des Fahrzeugs 100 fehlerfrei ist. Im Ergebnis wird dadurch davon ausgegangen, dass das neuronale Netz 200 durch das menschlich durchgeführte Fahren des Fahrzeugs 100 verbessert bzw. trainiert werden kann. Aus dem ermittelten Unterschied für wenigstens einen Fahrzeugparameter wird in einem Schritt 61 das neuronale Netz 200 geeignet aktualisiert bzw. trainiert, um den Unterschied für den wenigstens einen Fahrzeugparameter des Fahrzeugstatus, der vom neuronalen Netz eingestellt wird, und dem Fahrzeugparameter des tatsächlichen Fahrzeugstatus wenigstens unter einen vorgegebenen Schwellwert zu minimieren. Dabei können z. B. Gewichtungsfaktoren von Neuronen und/oder Schichten des neuronalen Netzes 200 in geeigneter Weise angepasst werden. Beispielsweise wird das neuronale Netz in der Weise trainiert, dass die Fahrzeugparameter des Fahrzeugstatus, der vom neuronalen Netz eingestellt wird, und die Fahrzeugparameter des tatsächlichen Fahrzeugstatus im Wesentlichen gleich, insbesondere gleich sind.
Auf die geschilderte Art und Weise wird das neuronale Netz 200 trainiert, wobei das Training vorzugsweise mit mehreren bzw. unterschiedlichen menschlichen Fahrern D durchgeführt werden kann, um auf diese Weise den Trainingseffekt für das neuronale Netz 200 zu maximieren. Vorzugsweise werden Unfallszenarien bzw. nicht regelkonforme Szenarien für den Trainingsprozess des neuronalen Netzes 200 nicht berücksichtigt, wobei z.B. entsprechende Sensordaten nach erfolgtem Training wieder gelöscht werden.
Denkbar ist beispielsweise, dass das Training des neuronalen Netzes 200 wenigstens teilweise im Fahrzeug 100 durchgeführt wird oder dass Daten wenigstens teilweise in die Cloud übermittelt werden, wobei das Training des neuronalen Netz 200 wenigstens teilweise auf dort angeordneten leistungsfähigen Rechnern durchgeführt wird.
3 zeigt einen prinzipiellen Ablauf des vorgeschlagenen Verfahrens. In einem Schritt 300 werden Ausgangsdaten der oben genannten Sensoren 1a... 1n, 2a...2n, 3a...3n als Trainingsdaten zum Trainieren eines neuronalen Netzes 200 verwendet.
In einem Schritt 310 führen vorzugsweise unterschiedliche menschliche Fahrer D Trainingsfahrten des Fahrzeugs 100 durch, ausdrücklich auch in chaotischen Verkehrsumgebungen, um dadurch den Lerneffekt für das neuronale Netz 200 zu maximieren.
In einem Schritt 320 werden im Fahrzeug 100 angeordneten „Trainingssensoren“ zum Erfassen von aktuellen Fahrbewegungen des Fahrzeugs 100 genutzt, wobei Ausgangsdaten der genannten Trainingssensoren zum Trainieren des neuronalen Netzes 200 verwendet werden.
In einem Schritt 330 wird das trainierte neuronale Netz 200 verwendet, um den menschlichen Fahrer D in Fahrsituationen nachzubilden und dadurch das automatisierte bzw. autonome Fahrzeug 100 zu steuern.
Im Ergebnis wird auf diese Weise zunächst ein Training für das neuronale Netz 200 durchgeführt, wobei das trainierte neuronale Netz 200 dann in einer Steuervorrichtung 400 für das Fahrzeug 100 verwendet werden kann.
4 zeigt ein prinzipielles Übersichtsschaltbild einer Steuervorrichtung 400 mit dem trainierten neuronalen Netz 200 im operativen Betrieb des Fahrzeugs 100.
Man erkennt, dass in analoger Weise wie im Trainingsszenario von 2 dem trainierten neuronalen Netz 200 in den Schritten 56, 57 und 58 Ausgangsdaten der oben näher erläuterten Sensoren zugeführt werden. Nunmehr ermittelt das neuronale Netz 200 zusammen mit den Daten des vorherigen Fahrzeugstatus in einem Schritt 70 einen neuen Fahrzeugstatus, der zum Beispiel in einem Schritt 71 zusammen mit den in Schritt 69 vorliegenden Fahrzeugparametern mittels eines geeigneten Lenkeinschlags, einer geeigneten Bremsbetätigung, einer geeigneten Gaspedalbetätigung, ein Betätigen eines sonstigen Aktuators, usw. herbeigeführt werden kann.
Somit werden, ausgehend von einem in einem Schritt 69 vorliegenden Fahrzeugstatus vom neuronalen Netz 200 nunmehr in einem Schritt 71 Aktuatoren bzw. Stellelemente des Fahrzeugs 100 angesteuert, basierend auf den im Schritt 70 vom neuronalen Netz 200 ermittelten Fahrzeugstatus. In einem Schritt 72 wird somit, resultierend aus den Aktuatorbetätigungen von Schritt 71 ein neuer Fahrzeugstatus des Fahrzeugs 100 herbeigeführt.
Im Ergebnis kann auf diese Weise das Fahrzeug 100 ausschließlich mittels einer Steuervorrichtung 400 mit dem trainierten neuronalen Netz 200 gesteuert werden, basierend ausschließlich auf den dem neuronalen Netz 200 zugeführten Sensordaten.
5 zeigt einen prinzipiellen Ablauf eines Verfahrens Verfahren zum Generieren wenigstens eines Steuersignals für wenigstens einen Aktuator eines Fahrzeugs 100 mittels eines neuronalen Netzes 200.
In einem Schritt 500 erfolgt ein Zuführen von Sensorsignalen, die Sinneswahrnehmungen eines menschlichen Fahrers des Fahrzeugs 100 nachbilden, an das neuronale Netz 200.
In einem Schritt 510 erfolgt ein Zuführen von definierten Fahrzeugparametern, die einen aktuellen Fahrzeugstatus des Fahrzeugs 100 repräsentieren, an das neuronale Netz 200.
In einem Schritt 520 erfolgt ein Ermitteln eines gewünschten zukünftigen Fahrzeugstatus mittels des neuronalen Netzes 200 aus den Sensorsignalen und aus den definierten Fahrzeugparametern.
In einem Schritt 530 erfolgt ein Ansteuern von Aktuatoren des Fahrzeugs 100 zum Herbeiführen des vom neuronalen Netz 200 ermittelten gewünschten zukünftigen Fahrzeugstatus.
Zum wenigstens teilweise oder vollständig autonomen Steuern des Fahrzeuges kann das neuronale Netz wenigstens teilweise die gleichen Sensorsignale oder die gleichen Sensorsignale erhalten wie während des Trainings.
Das vorgeschlagene Verfahren ist vorzugsweise als ein Computerprogramm ausgebildet, das Programmcodemittel zum Ausführen des Verfahrens aufweist oder das auf einem computerlesbaren Speichermedium gespeichert ist.
Obwohl die Erfindung vorgehend anhand von konkreten Ausführungsbeispielen beschrieben worden ist, kann der Fachmann vorgehend auch nicht oder nur teilweise offenbarte Ausführungsformen realisieren, ohne vom Kern der Erfindung abzuweichen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 10209718 B2 [0004]

Claims

Steuervorrichtung (400) für ein Fahrzeug (100) aufweisend: - ein neuronales Netz (200) mit Eingängen für Sensoren (1a... 1n, 2a...2n, 3a...3n); - wobei mit Sensorsignalen der Sensoren (1a... 1n, 2a...2n, 3a...3n) ein visuelles und akustisches Umfeld des Fahrzeugs (100) und/oder Bewegungen des Fahrzeugs (100) erfasst werden; wobei - das neuronale Netz (200) eingerichtet ist, aus den Sensorsignalen wenigstens ein Steuersignal für wenigstens einen Aktuator des Fahrzeugs (100) zu generieren.
Steuervorrichtung (400) nach Anspruch 1, wobei das neuronale Netz (200) wenigstens einen Eingang für ein Sensorsignal wenigstens einer Kamera (1a... 1n) aufweist, die derart im Fahrzeug (100) angeordnet ist, dass sie ein Sichtfeld des Fahrers (D) erfasst.
Steuervorrichtung (400) nach Anspruch 1 oder 2, wobei die wenigstens eine Kamera beweglich angeordnet ist, um Bewegungen eines Kopfes des menschlichen Fahrers insbesondere naturgetreu nachzubilden.
Steuervorrichtung (400) nach einem der vorhergehenden Ansprüche, wobei das neuronale Netz (200) wenigstens einen Eingang für ein Sensorsignal wenigstens eines Mikrofons (3a...3n) aufweist, das im Bereich eines Kopfes eines Fahrers, insbesondere in einer Kopfstütze (30) des Fahrzeugs (100) angeordnet ist.
Steuervorrichtung (400) nach einem der vorhergehenden Ansprüche, wobei das neuronale Netz (200) wenigstens einen Eingang für ein Sensorsignal wenigstens eines Bewegungssensors (2a...2n) aufweist, der in einem Sitz (10) und/oder in einem Lenkrad (20) Lenkrads und/oder an einem Gaspedal und/oder an einem Bremspedals und/oder an einem Kupplungspedals des Fahrzeugs (100) angeordnet ist.
Verfahren zum Trainieren eines neuronalen Netzes (200) für eine Steuervorrichtung (400) eines Fahrzeugs (100) während wenigstens einer durch einen menschlichen Fahrer (D) durchgeführten Trainingsfahrt des Fahrzeugs (100) mit den Schritten: - Erfassen eines aktuellen Fahrzeugstatus in Form von definierten Fahrzeugparametern des Fahrzeugs (100); - Zuführen der Fahrzeuparameter an das neuronale Netz (200) während der wenigstens einen Trainingsfahrt; - Zuführen von Sensorsignalen von Sensoren (1a...1n, 2a...2n, 3a...3n) des Fahrzeugs (100) an das neuronale Netz (200) während der wenigstens einen Trainingsfahrt, wobei ein visuelles und akustisches Umfeld des Fahrzeugs (100) und/oder Bewegungen des Fahrzeugs (100) mit den Sensorsignalen erfasst werden; - Ermitteln eines zukünftigen Status des Fahrzeugs aus den zugeführten Sensorsignalen der Sensoren (1a... 1n, 2a...2n, 3a...3n) und den zugeführten Fahrzeugparametern mittels des neuronalen Netzes (200); - Vergleichen des tatsächlichen zukünftigen Fahrzeugstatus mit dem vom neuronalen Netz (200) ermittelten zukünftigen Fahrzeugstatus und Ermitteln eines Unterschieds der Fahrzeugstati; und - Trainieren des neuronalen Netzes (200) mit dem ermittelten Unterschied der Fahrzeugstati, um den Unterschied möglichst zu minimieren.
Verfahren nach Anspruch 6, wobei Zustandsänderungen und/oder Sensorsignale des Fahrzeugs (100) zu definierten Zeitpunkten (T₀...T_n) erfasst und dem neuronalen Netz (200) zugeführt werden.
Verfahren nach Anspruch 6 oder 7, wobei das neuronale Netz (200) eine Speicherfunktion besitzt, mittels derer Zustandsänderungen und/oder Sensorsignale des Fahrzeugs (100) aus vorhergehenden Zeitpunkten bekannt sind und zu einem späteren Zeitpunkt berücksichtigt werden.
Verfahren nach Anspruch 7 oder 8, wobei eine Länge eines Zeitintervalls zwischen den definierten Zeitpunkten (T₀....T_n) ca. 10 ms bis ca. 50 ms beträgt.
Verfahren nach einem der Ansprüche 6 bis 9, wobei als ein Abbruchkriterium für ein Ende des Trainierens des neuronalen Netzes (200) ein Erreichen eines vorgegebenen Unterschiedes zwischen dem tatsächlichen Fahrzeugstatus und dem vom neuronalen Netz vorhergesagten Fahrzeugstatus verwendet wird.
Verfahren zum Generieren wenigstens eines Steuersignals für wenigstens einen Aktuator eines Fahrzeugs (100) mittels eines neuronalen Netzes (200) mit den Schritten: - Zuführen von Sensorsignalen, die ein visuelles und akustisches Umfeld des Fahrzeugs (100) und/oder Bewegungen des Fahrzeugs aufweisen, an das neuronale Netz (200); - Zuführen von definierten Fahrzeugparametern, die einen aktuellen Fahrzeugstatus des Fahrzeugs (100) repräsentieren, an das neuronale Netz (200); - Ermitteln eines gewünschten zukünftigen Fahrzeugstatus mittels des neuronalen Netzes (200) aus den Sensorsignalen und aus den definierten Fahrzeugparametern; und - Ansteuern von Aktuatoren des Fahrzeugs (100) zum Herbeiführen des vom neuronalen Netz (200) ermittelten gewünschten zukünftigen Fahrzeugstatus.
Computerprogramm umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, ein Verfahren gemäß einem der Ansprüche 6 bis 10 auszuführen oder das auf einem computerlesbaren Speichermedium gespeichert ist.
Computerprogramm umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, ein Verfahren gemäß Anspruch 11 auszuführen oder das auf einem computerlesbaren Speichermedium gespeichert ist.