-
Die Erfindung bezieht sich auf eine Trainingsauswerteeinrichtung und ein Verfahren für ein automatisiert betreibbares Personenbeförderungsfahrzeug zum maschinellen Lernen eines Beförderungswunsches einer Person, die mit dem Personenbeförderungsfahrzeug befördert werden möchte, gemäß Anspruch 1 und 3. Ferner bezieht sich die Erfindung auf ein Computerprogrammprodukt gemäß Anspruch 5, welches das erfindungsgemäße Verfahren ausführt. Des Weiteren bezieht sich die Erfindung auf eine Einsatzauswerteeinrichtung und ein Fahrerassistenzsystem für ein automatisiert betreibbares Personenbeförderungsfahrzeug, um den Beförderungswunsch der Person für eine Beförderung mit dem Personenbeförderungsfahrzeug zu erkennen und das Personenbeförderungsfahrzeug automatisiert zu der Person zu steuern gemäß Anspruch 6 und 7. Außerdem bezieht sich die Erfindung auf eine Verwendung des erfindungsgemäßen Fahrerassistenzsystems in einem automatisiert betreibbaren Personenbeförderungsfahrzeug.
-
In vielen Städten der Welt bieten Dienstleistungsunternehmen Online-Vermittlungsdienste zur Personenbeförderung an. Zum Beispiel werden Fahrgäste an Mietwagen mit menschlichem Fahrer, an private menschliche Fahrer mit eigenem Fahrzeug oder an Taxis mit menschlichem Taxifahrer vermittelt. Die Bestellung eines Fahrzeuges aus einer Fahrzeugflotte von diesen Dienstleistungsunternehmen erfolgt in der Regel mit einem mobilen Endgerät, das an das Internet angeschlossen ist, beispielsweise mit einem Smartphone.
-
Die Bestellung des Fahrzeuges mit einem Smartphone oder einem anderen mobilen Endgerät kann eingeschränkt sein. Zum Beispiel kann das Smartphone wegen zu geringer Akkukapazität und/oder schlechtem Empfang nicht verwendet werden. Viele ältere Menschen besitzen kein Smartphone. Smartphones von vielen Kindern werden mit einem aufladbaren Konto betrieben und können folglich bei zu niedrigem Kontostand nicht verwendet werden. Nähert sich ein Personenbeförderungsfahrzeug einer zu befördernden Person an, verbleibt in der Regel wenig Zeit, das Personenbeförderungsfahrzeug erst während der Annäherung mit dem Smartphone zu bestellen. In solchen Fällen erfolgt die Bestellung des Personenbeförderungsfahrzeuges durch ein für einen Beförderungswunsch typisches Beförderungssignals an den menschlichen Fahrer des Personenbeförderungsfahrzeuges. Typische Beförderungssignale, die eine Mitfahrbereitschaft signalisieren, sind zum Beispiel Winken in Kombination mit Kopforientierung und/oder einem Pfeifen mit Lippen und/oder Fingern der Person zum Personenbeförderungsfahrzeug hin. Pfeifen mit Lippen oder andere Rufsignale, insbesondere Stimmsignale, sind auch für sich alleine genommen Beförderungssignale. Derartige Rufsignale können mit Mikrofonen oder anderen Schallwandlern erkannt werden zur Weiterverarbeitung.
-
Ausgehend von einer Umstellung auf fahrerlose Personenbeförderungsfahrzeuge stellt sich das Problem, wie die typischen Beförderungssignale von Personen erkannt werden können.
-
Hier setzt die Erfindung an. Der Erfindung hat die Aufgabe zugrunde gelegen, eine Auswerteeinrichtung und ein Verfahren für ein automatisiert betreibbares Personenbeförderungsfahrzeug bereitzustellen, um einen Beförderungswunsch einer Person für eine Beförderung mit dem Personenbeförderungsfahrzeug zu erkennen und das Personenbeförderungsfahrzeug automatisiert zu der Person zu steuern.
-
Die Aufgabe wird gelöst durch eine Trainingsauswerteeinrichtung für ein automatisiert betreibbares Personenbeförderungsfahrzeug mit den Merkmalen des Anspruchs 1. Ferner wird die Aufgabe gelöst durch ein Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks, um einen Beförderungswunsch einer Person für eine Beförderung mit einem Personenbeförderungsfahrzeug zu erkennen, mit den Merkmalen des Anspruchs 3. Außerdem wird die Aufgabe gelöst durch ein Computerprogrammprodukt mit den Merkmalen des Anspruchs 5. Des Weiteren wird die Aufgabe gelöst durch eine Einsatzauswerteeinrichtung für ein automatisiert betreibbares Personenbeförderungsfahrzeug mit den Merkmalen des Anspruchs 6 und ein Fahrerassistenzsystem mit den Merkmalen des Anspruchs 7. Die Aufgabe wird insbesondere auch gelöst durch eine Verwendung eines erfindungsgemäßen Fahrerassistenzsystems in einem automatisiert betreibbaren Personenbeförderungsfahrzeug nach Anspruch 8.
-
Weiterbildungen und vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
-
Die erfindungsgemäße Trainingsauswerteeinrichtung für ein automatisiert betreibbares Personenbeförderungsfahrzeug umfasst eine erste Eingangsschnittstelle, um wenigstens ein erstes Signal einer Person zu erhalten. Das erste Signal umfasst eine Gestik, Mimik und/oder ein Stimmsignal der Person. Außerdem umfasst die Trainingsauswerteeinrichtung eine zweite Eingangsschnittstelle, um zweite Signale zu erhalten. Die zweiten Signale umfassen Signale für einen Beförderungswunsch. Ferner umfasst die Trainingsauswerteeinrichtung ein künstliches neuronales Netzwerk. Die Trainingsauswerteeinrichtung ist ausgeführt, in einer Speisung des künstlichen neuronalen Netzwerks mit dem ersten Signal und den zweiten Signalen das erste Signal mit den zweiten Signalen zu vergleichen. Des Weiteren ist die Trainingsauswerteeinrichtung ausgeführt, Gewichtungsfaktoren für Verbindungen von Neuronen des künstlichen neuronalen Netzwerks derart anzupassen, dass eine Übereinstimmung des ersten Signals mit einem der zweiten Signale maximal ist, zum maschinellen Lernen des Beförderungswunsches der Person.
-
Eine Auswerteeinrichtung ist eine Vorrichtung, die eingehende Informationen verarbeitet und ein aus dieser Verarbeitung resultierendes Ergebnis ausgibt. Insbesondere ist eine elektronische Schaltung, wie zum Beispiel eine zentrale Prozessoreinheit oder ein Grafikprozessor, eine Auswerteinrichtung. Eine Trainingsauswerteeinrichtung ist eine Auswerteeinrichtung, die sich in einer Trainingsphase oder Lernphase befindet zum maschinellen Lernen eines Verhaltens. Nach der Trainingsphase ist das Verhalten erlernt und die Auswerteeinrichtung kann als Einsatzauswerteeinrichtung eingesetzt werden, um zweckgerichtet auf neue Informationen zu reagieren.
-
Ein Personenbeförderungsfahrzeug ist ein Fahrzeug zu Land, zu Wasser oder in der Luft, das ausgeführt ist, wenigstens eine Person von einem ersten Ort zu einem zweiten Ort zu befördern. Insbesondere ist ein Taxi oder ein Bus ein Personenbeförderungsfahrzeug. Insbesondere Kleinbusse für Beförderung von Personen auf kurzen Strecken, zum Beispiel in Städten, Flughäfen oder Messen, auch als people mover bezeichnet, sind Personenbeförderungsfahrzeuge. Drohnen zum Transport von Personen sind auch Personenbeförderungsfahrzeuge.
-
Ein automatisiert betreibbares Personenbeförderungsfahrzeug ist ein Personenbeförderungsfahrzeug, das über eine technische Ausrüstung verfügt, die zur Bewältigung einer Fahreraufgabe, einschließlich Längs- und Querführung, das jeweilige Fahrzeug nach Aktivierung einer entsprechenden automatischen Fahrfunktion, insbesondere einer hoch- oder vollautomatisierten Fahrfunktion nach der Norm SAEJ3016, mit einer Fahrzeugsteuerungseinrichtung steuern kann.
-
Ein teil-automatisiert betreibbares Fahrzeug kann bestimmte Fahraufgaben übernehmen. Die SAEJ3016 Norm unterscheidet zwischen SAE Level 2 und SAE Level 3. Level 2 ist dadurch definiert, dass die Fahrmodus-spezifische Ausführung von Lenk- und Beschleunigungs- /Bremsvorgängen durch ein oder mehrere Fahrerassistenzsysteme unter Verwendung von Informationen über die Fahrumgebung ausgeführt wird mit der Erwartung, dass der menschliche Fahrer alle verbleibenden Aspekte der dynamischen Fahraufgabe ausführt. Level 3 ist dadurch definiert, dass die Fahrmodus-spezifische Ausführung aller Aspekte der dynamischen Fahraufgabe durch ein automatisiertes Fahrsystem ausgeführt wird mit der Erwartung, dass der menschliche Fahrer auf Anfrage des Systems angemessen reagieren wird.
-
Ein vollautomatisiertes Fahrzeug ersetzt den Fahrer. Die SAEJ3016 Norm unterscheidet zwischen SAE Level 4 und SAE Level 5 Level 4 ist dadurch definiert, dass die Fahrmodus-spezifische Ausführung aller Aspekte der dynamischen Fahraufgabe durch ein automatisiertes Fahrsystem ausgeführt wird, selbst wenn der menschliche Fahrer auf Anfrage des Systems nicht angemessen reagiert. Level 5 ist dadurch definiert, dass die durchgängige Ausführung aller Aspekte der dynamischen Fahraufgabe durch ein automatisiertes Fahrsystem unter allen Fahr- und Umweltbedingungen, die von einem menschlichen Fahrer bewältigt werden können , ausgeführt wird.
-
Ein reines Assistenzsystem assistiert dem Fahrer bei der Durchführung einer Fahraufgabe. Dies entspricht SAE Level 1.
-
Die Erfindung ist für SAE Level 3, 4 und 5 vorgesehen. Insbesondere in einer Übergangszeit zum vollautomatisiertem Fahren wird die Erfindung auf SAE Level 3 und 4 eingesetzt, um daran anschließend auf SAE Level 5 verwendet zu werden.
-
Eine Schnittstelle ist eine Einrichtung zwischen wenigstens zwei Funktionseinheiten, an der ein Austausch von logischen Größen, zum Beispiel Daten, oder physikalischen Größen, zum Beispiel elektrischen Signalen, erfolgt, entweder nur unidirektional oder bidirektional. Der Austausch kann analog oder digital erfolgen. Der Austausch kann ferner drahtgebunden oder drahtlos erfolgen.
-
Die erste und die zweite Eingangsschnittstelle sind jeweils vorzugsweise eine Schnittstelle zu einem Umfelderfassungssensor und/oder einem System von Umfelderfassungssensoren, vorzugsweise einem Bildsensor einer Kamera, einem Radar, einem Lidar und/oder einem Schallsensor. Die Trainingsauswerteeinrichtung ist vorteilhafterweise ausgeführt, die Daten einzelner Umfelderfassungssensoren eines Systems von Umfelderfassungssensoren zu fusionieren. Insbesondere mit einer Kamera und/oder einem Schallsensor kann der Wunsch oder die Bereitschaft einer Person, mit dem Personenbeförderungsfahrzeug mitzufahren, einfach ermittelt werden.
-
Ein künstliches neuronales Netzwerk ist ein Algorithmus, der auf einer elektronischen Schaltung ausgeführt wird und am Vorbild des neuronalen Netzwerks des menschlichen Gehirns programmiert ist. Funktionseinheiten eines künstlichen neuronalen Netzwerks sind künstliche Neuronen, deren Output sich im Allgemeinen als Wert einer Aktivierungsfunktion ausgewertet über eine gewichtete Summe der Inputs plus einem systematischen Fehler, dem sogenannten Bias, ergibt. Durch Testen von mehreren vorbestimmten Inputs, auch Soll-Trainingsdaten genannt, mit verschiedenen Gewichtungsfaktoren und/oder Aktivierungsfunktionen werden künstliche neuronale Netzwerke, ähnlich dem menschlichen Gehirn, trainiert. Soll-Trainingsdaten sind positive Trainingsdaten, mit denen das künstliche neuronale Netzwerk wahre Informationen lernt. Soll-Trainingsdaten sind mit der Bedeutung der Information gelabelt, das heißt gekennzeichnet, damit das künstliche neuronale Netzwerk eine Information semantisch erfassen kann.
-
Das erste Signal ist zum Beispiel ein Anheben des rechten Arms einer Person und dabei ein Winken mit der rechten Hand. Beispielsweise sind die zweiten Signale, die Signale für einen Beförderungswunsch umfassen, und die entsprechenden ersten Steuerbefehle Soll-Trainingsdaten. Zusätzlich umfassen die zweiten Signale auch Signale, die keinen Beförderungswunsch umfassen, damit das künstliche neuronale Netzwerk auch lernt, auf Fehler zu reagieren, das heißt auf Signale der Person, die keinen Beförderungswunsch kommunizieren. Derartige Signale sind Fehler Trainingsdaten. Der von dem künstlichen neuronalen Netzwerk berechnete zweite Steuerbefehl ist ein Ist-Kennzeichen, das nach der Verarbeitung der Soll- oder der Soll- und Fehler-Trainingsdaten erhalten wird.
-
Das Trainieren eines künstlichen neuronalen Netz-werks mit Hilfe von Soll-Trainingsdaten, wird maschinelles Lernen genannt. Eine Teilmenge des maschinellen Lernens ist das tiefgehende Lernen, das sogenannte Deep Learning, bei dem eine Reihe hierarchischer Schichten von Neuronen, sogenannten Hidden Layers, genutzt wird, um den Prozess des maschinellen Lernens durchzuführen. Ein künstliches neuronales Netzwerk mit mehreren Hidden Layers ist ein Deep Neural Network.
-
Zu Beginn der Trainingsphase ist das erhaltene Ist-Kennzeichen in der Regel verschieden von dem eingegebenen Soll-Kennzeichen. In der Trainingsphase wird der Fehler zwischen Ist- und Soll-Kennzeichen minimiert, in der Regel nach der Methode der kleinsten Quadrate. Nach der Trainingsphase hat das künstliche neuronale Netzwerk den Lernprozess abgeschlossen und ist trainiert, das heißt einsatzbereit. Bei einem trainierten künstlichen neuronalen Netzwerk sind die erhaltenen Ist-Kennzeichen annähernd gleich den Soll-Kennzeichen.
-
In der Trainingsphase werden mit Gewichtungsfaktoren Verbindungen zwischen Neuronen bewertet. Vorwärtsspeisen, im Englischen als forward propagation bezeichnet, bedeutet, dass eine Information in die Eingangs-schicht des künstlichen neuronalen Netzwerks eingespeist wird, die folgenden Schichten durchläuft und in der Ausgabeschicht ausgegeben wird. Rückwärtsspeisen, im Englischen als backward propagation bezeichnet, bedeutet, dass eine Information in die Ausgabeschicht eingegeben wird und in der Eingangsschicht ausgegeben wird. Durch sukzessives Rückwärtsspeisen des Fehlers aus der Ausgabeschicht in die jeweils vorherige Schicht bis hin zur Eingangsschicht werden die Fehler der jeweiligen Schichten erhalten. Die Fehler sind eine Funktion der Gewichtungsfaktoren. Durch Minimierung des Fehlers in der Trainingsphase werden damit die Gewichtungsfaktoren geändert. Dadurch wird bei erneutem Einspeisen Eingabe eine Annäherung an die gewünschte Ausgabe erreicht. Die Rückwärtsspeisung ist ausführlich in Michael A. Nielsen, Neural Networks and Deep Learning, Determination Press, 2015, beschrieben.
-
Ein trainiertes künstliches neuronales Netzwerk zeichnet sich durch zweckgerichtetes Reagieren auf neue Informationen aus.
-
Beispiele künstlicher neuronaler Netzwerke sind konvolutionale oder rekurrente neuronale Netzwerke. Konvolutionale künstliche neuronale Netzwerke zeichnen sich durch eine zwei-oder dreidimensionale Anordnung von Neuronen und geteilte Gewichtungsfaktoren aus und werden insbesondere für Bilderkennung, bei der der Input ein Graubild oder ein Bild in einem dreidimensionalen Farbraum und damit eine zwei-oder dreidimensionale Matrix ist, eingesetzt. Ein rekurrentes, auch rückgekoppeltes, neuronales Netzwerk ist ein Netzwerk, das sich durch Verbindungen von Neuronen einer Schicht zu Neuronen derselben oder einer vorangegangenen Schicht auszeichnet. Praktische Anwendungen finden künstliche rekurrente neuronale Netzwerke allgemein bei Problemstellungen, die das Verarbeiten von Sequenzen erfordern. Beispiel dafür sind Schrifterkennung, Spracherkennung und Maschinenübersetzung.
-
Durch die erfindungsgemäße Trainingsauswerteeinrichtung werden mit künstlicher Intelligenz einem Personenbeförderungsfahrzeug typische Beförderungssignale, die eine Mitfahrbereitschaft signalisieren, antrainiert. Die Trainingsauswerteeinrichtung lernt beispielsweise, dass ein Winken in Kombination mit Kopforientierung und/oder einem Pfeifen mit Lippen und/oder Fingern der Person zum Personenbeförderungsfahrzeug hin bedeutet, dass die Person von dem Personenbeförderungsfahrzeug befördert werden möchte. Die Trainingsauswerteeinrichtung lernt auch, auf Stimme, insbesondere Rufe, zu reagieren, um anhand einem Stimm- und/oder Rufsignal einen Beförderungswunsch zu erkennen.
-
Bevorzugt ist die zweite Eingangsschnittstelle ausgeführt, zu den zweiten Signalen entsprechende erste Steuerbefehle eines Fahrers des Personenbeförderungsfahrzeuges zu erhalten. Die Trainingsauswerteeinrichtung ist ausgeführt, in der Speisung des künstlichen neuronalen Netzwerks einen zweiten Steuerbefehl für das Personenbeförderungsfahrzeuges zu berechnen. Außerdem ist die Trainingsauswerteeinrichtung ausgeführt, die Gewichtungsfaktoren derart anzupassen, dass der zweite Steuerbefehl im Wesentlichen mit dem ersten Steuerbefehl übereinstimmt, der dem zweiten Signal entspricht, dessen Übereinstimmung mit dem ersten Signal maximal ist, um das Personenbeförderungsfahrzeug automatisiert zu der Person zu steuern.
-
Die zweite Eingangsschnittstelle ist vorzugsweise eine Schnittstelle zu einem Fahrzeug-Datenübertragungssystem, vorzugsweise einem CAN-Bus oder einem anderen Fahrzeug-Bordnetz, um erste Steuerbefehle zu erhalten. Mit derartigen ersten und zweiten Eingangsschnittstellen werden das erste Signal, die zweiten Signale und die entsprechenden ersten Steuerbefehle in Echtzeit während einer Trainingsfahrt des Personenbeförderungsfahrzeuges von einem menschlichen Fahrer erhalten. Die erste und/oder die zweite Eingangsschnittstelle kann aber auch eine Schnittstelle zu einer Datenbank sein, in der erste und/oder zweite Signale und/oder erste Steuerbefehle hinterlegt sind. In diesem Fall erfolgt das Lernen über Simulation.
-
Das zweite Signal ist zum Beispiel ein Heranwinken eines sich einer Haltestelle nähernden Busses. Der menschliche Fahrer, der dieses Signal erkennt, schließt aus dem Signal, dass die betreffende Person mit dem Bus mitfahren möchte. Der Fahrer betätigt folglich die Warnblinkanlage, bremst ab, fährt den Bus an die Haltestell und stoppt den Bus an der Haltestelle derart, dass die Person in den Bus einsteigen kann. Der zu dem Heranwinken gehörende erste Steuerbefehl ist also die Kombination aus Betätigen der Warnblinkanlage, Abbremsen, Anfahren der Haltestelle und Stoppen an der Haltestelle zur Aufnahme der Person. Dieser erste Steuerbefehl wird beispielsweise über den CAN-Bus eingelesen und ist ein Soll-Kennzeichen, das zu dem zweiten Signal des Heranwinkens gehört. Die Trainingsauswerteeinrichtung lernt, dass zu dem Heranwinken dieser erste Steuerbefehl gehört durch die Anpassung der Gewichtungsfaktoren, sodass der zweite Steuerbefehl mit dem ersten Steuerbefehl übereinstimmt, der dem zweiten Signal entspricht, dessen Übereinstimmung mit dem ersten Signal maximal ist. Wird in das künstliche neuronale Netzwerk nach der Trainingsphase ein zu dem Heranwinken vergleichbares Beförderungssignal eingegeben, wird ein dazugehöriger erste Steuerbefehl automatisch berechnet und ausgegeben, da das künstliche neuronale Netzwerk gelernt hat, auf Beförderungssignale zu reagieren.
-
Das Trainieren ist nicht auf den Beispielfall eines Busses beschränkt. Die Trainingsauswerteeinrichtung kann auch in einem Taxi oder einem anderen Personenbeförderungsfahrzeug verwendet werden.
-
Das erfindungsgemäße Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks, um einen Beförderungswunsch einer Person für eine Beförderung mit einem Personenbeförderungsfahrzeug zu erkennen, umfasst die Schritte:
- • Bereitstellen von wenigstens einem ersten Signal der Person, wobei das erste Signal eine Gestik, Mimik und/oder ein Stimmsignal der Person umfasst, und von zweiten Signalen, wobei die zweiten Signale Signale für den Beförderungswunsch umfassen,
- • Speisen des künstlichen neuronalen Netzwerks mit dem ersten Signal und den zweiten Signalen und Vergleichen des ersten Signals mit den zweiten Signalen und
- • Anpassen von Gewichtungsfaktoren für Verbindungen von Neuronen des künstlichen neuronalen Netzwerks derart, dass eine Übereinstimmung des ersten Signals mit einem der zweiten Signale maximal ist.
-
Damit stellt die Erfindung vorteilhafterweise auch ein Trainingsverfahren bereit.
-
Bevorzugt werden zu den zweiten Signalen entsprechende erste Steuerbefehle eines Fahrers des Personenbeförderungsfahrzeuges bereitgestellt. In der Speisung des künstlichen neuronalen Netzwerks wird ein zweiter Steuerbefehl für das Personenbeförderungsfahrzeuges berechnet. Die Gewichtungsfaktoren werden derart angepasst, dass der zweite Steuerbefehl im Wesentlichen mit dem ersten Steuerbefehl übereinstimmt, der dem zweiten Signal entspricht, dessen Übereinstimmung mit dem ersten Signal maximal ist, um das Personenbeförderungsfahrzeug automatisiert zu der Person zu steuern.
-
Das erfindungsgemäße Computerprogrammprodukt ist ausgeführt, in einen Speicher eines Computers geladen zu werden. Das Computerprogrammprodukt weist Softwarecodeabschnitte auf, mit denen die Schritte des erfindungsgemäßen Verfahrens ausgeführt werden, wenn das Computerprogrammprodukt auf dem Computer läuft.
-
Ein Computer ist eine Einrichtung zum Verarbeiten von Daten, die mittels programmierbarer Rechenvorschriften Daten verarbeiten kann. Eine Auswerteeinrichtung kann ein Computer sein.
-
Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfahren durchzuführen, das zu einem bestimmten Ergebnis führt. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogrammprodukt einen technischen Effekt hervor, nämlich das Erhalten eines zweiten Steuerbefehls.
-
Ein Speicher ist ein Medium für die Sicherung von Daten.
-
Software ist ein Sammelbegriff für Programme und zugehörigen Daten. Das Komplement zu Software ist Hardware. Hardware bezeichnet die mechanische und elektronische Ausrichtung eines Daten verarbeitenden Systems.
-
Mit dem erfindungsgemäßen Computerprogrammprodukt kann ein künstliches neuronales Netzwerk besonders einfach trainiert werden, auf Beförderungswünsche von Personen zweckgerichtet zu reagieren.
-
Die erfindungsgemäße Einsatzauswerteeinrichtung für ein automatisiert betreibbares Personenbeförderungsfahrzeug umfasst eine Eingangsschnittstelle, um ein erstes Signal einer Person zu erhalten. Das erste Signal umfasst eine Gestik, Mimik und/oder ein Stimmsignal der Person. Die Einsatzauswerteeinrichtung ist ausgeführt, ein auf eine Bedeutung des ersten Signals, vorzugsweise nach dem erfindungsgemäßen Verfahren, trainiertes künstliches neuronales Netzwerk mit dem ersten Signal zu speisen. Ferner ist die Einsatzauswerteeinrichtung ausgeführt, einen dem ersten Signal entsprechenden Beförderungswunsch und einen dem Beförderungswunsch entsprechenden zweiten Steuerbefehl zu erhalten. Des Weiteren umfasst die Einsatzauswerteeinrichtung eine Ausgangsschnittstelle, um den zweiten Steuerbefehl für eine Steuerungseinrichtung des Personenbeförderungsfahrzeuges auszugeben, um einen Beförderungswunsch der Person für eine Beförderung mit dem Personenbeförderungsfahrzeug zu erkennen und das Personenbeförderungsfahrzeug automatisiert zu der Person zu steuern.
-
Die erfindungsgemäße Einsatzauswerteeinrichtung erkennt mittels einem entsprechend trainierten künstlichen neuronalen Netzwerks die Bedeutung eines erfassten Signals einer Person und kann mit einem entsprechenden zweiten Steuerbefehl zweckgerichtet reagieren.
-
Das erfindungsgemäße Fahrerassistenzsystem für ein automatisiert betreibbares Personenbeförderungsfahrzeug umfasst wenigstens einen Umfelderfassungssensor zur Erfassung eines ersten Signals einer Person. Das erste Signal umfasst eine Gestik, Mimik und/oder ein Stimmsignal der Person. Außerdem umfasst das Fahrerassistenzsystem eine erfindungsgemäße Einsatzauswerteeinrichtung, um einen Beförderungswunsch einer Person für eine Beförderung mit dem Personenbeförderungsfahrzeug zu erkennen und das Personenbeförderungsfahrzeug automatisiert zu der Person zu steuern.
-
Ein Fahrerassistenzsystem, im Englischen auch als Advanced Driver Assistance System bezeichnet, ist ein System, das den Fahrer zur Bewältigung von Fahraufgaben unterstützt.
-
Vorteilhafterweise umfasst das Fahrerassistenzsystem ein System von Umfelderfassungssensoren. Vorzugsweise ist die Einsatzauswerteeinrichtung ausgeführt, Daten von Umfelderfassungssensoren des Systems von Umfelderfassungssensoren zu fusionieren, um eine Umgebung verbessert wahrzunehmen.
-
Erfindungsgemäß ist auch eine Verwendung eines erfindungsgemäßen Fahrerassistenzsystems in einem automatisiert betreibbaren Personenbeförderungsfahrzeug, insbesondere bei fahrerlosen Kleinbussen.
-
Die Erfindung wird anhand der folgenden Figuren näher erläutert. Es zeigen:
- 1 ein Ausführungsbeispiel eines von einem Fahrer gefahrenen Personenbeförderungsfahrzeuges in einer Trainingsphase,
- 2 ein Ausführungsbeispiel eines fahrerlosen Personenbeförderungsfahrzeuges,
- 3 ein Ausführungsbeispiel einer erfindungsgemäßen Trainingsauswerteeinrichtung,
- 4 ein Ausführungsbeispiel eines Fahrerassistenzsystems mit einem Ausführungsbeispiel einer erfindungsgemäßen Einsatzauswerteeinrichtung,
- 5 ein Ausführungsbeispiel eines erfindungsgemäßen Computerprogrammproduktes und
- 6 ein schematischer Ablauf eines erfindungsgemäßen Verfahrens.
-
In den Figuren bezeichnen gleiche Bezugszeichen gleiche Bezugsteile. In den jeweiligen Figuren sind die jeweils relevanten Bezugsteile mit Bezugszeichen versehen.
-
1 zeigt ein Personenbeförderungsfahrzeug 1. Bei dem Personenbeförderungsfahrzeug 1 wird eine Trainingsauswerteeinrichtung 10 wie in 3 gezeigt verwendet. Das Personenbeförderungsfahrzeug 1 ist ein Kleinbus, dessen Innenraum beispielsweise acht Sitzplätze und fünf Stehplätze bietet. Der Kleinbus ist beispielsweise fünf Meter lang, zwei Meter breit und zweieinhalb Meter hoch. Angetrieben wird der Kleinbus von einem elektrischen Antriebssystem mit einer Leistung von etwa 150 Kilowatt. Die Batterie des Antriebssystems hat eine Kapazität, die eine Einsatzdauer von etwa zehn Stunden gewährleistet. Das Leergewicht des Kleinbusses liegt bei etwa 2100 Kilogramm. Ein derartiger Kleinbus ist besonders gut als people mover geeignet.
-
In der Trainingsphase wird das Personenbeförderungsfahrzeug 1 von einem Fahrer 5 gefahren. Das Personenbeförderungsfahrzeug 1 ist für einen voll-automatisierten Betrieb ausgelegt, bei dem kein Fahrer 5 erforderlich ist, siehe 2. Insbesondere umfasst das Personenbeförderungsfahrzeug 1 die für den voll-automatisierten Betrieb erforderlichen Assistenzsysteme.
-
In 1 steht eine Person 2 an einem Straßenrand. Die Person 2 gibt mit einem ersten Signal S1, hier einem typischen Heranwinken, dem Fahrer 5 des Kleinbusses zu erkennen, dass die Person von dem Personenbeförderungsfahrzeug 1 befördert werden möchte.
-
Das erste Signal S1 wird in die Trainingsauswerteeinrichtung 10 mittels der ersten Eingangsschnittstelle 11 eingelesen wie in 3 dargestellt. Die erste Eingangsschnittstelle 11 ist zum Beispiel wie die Eingangsschnittstelle 31 des in 4 gezeigten Fahrerassistenzsystems 50 eine Schnittstelle zu einem Umfelderfassungssensor 7 in Form einer Kamera.
-
Über die in 3 gezeigte zweite Eingangsschnittstelle 12 werden zweite Signale S2a, S2b, S2c und S2d in die Trainingsauswerteeinrichtung 10 eingelesen. Das zweite Signal S2a ist zum Beispiel ein Handzeichen einer Person, mit dem eine Person ein Taxi für eine Fahrt mit dem Taxi heranwinkt. Das zweite Signal S2b ist ein Händeschütteln, mit dem eine Person einem Personenbeförderungsfahrzeug ein Anhalten kommuniziert.
-
Das zweite Signal S2c ist ein Handzeichen, mit dem eine Person das Anhalten eines Busses an einer Haltestelle, an der die Person auf den Bus wartet, kommuniziert. Der Fahrer 5 erkennt das zweite Signal S2c und dessen Bedeutung. Folglich wird er eine Warnblinkanlage betätigen, abbremsen, den Kleinbus zu der Person 2 steuern, bei der Person 2 anhalten und der Person 2 Zutritt in den Kleinbus gewähren. Das Betätigen der Warnblinkanlage, das Abbremsen, das Ansteuern zu der Person 2, das Anhalten bei der Person 2 und das Gewähren von Zutritt in den Kleinbus bilden zusammen einen ersten Steuerbefehl, den der Fahrer 5 in Reaktion auf das zweite Signal S2C ausübt.
-
Das zweite Signal S2d ist ein Signal, das keinen Beförderungswunsch kommuniziert. Mit diesem zweiten Signal S2d lernt die Trainingsauswerteeinrichtung 10 auch auf Fälle zu reagieren, in denen eine Person keinen Beförderungswunsch kommuniziert. In solchen Fällen kann das Personenbeförderungsfahrzeug zum Beispiel an der Person 2 vorbeifahren, ohne anzuhalten, um diese für eine Beförderung aufzunehmen.
-
Die Trainingsauswerteeinrichtung 10 führt ein künstliches neuronales Netzwerk 13 aus. Neuronen 16 des künstlichen neuronalen Netzwerks 13 weisen Verbindungen 15 zu anderen Neuronen 16 des künstlichen neuronalen Netzwerks 13 auf, um eine bestimmte strukturelle und funktionale Anordnung von Schichten von Neuronen zu erhalten. Die einzelnen Verbindungen 15 sind mit Gewichtungsfaktoren w gewichtet. Während der Trainingsphase werden die Gewichtungsfaktoren w eingestellt.
-
Das künstliche neuronale Netzwerk 13 wird mit dem ersten Signal S1 und den zweiten Signalen S2a, S2b, S2c und S2d gespeist. Das erste Signal S1 der Person aus 1 weist die größte Übereinstimmung mit dem zweiten Signale S2c auf. Das künstliche neuronale Netzwerk 13 wird mit dem Fehler zwischen diesem ersten Signal S1 und diesem zweiten Signal S2c rückwärtsgespeist. In der Rückwärtsspeisung werden die Gewichtungsfaktoren mittels Fehlerminimierung derart angepasst, dass das künstliche neuronale Netzwerk 13 über eine Ausgangsschnittstelle 14 als Ergebnis ausgibt, dass das erste Signal zu 85% dem zweiten Signal S2c und zu 15% dem zweiten Signal S2b entspricht.
-
Parallel zum Einlesen der zweiten Signale S2a, S2b, S2c und S2d werden über die zweite Eingangsschnittstelle 12 zu den zweiten Signalen S2a, S2b, S2c und S2d korrespondierende erste Steuerbefehle des Fahrers 5 eingelesen. Hierzu umfasst die zweite Eingangsschnittstelle 12 eine Schnittstelle zu einem CAN-Bus. Das künstliche neuronale Netzwerk 13 berechnet einen zweiten Steuerbefehl. Die Gewichtungsfaktoren w werden derart eingestellt, dass der zweite Steuerbefehl im Wesentlichen mit dem ersten Steuerbefehl des Fahrers übereinstimmt, der zu dem zweiten Signal S2c korrespondiert. Damit lernt das künstliche neuronale Netzwerk 13 den zu einem ersten Signal S1 gehörenden korrekten Steuerbefehl automatisch.
-
2 zeigt das Personenbeförderungsfahrzeug 1, bei dem eine austrainierte Einsatzauswerteeinrichtung 30 wie in 4 gezeigt verwendet wird. Durch die Verwendung der Einsatzauswerteeinrichtung 30 ist es nicht mehr erforderlich, dass das Personenbeförderungsfahrzeug 1 von einem Fahrer 5 gefahren wird. Das Personenbeförderungsfahrzeug 1 in 2 ist fahrerlos. Es erkennt mittels des trainierten künstlichen neuronalen Netzwerks 13 einen Beförderungswunsch der Person 2 für eine Beförderung mit dem Personenbeförderungsfahrzeug 1 anhand einer über die Eingangsschnittstelle 31 eingelesenen Aufnahme des Umfelderfassungssensors 7. Durch das künstliche neuronale Netzwerk steuert das Personenbeförderungsfahrzeug 1 automatisiert zu der Person 2. Hierzu wird der mit dem künstlichen neuronalen Netzwerk 13 erhaltene zweite Steuerbefehl an eine Steuerungseinrichtung 3 des Personenbeförderungsfahrzeug 1 ausgegeben. Die Steuerungseinrichtung 3 umfasst Aktuatoren, vorzugsweise mechatronische Aktuatoren, die die Längs- und Querführung des Personenbeförderungsfahrzeuges regeln. Damit kann das Personenbeförderungsfahrzeug 1 voll-automatisiert, ohne Fahrer, betrieben werden.
-
6 stellt das Verfahren zum Trainieren des künstlichen neuronalen Netzwerks 13 dar. In einem Verfahrensschritt V1 werden wird wenigstens das erste Signal S1 der Person 2 bereitgestellt. In einem Verfahrensschritt V2a werden die zweiten Signale S2a, S2b, S2c, S2d bereitgestellt. In einem Verfahrensschritt V2b werden die zu den zweiten Signalen S2a, S2b, S2c, S2d entsprechenden ersten Steuerbefehle des Fahrers 5 des Personenbeförderungsfahrzeuges 1 bereitgestellt. In einem Verfahrensschritt V3a wird das künstliche neuronale Netzwerk 13 mit dem ersten Signal S1 und den zweiten Signalen S2a, S2b, S2c, S2d gespeist. Dabei wird das erste Signal S1 mit den zweiten Signalen S2a, S2b, S2c, S2d verglichen. Außerdem wird in der Speisung in einem Verfahrensschritt V3b der zweite Steuerbefehl für das Personenbeförderungsfahrzeug1 berechnet wird. In dem Verfahrensschritt V4a werden die Gewichtungsfaktoren w für die Verbindungen 15 der Neuronen 16 des künstlichen neuronalen Netzwerks 13 derart angepasst, dass eine Übereinstimmung des ersten Signals S1 mit einem der zweiten Signale S2a, S2b, S2c, S2d maximal ist. Ferner werden in dem Verfahrensschritt V4b die Gewichtungsfaktoren w derart angepasst, dass der zweite Steuerbefehl im Wesentlichen mit dem ersten Steuerbefehl übereinstimmt, der dem zweiten Signal S2a, S2b, S2c, S2d entspricht, dessen Übereinstimmung mit dem ersten Signal (S1) maximal ist. Dieses Verfahren ermöglicht einen Beförderungswunsch der Person 2 für eine Beförderung mit dem Personenbeförderungsfahrzeug 1 zu erkennen und ein automatisiertes Ansteuern des Personenbeförderungsfahrzeuges 1 zu der Person 2.
-
Das Verfahren kann auf der Trainingsauswerteeinrichtung 10 oder auf einem Computerprogrammprodukt 20 wie in 5 gezeigt ausgeführt werden. Dazu weist das Computerprogrammprodukt 20 Softwarecodeabschnitte auf, durch die das Verfahren ausgeführt wird, wenn das Computerprogrammprodukt in einem Speicher 21 eines Computers 22 läuft. Vorzugsweise weist der Computer ein Grafikprozessor auf, über ausreichend Rechenkapazität verfügt, um möglichst viele Informationen in kürzester Zeit mit dem künstlichen neuronalen Netzwerk 13 zu prozessieren.
-
Bezugszeichenliste
-
- 1
- Personenbeförderungsfahrzeug
- 2
- Person
- 3
- Steuerungseinrichtung
- 5
- Fahrer
- 7
- Umfelderfassungssensor
- 10
- Trainingsauswerteeinrichtung
- 11
- erste Eingangsschnittstelle
- 12
- zweite Eingangsschnittstelle
- 13
- künstliches neuronales Netzwerk
- 14
- Ausgangsschnittstelle
- w
- Gewichtungsfaktor
- 15
- Verbindung
- 16
- Neuron
- 20
- Computerprogrammprodukt
- 21
- Speicher
- 22
- Computer
- 30
- Einsatzauswerteeinrichtung
- 31
- Eingangsschnittstelle
- 32
- Ausgangsschnittstelle
- 50
- Fahrerassistenzsystem
- S1
- erstes Signal
- S2a-S2d
- zweite Signale
- V1-V4b
- Verfahrensschritte
