DE102017217256A1

DE102017217256A1 - Kommunikationsfluss von Verkehrsteilnehmer in Richtung eines automatisiert fahrenden Fahrzeug

Info

Publication number: DE102017217256A1
Application number: DE102017217256.8A
Authority: DE
Inventors: Philipp Notheis; Leschek Debernitz; Daniel Schmidt
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2017-09-28
Filing date: 2017-09-28
Publication date: 2019-03-28
Also published as: US20200005056A1; CN110663042B; US11126872B2; EP3688661A1; CN110663042A; WO2019063237A1

Abstract

Trainingsauswerteeinrichtung (10) für ein Fahrzeug (1) mit einer ersten Eingangsschnittstelle (11), um eine Erfassung eines Zeichens (2) eines Verkehrsteilnehmers (3) zu erhalten, einer zweiten Eingangsschnittstelle (12), um einen dem Zeichen (2) entsprechenden Fahrersteuerungsbefehl (4) zu erhalten, wobei die Trainingsauswerteeinrichtung (10) ausgeführt ist, ein künstliches neuronales Netzwerk (13) mit der Erfassung des Zeichens (2) und dem Fahrersteuerungs-befehl (4) zu speisen, um in der Speisung des künstlichen neuronalen Netzwerks (13) einen Fahrzeugsteuerungsbefehl (14) zu erhalten, und Gewichtungsfaktoren (15) derart anzupassen, dass der Fahrzeugsteuerungsbefehl (14) mit dem Fahrersteuerungsbefehl (4) übereinstimmt, zum maschinellen Lernen einer Bedeutung des Zeichens (2). Ferner betrifft die Erfindung ein Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks (13) und ein Computerprogrammprodukt (20) zu dessen Ausführung, eine Einsatzauswerteeinrichtung (30) für ein automatisiert betreibbares Fahrzeug (1), ein Fahrerassistenzsystem (50) und dessen Verwendung in einem automatisiert betreibbaren Fahrzeug (1) und ein Verfahren zum Erkennen einer Bedeutung eines Zeichens (2) eines Verkehrsteilnehmers (3) und zum Signalisieren einer Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens (2) und ein Computerprogrammprodukt zu dessen Ausführung.

Description

Die Erfindung betrifft eine Trainingsauswerteeinrichtung für ein Fahrzeug nach Anspruch 1, ein Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks nach Anspruch 6 und ein Computerprogrammprodukt nach Anspruch 8 zu dessen Ausführung, eine Einsatzauswerteeinrichtung für ein automatisiert betreibbares Fahrzeug nach Anspruch 9, ein Fahrerassistenzsystem nach Anspruch 12, eine Verwendung eines Fahrerassistenzsystems nach Anspruch 16, ein Verfahren zum Erkennen einer Bedeutung eines Zeichens eines Verkehrsteilnehmers und zum Signalisieren einer Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens nach Anspruch 17 und ein Computerprogrammprodukt nach Anspruch 19 zu dessen Ausführung.
In Zeiten der Digitalisierung und der Vernetzung werden immer mehr Fahrzeuge automatisiert fahren. Automatisiert fahrende Fahrzeuge verfolgen ihr Ziel, bis sie dieses erreicht haben. Auf diesem Weg stellen diverse Hindernisse dem automatisiert fahrenden Fahrzeug verschiedene Aufgaben. Diverse Hindernissen sind zum Beispiel andere Verkehrsteilnehmer. Gegenwärtig kommunizieren die Verkehrsteilnehmer, beispielsweise Fußgänger und/oder Fahrradfahrer, mit Fahrern von Fahrzeugen durch Blickkontakt, Gestik, oder durch das Einschätzen einer eindeutigen Fahrweise. Des Weiteren gibt es eine Verkehrsordnung, die den Verkehr regelt.
Falls in Zukunft immer mehr oder nur automatisiert fahrende Fahrzeuge am Straßenverkehr teilnehmen, wird es immer schwieriger für Fußgänger und/oder Fahrradfahrer oder sonstige Verkehrsteilnehmer, die Fahrweise und die programmierten Entscheidungen der automatisiert fahrenden Fahrzeuge einzuschätzen. Ein Mischverkehr, das heißt ein Verkehr, an dem automatisiert fahrende und nicht automatisiert fahrende Fahrzeuge teilnehmen, und die Interaktion zwischen automatisiert fahrenden Fahrzeugen und nicht automatisiert fahrenden Verkehrsteilnehmern, insbesondere nicht motorisierten Verkehrsteilnehmern, stellen eine besondere Herausforderung dar. Um die positiven Auswirkungen der Automatisierung nicht zu gefährden, ist es wichtig, dass automatisiert fahrende Fahrzeuge das Verhalten von anderen, nicht automatisiert fahrenden Verkehrsteilnehmern erkennen und darauf reagieren können.
Hier setzt die Erfindung an. Der Erfindung hat die Aufgabe zugrunde gelegen, einen Kommunikationsfluss von einem Verkehrsteilnehmer zu einem automatisiert fahrenden Fahrzeug zu realisieren, so dass der Verkehrsteilnehmer weiter Blickkontakt mit dem Fahrzeug hat, um dessen Verhalten eigenständig zu analysieren, einzuschätzen und somit weitere Fortbewegungen im Straßenverkehr beruhigt und sicher wahrnehmen zu können.
Diese Aufgabe wird gelöst durch eine Trainingsauswerteeinrichtung für ein Fahrzeug mit den Merkmalen des Anspruchs 1, ein Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks mit den Merkmalen des Anspruchs 6 und ein Computerprogrammprodukt mit den Merkmalen des Anspruchs 8 zu dessen Ausführung, eine Einsatzauswerteeinrichtung für ein automatisiert betreibbares Fahrzeug mit den Merkmalen des Anspruchs 9, ein Fahrerassistenzsystem mit den Merkmalen des Anspruchs 12, eine Verwendung eines Fahrerassistenzsystems mit den Merkmalen des Anspruchs 16, ein Verfahren zum Erkennen einer Bedeutung eines Zeichens eines Verkehrsteilnehmers und zum Signalisieren einer Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens mit den Merkmalen des Anspruchs 17 und ein Computerprogrammprodukt mit den Merkmalen des Anspruchs 19 zu dessen Ausführung.
Weiterbildungen und vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
Die erfindungsgemäße Trainingsauswerteeinrichtung für ein Fahrzeug weist eine erste Eingangsschnittstelle, um eine Erfassung eines Zeichens eines Verkehrsteilnehmers zu erhalten, und eine zweite Eingangsschnittstelle auf, um einen dem Zeichen entsprechenden Fahrersteuerungsbefehl zu erhalten, wobei die Trainingsauswerteeinrichtung ausgeführt ist, ein künstliches neuronales Netzwerk mit der Erfassung des Zeichens und dem Fahrersteuerungsbefehl zu speisen, um in der Speisung des künstlichen neuronalen Netzwerks einen Fahrzeugsteuerungsbefehl zu erhalten, und Gewichtungsfaktoren derart anzupassen, dass der Fahrzeugsteuerungsbefehl mit dem Fahrersteuerungsbefehl übereinstimmt, zum maschinellen Lernen einer Bedeutung des Zeichens.
Eine Auswerteeinrichtung ist eine Vorrichtung, die eingehende Informationen verarbeitet und ein aus dieser Verarbeitung resultierendes Ergebnis ausgibt. Insbesondere ist eine elektronische Schaltung, wie zum Beispiel eine zentrale Prozessoreinheit oder ein Grafikprozessor, eine Auswerteinrichtung. Eine Trainingsauswerteeinrichtung ist eine Auswerteeinrichtung, die sich in einer Trainingsphase oder Lernphase befindet zum maschinellen Lernen eines Verhaltens. Nach der Trainingsphase ist das Verhalten erlernt und die Auswerteeinrichtung kann als Einsatzauswerteeinrichtung eingesetzt werden, um zweckgerichtet auf neue Informationen zu reagieren.
Ein Fahrzeug ist ein Fahrzeug zu Land, zu Wasser oder in der Luft, insbesondere ein Straßenfahrzeug.
Eine Schnittstelle ist eine Einrichtung zwischen wenigstens zwei Funktionseinheiten, an der ein Austausch von logischen Größen, zum Beispiel Daten, oder physikalischen Größen, zum Beispiel elektrischen Signalen, erfolgt, entweder nur unidirektional oder bidirektional. Der Austausch kann analog oder digital erfolgen. Der Austausch kann ferner drahtgebunden oder drahtlos erfolgen.
Ein Zeichen ist insbesondere ein Zeichen, mit dem ein Verkehrsteilnehmer einem anderen Verkehrsteilnehmer eine Verkehrsentscheidung signalisiert, beispielsweise ein Weiterwinken zur Aufforderung zum Weiterfahren.
Verkehrsteilnehmer sind insbesondere Fußgänger, motorisierte und nicht motorisierte Fahrradfahrer und/oder andere nicht motorisierte Verkehrsteilnehmer.
Ein Fahrersteuerungsbefehl ist ein Befehl eines Fahrers, mit dem der Fahrer das Fahrzeug, dessen Fahrer er ist, steuert. Zum Beispiel sind ein Tritt auf ein Gaspedal oder ein Bremspedal Fahrersteuerungsbefehle. Fahrersteuerungsbefehle können elektronisch weiterverarbeitet werden.
Ein künstliches neuronales Netzwerk ist ein Algorithmus, der auf einer elektronischen Schaltung ausgeführt wird und am Vorbild des neuronalen Netzwerks des menschlichen Gehirns programmiert ist. Funktionseinheiten eines künstlichen neuronalen Netzwerks sind künstliche Neuronen, deren Output sich im Allgemeinen als Wert einer Aktivierungsfunktion ausgewertet über eine gewichtete Summe der Inputs plus einem systematischen Fehler, dem sogenannten Bias, ergibt. Durch Testen von mehreren Inputs mit verschiedenen Gewichtungsfaktoren und/oder Aktivierungsfunktionen werden künstliche neuronale Netzwerke, ähnlich dem menschlichen Gehirn, trainiert. Das Trainieren eines künstlichen neuronalen Netzwerks mit Hilfe von vorbestimmten Inputs wird maschinelles Lernen genannt. Speisen, insbesondere Vorwärtsspeisen, bedeutet eine Summenbildung und Ausgabe durch die Aktivierungsfunktion. Eine Teilmenge des maschinellen Lernens ist das tiefgehende Lernen, das sogenannte Deep Learning, bei dem eine Reihe hierarchischer Schichten von Neuronen, sogenannten Hidden Layers, genutzt wird, um den Prozess des maschinellen Lernens durchzuführen. Ein künstliches neuronales Netzwerk mit mehreren Hidden Layers ist ein Deep Neural Network. Dabei bezeichnet künstliche Intelligenz das zweckgerichtete Reagieren auf neue Informationen. Gewichtungsfaktoren werden beispielsweise durch eine Rückwärtsspeisung angepasst, das heißt ein bereits erhaltener Output wird als Input durch das künstliche neuronale Netzwerk prozessiert, um als errechneten Output den ursprünglichen Input zu erhalten.
Ein Fahrersteuerungsbefehl ist ein von dem künstlichen neuronalen Netzwerk errechneter Befehl zum Steuern des Fahrzeuges, zum Beispiel eine elektrische Spannung, mit der ein Bremsaktuator betätigt wird.
Durch die erfindungsgemäße Trainingsauswerteeinrichtung kann mit künstlicher Intelligenz einem Fahrzeug das Handeln von anderen Verkehrsteilnehmern antrainiert werden, insbesondere was die Merkmale einer Signalgebung sein könnten. Erkennt beispielsweise ein auf einen Zebrastreifen zufahrender Fahrer eines Fahrzeuges anhand eines eindeutigen Weiterwinkens eines an dem Zebrastreifen stehenden Fußgängers, dass der Fußgänger am Zebrastreifen anhalten und diesen nicht überqueren wird, so wird der Fahrer Gas geben und weiterfahren, anstatt, wie es die Verkehrsordnung vorsieht, am Zebrastreifen anzuhalten. Eindeutig bedeutet, dass keine Konversation zwischen Fahrzeug und weiterem Verkehrsteilnehmer entsteht, welche den Verkehr behindern würde. Das Weiterwinken wird von der Trainingsauswerteeinrichtung durch die erste, das korrespondierende Gas Geben durch die zweite Eingangsschnittstelle erfasst. Anhand dieser Eingangsgrößen berechnet die Trainingsauswerteeinrichtung mittels des künstlichen neuronalen Netzwerks einen Fahrzeugsteuerungsbefehl und optimiert diesen durch Anpassung der Gewichtungsfaktoren. Erfasst die Trainingsauswerteeinrichtung nun eine ähnliche Situation, wird die Trainingsauswerteeinrichtung selbstständig einen entsprechenden Fahrzeugsteuerungsbefehl berechnen und diesen ausgeben. Anhand des Fahrersteuerungsbefehls hat die Trainingsauswerteeinrichtung gelernt, auf das Weiterwinken zweckgerichtet zu reagieren.
Ferner ist die Trainingsauswerteeinrichtung ausgeführt, eine Fehlerbewegung des Fahrzeuges zu simulieren, zum Beispiel ein Anhalte-Fahrzeugsteuerungsbefehl bei einem erfassten Weiterwinken Zeichen des Verkehrsteilnehmers. Damit lassen sich Fehlerbewegungen ohne zusätzliche Sensoren direkt gewinnen. Mit simulierten Fehlerbewegungen kann ein künstliches neuronales Netzwerk lernen, auf Fehler zu reagieren.
Vorzugsweise ist die erste Eingangsschnittstelle ausgeführt, ein visuelles, vorzugsweise eine Gestik, insbesondere eine Handbewegung, und/oder eine Mimik, und/oder ein akustisches Zeichen des Verkehrsteilnehmers zu erhalten. Handbewegungen, Gesichtsausdrücke und/oder akustische Laute sind die gängigen Zeichen, mit denen Verkehrsteilnehmer, insbesondere nicht motorisierte Verkehrsteilnehmer, mit Fahrern von Fahrzeugen kommunizieren.
In einer Weiterbildung der Erfindung ist die erste Eingangsschnittstelle ausgeführt, eine Erfassung einer Größe und/oder eines Gesichtszuges des Verkehrsteilnehmers zu erhalten, wobei das künstliche neuronale Netzwerk ausgeführt ist, anhand der Größe und/oder des Gesichtszuges ein Alter des Verkehrsteilnehmers zu erhalten, um den Fahrzeugsteuerungsbefehl in Abhängigkeit des Alters zu anzupassen. Diese Anpassung ist erforderlich, um schwache Verkehrsteilnehmer, beispielsweise Kinder oder alte Menschen, sensibel zu erfassen.
Gemäß einer bevorzugten Ausgestaltung der Erfindung ist die erste Eingangsschnittstelle eine Schnittstelle zu einem Umfelderfassungssensor und/oder einem System von Umfelderfassungssensoren, vorzugsweise einem Bildsensor einer Kamera, einem Radar, einem Lidar und/oder einem Schallsensor und/oder die zweite Eingangsschnittstelle eine Schnittstelle zu einem Fahrzeug-Datenübertragungssystem, vorzugsweise einem CAN-Bus. Mittels Umfelderfassungssensoren werden die von einem Verkehrsteilnehmer mittels Zeichen mitgeteilten Entscheidungen besonders einfach erfasst und verarbeitet. Mit einem Schallsensor kann insbesondere eine Spracherkennung bereitgestellt werden, wobei vorzugsweise entsprechende Filter vorgesehen sind, um ein Sprachzeichen eines Verkehrsteilnehmers von weiteren Umgebungsgeräuschen herauszufiltern. Der CAN-Bus ist der Controller Area Network Bus, der in einem Fahrzeug Steuergeräte verbindet und Signale überträgt. Damit kann ein Fahrersteuerungsbefehl einfach ausgewertet werden.
Vorteilhafterweise ist das künstliche neuronale Netzwerk ein mehrschichtiges, vorzugsweise ein konvolutionales oder ein rekurrentes, künstliches neuronales Netzwerk ist. Konvolutionale künstliche neuronale Netzwerke zeichnen sich durch eine zwei-oder dreidimensionale Anordnung von Neuronen und geteilte Gewichtungsfaktoren aus und werden insbesondere für Bilderkennung, bei der der Input ein Graubild oder ein Bild in einem dreidimensionalen Farbraum und damit eine zwei- oder dreidimensionale Matrix ist, eingesetzt. Ein rekurrentes, auch rückgekoppeltes, neuronales Netzwerk ist ein Netzwerk, das sich durch Verbindungen von Neuronen einer Schicht zu Neuronen derselben oder einer vorangegangenen Schicht auszeichnet. Unterschieden werden direkte Rückkopplung, d.h. der eigene Ausgang eines Neurons wird als weiterer Eingang genutzt, indirekte Rückkopplung, bei der ein Ausgang eines Neurons mit einem Neuron der vorhergehenden Schichten verbunden ist, und seitliche Rückkopplung, bei der der Ausgang eines Neurons mit einem anderen Neuron derselben Schicht verbunden ist. Praktische Anwendungen finden künstliche rekurrente neuronale Netzwerke allgemein bei Problemstellungen, die das Verarbeiten von Sequenzen erfordern. Beispiel dafür sind Schrifterkennung, Spracherkennung und Maschinenübersetzung.
Das erfindungsgemäße Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks, wobei das künstliche neuronale Netzwerk auf einer Trainingsauswerteeinrichtung für ein Fahrzeug ausgeführt wird, weist die folgenden Verfahrensschritten auf:

- Bereitstellen von einem während einer Fahrt erhaltenen Zeichen eines Verkehrsteilnehmers und einem dem Zeichen entsprechenden Fahrersteuerungsbefehl,
- Speisen des künstlichen neuronalen Netzwerks mit dem Zeichen und dem Fahrersteuerungsbefehl,
- Erhalten eines Fahrzeugsteuerungsbefehls in der Speisung des künstlichen neuronalen Netzwerks , und
- Anpassen von Gewichtungsfaktoren derart, dass der Fahrzeugsteuerungsbefehl mit dem Fahrersteuerungsbefehl übereinstimmt,

Vorzugsweise wird zur Durchführung des Verfahrens eine erfindungsgemäße Trainingsauswerteeinrichtung verwendet.
Das erfindungsgemäße Computerprogrammprodukt ist ausgeführt, in einen Speicher eines Computers geladen zu werden und weist Softwarecodeabschnitte auf, mit denen die Schritte des erfindungsgemäßen Verfahrens zum Trainieren eines künstlichen neuronalen Netzwerks ausgeführt werden, wenn das Computerprogrammprodukt auf dem Computer läuft.
Ein Computer ist eine Einrichtung zum Verarbeiten von Daten, die mittels programmierbarer Rechenvorschriften Daten verarbeiten kann.
Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfahren durchzuführen, das zu einem bestimmten Ergebnis führt. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogrammprodukt einen technischen Effekt hervor, nämlich das Erhalten eines Fahrzeugsteuerungsbefehls.
Ein Speicher ist ein Medium für die Sicherung von Daten.
Software ist ein Sammelbegriff für Programme und zugehörigen Daten. Das Komplement zu Software ist Hardware. Hardware bezeichnet die mechanische und elektronische Ausrichtung eines Daten verarbeitenden Systems.
Mit dem erfindungsgemäßen Computerprogrammprodukt wird ein künstliches neuronales Netzwerk besonders einfach trainiert, um auf Zeichen von Verkehrsteilnehmern mit einem entsprechenden Fahrzeugsteuerungsbefehl zu reagieren.
Die erfindungsgemäße Einsatzauswerteeinrichtung für ein automatisiert betreibbares Fahrzeug weist eine einer Eingangsschnittstelle auf, um eine Erfassung eines Zeichens eines Verkehrsteilnehmers zu erhalten, wobei die Einsatzauswerteeinrichtung ausgeführt ist, ein auf eine Bedeutung des Zeichens, vorzugsweise nach dem erfindungsgemäßen Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks, trainiertes künstliches neuronales Netzwerk mit der Erfassung des Zeichens zu speisen und einen dem Zeichen entsprechenden Fahrzeugsteuerungsbefehl zu erhalten. Ferner weist die erfindungsgemäße Einsatzauswerteeinrichtung eine erste Ausgabeschnittstelle auf, um den Fahrzeugsteuerungsbefehl für den Verkehrsteilnehmer auszugeben, um die Bedeutung des Zeichens zu erkennen und dem Verkehrsteilnehmer eine Fahrzeugreaktion auf die erkannte Bedeutung dieses Zeichens zu signalisieren.
Ein automatisiert betreibbares Fahrzeug ist ein Fahrzeug, das über eine technische Ausrüstung verfügt, die zur Bewältigung einer Fahraufgabe, einschließlich Längs- und Querführung, das jeweilige Fahrzeug nach Aktivierung einer entsprechenden automatisierten Fahrfunktion, insbesondere einer hoch- oder vollautomatisierten Fahrfunktion nach der Norm SAE J3016, mit einer Fahrzeugsteuerungseinrichtung steuern kann. Insbesondere ist diese technische Ausrüstung ausgeführt, während der automatisierten Fahrzeugsteuerung, das heißt während dem automatisierten Betrieb des Fahrzeuges, den an die Fahrzeugführung gerichteten Verkehrsvorschriften zu entsprechen. Die technische Ausrüstung kann insbesondere aus Sensoren, Steuereinheiten und Aktoren bestehen. Diese Ausrüstung kann des Weiteren vorzugsweise jederzeit durch den Fahrzeugführer manuell übersteuerbar oder deaktivierbar sein. Ferner kann die technische Ausrüstung ausgeführt sein, die Erforderlichkeit der eigenhändigen Fahrzeugsteuerung durch den Fahrzeugführer zu erkennen und dem Fahrzeugführer das Erfordernis der eigenhändigen Fahrzeugsteuerung mit ausreichender Zeitreserve vor der Abgabe der Fahrzeugsteuerung an den Fahrzeugführer optisch, akustisch, taktil oder sonst wahrnehmbar anzuzeigen und auf eine der Systembeschreibung zuwiderlaufende Verwendung hinzuweisen. Fahrzeugführer ist auch derjenige, der eine automatisierte Fahrfunktion aktiviert und zur Fahrzeugsteuerung verwendet, auch wenn er im Rahmen der bestimmungsgemäßen Verwendung dieser Funktion das Fahrzeug nicht eigenhändig steuert. Ein automatisiert betreibbares Fahrzeug, bei dem während dem Betrieb des Fahrzeuges, abgesehen vom Festlegen des Ziels, kein menschlicher Eingriff erforderlich ist, ist ein vollautomatisiert fahrendes Fahrzeug. Bei einem vollautomatisiert fahrenden Fahrzeug ist der Fahrzeugführer nicht verpflichtet, die Fahrzeugsteuerung unverzüglich zu übernehmen.
Die Bedeutung eines Zeichens bezieht sich auf die Semantik und beinhaltet das, was jemand aufgrund des Zeichens versteht. Ein Umfelderfassungssensor erfasst zunächst nur ein Zeichen, ohne dessen semantische Bedeutung. Die Bedeutung eines Zeichens wird erlernt.
Die erfindungsgemäße Einsatzauswerteeinrichtung erkennt mittels einem entsprechend trainierten künstlichen neuronalen Netzwerks die Bedeutung eines erfassten Zeichens und kann mit einem entsprechenden Fahrzeugsteuerungsbefehl zweckgerichtet reagieren. Insbesondere signalisiert vorteilhafterweise die erfindungsgemäße Einsatzauswerteeinrichtung dem Verkehrsteilnehmer, dass sie das Zeichen des Verkehrsteilnehmers erfasst und dessen Bedeutung erkannt hat.
Bevorzugt ist die Einsatzauswerteeinrichtung ausgeführt, in Abhängigkeit eines erfassten Anhaltezeichens oder Weiterfahrtzeichens dem Verkehrsteilnehmer eine Weiterfahrt oder ein Anhalten des Fahrzeuges zu signalisieren. Durch diese Signalisierung wird ein Kommunikationsfluss von einem Fahrer des Fahrzeuges zu dem Verkehrsteilnehmer auf einfache Art und Weise ersetzt.
In einer vorteilhaften Ausgestaltung der Erfindung weist die Einsatzauswerteeinrichtung eine zweite Ausgabeschnittstelle auf, um den Fahrzeugsteuerungsbefehl für eine Fahrzeugsteuerungseinrichtung auszugeben.
Eine Fahrzeugsteuerungseinrichtung ist eine Einrichtung, mit der ein Fahrzeug gesteuert werden kann. Eine Längs- und/oder Quersteuerung ist eine Fahrzeugsteuerung.
Durch die Fahrzeugsteuerungseinrichtung wird das Fahrzeug automatisiert betrieben.
Das erfindungsgemäße Fahrerassistenzsystem weist einen Umfelderfassungssensor oder ein System von Umfelderfassungssensoren zur Erfassung eines Zeichens eines Verkehrsteilnehmers, eine Einsatzauswerteeinrichtung, die ausgeführt ist, ein auf eine Bedeutung des Zeichens trainiertes künstliches neuronales Netzwerk mit der Erfassung des Zeichens zu speisen und einen dem Zeichen entsprechenden Fahrzeugsteuerungsbefehl zu erhalten, und einen Signalgeber auf, der ausgeführt ist, den Fahrzeugsteuerungsbefehl dem Verkehrsteilnehmer zu signalisieren, um eine Bedeutung des Zeichens zu erkennen und dem Verkehrsteilnehmer eine Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens zu signalisieren.
Fahrerassistenzsysteme, im Englischen als advanced driver assistance systems bezeichnet, sind Zusatzeinrichtungen in Fahrzeugen zur Unterstützung des Fahrers Fahrsituationen.
Ein Signalgeber ist ein Gerät, eine Baugruppe oder eine Schaltung, die ein Signal, das heißt eine Information mit einer bestimmten Bedeutung, erzeugt und vorzugsweise überträgt.
Das erfindungsgemäße Fahrerassistenzsystem kann damit automatisiert auf Zeichen von Verkehrsteilnehmern zweckgerichtet reagieren und eine entsprechende Reaktion dem Verkehrsteilnehmer signalisieren.
Vorzugsweise ist die Einsatzauswerteeinrichtung eine erfindungsgemäße Einsatzauswerteeinrichtung.
In einer Weiterbildung der Erfindung ist der Signalgeber ausgeführt, ein elektrisches, optisches und/oder akustisches Signal zu erzeugen, wobei der Signalgeber vorzugsweise in einem Frontbereich und/oder Heckbereich des Fahrzeuges, vorzugsweise an einer Stoßstange, anordenbar ist und vorzugsweise eine Lichtleiste aufweist.
Ein optisches Signal kann von normalsehenden Verkehrsteilnehmern einfach per Blickkontakt mit dem Fahrzeug wahrgenommen werden. Ein akustisches Signal, zum Beispiel ein Ton oder eine Tonfolge mit einer bestimmten Frequenz, können von sehschwachen, insbesondere von blinden, Verkehrsteilnehmern wahrgenommen werden. Ein elektrisches Signal kann auch taktil wahrgenommen werden.
Eine Lichtleiste ist ein schmales, insbesondere langes Bauteil, das lichtemittierende Bauelemente aufweist. Eine Lichtleiste kann besonders einfach optisch wahrgenommen werden.
Durch eine Anordnung in einem Frontbereich und/oder Heckbereich des Fahrzeuges, vorzugsweise an einer Stoßstange, kann das Signal des Signalgebers von einem Verkehrsteilnehmer in einem Umfeld des Fahrzeuges besonders einfach wahrgenommen werden.
In einer bevorzugten Ausgestaltung der Erfindung weist das Fahrerassistenzsystem eine Schnittstelle auf, um ein Signal des Signalgebers an eine für den Verkehrsteilnehmer tragbare Vorrichtung zur Erhöhung der Verkehrssicherheit auszugeben, wobei die tragbare Vorrichtung ausgeführt ist, in Abhängigkeit des Signals des Signalgebers den Verkehrsteilnehmer mittels einer Vibration auf die Signalisierung des Fahrzeugsteuerungsbefehls aufmerksam zu machen.
Tragbare Vorrichtungen, die auch Wearables genannt werden, werden vielfältig eingesetzt im Fitness oder Wellnessbereich und sind mit einem Netzwerk verbunden, um Daten mit anderen Geräten, wie zum Beispiel Computern oder anderen tragbaren Vorrichtungen oder mobilen Endgeräten, austauschen zu können. Tragbare Vorrichtungen werden am Körper getragen.
Die Vibration kann insbesondere über einen Lautsprecher als akustisch wahrnehmbares Signal ausgegeben werden. Die tragbare Vorrichtung kann insbesondere ein Smartphone oder eine Smartwatch sein. Mit einer derartigen tragbaren Vorrichtung werden insbesondere Fußgänger und Fahrradfahrer frühzeitig vor Fahrentscheidungen im Straßenverkehr gewarnt. Eine derartige tragbare Vorrichtung ist ein Beispiel für eine Car-to-X Communication Anwendung.
Erfindungsgemäß wird ein erfindungsgemäßes Fahrerassistenzsystem in einem automatisiert betreibbaren Fahrzeug verwendet.
Das erfindungsgemäße Verfahren zum Erkennen einer Bedeutung eines Zeichens eines Verkehrsteilnehmers und zum Signalisieren einer Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens weist die folgenden Verfahrensschritte auf:

- Erfassen des Zeichens,
- Speisen eines auf eine Bedeutung des Zeichens trainiertes künstliches neuronales Netzwerk mit der Erfassung des Zeichens,
- Erhalten eines Fahrzeugsteuerungsbefehl in der Speisung des künstlichen neuronalen Netzwerks,

- Ausgeben des Fahrzeugsteuerungsbefehls für den Verkehrsteilnehmer. Mit dem erfindungsgemäßen Verfahren wird die Bedeutung des Zeichens automatisiert erkannt und eine entsprechende Fahrzeugreaktion dem Verkehrsteilnehmer einfach signalisiert.

Vorzugsweise wird zur Durchführung des erfindungsgemäßen Verfahrens eine erfindungsgemäße Einsatzauswerteeinrichtung oder ein erfindungsgemäßes Fahrerassistenzsystem verwendet.
Das erfindungsgemäße Computerprogrammprodukt ist ausgeführt, in einen Speicher eines Computers geladen zu werden und weist Softwarecodeabschnitte auf, mit denen die Schritte des erfindungsgemäßen Verfahrens zum Erkennen einer Bedeutung eines Zeichens eines Verkehrsteilnehmers und zum Signalisieren einer Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens ausgeführt werden, wenn das Computerprogrammprodukt auf dem Computer läuft.
Die Erfindung wird anhand der nachfolgenden Figuren ausführlich beschrieben. Es zeigen:

1: ein Ausführungsbeispiel einer erfindungsgemäßen Trainingsauswerteeinrichtung,
2: ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zum Trainieren eines künstlichen neuronalen Netzwerks,
3: ein Ausführungsbeispiel eines Computerprogrammprodukts,
4: ein Ausführungsbeispiel einer erfindungsgemäßen Einsatzauswerteeinrichtung,
5: ein Ausführungsbeispiel eines erfindungsgemäßen Fahrerassistenzsystems,
6: Ausführungsbeispiele für Signalgeber eines erfindungsgemäßen Fahrerassistenzsystems,
7: ein Ausführungsbeispiel eines erfindungsgemäßen Fahrerassistenzsystems mit einem Ausführungsbeispiel einer tragbaren Vorrichtung,
8: ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zum Erkennen einer Bedeutung eines Zeichens eines Verkehrsteilnehmers und zum Signalisieren einer Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens und
9: ein weiteres Ausführungsbeispiel eines erfindungsgemäßen Fahrerassistenzsystems.

In den Figuren bezeichnen gleiche Bezugsziffern gleiche oder funktionsähnliche Bezugsteile. In den jeweiligen Figuren werden lediglich die jeweils relevanten Bezugsteile mit Bezugsziffern gekennzeichnet.
Die in 1 dargestellte Trainingsauswerteeinrichtung 10 erhält über eine erste Eingangsschnittstelle 11 ein Zeichen 2 eines Verkehrsteilnehmers 3. Das Zeichen 2 ist ein eindeutiges Handzeichen zur Aufforderung an einen Fahrer eines Fahrzeuges 1 zum Weiterfahren. Dieses Zeichen wird mittels eines Bildsensors einer Kamera als Beispiel eines Umfelderfassungssensors 5 erfasst. Über eine zweite Eingangsschnittstelle 12 erhält die Trainingsauswerteeinrichtung 10 einen Fahrersteuerungsbefehl 4. Der Fahrersteuerungsbefehl 4 ist Gas geben. Der Fahrer des Fahrzeuges betätigt zur Ausführung des Fahrersteuerungsbefehls 4 ein Gas Pedal. Der hierzu erforderliche Druck auf das Gas Pedal kann in eine elektrische Spannung umgewandelt werden, die mittels einem Fahrzeug-Datenübertragungssystem 6 über die zweite Eingangsschnittstelle 12 in die Trainingsauswerteeinrichtung 10 eingegeben und dort weiterverarbeitet wird.
Die Trainingsauswerteeinrichtung 10 ist beispielsweise ein Graphikkartenprozessor, der speziell für automobile Anwendungen ausgelegt ist, und der ein künstliches neuronales Netzwerk 13 ausführt. Das künstliche neuronale Netzwerk 13 ist zum Beispiel ein rekurrentes künstliches neuronales Netzwerk 13, bei dem Neuronen 16 einer Schicht mit Neuronen 16 einer vorangehenden Schicht verbunden sind.
Die Eingänge, das heißt die Inputs, des künstlichen neuronalen Netzwerks 13 sind die Erfassung des Zeichens 2 und ein dem Zeichen 2 entsprechender Fahrersteuerungsbefehl 4. Der Ausgang, das heißt der Output, des künstlichen neuronalen Netzwerks 13 ist ein anhand der Eingänge berechneter Fahrzeugsteuerungsbefehl 14. Durch Anpassung von Gewichtungsfaktoren 15 wird der berechnete Fahrzeugsteuerungsbefehl 14 derart optimiert, dass der Fahrzeugsteuerungsbefehl 14 mit dem Fahrersteuerungsbefehl 4 übereinstimmt. Durch tatsächlich gefahrene Testfahrten und/oder simulierte Testfahrten lernt die Trainingsauswerteeinrichtung 10, einem erfassten Zeichen 2 einen entsprechenden Fahrzeugsteuerungsbefehl 14 und damit dem Zeichen 2 eine entsprechende Bedeutung zuzuordnen. Erfasst die Trainingsauswerteeinrichtung 10, die an dem Fahrzeug 1 angeordnet ist, ein Handzeichen eines an einem Zebrastreifen 9 wartenden Verkehrsteilnehmers 3, und einen entsprechenden Fahrersteuerungsbefehl 4, im Falle eines Weiterfahrt-Winkens ein Gas Geben, im Falle eines Anhaltezeichens ein Bremsen, lernt die Trainingsauswerteeinrichtung 10 einen entsprechend situationsabhängigen Fahrzeugsteuerungsbefehl 14 zu generieren. In einer dazu ähnlichen Situation kann dann die Trainingsauswerteeinrichtung 10 zweckgerichtet mit einem Fahrzeugsteuerungsbefehl 14 reagieren, ohne einen entsprechenden Fahrersteuerungsbefehl 4 erfasst zu haben.
2 zeigt das erfindungsgemäße Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks 13. Das künstliche neuronale Netzwerk wird dabei auf der in 1 gezeigten Trainingsauswerteeinrichtung 10 für das Fahrzeug 1 ausgeführt wird.
Der Umfelderfassungssensor 5 stellt der Trainingsauswerteeinrichtung 10 das während einer Fahrt mit dem Fahrzeug 1 erfasste Zeichen 2 des Verkehrsteilnehmers 3 über die erste Eingangsschnittstelle 11 und den dem Zeichen 2 entsprechenden Fahrersteuerungsbefehl 4 über die zweite Eingangsschnittstelle 12 bereit. Die Trainingsauswerteeinrichtung 10 speist das künstliche neuronale Netzwerks 13 mit dem Zeichen 2 und dem Fahrersteuerungsbefehl 4. Zusätzlich simuliert die Trainingsauswerteeinrichtung 10 eine Fehlerbewegung des Fahrzeuges 1, zum Beispiel ein Anhalte-Fahrzeugsteuerungsbefehl bei einem erfassten Weiterwinken Zeichen des Verkehrsteilnehmers. Damit lassen sich Fehlerbewegungen ohne zusätzliche Sensoren direkt gewinnen. Mit simulierten Fehlerbewegungen lernt das künstliche neuronale Netzwerk 13, auf Fehler zu reagieren. Als Output des künstlichen neuronalen Netzwerks 10 wird der entsprechende Fahrzeugsteuerungsbefehls 14 erhalten. Die Gewichtungsfaktoren 15 werden derart angepasst, beispielsweise durch Rückwärtsspeisen des künstlichen neuronalen Netzwerks 13, dass der Fahrzeugsteuerungsbefehl 14 mit dem Fahrersteuerungsbefehl 4 übereinstimmt. Damit lernt das künstliche neuronale Netzwerk 13 die semantische Bedeutung des Zeichens 2.
Ein Computerprogrammprodukt 20 ist in 3 dargestellt. Das Computerprogrammprodukt 20 wird in einen Speicher 21 eines Computers 22 geladen und führt dort die Schritte des Verfahrens zum Trainieren des künstlichen neuronalen Netzwerks 13 aus.
4 zeigt eine Einsatzauswerteeinrichtung 30, die ein gemäß dem in 2 gezeigten Verfahren trainiertes künstliches neuronales Netzwerk 13 ausführt. Über eine Eingangsschnittstelle 31 wird der Einsatzauswerteeinrichtung 30 das mit dem Umfelderfassungssensor 5 erfasste Zeichen 2 des Verkehrsteilnehmers 3 bereitgestellt.
Das künstliche neuronale Netzwerk 13 ist durch die Anordnung seiner Neuronen 16 und die in einer Trainingsphase erfolgte Anpassung der Gewichtungsfaktoren 15 optimiert, in Abhängigkeit des erfassten Zeichens 2 den zu diesem Zeichen korrespondierenden Fahrzeugsteuerungsbefehl 14 zu berechnen. Erfasst die Einsatzauswerteeinrichtung 30 ein eindeutiges Zeichen 2 zum Weiterfahren, berechnet die Einsatzauswerteinrichtung 30 mit Hilfe des künstlichen neuronalen Netzwerks 13 den entsprechenden Fahrzeugsteuerungsbefehl 14 zum Gas geben.
Über eine erste Ausgabeschnittstelle 32 gibt die Einsatzauswerteeinrichtung 30 den Fahrzeugsteuerungsbefehl für den Verkehrsteilnehmer 3 aus, um dem Verkehrsteilnehmer 3 zu signalisieren, dass das Fahrzeug 1 dessen Zeichen 2 erfasst hat und mit einem entsprechenden Fahrverhalten reagieren wird. Über eine zweite Ausgabeschnittstelle 33 wird der Fahrzeugsteuerungsbefehl 14 für eine Fahrzeugsteuerungseinrichtung 40 ausgegeben, um das Fahrzeug 1 dem Fahrzeugsteuerungsbefehl 14 entsprechend automatisiert zu steuern.
Die Fahrzeugsteuerungseinrichtung 40, die auch in 9 gezeigt ist, regelt die Längs- und/oder Quersteuerung des Fahrzeuges 1.
Ein erfindungsgemäßes Fahrerassistenzsystem 50 ist in 5 gezeigt. Das Fahrerassistenzsystem 50 weist ein System aus Umfelderfassungssensoren auf aufweisend eine zentral angeordnete Frontkamera und zwei seitlich angeordnete Frontradare. Das Fahrerassistenzsystem 50 ist insbesondere ausgeführt, die verschiedenen erfassten Sensorrohdaten zu prozessieren, das heißt zum Beispiel aus den Kameradaten Bilder zu erzeugen, und zu einem Umgebungsmodell zu fusionieren.
Mit der Kamera und den Radargeräten wird ein Fußgänger als Verkehrsteilnehmer 3 an einem Zebrastreifen 9 erfasst. Der Verkehrsteilnehmer kann sich auch an einer anderen Überquerungsanlage, zum Beispiel einer Ampelüberquerung, befinden. Die Umfelderfassungssensoren 5 erfassen auch das Zeichen 2 des Verkehrsteilnehmers 3 zum Weiterfahren des Fahrzeuges 1. Die Einsatzauswerteeinrichtung 30 des Fahrerassistenzsystems 50 berechnet mit Hilfe des künstlichen neuronalen Netzwerks 13 den zu dem Zeichen 2 entsprechenden Fahrzeugsteuerungsbefehl 14.
Das Fahrerassistenzsystem 50 weist des Weiteren einen Signalgeber 51 auf, mit dem der Fahrzeugsteuerungsbefehl 14 dem Verkehrsteilnehmer 3 signalisiert wird. Der Signalgeber 51 signalisiert damit dem Verkehrsteilnehmer 3 eine Fahrzeugreaktion auf die erkannte Bedeutung dessen Zeichens 2.
Der Signalgeber 51 erzeugt und gibt aus ein Signal. Das Signal ist ein visuell wahrnehmbares Signal, zum Beispiel ein Lichtsignal in einer bestimmten Farbe. Der Signalgeber 51 kann insbesondere als eine Lichtleiste 8 ausgeführt sein, die mehrere Leuchtmittel aufweist, wie im mittleren Ausführungsbeispiel der 6 gezeigt. Zum Beispiel kann die Lichtleiste 8 eine Leiste von Leuchtdioden sein. Im linken Ausführungsbeispiel der 6 ist der Signalgeber 51 horizontal, das heißt parallel zu einer Straßenoberfläche, ausgerichtet. Im rechten Ausführungsbeispiel der 6 ist der Signalgeber 51 vertikal, das heißt senkrecht, zur Oberfläche der Straße angeordnet.
Der Signalgeber 51 ist ausgeführt, dem in 5 gezeigten Verkehrsteilnehmer 3 eine Weiterfahrt des Fahrzeuges 1, das heißt zum Beispiel ein Gas Geben, mit einem Lichtsignal in einer ersten Farbe, vorzugsweise grün, und ein Anhalten des Fahrzeuges, das heißt zum Beispiel ein Bremsen, mit einem Lichtsignal in einer zweiten Farbe, vorzugsweise rot, zu signalisieren.
Das Fahrerassistenz 50 der 7 weist eine Schnittstelle 52 auf. Die Schnittstelle 52 ist eine WLAN Schnittstelle, mit der das Signal des Signalgebers 51 an eine tragbare Vorrichtung 60, die von dem Verkehrsteilnehmer 3 getragen wird, ausgegeben wird. Durch die Schnittstelle 52 und die tragbare Vorrichtung 60 wird eine komplette Vernetzung von dem Fahrzeug 1 und dem schwächeren Verkehrsteilnehmer 3 realisiert. Eine derartige Vernetzung kann insbesondere in einer Cloud, in der vorzugsweise ein entsprechender Algorithmus ausgeführt wird, erfolgen. Dadurch wird die Verkehrssicherheit erhöht. Insbesondere kann vor Kollisionen gewarnt werden. Die tragbare Vorrichtung 60 ist außerdem ausgeführt, in Abhängigkeit des Signals des Signalgebers 51 den Verkehrsteilnehmer 3 mittels einer Vibration auf die Signalisierung des Fahrzeugsteuerungsbefehls 14 aufmerksam zu machen.
Das erfindungsgemäße Verfahren zum Erkennen einer Bedeutung eines Zeichens 2 eines Verkehrsteilnehmers 3 und zum Signalisieren einer Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens 2 ist in 9 dargestellt. In einem ersten Verfahrensschritt wird das Zeichen 2 des Verkehrsteilnehmers 3 erfasst, zum Beispiel mit einem Umfelderfassungssensor 5. Anschließend wird ein auf eine Bedeutung des Zeichens 2 trainiertes künstliches neuronales Netzwerk 13 mit dieser Erfassung des Zeichens 2 gespeist. Als Output des künstlichen neuronalen Netzwerks 13 wird ein Fahrzeugsteuerungsbefehl 14 erhalten. Dieser Fahrzeugsteuerungsbefehl 14 wird für den Verkehrsteilnehmer 3 ausgegeben.
Ein Computerprogrammprodukt 70 zur Ausführung des erfindungsgemäßen Verfahrens zum Erkennen einer Bedeutung eines Zeichens 2 eines Verkehrsteilnehmers 3 und zum Signalisieren einer Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens 2 ist in 3 gezeigt.
Das Fahrerassistenzsystem 50 kann auch in folgender Situation erfolgreich verwendet werden. Ein Verkehrsteilnehmer 3, zum Beispiel ein Fußgänger, steht an einem Zebrastreifen 9 und möchte noch auf einen anderen Verkehrsteilnehmer 3 warten. Das Fahrerassistenzsystem 50 des automatisiert fahrenden Fahrzeuges 1 erkennt den einzelnen Verkehrsteilnehmer 3 und signalisiert ihm mittels dem Signalgeber 51, dass es anhalten wird. Der Verkehrsteilnehmer 3 gibt durch eine eindeutige Gestik, beispielsweise durch eine Handbewegung, dem Fahrzeug 1 zu erkennen, dass das Fahrzeug 1 weiterfahren soll. Diese Handbewegung wird als Zeichen 2 mit der entsprechenden Bedeutung erkannt und mittels des Fahrerassistenzsystems 50 verarbeitet. Das Fahrzeug 1 ändert daraufhin das Signal, und der Signalgeber 51 signalisiert, dass das Fahrzeug 1 nun weiterfahren wird. Das Fahrerassistenzsystem 50 schätzt die Gestik anhand Größe, Alter und/oder Gesichtszügen des Verkehrsteilnehmers 3 ein. Diese Einschätzung ist erforderlich, um Kinder und ältere Menschen sensibel zu analysieren.
Bezugszeichenliste

1: Fahrzeug
2: Zeichen
3: Verkehrsteilnehmer
4: Fahrersteuerungsbefehl
5: Umfelderfassungssensor
6: Fahrzeug-Datenübertragungssystem
7: Stoßstange
8: Lichtleiste
9: Zebrastreifen
10: Trainingsauswerteeinrichtung
11: erste Eingangsschnittstelle
12: zweite Eingangsschnittstelle
13: künstliches neuronales Netzwerk
14: Fahrzeugsteuerungsbefehl
15: Gewichtungsfaktor
16: Neuron
20: Computerprogrammprodukt
21: Speicher
22: Computer
30: Einsatzauswerteeinrichtung
31: Eingangsschnittstelle
32: erste Ausgabeschnittstelle
33: zweite Ausgabeschnittstelle
40: Fahrzeugsteuerungseinrichtung
50: Fahrerassistenzsystem
51: Signalgeber
52: Schnittstelle
60: tragbare Vorrichtung
70: Computerprogrammprodukt

Claims

Trainingsauswerteeinrichtung (10) für ein Fahrzeug (1) mit - einer ersten Eingangsschnittstelle (11), um eine Erfassung eines Zeichens (2) eines Verkehrsteilnehmers (3) zu erhalten, - einer zweiten Eingangsschnittstelle (12), um einen dem Zeichen (2) entsprechenden Fahrersteuerungsbefehl (4) zu erhalten, - wobei die Trainingsauswerteeinrichtung (10) ausgeführt ist, ein künstliches neuronales Netzwerk (13) mit der Erfassung des Zeichens (2) und dem Fahrersteuerungsbefehl (4) zu speisen, • um in der Speisung des künstlichen neuronalen Netzwerks (13) einen Fahrzeugsteuerungsbefehl (14) zu erhalten, und • Gewichtungsfaktoren (15) derart anzupassen, dass der Fahrzeugsteuerungsbefehl (14) mit dem Fahrersteuerungsbefehl (4) übereinstimmt, zum maschinellen Lernen einer Bedeutung des Zeichens (2).
Trainingsauswerteeinrichtung (10) nach Anspruch 1, dadurch gekennzeichnet, dass die erste Eingangsschnittstelle (11) ausgeführt ist, ein visuelles, vorzugsweise eine Gestik, insbesondere eine Handbewegung, und/oder eine Mimik, und/oder ein akustisches Zeichen (2) des Verkehrsteilnehmers (3) zu erhalten.
Trainingsauswerteeinrichtung (10) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass - die erste Eingangsschnittstelle (11) ausgeführt ist, eine Erfassung einer Größe und/oder eines Gesichtszuges des Verkehrsteilnehmers (3) zu erhalten, - wobei das künstliche neuronale Netzwerk (13) ausgeführt ist, anhand der Größe und/oder des Gesichtszuges ein Alter des Verkehrsteilnehmers (3) zu erhalten, um den Fahrzeugsteuerungsbefehl (14) in Abhängigkeit des Alters zu anzupassen.
Trainingsauswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die erste Eingangsschnittstelle (11) eine Schnittstelle zu einem Umfelderfassungssensor (5) und/oder einem System von Umfelderfassungssensoren (5), vorzugsweise einem Bildsensor einer Kamera, einem Radar, einem Lidar und/oder einem Schallsensor ist und/oder die zweite Eingangsschnittstelle (12) eine Schnittstelle zu einem Fahrzeug-Datenübertragungssystem (6), vorzugsweise einem CAN-Bus, ist.
Trainingsauswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk (13) ein mehrschichtiges, vorzugsweise ein konvolutionales oder ein rekurrentes, künstliches neuronales Netzwerk (13) ist.
Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks (13), wobei das künstliche neuronale Netzwerk (13) auf einer Trainingsauswerteeinrichtung (10) für ein Fahrzeug (1) ausgeführt wird, mit den folgenden Verfahrensschritten: - Bereitstellen von einem während einer Fahrt erhaltenen Zeichen (2) eines Verkehrsteilnehmers (3) und einem dem Zeichen (2) entsprechenden Fahrersteuerungsbefehl (4), - Speisen des künstlichen neuronalen Netzwerks (13) mit dem Zeichen (2) und dem Fahrersteuerungsbefehl (4), - Erhalten eines Fahrzeugsteuerungsbefehls (14) in der Speisung des künstlichen neuronalen Netzwerks (13), und - Anpassen von Gewichtungsfaktoren (15) derart, dass der Fahrzeugsteuerungsbefehl (14) mit dem Fahrersteuerungsbefehl (4) übereinstimmt, wobei das künstliche neuronale Netzwerk (13) eine Bedeutung des Zeichens (2) lernt.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass zur Durchführung des Verfahrens eine Trainingsauswerteeinrichtung (10) nach einem der Ansprüche 1 bis 5 verwendet wird.
Computerprogrammprodukt (20), das ausgeführt ist, in einen Speicher (21) eines Computers (22) geladen zu werden und das Softwarecodeabschnitte aufweist, mit denen die Schritte des Verfahrens nach Anspruch 6 oder 7 ausgeführt werden, wenn das Computerprogrammprodukt (20) auf dem Computer (22) läuft.
Einsatzauswerteeinrichtung (30) für ein automatisiert betreibbares Fahrzeug (1) mit - einer Eingangsschnittstelle (31), um eine Erfassung eines Zeichens (2) eines Verkehrsteilnehmers (3) zu erhalten, - wobei die Einsatzauswerteeinrichtung (30) ausgeführt ist, ein auf eine Bedeutung des Zeichens (2), vorzugsweise nach einem Verfahren nach Anspruch 6 oder 7, trainiertes künstliches neuronales Netzwerk (13) mit der Erfassung des Zeichens (2) zu speisen und einen dem Zeichen (2) entsprechenden Fahrzeugsteuerungsbefehl (14) zu erhalten, und - einer ersten Ausgabeschnittstelle (32), um den Fahrzeugsteuerungsbefehl (14) für den Verkehrsteilnehmer (3) auszugeben, um die Bedeutung des Zeichens (2) zu erkennen und dem Verkehrsteilnehmer (3) eine Fahrzeugreaktion auf die erkannte Bedeutung dieses Zeichens (2) zu signalisieren.
Einsatzauswerteeinrichtung (30) nach Anspruch 9, dadurch gekennzeichnet, dass die Einsatzauswerteeinrichtung (30) ausgeführt ist, in Abhängigkeit eines erfassten Anhaltezeichens oder Weiterfahrtzeichens dem Verkehrsteilnehmer (3) eine Weiterfahrt oder ein Anhalten des Fahrzeuges (1) zu signalisieren.
Einsatzauswerteeinrichtung (30) nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass die Einsatzauswerteeinrichtung (30) eine zweite Ausgabeschnittstelle (33) aufweist, um den Fahrzeugsteuerungsbefehl (14) für eine Fahrzeugsteuerungseinrichtung (40) auszugeben.
Fahrerassistenzsystem (50) mit - einem Umfelderfassungssensor (5) oder einem System von Umfelderfassungssensoren (5) zur Erfassung eines Zeichens (2) eines Verkehrsteilnehmers (3), - einer Einsatzauswerteeinrichtung (30), die ausgeführt ist, ein auf eine Bedeutung des Zeichens (2) trainiertes künstliches neuronales Netzwerk (13) mit der Erfassung des Zeichens (2) zu speisen und einen dem Zeichen (2) entsprechenden Fahrzeugsteuerungsbefehl (14) zu erhalten, und - einem Signalgeber (51), der ausgeführt ist, den Fahrzeugsteuerungsbefehl (14) dem Verkehrsteilnehmer (3) zu signalisieren, um eine Bedeutung des Zeichens (2) zu erkennen und dem Verkehrsteilnehmer (3) eine Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens (2) zu signalisieren.
Fahrerassistenzsystem (50) nach Anspruch 12, dadurch gekennzeichnet, dass die Einsatzauswerteeinrichtung (30) eine Einsatzauswerteeinrichtung (30) nach einem der Ansprüche 9 bis 11 ist.
Fahrerassistenzsystem (50) nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass der Signalgeber (51) ausgeführt ist, ein elektrisches, optisches und/oder akustisches Signal zu erzeugen, wobei der Signalgeber (51) vorzugsweise in einem Frontbereich und/oder Heckbereich des Fahrzeuges (1), vorzugsweise an einer Stoßstange (7), anordenbar ist und vorzugsweise eine Lichtleiste (8) aufweist.
Fahrerassistenzsystem (50) nach einem der Ansprüche 12 bis 14, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (50) eine Schnittstelle (52) aufweist, um ein Signal des Signalgebers (51) an eine für den Verkehrsteilnehmer (3) tragbare Vorrichtung (60) zur Erhöhung der Verkehrssicherheit auszugeben, wobei die tragbare Vorrichtung (60) ausgeführt ist, in Abhängigkeit des Signals des Signalgebers (51) den Verkehrsteilnehmer (3) mittels einer Vibration auf die Signalisierung des Fahrzeugsteuerungsbefehls (14) aufmerksam zu machen.
Verwendung eines Fahrerassistenzsystems (50) nach einem der Ansprüche 12 bis 15 in einem automatisiert betreibbaren Fahrzeug (1).
Verfahren zum Erkennen einer Bedeutung eines Zeichens (2) eines Verkehrsteilnehmers (3) und zum Signalisieren einer Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens (2) mit den folgenden Verfahrensschritten: - Erfassen des Zeichens (2), - Speisen eines auf eine Bedeutung des Zeichens (2) trainiertes künstliches neuronales Netzwerk (13) mit der Erfassung des Zeichens (2), - Erhalten eines Fahrzeugsteuerungsbefehl (14) in der Speisung des künstlichen neuronalen Netzwerks (13), und - Ausgeben des Fahrzeugsteuerungsbefehls (14) für den Verkehrsteilnehmer (3).
Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass zur Durchführung des Verfahrens eine Einsatzauswerteeinrichtung (30) nach einem der Ansprüche 9 bis 11 oder ein Fahrerassistenzsystem (50) nach einem der Ansprüche 12 bis 15 verwendet wird.
Computerprogrammprodukt (70), das ausgeführt ist, in einen Speicher (21) eines Computers (22) geladen zu werden und das Softwarecodeabschnitte aufweist, mit denen die Schritte des Verfahrens nach Anspruch 17 oder 18 ausgeführt werden, wenn das Computerprogrammprodukt (70) auf dem Computer (22) läuft.