DE112017006567T5

DE112017006567T5 - Autonomes fahrzeug mit fahrerausbildung

Info

Publication number: DE112017006567T5
Application number: DE112017006567.4T
Authority: DE
Inventors: Scott Vincent Myers; Parsa Mahmoudieh; Jinesh J. Jain; Connie Zeng; Maryam Moosaei; Mohamed Ahmad
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2017-01-26
Filing date: 2017-01-26
Publication date: 2019-10-02
Also published as: US20190337532A1; US11214280B2; CN110214107A; WO2018140022A1; CN110214107B

Abstract

Diese Offenbarung stellt ein autonomes Fahrzeug mit Fahrerausbildung bereit.Es wird ein Verfahren zum Verwenden eines autonomen Fahrzeugs offenbart, um einem Schüler das Fahren beizubringen. Das Verfahren kann das Erzeugen eines Plans zum Navigieren auf einem Straßenabschnitt durch das autonome Fahrzeug während einer Trainingseinheit beinhalten. Während der Trainingseinheit kann das autonome Fahrzeug vom Schüler Steueranweisungen dahingehend erhalten, wie der Schüler auf dem den Straßenabschnitt navigieren möchte. Wenn das autonome Fahrzeug bestimmt, dass das Umsetzen der Anweisungen sicher und legal ist, kann es diese Anweisungen umsetzen. Wenn das autonome Fahrzeug jedoch feststellt, dass die Umsetzung der Anweisungen nicht sicher und legal ist, kann es den Plan ausführen. Während einer Trainingseinheit kann ein autonomes Fahrzeug dem Schüler auf einer Head-up-Anzeige eine bestimmte visuelle Rückmeldung bezüglich einer Fahrleistung des Schülers geben.

Description

STAND DER TECHNIK
GEBIET DER ERFINDUNG
Diese Erfindung bezieht sich auf Fahrzeugsysteme und insbesondere auf Systeme und Verfahren zum Bereitstellen einer Fahrerausbildung für einen menschlichen Insassen eines autonomen Fahrzeugs.
ALLGEMEINER STAND DER TECHNIK
Fahrerausbildung ist ein Prozess, bei dem ein Mensch lernt, wie man ein Fahrzeug sicher und legal fährt. Im Allgemeinen kann ein besserer Fahrerausbildungsprozess einen besseren Fahrer hervorbringen. Dementsprechend sind ein System und ein Verfahren zum Verbessern der Fahrerausbildung erforderlich.
Figurenliste
Um die Vorteile der Erfindung ohne Weiteres zu verstehen, wird eine genauere Beschreibung der oben kurz beschriebenen Erfindung durch Verweis auf spezifische Ausführungsformen, welche in den beigefügten Zeichnungen veranschaulicht sind, bereitgestellt. Da es sich versteht, dass diese Zeichnungen lediglich typische Ausführungsformen der Erfindung darstellen und daher nicht als ihren Umfang einschränkend zu betrachten sind, wird die Erfindung mit zusätzlicher Genauigkeit und in Einzelheiten durch die Verwendung der beigefügten Zeichnungen beschrieben und erläutert, wobei:

1 ist eine schematische Darstellung, die eine Ausführungsform des technologischen Kontexts darstellt, in dem ein System und ein Verfahren zur Fahrerausbildung gemäß der vorliegenden Erfindung arbeiten können;
2 ist eine schematische Darstellung einer beispielhaften Ansicht aus der Perspektive eines Fahrschülers durch die Windschutzscheibe eines autonomen Fahrzeugs gemäß der vorliegenden Erfindung;
3 ist eine schematische Darstellung einer anderen beispielhaften Ansicht aus der Perspektive eines Fahrschülers durch die Windschutzscheibe eines autonomen Fahrzeugs, wobei dem Fahrschüler über eine Head-up-Anzeige gemäß der vorliegenden Erfindung eine bestimmte Rückmeldung bereitgestellt wird;
4 ist eine schematische Darstellung einer anderen beispielhaften Ansicht aus der Perspektive eines Fahrschülers durch die Windschutzscheibe eines autonomen Fahrzeugs, wobei dem Fahrerschüler ein Verkehrsschild über eine Head-up-Anzeige gemäß der vorliegenden Erfindung angezeigt wird;
5 ist ein schematisches Blockdiagramm, das eine Ausführungsform eines Systems zum Bereitstellen einer Fahrerausbildung innerhalb eines autonomen Fahrerlebnisses gemäß der vorliegenden Erfindung veranschaulicht; und
6 ist ein schematisches Blockdiagramm einer Ausführungsform eines Verfahrens zum Bereitstellen einer Fahrerausbildung innerhalb eines autonomen Fahrerlebnisses gemäß der vorliegenden Erfindung.

DETAILLIERTE BESCHREIBUNG
Es versteht sich ohne Weiteres, dass die Komponenten der vorliegenden Erfindung, wie sie hierin allgemein beschrieben und in den Figuren veranschaulicht sind, in einer großen Bandbreite unterschiedlicher Konfigurationen angeordnet und gestaltet sein können. Somit ist die folgende detailliertere Beschreibung der Ausführungsformen der Erfindung, wie sie in den Figuren dargestellt ist, nicht als den Umfang der beanspruchten Erfindung einschränkend, sondern als rein repräsentativ für bestimmte Beispiele von gegenwärtig in Erwägung gezogenen Ausführungsformen gemäß der Erfindung zu verstehen. Die gegenwärtig beschriebenen Ausführungsformen werden am besten unter Bezugnahme auf die Zeichnungen verstanden, in denen gleiche Teile durch gleiche Bezugszeichen bezeichnet sind. Bezugnehmend auf 1 kann in ausgewählten Ausführungsformen ein autonomes Fahrzeug 10 gemäß der vorliegenden Erfindung ein computergestütztes System 12 und eine Vielzahl von Sensoren 14 umfassen. Ein System 12 kann die Ausgaben eines oder mehrerer solcher Sensoren 14 verwenden, um zu bestimmen, wie verschiedene Funktionen oder Vorgänge des entsprechenden autonomen Fahrzeugs 10 am besten zu steuern sind. Die in einem autonomen Fahrzeug 10 enthaltenen Sensoren 14 können jede geeignete Form annehmen. Beispielsweise können ein oder mehrere Sensoren 14 Kameras, Lidarvorrichtungen, Radarvorrichtungen, Ultraschallwandler, Beschleunigungsmesser, Gyroskope, Geschwindigkeitsmesser, Thermometer, Antriebsstrangsensoren (z. B. Vorrichtungen zum Erfassen der Drehzahl eines Motors, Radschlupf oder dergleichen), GPS-(Global Positioning System-Vorrichtungen oder dergleichen oder eine Kombination oder Unterkombination davon umfassen.
In bestimmten Ausführungsformen kann ein System 12 gemäß der vorliegenden Erfindung eine oder mehrere Kernfunktionen eines autonomen Fahrzeugs 10 steuern (d. h. Funktionen, die für das Fahren des autonomen Fahrzeugs 10 grundlegend sind). Beispielsweise kann ein System 12 die Lenkung und/oder Geschwindigkeit eines Fahrzeugs 10 autonom steuern. Somit kann ein System 12 eine Sammlung von Komponenten, Verbindungen, Aktoren oder dergleichen steuern, die den Kurs des Fahrzeugs 10, die Drosselklappeneinstellung eines Motors, die Bremsen oder dergleichen oder eine Kombination oder Unterkombination davon beeinflussen.
Zusätzlich kann ein System 12 eine oder mehrere periphere Funktionen eines autonomen Fahrzeugs 10 steuern (d. h. Funktionen, die für das Fahren des autonomen Fahrzeugs 10 nicht grundlegend sind). Beispielsweise kann ein System 12 die Position eines oder mehrerer Sitze in einem Fahrzeug 10, ein Klimatisierungssystem, Medieneinstellungen (z. B. Radiosender, Fernsehsender oder dergleichen, die in einem Fahrzeug 10 eingestellt sind), die Tönung von einem oder mehreren Fenstern oder dergleichen oder eine Kombination oder Unterkombination davon steuern.
In bestimmten Ausführungsformen können ein oder mehrere Sensoren 14 gemäß der vorliegenden Erfindung nach vorne gerichtete Sensoren 14a (z. B. Kameras, Lidarvorrichtungen, Radarvorrichtungen, Ultraschallwandler oder dergleichen, die auf einen Bereich vor einem Fahrzeug 10 gerichtet sind), nach hinten gerichtete Sensoren 14b (z. B. Rückfahrkameras oder Lidarvorrichtungen, Radarvorrichtungen, Ultraschallwandler oder dergleichen, die auf einen Bereich hinter einem Fahrzeug 10 gerichtet sind), Seitenansichtssensoren (z. B. Kameras, Lidarvorrichtungen, Radarvorrichtungen, Ultraschallwandler oder dergleichen, die auf einen Bereich auf einer Seite eines Fahrzeugs 10 gerichtet sind), Insassensensoren 14c (z. B. Kameras, die auf einen oder mehrere Insassen eines Fahrzeugs 10 gerichtet sind oder Bilder von diesen aufnehmen), Sichtsensoren 14d (z. B. Kameras, Lidarvorrichtungen, Radarvorrichtungen oder dergleichen, die die Sicht eines Insassen von einer und/oder durch eine Windschutzscheibe oder ein anderes Fenster erfassen) oder dergleichen oder eine Kombination oder Unterkombination davon sein.
In ausgewählten Ausführungsformen können von einem System 12 (oder Abschnitten eines Systems 12) an Bord eines autonomen Fahrzeugs 10 empfangene, gesammelte oder erzeugte Informationen an eine außerhalb des autonomen Fahrzeugs 10 befindliche Hardware kommuniziert werden. Beispielsweise können Informationen, die von einem System 12 empfangen, gesammelt oder erzeugt wurden, welches einem autonomen Fahrzeug 10 entspricht, durch ein Kommunikationssystem zu einer entfernten Rechenvorrichtung gelangen. Dementsprechend kann auf Informationen, die von einem System 12 empfangen, gesammelt oder erzeugt wurden, welches einem autonomen Fahrzeug 10 entspricht, durch einen oder mehrere Computer außerhalb des autonomen Fahrzeugs 10 zugegriffen werden. Bezugnehmend auf 2 kann ein autonomes Fahrzeug 10 eine Plattform zur Bereitstellung von Fahrerausbildung bereitstellen. Fahrerausbildung kann ein Prozess sein, durch den ein menschlicher Fahrschüler unterrichtet wird, wie ein Fahrzeug sicher und legal gefahren wird. Um am effektivsten zu sein, kann die Fahrerausbildung ein signifikantes „praktisches“ Training beinhalten, bei dem der Fahrschüler das Fahren des autonomen Fahrzeugs 10 übt. Während eines solchen Trainings kann das autonome Fahrzeug 10 überwachen, was in dem autonomen Fahrzeug 10 und um diesem herum geschieht. Dementsprechend kann das autonome Fahrzeug 10 im Bedarfsfall die Steuerung übernehmen, eine oder mehrere Steuereingaben oder Anweisungen von dem Fahrschüler ignorieren, dem Fahrschüler eine akustische und/oder visuelle Rückmeldung bereitstellen oder dergleichen, um den Fahrschüler zu unterrichten und innerhalb aller geltenden Sicherheits- und gesetzlichen Grenzwerte zu arbeiten. Beispielsweise kann ein autonomes Fahrzeug 10 während einer Trainingseinheit auf einer Fahrspur 16 einer Fahrbahn 18 fahren. Die Geschwindigkeit und Lenkung des autonomen Fahrzeugs 10 kann von dem Fahrschüler gesteuert werden. Während einer solchen Fahrt kann sich das autonome Fahrzeug 10 einem Fahrzeug 20 nähern, das sich auf der Spur 16 vor dem autonomen Fahrzeug 10 befindet. Sollte sich der Fahrschüler dem Fahrzeug 20 zu schnell nähern, zu nahe an das Fahrzeug 20 heranrücken oder dergleichen, kann das autonome Fahrzeug 10 entsprechend handeln.
Wenn beispielsweise genügend Zeit verfügbar ist, kann das autonome Fahrzeug 10 dem Fahrschüler die Notwendigkeit mitteilen, langsamer zu werden, den Abstand in Bezug auf das andere Fahrzeug 20 zu vergrößern oder dergleichen. Wenn der Schüler angemessen reagiert, kann das autonome Fahrzeug 10 dem Fahrschüler die Kontrolle überlassen. Umgekehrt kann das autonome Fahrzeug 10 weitere Maßnahmen ergreifen, wenn der Schüler nicht angemessen oder ausreichend reagiert. Bei dieser weiteren Maßnahme kann es sich um zusätzliche Anweisungen für den Fahrschüler handeln, langsamer zu werden, den Abstand in Bezug auf das andere Fahrzeug 20 zu vergrößern oder dergleichen.
Sollte nicht genügend Zeit vorhanden sein, um einem Fahrschüler eine erforderliche Änderung mitzuteilen, oder sollte ein Fahrschüler nicht angemessen reagieren, nachdem eine oder mehrere Rückmeldungen zugestellt wurden, kann ein autonomes Fahrzeug 10 die Kontrolle über eine oder mehrere Kernfunktionen des autonomen Fahrzeugs 10 übernehmen, um das autonome Fahrzeug 10 innerhalb der geltenden Sicherheits- und gesetzlichen Grenzwerte zu halten. Sollte sich beispielsweise der Fahrschüler dem Fahrzeug 20 zu schnell nähern, zu nahe an das Fahrzeug 20 heranrücken oder dergleichen, kann das autonome Fahrzeug 10 das Gas wegnehmen, die Bremsen betätigen oder eine Kombination davon.
In ausgewählten Ausführungsformen kann ein autonomes Fahrzeug 10 beim Ergreifen von Maßnahmen die Kontrolle nur in dem bestimmten Bereich oder den bestimmten Bereichen, in dem bzw. denen eine Änderung erforderlich ist, dem Fahrschüler entziehen. Wenn beispielsweise die Geschwindigkeit das Problem ist, kann das autonome Fahrzeug 10 die Steuerung der Geschwindigkeit des Fahrzeugs 10 übernehmen und dem Fahrschüler die Kontrolle über das Lenken des Fahrzeugs 10 überlassen. Im Gegensatz dazu, wenn das Lenken das Problem ist (z. B. ein unangemessenes Driften innerhalb einer Spur 16), kann das autonome Fahrzeug 10 die Kontrolle über das Lenken des Fahrzeugs 10 übernehmen und dem Fahrschüler die Kontrolle über die Geschwindigkeit des Fahrzeugs 10 überlassen. Bezugnehmend auf die 3 und 4 kann in ausgewählten Ausführungsformen ein autonomes Fahrzeug 10 einem Fahrschüler über einen oder mehrere Kommunikationskanäle eine Rückmeldung geben. Beispielsweise kann einem Fahrschüler eine Rückmeldung visuell (z. B. über eine Holografie), akustisch (z. B. über Computersprache), durch andere Sinne des Fahrschülers (z. B. über eine Haptik) oder dergleichen oder eine Kombination oder eine Unterkombination davon bereitgestellt werden.
In bestimmten Ausführungsformen kann einem Fahrschüler beigebracht werden, unter Verwendung von Anweisungen, Rückmeldungen oder dergleichen, die zumindest teilweise über eine Head-up-Anzeige angezeigt oder kommuniziert werden, zu fahren. Eine Head-Up-Anzeige kann eine transparente Anzeige sein, die einem Fahrschüler Daten präsentiert, ohne dass der Fahrschüler vorher von einer Fahrumgebung des autonomen Fahrzeugs 10 wegsehen muss (z. B. in Richtung eines Armaturenbretts 22 oder der Instrumente, Anzeigen oder dergleichen). In ausgewählten Ausführungsformen kann eine solche transparente Anzeige unabhängig von einer Windschutzscheibe eines autonomen Fahrzeugs 10 sein. In anderen Ausführungsformen kann eine transparente Anzeige in eine Windschutzscheibe eines autonomen Fahrzeugs 10 eingebaut oder auf dieser angebracht sein.
Die auf einer Head-Up-Anzeige dargestellten Daten können ein oder mehrere Artefakte 24 umfassen. Artefakte 24 können Zahlen, Pfeile, hervorgehobene Regionen oder dergleichen sein, die aus der Perspektive eines Fahrschülers über der Fahrumgebung überlagert sind, die der Fahrschüler durch eine Windschutzscheibe eines autonomen Fahrzeugs 10 sieht.
Zum Beispiel kann in ausgewählten Ausführungsformen eine Head-up-Anzeige einen Fahrschüler trainieren, in der Mitte einer Spur 16 zu bleiben. Dies kann erreicht werden, indem ein oder mehrere Artefakte 24a, 24b angezeigt werden. Ein solches Artefakt 24a (z. B. eine Mittellinie, ein Mittelpfeil oder dergleichen) kann einen idealen Weg des autonomen Fahrzeugs 10 auf der Spur 16 repräsentieren oder darstellen. Ein anderes Artefakt 24b kann einen tatsächlichen Weg des autonomen Fahrzeugs 10 repräsentieren oder darstellen. Dementsprechend können sich die beiden Artefakte 24a, 24b überlagern, wenn ein Fahrschüler ein autonomes Fahrzeug 10 auf dem idealen Weg lenkt. Im Gegensatz dazu, wenn ein Fahrschüler ein autonomes Fahrzeug 10 nicht auf dem idealen Weg lenkt, kann das dem tatsächlichen Weg entsprechende Artefakt 24b proportional zu dem dem idealen Weg entsprechenden Artefakt 24a beabstandet sein.
Alternativ oder zusätzlich dazu kann eine Head-up-Anzeige einen Fahrschüler trainieren, in der Mitte einer Spur 16 zu bleiben, indem ein oder mehrere Artefakte 24c angezeigt werden, die eine oder mehrere Spurmarkierungen 26 hervorheben. Sollte beispielsweise ein Fahrschüler ein autonomes Fahrzeug 10 von einem idealen Weg herunter und in Richtung einer oder auf eine Spurherstellung 26 fahren, kann ein Artefakt 24c, das den Spurhersteller 26 überlagert (d. h. aus der Perspektive des Fahrschülers überlagert), aufleuchten, blinken oder dergleichen, um den Fahrschüler zu lehren, die Fahrspurmarkierung 26 zu respektieren oder sich dieser bewusster zu sein.
In ausgewählten Ausführungsformen können ein oder mehrere Artefakte 24 ein oder mehrere Verkehrszeichen 28 hervorheben oder darauf aufmerksam machen. Sollte beispielsweise ein autonomes Fahrzeug 10 ein wichtiges Zeichen 28 (z. B. ein Stoppschild, ein Geschwindigkeitsbegrenzungsschild, ein Vorfahrtsschild oder dergleichen) detektieren, wird ein Artefakt 24d, welches das Zeichen 28 überlagert oder einkreist (d. h. aus der Perspektive des Fahrschülers), aufleuchten, blinken oder dergleichen, um den Fahrschüler zu lehren, das Zeichen 28 zu respektieren oder sich diesem bewusster zu sein. In bestimmten Ausführungsformen können ausgewählte Artefakte 24 „ausgeschaltet“ oder ungenutzt gelassen werden, wenn ein Fahrschüler seinen Lernprozess vorantreibt.
In ausgewählten Ausführungsformen kann ein autonomes Fahrzeug 10 die Fahraktivität eines Fahrschülers sowie Grundwahrheitsdaten (z. B. Daten, die charakterisieren, wie das autonome Fahrzeug 10 eine Fahrumgebung wahrgenommen hat, wie das autonome Fahrzeug 10 in einer Fahrumgebung navigiert hätte, oder dergleichen oder eine Kombination davon) protokollieren. Dies kann es einem Fahrschüler ermöglichen, seine Fahrleistung mit der Grundwahrheit zu vergleichen und zu erfahren, wo er sich verbessern muss.
Beispielsweise kann ein autonomes Fahrzeug 10 bestimmte Lokalisierungs- und Wegverfolgungsalgorithmen nutzen, um einen Weg zu protokollieren, den der Fahrschüler genommen hat. Dieses Protokoll kann an Bord des autonomen Fahrzeugs 10 verwendet werden, um einem Fahrschüler eine Rückmeldung zu geben. Beispielsweise kann in ausgewählten Situationen, in denen der Fehler oder die Differenz zwischen den Steueranweisungen eines Fahrschülers und dem idealen Weg oder Verhalten, das vom autonomen Fahrzeug 10 identifiziert wird, eine „Gefahrenschwelle“ überschreitet, das autonome Fahrzeug 10 die Kontrolle über die Kernfunktionen von dem Fahrschüler übernehmen und das autonome Fahrzeug 10 sicher parken. Dann kann das Protokoll (z. B. die Videowiedergabe) verwendet werden, um dem Fahrschüler zu zeigen, wo er übermäßig vom idealen Weg oder Verhalten abgewichen ist.
In ausgewählten Ausführungsformen kann ein von einem autonomen Fahrzeug 10 erfasstes Protokoll von dem autonomen Fahrzeug 10 übertragen werden (z. B. über ein Telekommunikationsnetzwerk auf einen entfernten Server hochgeladen), sodass von einem oder mehreren anderen Computern darauf zugegriffen werden kann. Wenn ein Fahrschüler nach Hause kommt, kann er dementsprechend eine Computervorrichtung in seinem Besitz verwenden, um eine Grafik oder eine andere Ausgabe zu sehen, die den von ihm eingeschlagenen Weg mit der Grundwahrheit vergleicht.
In bestimmten Ausführungsformen kann ein Fahrschüler das Fahren zu Hause unter Verwendung eines passenden Spielsystems üben, das eine fahrzeugbasierte Aufzeichnung oder Wiedergabe verwendet, um ein Delta zwischen dem Weg, den er einschlägt, und dem Grundwahrheitsweg (z. B. dem idealen Weg) weiter zu reduzieren, bis das Delta kleiner als ein Schwellenwert ist. Auf diese Weise kann ein Fahrschüler alles vom zentrierten Bleiben auf einer Spur 16 bis zum Ausüben von Bremsdruck an einer geeigneten Stelle oder zu einer geeigneten Zeit vor einem Anhalten oder Abbiegen üben. Somit können Systeme und Verfahren gemäß der vorliegenden Erfindung ohne die Kosten oder den Verschleiß, die mit der Verwendung des autonomen Fahrzeugs 10 verbunden sind, zusätzliches Training bereitstellen, unterstützen oder ermöglichen.
In ausgewählten Ausführungsformen können spezielle Regeln und Trainings verwendet werden, um einen Fahrer mit Behinderung mit einem zusätzlichen Training zu unterstützen, das auf ein oder mehrere anwendbare Behinderungen zugeschnitten ist. Alternativ oder zusätzlich dazu kann ein Fahrschüler zu Beginn einer Trainingseinheit Informationen übermitteln oder eingeben, die eine oder mehrere Fahraktivitäten identifizieren, die für den Schüler besonders schwierig sind. Beispielsweise kann ein Fahrschüler angeben, dass er Schwierigkeiten mit dem Längseinparken hat. Dementsprechend kann das autonome Fahrzeug 10 während der Trainingseinheit das Fahrerlebnis so anpassen, dass es mehr Längseinparkmöglichkeiten beinhaltet. Auf diese Weise können Systeme und Verfahren gemäß der vorliegenden Erfindung angepasst werden, um die spezifischen Bedürfnisse spezifischer Fahrschüler besser zu erfüllen.
In ausgewählten Ausführungsformen kann ein autonomes Fahrzeug 10 dazu konfiguriert sein, Sprachanforderungen von einem Fahrschüler zu empfangen und richtig zu beantworten. Dementsprechend kann ein Fahrschüler während einer Trainingseinheit eine Aufforderung aussprechen, eine bestimmte Fähigkeit oder eine Reihe von Fähigkeiten zu üben. Alternativ oder zusätzlich dazu kann ein Fahrschüler während einer Trainingseinheit (z. B., während das autonome Fahrzeug 10 sicher geparkt ist) eine Bitte um Hilfe, zusätzliche Informationen, einen oder mehrere visuelle Hinweise (z. B. ein oder mehrere Artefakte 24) oder dergleichen aussprechen.
In bestimmten Ausführungsformen kann ein autonomes Fahrzeug 10 Belastungsniveaus eines Fahrschülers überwachen. Belastung kann mithilfe von Herzschlagmonitoren, tiefen neuronalen Netzwerken, die ein oder mehrere Bilder analysieren, die von einer nach innen gerichteten Kamera aufgenommen wurden, oder einem anderen Verfahren detektiert werden. Dementsprechend können von einem oder mehreren Insassensensoren 14c erfasste Daten (z. B. eine oder mehrere Kameras, die auf einen Fahrschüler des autonomen Fahrzeugs 10 gerichtet sind oder Bilder von diesem aufnehmen) verwendet werden, um das Belastungsniveau eines Fahrschülers zu charakterisieren. Abhängig vom detektierten Belastungsniveau kann eine Trainingseinheit abgebrochen werden oder die Trainingseinheit kann zu „einfacheren“ (z. B. aus Sicht des jeweiligen Fahrschülers) Trainingsmethoden oder - aktivitäten übergehen, bis das Belastungsniveau des Fahrschülers wieder ein akzeptables Niveau erreicht hat.
Systeme und Verfahren gemäß der vorliegenden Erfindung können weltweit verwendet werden, indem lokale Verkehrsregeln bereitgestellt (z. B. kalibriert) werden, die unter anderem das Fahren von der rechten Seite des Fahrzeugs 10 und auf der linken Seite der Straße 18 einschließen.
Unter Bezugnahme auf 5 kann ein System 12 gemäß der vorliegenden Erfindung auf jede geeignete Weise arbeiten, um die Anpassung eines autonomen Fahrerlebnisses zu unterstützen. Beispielsweise kann ein System 12 als Hardware, Software oder eine Kombination davon ausgeführt sein.
In ausgewählten Ausführungsformen kann ein System 12 Computer-Hardware und Computer-Software einschließen. Die Computer-Hardware eines Systems 12 kann einen oder mehrere Prozessoren 30, einen Speicher 32, eine oder mehrere Benutzerschnittstellen 34, andere Hardware 36 oder Ähnliches oder eine Kombination oder Unterkombination davon beinhalten. In bestimmten Ausführungsformen kann die Gesamtheit oder eine Untergruppe dieser Computer-Hardware Hardware sein, die bereits als Teil eines autonomen Fahrzeugs 10 enthalten ist. Das heißt, dass die Gesamtheit oder ein Teil der Computer-Hardware multifunktionell sein und Aufgaben ausführen kann, die bereits mit dem Betrieb des Fahrzeugs 10 assoziiert sind. Alternativ kann ein System 12 gemäß der vorliegenden Erfindung ausschließlich dazu bestimmt sein, autonomes Fahren und ausgewählte Anpassungen davon zu ermöglichen, zu unterstützen und/oder bereitzustellen.
Der Speicher 32 eines Systems 12 gemäß der vorliegenden Erfindung kann betriebsfähig mit dem einen oder den mehreren Prozessoren 30 verbunden sein und die Computer-Software speichern. Dies kann den einen oder die mehreren Prozessoren 30 dazu befähigen, die Computer-Software auszuführen. So kann ein System 12 die Funktionalität oder die Merkmale eines autonomen Fahrzeugs 10 durch Hinzufügen und/oder Ändern von Software, Hinzufügen von zusätzlicher Software zu dem autonomen Fahrzeug 10 oder eine Kombination davon erweitern.
Eine Benutzerschnittstelle 34 eines Systems 12 kann einem Ingenieur, Techniker, Insassen (z. B. einem Fahrschüler) oder dergleichen ermöglichen, mit verschiedenen Aspekten eines Systems 12 zu interagieren, sie auszuführen, anzupassen oder zu steuern. Eine Benutzerschnittstelle 34 kann es einem Benutzer ermöglichen, eine oder mehrere Einstellungen manuell zu steuern (z. B. durch Drücken einer Taste oder Drehen eines Knopfes auszuwählen, einzugeben, schrittweise zu erhöhen oder zu verringern) und/oder mündlich zu steuern (z. B. einen oder mehrere Befehle oder eine oder mehrere Anforderungen unter Verwendung seiner Stimme auszugeben), um eine Trainingseinheit anzupassen, um seinen spezifischen Bedürfnissen zu entsprechen. In ausgewählten Ausführungsformen kann eine Benutzerschnittstelle 34 eines Systems 12 eines/eine/ein oder mehrere Tasten, Schalter, Knöpfe, Tastenfelder, Tastaturen, Touchscreens, Zeigevorrichtungen, Mikrofone, Lautsprecher oder Videolautsprecher oder dergleichen oder eine Kombination oder Unterkombination davon beinhalten. Alternativ oder zusätzlich dazu kann eine Benutzerschnittstelle 34 einen oder mehrere Kommunikationsanschlüsse (z. B. Einsteckanschlüsse, drahtlose Kommunikationsanschlüsse usw.) umfassen, über die ein oder mehrere externe Computer oder eine oder mehrere Vorrichtungen mit einem System 12 oder einer oder mehreren Komponenten davon kommunizieren können.
In ausgewählten Ausführungsformen kann der Speicher 32 eines Systems 12 eine oder mehrere Protokolldateien 38 (zumindest zeitlich) speichern. Eine Protokolldatei 38 kann Informationen enthalten, die einen oder mehrere Aspekte einer Trainingseinheit kennzeichnen, die einem Fahrschüler entsprechen. Beispielsweise kann eine Protokolldatei 38 Daten enthalten, die die Aktivität eines Fahrschülers dokumentieren, sowie Grundwahrheitsdaten, die dieser Aktivität entsprechen. Somit kann in bestimmten Ausführungsformen eine Protokolldatei 38 den tatsächlichen Weg, den ein Fahrschüler durch eine Fahrumgebung eingeschlagen hat, mit einem idealen Weg durch diese Fahrumgebung verknüpfen.
Zusätzlich kann der Speicher 32 ein oder mehrere Softwaremodule speichern. Beispielsweise kann der Speicher 32 ein Kommunikationsmodul 40, ein Fahrerüberwachungsmodul 42, ein Sprachmodul 44, ein Protokollierungsmodul 46, ein Vergleichsmodul 48, ein Lehrmodul 50, ein autonomes Fahrmodul 52, ein Steuermodul 54, andere Daten oder eine Software 56 oder dergleichen oder eine Kombination oder Unterkombination davon speichern. Alternativ können eines oder mehrere von dem Kommunikationsmodul 40, dem Fahrerüberwachungsmodul 42, dem Sprachmodul 44, dem Protokollierungsmodul 46, dem Vergleichsmodul 48, dem Lehrmodul 50, dem autonomen Fahrmodul 52 und dem Steuermodul 54 als Hardware ausgeführt sein oder Hardware-Komponenten umfassen.
Während 5 das Kommunikationsmodul 40, das Fahrerüberwachungsmodul 42, das Sprachmodul 44, das Protokollierungsmodul 46, das Vergleichsmodul 48, das Lehrmodul 50, das autonome Fahrmodul 52 und das Steuermodul 54 als reine Softwaremodule zeigt, die im Speicher 34 gespeichert sind, können tatsächlich eines oder mehrere dieser Module 40, 42, 44, 46, 48, 50, 52, 54 Hardware, Software oder eine Kombination davon umfassen.
Ein Kommunikationsmodul 40 kann Daten, wie etwa eine oder mehrere Protokolldateien 38, Softwarekomponenten (z. B. ein oder mehrere Module 40, 42, 44, 46, 48, 50, 52, 54 oder Aktualisierungen davon) oder dergleichen oder Kombinationen von Unterkombinationen davon, die in ein oder aus einem System 12 gemäß der vorliegenden Erfindung geleitet werden sollen, ermöglichen. Beispielsweise kann ein Kommunikationsmodul 40, das Teil eines Systems 12 bildet, das an Bord eines autonomen Fahrzeugs 10 mitgeführt wird, diesem System 12 ermöglichen, eine oder mehrere vom System 12 erzeugte Protokolldateien 38 zu übertragen (z. B. drahtlos hochzuladen). Alternativ oder zusätzlich dazu kann ein Kommunikationsmodul 40 einem System 12 ermöglichen, eine Aktualisierung seines autonomen Fahrmoduls 52 zu empfangen. Dementsprechend können nach Bedarf oder Notwendigkeit außerhalb eines autonomen Fahrzeugs 10 entwickelte Verbesserungen an Bord gebracht werden.
Ein Fahrerüberwachungsmodul 42 kann eine Position der Augen des Fahrschülers in Bezug auf ein entsprechendes autonomes Fahrzeug 10 bestimmen. In Kenntnis der Position der Augen des Fahrschülers in Bezug auf das autonome Fahrzeug 10 und der Position verschiedener Merkmale in einer Fahrumgebung in Bezug auf das autonome Fahrzeug 10 kann ein System 12 berechnen, wo ein oder mehrere Artefakte 24 anzuzeigen sind, um mit diesen Merkmalen aus Sicht des Fahrschülers zu interagieren (z. B. sie hervorzuheben). In ausgewählten Ausführungsformen kann ein Fahrerüberwachungsmodul 42 eine Position der Augen des Fahrschülers mit einem autonomen Fahrzeug 10 bestimmen, indem ein oder mehrere Bilder analysiert werden, die von einer oder mehreren Kameras (z. B. Insassensensoren 14c in Form von Kameras) aufgenommen wurden, die auf den Fahrschüler gerichtet sind.
In bestimmten Ausführungsformen kann ein Fahrerüberwachungsmodul 42 Daten verwenden, die von einem oder mehreren Insassensensoren 14c ausgegeben werden, um ein Belastungsniveau eines Fahrschülers zu charakterisieren. Dies kann durch Überwachen von einer oder mehreren biologischen Funktionen (z. B. Gesichtsausdrücken, Augenaktivität, Körperhaltung, Handaktivität, Atmung oder dergleichen) eines Fahrschülers erfolgen.
Beispielsweise können in ausgewählten Ausführungsformen ein oder mehrere Sensoren 14c Daten zu einer Herzfrequenz eines Fahrschülers sammeln. Dementsprechend kann ein Fahrerüberwachungsmodul 42 unter Verwendung von Daten, die von diesen Sensoren 14c ausgegeben werden, eine Herzfrequenz des Fahrschülers verfolgen und mit angemessener Genauigkeit vorhersagen, wann der Fahrschüler einer signifikanten Belastung (z. B. einer Belastung über einem bestimmten Schwellenwert) ausgesetzt ist.
Alternativ oder zusätzlich dazu kann ein Fahrerüberwachungsmodul 42 ein künstliches neuronales Netzwerk (z. B. ein tiefes neuronales Netzwerk) umfassen, das so trainiert ist, dass es eine Belastung von mindestens einem Schwellenwert bei einem Fahrschüler detektiert. Das von einem solchen künstlichen neuronalen Netzwerk durchgeführte oder angewendete Deep Learning kann einen oder mehrere Algorithmen verwenden, um Abstraktionen auf hoher Ebene bei Daten zu modellieren, die einem oder mehreren Abschnitten eines oder mehrerer Bilder entsprechen, die von dem einen oder den mehreren Sensoren 14c erfasst wurden. In ausgewählten Ausführungsformen kann dies durch Verwenden mehrerer Verarbeitungsschichten erfolgen, die nichtlineare Transformationen umfassen. Beispielsweise kann ein künstliches neuronales Netzwerk Vorwärtskopplungs-Berechnungsgraphen mit Eingabeknoten, versteckten Schichten und Ausgabeknoten umfassen. Nach Klassifizierungen, die Bilder beinhalten, können Pixelwerte eines eingegebenen Bildes, das einen Teil der Klassifizierung ausbildet, Eingabeknoten zugewiesen werden, und dann durch das Netz zugeführt werden, wobei eine Anzahl von nichtlinearen Transformationen durchlaufen wird. Am Ende der Berechnung ergeben die Ausgabeknoten einen Wert, der der Klasse entspricht, die von dem neuronalen Netzwerk gefolgert wird.
Damit ein künstliches neuronales Netzwerk zwischen verschiedenen Klassen unterscheiden kann, muss es anhand von Beispielen trainiert werden. Um dementsprechend ein künstliches neuronales Netzwerk zu schaffen, das in der Lage ist, die Belastung eines Fahrschülers zu klassifizieren, muss eine große Sammlung von Beispielbildern (z. B. Hunderte bis Tausende von Bildern, die einem Belastungsniveau unterhalb eines Schwellenwerts entsprechen, und Hunderte bis Tausende von Bildern, die einem Belastungsniveau über dem Schwellenwert entsprechen) mit bekannten (z. B. gekennzeichneten) Belastungscharakteristika als Trainingsdaten verwendet werden. So kann unter Verwendung von Zurückverteilung ein neuronales Netzwerk trainiert werden.
Ein Sprachmodul 44 kann einem System 12 ermöglichen, Informationen, Befehle, Anforderungen oder dergleichen, die von einem Fahrschüler unter Verwendung seiner Stimme bereitgestellt werden, zu erkennen und zu verstehen. Dementsprechend kann in ausgewählten Ausführungsformen ein Sprachmodul 44 bestimmte Fähigkeiten in Bezug auf die automatische Spracherkennung (automatic speech recognition - ASR) und das natürliche Sprachverständnis (natural language understanding - NLU) bereitstellen, aktivieren oder unterstützen. Unter Nutzung solcher Technologien kann ein Sprachmodul 44 ermöglichen, dass ein oder mehrere Sprachbefehle oder -anforderungen (z. B. Wörter oder Sätze, die von einem Fahrschüler an das autonome Fahrzeug 10 oder ein oder mehrere Systeme 12 davon gesprochen werden) richtig interpretiert werden.
Ein Protokollierungsmodul 46 kann dazu programmiert sein, die Fahraktivität eines Fahrschülers sowie Grundwahrheitsdaten (z. B. Daten, die charakterisieren, wie das autonome Fahrzeug 10 eine Fahrumgebung wahrgenommen hat, wie das autonome Fahrzeug 10 in einer Fahrumgebung navigiert hätte, oder dergleichen oder eine Kombination davon) zu protokollieren. In ausgewählten Ausführungsformen kann ein Protokollierungsmodul 46 solche Informationen durch Erzeugen einer oder mehrerer Protokolldateien 38 protokollieren. Dementsprechend kann ein Fahrschüler auf eine oder mehrere Protokolldateien 38 zugreifen, die durch das Protokollierungsmodul 46 erzeugt werden, um seine Fahrleistung mit der Grundwahrheit zu vergleichen und zu erfahren, wo er verbessert werden muss.
In ausgewählten Ausführungsformen können eine oder mehrere von einem Protokollierungsmodul 46 erzeugte Protokolldateien 38 eine oder mehrere Videodateien enthalten oder mit einer oder mehreren Videodateien verknüpft sein, die von einem oder mehreren Sensoren 14 (z. B. Kameras) eines autonomen Fahrzeugs 10 erfasst wurden. Dementsprechend kann der Schüler, wenn ein Fahrschüler auf eine oder mehrere Protokolldateien 38 zugreift, die von dem Protokollierungsmodul 46 erzeugt wurden, auch auf Videos zugreifen, die von einem autonomen Fahrzeug 10 während einer Trainingseinheit aufgenommen wurden. Ein solches Video kann einem Fahrschüler ermöglichen, Bereiche, in denen er sich verbessern muss, deutlicher zu visualisieren.
Ein Vergleichsmodul 48 kann dazu programmiert sein, zu bestimmen, ob es angemessen wäre (z. B., ob es sicher und legal wäre), auf eine oder mehrere Steuereingaben oder Anweisungen, die von einem Fahrschüler empfangen wurden oder diesem entsprechen, zu reagieren oder diese umzusetzen. In ausgewählten Ausführungsformen kann dies das Vergleichen der Auswirkungen einer oder mehrerer solcher Steuereingaben oder Anweisungen mit einer oder mehreren Regeln umfassen, um zu bestimmen, ob das Reagieren auf die eine oder mehreren Steuereingaben oder Anweisungen oder das Umsetzen dieser eine der Regeln verletzen würde. Wenn die eine oder die mehreren Steuereingaben oder Anweisungen keine Regeln verletzen würden, kann ein Vergleichsmodul 48 anzeigen, dass die eine oder die mehreren Steuereingaben oder Anweisungen umgesetzt werden sollten. Im Gegensatz dazu, wenn eine oder mehrere Steuereingaben oder Anweisungen gegen Regeln verstoßen würden, kann ein Vergleichsmodul 48 anzeigen, dass die eine oder mehreren Steuereingaben oder Anweisungen nicht umgesetzt werden sollten. Beispielsweise kann das Vergleichsmodul 48 anzeigen, dass die eine oder mehreren Steuereingaben oder Anweisungen ignoriert werden sollten und dass eine oder mehrere Aktionen, die von einem autonomen Fahrmodul 52 vorgegeben werden, umgesetzt werden sollten.
Ein Lehrmodul 50 kann dazu programmiert sein, einem Fahrschüler eine Rückmeldung zu geben. In ausgewählten Ausführungsformen kann ein Lehrmodul 50 dem Fahrschüler eine akustische und/oder visuelle Rückmeldung bereitstellen, um den Fahrschüler darüber zu unterrichten, wie er innerhalb aller anwendbaren Sicherheits- und gesetzlichen Schwellenwerte arbeiten soll. Wenn sich beispielsweise ein Fahrschüler einem anderen Fahrzeug 20 zu schnell nähert, kann ein Lehrmodul 50 dem Fahrschüler die Notwendigkeit zum Verlangsamen, Vergrößern des Abstands in Bezug auf das andere Fahrzeug 20 oder dergleichen akustisch und/oder visuell mitteilen. In ausgewählten Ausführungsformen kann ein Lehrmodul 50 eine Head-Up-Anzeige und die darauf dargestellten Artefakte 24 steuern.
Ein autonomes Fahrmodul 52 kann ein umfangreiches Untersystem sein, das zur Verwendung verschiedener Informationseingaben (z. B. Sensordaten, Bilder oder dergleichen von einem oder mehreren Sensoren 14, GPS-Daten, digitalen Karten oder dergleichen oder einer Kombination oder einem Untersystem) sein, um zu entscheiden, wie ein entsprechendes autonomes Fahrzeug 10 zu fahren ist. Dementsprechend kann ein autonomes Fahrmodul 52 bestimmen, wann zu beschleunigen, wie schnell zu fahren, wann zu verlangsamen, wie schwer zu bremsen, wann nach links und wie weit nach links, wann nach rechts und wie weit nach rechts abzubiegen ist oder dergleichen oder eine beliebige andere Funktion oder einen beliebigen anderen Vorgang, für die bzw. den eine autonome Steuerung erwünscht ist.
Ein autonomes Fahrmodul 52 kann einen erheblichen Spielraum bei der Entscheidung aufweisen, wie in der Reihe von Optionen und Bedingungen zu navigieren ist, die beim Fahren in der realen Welt zu finden sind. Dementsprechend ist, wenn ein autonomes Fahrmodul 52 entscheidet, auf einer Strecke, einem Straßenabschnitt oder dergleichen auf eine bestimmte Art und Weise zu navigieren, diese bestimmte Art und Weise normalerweise nicht die einzige Art und Weise ist, um sicher und legal auf der Strecke, dem Straßenabschnitt usw. zu navigieren. Beispielsweise kann ein autonomes Fahrmodul 52 entscheiden, eine bestimmte Kurve mit 20 Meilen pro Stunde zu fahren. In Anbetracht der Geometrie der Kurve und der aktuellen Straßenverhältnisse kann ein Geschwindigkeitsbereich für die sichere und legale Fahrt um die Kurve zwischen etwa 5 Meilen pro Stunde und etwa 25 Meilen pro Stunde liegen. Somit können die von dem autonomen Fahrmodul 52 festgelegten 20 Meilen pro Stunde eine von vielen akzeptablen Lösungen zum Navigieren in der Kurve sein.
Gleichermaßen kann ein autonomes Fahrmodul 52 entscheiden, eine bestimmte Route zu einem Ziel zu nehmen. Angesichts der verfügbaren Straßen können jedoch mehrere Routen dem autonomen Fahrzeug 10 ermöglichen, das Ziel in einer vergleichbaren Zeitspanne zu erreichen. Somit kann die von dem autonomen Fahrmodul 52 bestimmte Route eine von vielen akzeptablen Routen zum Erreichen des Ziels sein.
In ausgewählten Ausführungsformen kann ein autonomes Fahrmodul 52 eine Vielzahl von Standardeinstellungen beinhalten. Standardeinstellungen können einem autonomen Fahrzeug 10 ermöglichen, zu entscheiden, wie es betrieben werden soll, wenn mehrere akzeptable Optionen verfügbar sind. Wenn beispielsweise ein Algorithmus eines autonomen Fahrmoduls 52 die Geometrie einer Kurve und die aktuellen Straßenbedingungen berücksichtigen und eine maximale sichere Geschwindigkeit durch die Kurve bestimmen soll, könnte eine Standardeinstellung vorschreiben, dass ein autonomes Fahrzeug 10 die Kurve bei 80 % dieser Höchstgeschwindigkeit navigiert. Gleichermaßen könnte, wenn ein Navigationssystem eines autonomen Fahrmoduls 52 mehrere mögliche Routen zu einem Ziel identifizieren würde, eine Standardeinstellung vorschreiben, dass ein autonomes Fahrzeug 10 die Route nimmt, die die geringste Zeit benötigt.
Dementsprechend kann ein Fahrschüler ein autonomes Fahrzeug 10 anders fahren als ein autonomes Fahrmodul 52 und dennoch mit Sicherheits- und gesetzlichen Anforderungen konform bleiben (z. B. innerhalb gewisser vorbestimmter physikalischer und gesetzlicher Schwellenwerte bleiben). Somit kann einem Fahrschüler ein erheblicher Ermessensspielraum eingeräumt werden (z. B. durch ein Vergleichsmodul 48), solange keine Sicherheits- oder gesetzlichen Anforderungen verletzt werden.
Ein Steuermodul 54 kann dazu programmiert sein, eine oder mehrere Aktionen oder Funktionen basierend auf einer oder mehreren Bestimmungen, die von einem Vergleichsmodul 48, einem autonomen Fahrmodul 52 oder einer Kombination davon vorgenommen werden, anzufordern, einzuleiten oder auszuführen. Wenn beispielsweise ein autonomes Fahrmodul 52 bestimmt, dass ein autonomes Fahrzeug 10 maximal bremsen soll, kann ein Steuermodul 52 einen oder mehrere Aktoren steuern, um diese Bestimmung durchzuführen.
Unter Bezugnahme auf 6 kann in ausgewählten Ausführungsformen ein Verfahren 58 zum Durchführen einer Fahrerausbildung mit einem autonomen Fahrzeug 10 das Wahrnehmen 60 (z. B. über einen oder mehrere Sensoren 14) einer das autonome Fahrzeug 10 umgebenden Fahrumgebung beinhalten. Dementsprechend kann das autonome Fahrzeug 10 basierend auf seiner Wahrnehmung der Fahrumgebung einen autonomen Plan zum Navigieren in der Fahrumgebung erzeugen 62 (kann z. B. eine oder mehrere Standardeinstellungen anwenden, wenn entschieden wird, wie bei einem oder mehreren Merkmalen in einer Fahrumgebung navigiert werden soll).
An einem gewissen Punkt kann ein autonomes Fahrzeug 10 die Aktivität eines Fahrers interpretieren 64. Eine solche Aktivität kann eine oder mehrere biologische Funktionen, wie etwa die Herzfrequenz oder dergleichen, beinhalten. Alternativ oder zusätzlich dazu kann eine solche Aktivität eine Fahrersteueraktivität (z. B. eine oder mehrere Steuereingaben oder Anweisungen in Bezug auf Lenken, Beschleunigen, Bremsen oder dergleichen) eines Fahrschülers beinhalten. Eine solche Steueraktivität und die entsprechende Grundwahrheit können zur zukünftigen Bezugnahme protokolliert 66 werden.
Ein autonomes Fahrzeug 10 kann vorhersagen 68, ob die Auswirkungen der Fahrersteueraktivität sicher und legal sind. Wenn ein autonomes Fahrzeug 10 vorhersagt 68, dass die Auswirkungen zu einer Situation führen würden, die unsicher oder illegal ist, kann das autonome Fahrzeug 10 entscheiden 70, einen oder mehrere Aspekte der Fahrersteueraktivität zu ignorieren und an ihrer Stelle einen oder mehrere Aspekte des autonomen Plans auszuführen 72. Im Gegensatz dazu, wenn ein autonomes Fahrzeug 10 vorhersagt 68, dass die Auswirkungen zu einer Situation führen würden, die sicher und legal ist, kann das autonome Fahrzeug 10 entscheiden 70, die Fahrersteueraktivität umzusetzen 74.
Nachdem die Fahrersteueraktivität umgesetzt 74 wurde, kann eine Bestimmung 76 erfolgen, ob einem Fahrschüler eine bestimmte Rückmeldung bereitgestellt werden soll. Wenn entschieden 76 wird, dass eine Rückmeldung angemessen ist, kann die Rückmeldung bereitgestellt 78 werden. Solch eine Rückmeldung kann positiv (z. B. Ergänzung des Fahrschülers) oder negativ (z. B. Identifizierung eines verbesserungsbedürftigen Bereichs) sein. Nachdem die Rückmeldung bereitgestellt 78 wurde oder wenn keine Rückmeldung bereitgestellt werden soll, kann das Verfahren 58 fortgesetzt werden und verschiedene Schritte davon können wiederholt werden. Somit kann ein autonomes Fahrzeug 10 gemäß der vorliegenden Erfindung kontinuierlich eine Fahrumgebung wahrnehmen 60, einen Plan zum autonomen Navigieren in der Fahrumgebung erzeugen 62 oder aktualisieren 62 und eine Aktivität (z. B. eine Steueraktivität) des Fahrschülers bewerten.
Als ein Punkt innerhalb eines Verfahrens 58 gemäß der vorliegenden Erfindung kann eine Bestimmung 80 erfolgen werden, ob das Belastungsniveau eines Fahrschülers einen Belastungsschwellenwert überschreitet. Zum Beispiel kann in ausgewählten Ausführungsformen eine solche Bestimmung 80 in Verbindung mit (z. B. nach) dem Interpretieren 64 einer bestimmten Fahreraktivität erfolgen. Wenn ein autonomes Fahrzeug 10 bestimmt 80, dass das Belastungsniveau des Fahrschülers einen Belastungsschwellenwert überschreitet, kann das autonome Fahrzeug 10 dem Fahrschüler die Kontrolle entziehen und den autonomen Plan ausführen 72. Dadurch kann sich der Fahrschüler entspannen. Sobald der Fahrschüler entspannter ist, kann die Steuerung des autonomen Fahrzeugs 10 zurückgegeben werden. Im Gegensatz dazu, wenn ein autonomes Fahrzeug 10 bestimmt 80, dass das Belastungsniveau des Fahrschülers einen Belastungsschwellenwert nicht überschreitet, kann das autonome Fahrzeug 10 dem Fahrschüler die Kontrolle über das autonome Fahrzeug 10 überlassen.
Wenn ein autonomes Fahrzeug 10 einem Fahrschüler die Kontrolle entzieht und den autonomen Plan ausführt 72 (d. h. die Verantwortung für das Fahren des autonomen Fahrzeugs 10 übernimmt), besteht im Allgemeinen die Notwendigkeit, dem Fahrschüler eine Erklärung bereitzustellen. Dementsprechend kann, wenn ein autonomes Fahrzeug 10 einem Fahrschüler die Kontrolle entzieht und den autonomen Plan ausführt 72, das autonome Fahrzeug 10 dem Fahrschüler auch eine Rückmeldung 78 bereitstellen.
Das Ablaufdiagramm in 6 veranschaulicht die Architektur, Funktionalität und den Betrieb möglicher Umsetzungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen gemäß der vorliegenden Erfindung. In dieser Hinsicht kann jeder Block in dem Ablaufdiagramm ein Modul, ein Segment oder einen Abschnitt eines Codes darstellen, das bzw. der eine oder mehrere ausführbare Anweisungen zum Implementieren der spezifizierten logischen Funktion(en) umfasst. Es ist außerdem anzumerken, dass jeder Block der Ablaufdiagrammdarstellung sowie Kombinationen der Blöcke in der Ablaufdiagrammdarstellung von Hardware-basierten Systemen für spezielle Zwecke, welche die spezifizierten Funktionen oder Aktionen ausführen oder Kombinationen aus Hardware für spezielle Zwecke und Computeranweisungen umgesetzt werden können. Außerdem ist anzumerken, dass in einigen alternativen Umsetzungen die in den Blöcken vermerkten Funktionen in einer anderen als der in der Figur dargestellten Reihenfolge auftreten können. In bestimmten Ausführungsformen können zwei Blöcke, die aufeinanderfolgend gezeigt sind, eigentlich im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können manchmal in umgekehrter Reihenfolge ausgeführt werden, je nach der beteiligten Funktionalität. Alternativ können bestimmte Schritte oder Funktionen ausgelassen werden, wenn sie nicht benötigt werden.
In der vorstehenden Offenbarung wurde auf die beigefügten Zeichnungen Bezug genommen, die einen Teil davon bilden und in denen als Veranschaulichung konkrete Umsetzungen gezeigt sind, in denen die Offenbarung in der Praxis ausgeführt werden kann. Es versteht sich, dass andere Umsetzungen verwendet werden können und strukturelle Änderungen vorgenommen werden können, ohne vom Schutzumfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Patentschrift auf „eine Ausführungsform“, „ein Ausführungsbeispiel“, „ausgewählte Ausführungsformen“, „bestimmte Ausführungsformen“ usw. geben an, dass die beschriebene Ausführungsform oder die beschriebenen Ausführungsformen ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft einschließen kann bzw. können; nicht jede Ausführungsform muss jedoch notwendigerweise diese(s) bestimmte Merkmal, Struktur oder Eigenschaft einschließen. Darüber hinaus beziehen sich derartige Formulierungen nicht unbedingt auf dieselbe Ausführungsform. Ferner sei darauf hingewiesen, dass, wenn ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben ist, es im Bereich des Fachwissens des Fachmanns liegt, ein(e) derartige(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen zu bewirken, ob dies nun ausdrücklich beschrieben ist oder nicht.
Umsetzungen der hierin offenbarten Systeme, Vorrichtungen und Verfahren können einen Spezial- oder Universalcomputer umfassen oder verwenden, der Computerhardware beinhaltet, wie zum Beispiel einen oder mehrere Prozessoren und einen oder mehrere Systemspeicher, wie hierin erörtert. Umsetzungen innerhalb des Schutzumfangs der vorliegenden Offenbarung können zudem physische und andere computerlesbare Medien zum Transportieren oder Speichern von computerausführbaren Anweisungen und/oder Datenstrukturen beinhalten. Bei derartigen computerlesbaren Medien kann es sich um beliebige verfügbare Medien handeln, auf die durch ein Universal- oder Spezialcomputersystem zugegriffen werden kann. Bei computerlesbaren Medien, die computerausführbare Anweisungen speichern, handelt es sich um Computerspeichermedien (-vorrichtungen). Bei computerlesbaren Medien, die computerausführbare Anweisungen transportieren, handelt es sich um Übertragungsmedien. Daher können Umsetzungen der Offenbarung beispielsweise und nicht einschränkend mindestens zwei deutlich unterschiedliche Arten von computerlesbaren Medien umfassen: Computerspeichermedien (-vorrichtungen) und Übertragungsmedien. Computerspeichermedien (-vorrichtungen) beinhalten RAM, ROM, EEPROM, CD-ROM, Festkörperlaufwerke (Solid State Drives - SSDs) (z. B. basierend auf RAM), Flash-Speicher, Phasenänderungsspeicher (Phase-Change Memory - PCM), andere Speicherarten, andere optische Plattenspeicher, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder ein beliebiges anderes Medium, das verwendet werden kann, um die gewünschten Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu speichern, und auf das durch einen Universal- oder Spezialcomputer zugegriffen werden kann.
Eine Umsetzung der hier offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere (entweder festverdrahtete, drahtlose oder eine Kombination aus festverdrahteter oder drahtloser) Kommunikationsverbindung an einen Computer übertragen oder diesem bereitgestellt werden, sieht der Computer die Verbindung korrekt als Übertragungsmedium an. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen beinhalten, die dazu verwendet werden können, gewünschte Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu transportieren, und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen des Vorstehenden sollen ebenfalls im Umfang computerlesbarer Medien eingeschlossen sein.
Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die bei Ausführung an einem Prozessor einen Universalcomputer, Spezialcomputer oder eine Spezialverarbeitungsvorrichtung dazu veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen durchzuführen. Die computerausführbaren Anweisungen können beispielsweise Binärdateien, Zwischenformatanweisungen, wie etwa Assemblersprache, oder sogar Quellcode sein. Obwohl der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben wurde, versteht es sich, dass der in den beigefügten Patentansprüchen definierte Gegenstand nicht notwendigerweise auf die vorstehend beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen sind vielmehr als beispielhafte Formen der Umsetzung der Patentansprüche offenbart.
Für den Fachmann versteht es sich, dass die Offenbarung in Netzwerkcomputerumgebungen mithilfe vieler Arten von Computersystemkonfigurationen praktisch umgesetzt werden kann, wozu gehören: ein Armaturenbrett-Fahrzeugcomputer, PCs, Desktop-Computer, Laptops, Nachrichtenprozessoren, Handgeräte, Multiprozessorsysteme, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbare Unterhaltungselektronik, Netzwerk-PCs, Minicomputer, Großcomputer, Mobiltelefone, PDAs, Tablets, Pager, Router, Switches, verschiedene Speichervorrichtungen und dergleichen. Die Offenbarung kann zudem in Umgebungen mit verteilten Systemen praktisch umgesetzt werden, in denen sowohl lokale Computersysteme als auch entfernte Computersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben ausführen. In einer Umgebung mit verteilten Systemen können sich Programmmodule sowohl in lokalen Speichervorrichtungen als auch in Fernspeichervorrichtungen befinden.
Ferner können die hier beschriebenen Funktionen gegebenenfalls in einem oder mehreren der Folgenden ausgeführt werden: Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten. Beispielsweise können eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASIC) dazu programmiert sein, eines bzw. einen oder mehrere der hier beschriebenen Systeme und Vorgänge auszuführen. Einige Ausdrücke werden in der gesamten Beschreibung und den Ansprüchen verwendet, um auf bestimmte Systemkomponenten Bezug zu nehmen. Der Fachmann wird erkennen, dass auf Komponenten durch unterschiedliche Bezeichnungen Bezug genommen werden kann. In dieser Schrift soll nicht zwischen Komponenten unterschieden werden, die sich dem Namen nach unterscheiden, nicht jedoch von der Funktion her.
Es ist anzumerken, dass die vorstehend erörterten Sensorausführungsformen Computerhardware, -software, -firmware oder eine beliebige Kombination davon umfassen können, um zumindest einen Teil ihrer Funktionen durchzuführen. Ein Sensor kann zum Beispiel einen Computercode beinhalten, der dazu konfiguriert ist, in einem oder mehreren Prozessoren ausgeführt zu werden, und kann eine Hardware-Logikschaltung/elektrische Schaltung beinhalten, die durch den Computercode gesteuert wird. Diese beispielhaften Vorrichtungen sind hier zu Veranschaulichungszwecken bereitgestellt und nicht als einschränkend gedacht. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen umgesetzt werden, wie es dem einschlägigen Fachmann bekannt ist. Zumindest einige Ausführungsformen der Offenbarung sind auf Computerprogrammprodukten ausgerichtet, die eine solche Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Derartige Software veranlasst bei Ausführung in einer oder mehreren Datenverarbeitungsvorrichtungen eine Vorrichtung dazu, wie hierin beschrieben zu arbeiten.
Während vorstehend verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben wurden, versteht es sich, dass diese lediglich als Beispiele dienen und nicht als Einschränkung. Für den einschlägigen Fachmann ist ersichtlich, dass verschiedene Änderungen an Form und Details daran vorgenommen werden können, ohne vom Geist und Schutzumfang der Offenbarung abzuweichen. Daher sollen die Breite und der Umfang der vorliegenden Offenbarung durch keine der vorstehend beschriebenen beispielhaften Ausführungsformen eingeschränkt werden, sondern sollen lediglich in Übereinstimmung mit den folgenden Patentansprüchen und ihren Äquivalenten definiert sein. Die vorstehende Beschreibung wurde zur Veranschaulichung und Beschreibung dargelegt. Damit wird keinerlei Anspruch auf Vollständigkeit erhoben, und sie ist nicht dazu gedacht, die Offenbarung auf die konkrete offenbarte Form zu beschränken. Hinsichtlich der vorstehenden Lehren sind viele Modifikationen und Abwandlungen möglich. Ferner ist anzumerken, dass beliebige oder alle der vorgenannten alternativen Umsetzungen in einer beliebigen gewünschten Kombination verwendet werden können, um zusätzliche Hybridumsetzungen der Offenbarung zu bilden.

Claims

Verfahren, umfassend: Erzeugen eines Plans zum Navigieren in einer Umgebung durch ein autonomes Fahrzeug; Empfangen von Anweisungen zum Navigieren in der Umgebung von einem Fahrschüler durch das autonome Fahrzeug; Umsetzen der Anweisungen durch das autonome Fahrzeug, wenn das autonome Fahrzeug bestimmt, dass dies sicher und legal ist; und Ausführen des Plans durch das autonome Fahrzeug, wenn das autonome Fahrzeug bestimmt, dass das Umsetzen der Anweisungen nicht sicher und legal wäre.
Verfahren nach Anspruch 1, ferner umfassend das Bereitstellen einer visuellen Rückmeldung an den Fahrschüler auf einer Head-up-Anzeige bezüglich einer Fahrleistung des Fahrschülers durch das autonome Fahrzeug während des Umsetzens und Ausführens.
Verfahren nach Anspruch 2, wobei die visuelle Rückmeldung einer Abweichung eines aktuellen Standorts des autonomen Fahrzeugs innerhalb einer Fahrspur der Umgebung von einem idealen Standort des autonomen Fahrzeugs innerhalb der Fahrspur entspricht.
Verfahren nach Anspruch 2, wobei die visuelle Rückmeldung ferner eine Anzeige eines begrenzten Rahmens um ein Verkehrszeichen in der Umgebung durch die Head-up-Anzeige aus der Perspektive des Fahrschülers umfasst.
Verfahren nach Anspruch 4, wobei das Verkehrszeichen ein Stoppschild oder ein Geschwindigkeitsbegrenzungszeichen ist.
Verfahren nach Anspruch 2, ferner umfassend das Speichern eines Protokolls der Fahrleistung und des Plans durch das autonome Fahrzeug im Speicher.
Verfahren nach Anspruch 6, ferner umfassend das Senden des Protokolls durch das autonome Fahrzeug an eine Rechenvorrichtung, auf die der Fahrschüler außerhalb des autonomen Fahrzeugs zugreifen kann.
Verfahren nach Anspruch 1, ferner umfassend das Überwachen einer oder mehrerer biologischer Funktionen des Fahrschülers durch das autonome Fahrzeug.
Verfahren nach Anspruch 8, ferner umfassend das Bestimmen eines Belastungsniveaus des Fahrschülers durch das autonome Fahrzeug basierend auf der einen oder den mehreren biologischen Funktionen.
Verfahren nach Anspruch 9, ferner umfassend das Ändern einer für den Fahrschüler einfacheren Trainingseinheit durch das autonome Fahrzeug, wenn das autonome Fahrzeug bestimmt, dass das Belastungsniveau über einem Schwellenwert liegt.
Verfahren, umfassend: Durchführen einer Trainingseinheit durch ein autonomes Fahrzeug, das eine Head-up-Anzeige umfasst, wobei bei einem Fahrschüler, der an Bord des autonomen Fahrzeugs befördert wird, das Fahren trainiert wird; Annäherung eines Straßenabschnitts durch ein autonomes Fahrzeug während des Durchführens; Erzeugen eines Plans zum Navigieren auf dem Straßenabschnitt durch ein autonomes Fahrzeug während des Durchführens; Empfangen von Anweisungen von einem Fahrschüler zum Navigieren auf dem Straßenabschnitt durch das autonome Fahrzeug während des Durchführens; Umsetzen der Anweisungen durch das autonome Fahrzeug während des Durchführens, wenn das autonome Fahrzeug bestimmt, dass dies sicher und legal ist; Ausführen des Plans durch das autonome Fahrzeug während des Durchführens, wenn das autonome Fahrzeug bestimmt, dass das Umsetzen der Anweisungen nicht sicher und legal wäre; Bereitstellen von visueller Rückmeldung durch das autonome Fahrzeug während des Durchführens für den Fahrschüler auf der Head-up-Anzeige in Bezug auf eine Fahrleistung des Fahrschülers; Überwachen einer oder mehrerer biologischer Funktionen des Fahrschülers durch das autonome Fahrzeug während des Durchführens; Bestimmen eines Belastungsniveaus des Fahrschülers durch das autonome Fahrzeug während des Durchführens auf der Grundlage der einen oder mehreren biologischen Funktionen; und Erleichtern der Trainingseinheit durch das autonome Fahrzeug während des Durchführens für den Fahrschüler, wenn das autonome Fahrzeug bestimmt, dass das Belastungsniveau über einem Schwellenwert liegt.
Verfahren nach Anspruch 11, wobei die visuelle Rückmeldung einer Abweichung eines aktuellen Standorts des autonomen Fahrzeugs innerhalb einer Fahrspur des Straßenabschnitts von einem idealen Standort des autonomen Fahrzeugs innerhalb der Fahrspur entspricht.
Verfahren nach Anspruch 12, wobei die visuelle Rückmeldung ferner eine Anzeige eines begrenzten Rahmens um ein Verkehrszeichen benachbart zum Straßenabschnitt durch die Head-up-Anzeige aus der Perspektive des Fahrschülers umfasst.
Verfahren nach Anspruch 13, wobei das Verkehrszeichen ein Stoppschild oder ein Geschwindigkeitsbegrenzungszeichen ist.
Verfahren nach Anspruch 13, ferner umfassend das Speichern eines Protokolls der Fahrleistung und des Plans durch das autonome Fahrzeug im Speicher.
Verfahren nach Anspruch 15, ferner umfassend das Senden des Protokolls durch das autonome Fahrzeug an eine Rechenvorrichtung, auf die der Fahrschüler außerhalb des autonomen Fahrzeugs zugreifen kann.
System, umfassend: ein autonomes Fahrzeug mit einer Head-up-Anzeige; mindestens einen Prozessor, der an Bord des autonomen Fahrzeugs mitgeführt wird; und Speicher, der betriebsmäßig mit dem mindestens einen Prozessor verbunden ist, wobei die Speichersoftware zu Folgendem programmiert ist: Durchführen einer Trainingseinheit, in der bei einem Fahrschüler, der an Bord des autonomen Fahrzeugs befördert wird, das Fahren trainiert wird, Erzeugen eines Plan für die Navigation auf einem Straßenabschnitt während der Trainingseinheit, Analysieren von Anweisungen, die von dem Fahrschüler zur Navigation auf dem Straßenabschnitt empfangen wurden, während der Trainingseinheit, Umsetzen der Anweisungen während der Trainingseinheit, wenn die Analyse ergibt, dass dies sicher und legal ist, Ausführen des Plans während der Trainingseinheit, wenn die Analyse ergibt, dass die Umsetzung der Anweisungen nicht sicher und legal wäre, Bereitstellen einer visuellen Rückmeldung für den Fahrschüler auf der Head-up-Anzeige hinsichtlich der Fahrleistung des Fahrschülers während der Trainingseinheit, Speichern eines Protokolls über die Fahrleistung und des Plans während der Trainingseinheit und Senden des Protokolls an ein entfernte Speichervorrichtung, sodass das Protokoll für den Fahrschüler außerhalb des autonomen Fahrzeugs zugänglich ist.
System nach Anspruch 17, wobei die Software ferner dazu programmiert ist, eine oder mehrere biologische Funktionen des Fahrschülers zu überwachen.
System nach Anspruch 18, wobei die Software ferner dazu programmiert ist, ein Belastungsniveau des Fahrschülers basierend auf der einen oder den mehreren biologischen Funktionen zu bestimmen.
System nach Anspruch 19, wobei die Software ferner dazu programmiert ist, die Trainingseinheit für den Fahrschüler zu erleichtern, wenn die Software bestimmt, dass das Belastungsniveau über einem Schwellenwert liegt.