-
Die vorliegende Erfindung betrifft die externe Steuerung autonomer Fahrzeuge. Insbesondere betrifft die vorliegende Erfindung ein Verfahren sowie ein System zur externen Steuerung eines autonomen Fahrzeugs.
-
Ein Fahrzeug ist ein mobiles Verkehrsmittel für den Transport von Personen oder Gütern. Bei dem Fahrzeug kann es sich daher sowohl um ein Personen- als auch um ein Nutzfahrzeug handeln. Zum Beispiel kann ein Fahrzeug ein Personenkraftwagen, ein Lastkraftwagen, ein Motorrad oder ein Traktor sein. Allgemein kann ein Fahrzeug als eine Vorrichtung aufgefasst werden, die einen Motor, ein Antriebsstrangsystem sowie Räder umfasst.
-
Ein autonomes Fahrzeug bewegt sich autonom im öffentlichen Straßenverkehr. Dazu kann ein autonomes Fahrzeug mit bordeigener Sensorik zur Erkennung seines Umfeldes ausgestattet sein (z.B. Kameras, Laserscanner, Radar) und die Möglichkeit besitzen, mit anderen Verkehrsteilnehmern oder auch Infrastruktur (z.B. Back-End, straßenseitige Infrastruktur wie Ampeln) zu kommunizieren. Ein autonomes Fahrzeug trifft Entscheidungen zu seinem operativen und taktischen Fahren auf Basis der erhaltenen Informationen selbst und kann in seinem Nahbereich auch mit anderen Verkehrsteilnehmern kooperieren.
-
Es sind Situationen vorstellbar, in denen von außen das Verhalten des autonomen Fahrzeugs beeinflusst werden soll. Beispielsweise Situationen, in denen es an die Grenzen seines Arbeitsbereiches stößt. Zum Beispiel kann es vorkommen, dass das autonome Fahrzeug den Verkehr anhand des eigenen Wissens nicht richtig einschätzen kann oder die Planung einer zu fahrenden Trajektorie nicht möglich ist. Weiterhin ist es vorstellbar, dass z.B. Fahrzeuginsassen eingreifen möchten, auch wenn keine konventionellen Bedieneinheiten (z. B. Lenkrad, Bremspedal) vorhanden sind. Dies kann etwa bei der genauen individuellen Festlegung des Anhalteortes („letzte 50 Meter“) gewünscht sein.
-
In Druckschrift
DE 10 2014 018 108 A1 wird ein Verfahren vorgeschlagen, bei dem eine Fahrzeugumgebung auf einer berührungsempfindlichen Anzeigevorrichtung ausgegeben wird. In dem Umgebungsbild wird eine Zielposition oder eine Trajektorie für das Fahrzeug vorgegeben. Aufgrund der perspektivischen Darstellung der Umgebung sowie der schwankenden Qualität der Eingaben über die berührungsempfindliche Anzeigevorrichtung kann die Bestimmung einer adäquaten Trajektorie für das Fahrzeug erschwert sein. Somit ist der Druckschrift
DE 10 2014 018 108 A1 keine Lösung zur effizienten externen Steuerung eines autonomen Fahrzeugs zu entnehmen.
-
Druckschrift
WO 2008/036805 A1 schlägt ein Verfahren vor, bei dem ein Weg in eine Karte eingezeichnet wird. Die Koordinaten des eingezeichneten Wegs werden als Wegpunkte für ein Fahrmanöver eines autonomen Fahrzeugs genutzt. Dabei erfolgt jedoch keinerlei Rückmeldung an einen Bediener über das konkrete Fahrmanöver bzw. die durch das Fahrzeug abzufahrende Trajektorie. Somit ist auch der Druckschrift
WO 2008/036805 A1 keine Lösung zur effizienten externen Steuerung eines autonomen Fahrzeugs zu entnehmen.
-
In Druckschrift
US 2009/0138151 A1 wird ein Verfahren zum Lokalisieren und Navigieren einer Vorrichtung vorgeschlagen, bei dem ein Trajektorie per Hand in eine Luftaufnahme eingezeichnet werden kann. Das Abfahren der Trajektorie erfolgt mit Hilfe von Signalen entlang der Trajektorie angeordneter Beacons. Auch hier erfolgt jedoch keinerlei Rückmeldung an einen Bediener über das konkrete Fahrmanöver bzw. die durch das Fahrzeug abzufahrende Trajektorie. Somit ist auch der Druckschrift
US 2009/0138151 A1 keine Lösung zur effizienten externen Steuerung eines autonomen Fahrzeugs zu entnehmen.
-
Es besteht somit ein Erfordernis, eine Möglichkeit bereitzustellen, ein autonomes Fahrzeug extern zu steuern.
-
Die vorliegende Erfindung ermöglicht dies durch ein Verfahren zur externen Steuerung eines autonomen Fahrzeugs. Dabei umfasst das Verfahren zunächst ein Ausgeben eines Kartenausschnitts sowie einer Position des autonomen Fahrzeugs darin an einen Benutzer. Damit können dem Benutzer zur Beurteilung der Situation Informationen über die (nähere) Umgebung des autonomen Fahrzeugs bereitgestellt werden. Beispielsweise kann eine digitale Karte des betroffenen Straßenabschnitts (z.B. inklusive Fahrstreifen, Bürgersteig, Bebauung, Einfahrten etc.) in einer Draufsicht (engl. bird view) an den Benutzer ausgegeben werden. In der Darstellung der digitalen Karte ist ferner das zu steuernde autonome Fahrzeug angezeigt. Die Ausgabe des Kartenausschnitts kann z.B. über eine Anzeige des autonomen Fahrzeugs, eine Anzeige eines fahrzeugexternen Bediengeräts (z.B. Tablet-Computer, Smartphone) oder eine Anzeige eines Kontrollzentrums für die externe Steuerung autonomer Fahrzeuge (engl. command center) erfolgen.
-
Weiterhin umfasst das Verfahren ein Empfangen einer ersten Benutzereingabe, wobei die Benutzereingabe ein gewünschtes Fahrmanöver anzeigt. Die erste Benutzereingabe kann z.B. ein Fahren bis zu einem festgelegten Punkt (z.B. x Meter in Fahrtrichtung, y Meter rückwärts oder eine Ortsangabe wie z.B. die nächste Raststätte), ein Ausführen eines festgelegten Fahrmanövers bis zu einem festgelegten Punkt (z.B. Umfahren eines Objekts links oder rechts herum bis zu einem bestimmten Punkt), ein Erreichen von festgelegten Zwischenpunkten oder ein Verändern der Geschwindigkeit umfassen. Mit anderen Worten: Der Benutzer macht mit Hilfe der ersten Benutzereingabe nur eine grundsätzliche Sollvorgabe. Die erste Benutzereingabe kann z.B. über ein Sprachkommando, eine Eingabe mittels eines Eingabegeräts (z.B. Maus, Tastatur, Trackball oder Stift und Grafiktablett) oder über eine Eingabe auf einer berührungsempfindlichen Anzeige erfolgen.
-
Das Verfahren umfasst ferner ein Berechnen zumindest einer Fahrtrajektorie für das autonome Fahrzeug basierend auf der ersten Benutzereingabe. Mit anderen Worten: Die Eingaben des Benutzers werden verarbeitet und in eine Fahrtrajektorie für das autonome Fahrzeug umgesetzt. Bei der Fahrtrajektorie handelt es sich um eine von dem autonomen Fahrzeug abzufahrende Bahnkurve, d.h. einen zeitabhängigen Verlauf der Position des autonomen Fahrzeugs. Die Fahrtrajektorie kann z.B. von dem autonomen Fahrzeug selbst, einem fahrzeugexternen Bediengerät, das die erste Benutzereingabe entgegennimmt, oder einem Back-End berechnet werden.
-
Ebenso umfasst das Verfahren ein Anzeigen der Fahrtrajektorie in dem Kartenausschnitt. Der Benutzer erhält somit eine Rückmeldung über die durch das Fahrzeug abzufahrende Fahrtrajektorie und kann somit die vorgeschlagene Fahrtrajektorie prüfen.
-
Nach Empfang einer zweiten Benutzereingabe, welche eine Zustimmung des Benutzers zu der Fahrtrajektorie anzeigt, umfasst das Verfahren zudem ein Senden von Informationen über die Fahrtrajektorie sowie einen Befehl, sich entlang der Fahrtrajektorie zu bewegen, an eine Steuervorrichtung des autonomen Fahrzeugs. Mit anderen Worten: Ist der Benutzer mit der vorgeschlagenen Fahrtrajektorie einverstanden, so wird das autonome Fahrzeug angewiesen, diese abzufahren. Der Benutzer ist somit zur Ausführung des gewünschten Fahrmanövers nicht Bestandteil des Regelkreises des autonomen Fahrzeugs, sondern macht nur grundsätzliche Sollvorgabe. Die Übermittlung der Informationen über die Fahrtrajektorie bzw. des Befehls kann z.B. mittels Funkkommunikation (z.B. über ein zellulares Netzwerk, ein drahtloses lokales Netzwerk, Bluetooth) oder auch leitungsgebunden (falls die Fahrtrajektorie im autonomen Fahrzeug selbst berechnet wird) geschehen.
-
Die einzelnen Schritte des Verfahrens können dabei auf einem oder mehreren Geräten ablaufen. Beispielsweis kann das Verfahren ganz oder teilweise auf dem autonomen Fahrzeug, ganz oder teilweise auf einem fahrzeugexternen Bediengerät (z.B. Smartphone oder Tablet-Computer) oder auch ganz oder teilweise in einem Kontrollzentrum (engl. command center) ablaufen. Das Verfahren kann eine externe Steuerung des autonomen Fahrzeugs ermöglichen.
-
Gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung erfolgt das Ausgeben des Kartenausschnitts auf einer berührungsempfindlichen Anzeige, wobei die erste Benutzereingabe ein Skizzieren eines graphischen Elements in dem Kartenausschnitts durch Berühren der berührungsempfindlichen Anzeige umfasst. Mit anderen Worten: Als Eingabe-Interface kann ein Touchscreen verwendet werden, der die Szene zeigt. Mittels der berührungsempfindlichen Anzeige kann eine für den Benutzer intuitive Möglichkeit für Benutzereingabe bereitgestellt werden. Zur Erhöhung der Präzision kann die Eingabe z.B. auch mit Hilfe eines Stiftes erfolgen. Dies könnte z.B. durch Zeichnen mit einem Stift auf einem Tablet-Computer durch einen Benutzer (z.B. Fahrzeuginsasse, oder Service-Techniker in der Nähe des autonomen Fahrzeugs) erfolgen. Eine entsprechende Eingabe könnte auch durch einen Benutzer in einem vom autonomen Fahrzeug entfernten Kontrollzentrum erfolgen. Auch könnte sich die berührungsempfindliche Anzeige im autonomen Fahrzeug selbst befinden (z.B. als Bestandteil eines Infotainmentsystems). Selbstverständlich kann die berührungsempfindliche Anzeige auch ohne Stift, d.h. mit einem oder mehreren Fingern, bedient werden.
-
In einigen Ausführungsbeispielen der vorliegenden Erfindung ist die Fahrtrajektorie für das autonome Fahrzeug eine aus einer Mehrzahl an berechneten und in dem Kartenausschnitt angezeigten Fahrtrajektorien. Mit anderen Worten: Bei der Planung der fahrbaren Fahrtrajektorien kann auch eine Trajektorienschar berechnet werden. Falls Alternativen bestehen, werden dem Benutzer somit mehrere mögliche ausführbare Fahrtrajektorien bzw. befahrbare Bahnen zur Erfüllung seiner Anweisungen (d.h. der ersten Benutzereingabe) angezeigt. Dabei umfasst die zweite Benutzereingabe ein Auswählen der Fahrtrajektorie für das autonome Fahrzeug aus der Mehrzahl an berechneten und in dem Kartenausschnitt angezeigten Fahrtrajektorien. Mit anderen Worten: Der Benutzer kann aus der Mehrzahl an berechneten und in dem Kartenausschnitt angezeigten Fahrtrajektorien auswählen. Dem Benutzer kann somit eine Mehrzahl möglicher Fahrtrajektorien bereitgestellt werden, aus welcher er nach seinen Vorlieben wählen kann. Ferner kann die Mehrzahl an berechneten und in dem Kartenausschnitt angezeigten Fahrtrajektorien eine Auswahl aller berechneten Fahrtrajektorien sein. Beispielsweise kann eine Trajektorienschar berechnet werden, aus der einzelne, nach einem festgelegten Kriterium ausgewählte Repräsentanten dem Benutzer zur Auswahl angezeigt werden. Somit kann eine Vorauswahl stattfinden, um dem Benutzer nur mögliche Fahrtrajektorien anzuzeigen, welche einem Kriterium (z.B. best. Abstand zu einem zu umfahrenden Objekt, möglichst geringe Wegstrecke etc.) genügen.
-
Gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung umfasst das Verfahren neben dem Ausgeben des Kartenausschnitts ferner ein Ausgeben eines momentanen Messwerts eines Sensors des autonomen Fahrzeugs, wobei der Messwert Informationen über einen Abstand eines außerhalb des autonomen Fahrzeugs befindlichen Objekts zu dem autonomen Fahrzeug umfasst. Bei dem Sensor des autonomen Fahrzeugs kann es sich z.B. um eine Kamera, ein Lasermesssystem oder ein Radarmesssystem des Fahrzeugs handeln. Der Messwert des Sensors kann dem Benutzer eine bessere Einschätzung der Umgebung des autonomen Fahrzeugs ermöglichen. So kann z.B. die Ausgabe der aktuellen Aufnahmen einer Kamera des Fahrzeugs dem Benutzer eine Beurteilung der Umgebung des autonomen Fahrzeugs erheblich vereinfachen aufgrund der zusätzlich enthaltenen Informationen. Der Benutzer kann somit auf weitere Informationen zurückgreifen, um das gewünschtes Fahrmanöver des autonomen Fahrzeugs zu bestimmen.
-
In einigen Ausführungsbeispielen der vorliegenden Erfindung ist in dem Kartenausschnitt weiterhin ein von einem Sensor des autonomen Fahrzeugs erfasstes Objekt und/oder ein von einer Entität (z.B. weiteres Fahrzeug, Infrastruktur) außerhalb des autonomen Fahrzeugs erfasstes Objekt und/oder ein wahrscheinlich durch das autonome Fahrzeug befahrbarer Bereich und/oder ein Betriebsparameter (z.B. Geschwindigkeit, aktuelle Bahnplanung, geplante Manöver, Planung zur Fahrtroute) des autonomen Fahrzeugs und/oder eine Fahrtrajektorie zumindest eines weiteren autonomen Fahrzeugs dargestellt. Dem Benutzer können dadurch weitere Informationen über die (nähere) Umgebung des autonomen Fahrzeugs für die Beurteilung der Situation bereitgestellt werden. Die dem Benutzer angezeigte Ansicht kann somit Informationen beinhalten, welche das autonome Fahrzeug mit seiner eigenen Sensorik gewonnen hat; Informationen, welche das autonome Fahrzeug von anderen Fahrzeugen (kollektive Perzeption) oder einer Infrastruktur (z.B. straßenseitige Sensorik) erhalten hat; als auch Informationen von externen Quellen (z.B. einem Back-End). Die von dem autonomen Fahrzeug gewonnen Informationen als auch die von externen Quellen (z.B. weitere Fahrzeuge, Infrastruktur) erhaltenen Informationen können z.B. an ein Back-End übermittelt und dort verarbeitet werden, um dem autonomen Fahrzeug als auch weiteren Fahrzeugen aufbereitet zur Verfügung gestellt werden zu können. In einer Ausführungsform können dem Benutzer z.B. folgende Informationen angezeigt werden:
- • digitale Karte des betroffenen Straßenabschnitts (z.B. inkl. Fahrstreifen, Bürgersteig, Bebauung, Einfahrten etc.)
- • in der Karte positioniertes, zu steuerndes autonomes Fahrzeug. Die genaue Verortung in der Karte kann z.B. auf Basis von Satellitennavigationsdaten und/oder Informationen der Sensorik des autonomen Fahrzeugs (z.B. Abstände zu Landmarken) erfolgen.
- • von der Sensorik des autonomen Fahrzeugs erfasste Objekte (ggf. Abgleich, engl. matching, mit Karteninformationen)
- • von externen Quellen (z.B. anderen Fahrzeugen, straßenseitiger Sensorik) zusätzlich erfasster Objekte (optional unter Berücksichtigung des Problems veralteter Informationen bzw. der Wahrscheinlichkeit der zum Beurteilungszeitpunkt bestehenden Gültigkeit der Informationen)
- • weitere Informationen, wie etwa typisch gefahren Fahrtrajektorien von anderen Fahrzeugen (z.B. Flottenfahrzeugen) in diesem Straßenabschnitt
- • außer realen Ansichten (Fotos, Videos) können auch bearbeitete Fotos und abstrahierte Objekte angezeigt werden
- • aktuelle Bahnplanung, Planung zur Fahrtroute, aktuelle Geschwindigkeit und geplante Manöver
-
Es versteht sich von selbst, dass einzelne Ansichten bzw. Elemente weg- bzw. zugeschaltet werden können, um die Übersichtlichkeit der Anzeige zu verbessern bzw. an die Wünsche des Benutzers anzupassen.
-
Gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung umfasst die erste Benutzereingabe ein Skizzieren einer gewünschten Fahrtrajektorie für das autonome Fahrzeug in dem Kartenausschnitt, wobei das Berechnen der zumindest einen Fahrtrajektorie für das autonome Fahrzeug ein Anpassen der zumindest einen Fahrtrajektorie für das autonome Fahrzeug an die gewünschte Fahrtrajektorie für das autonome Fahrzeug umfasst. Die Skizze der gewünschten Fahrtroute kann Unebenheiten aufweisen bzw. nicht glatt sein. Ebenso werden Fahrtrajektorien für autonome Fahrzeug üblicherweise als Polynome höherer Ordnung (z.B. fünften Grades) beschrieben. Entsprechend kann die Anpassung zur Approximation und „Glättung“ der skizzierten Fahrtrajektorie genutzt werden.
-
In einigen Ausführungsbeispielen der vorliegenden Erfindung umfasst das Verfahren ferner ein Empfangen einer dritten Benutzereingabe, welche eine Änderung zumindest eines Teils der Fahrtrajektorie durch den Benutzer anzeigt. Die Benutzereingabe kann z.B. durch Ziehen oder abermaliges Skizzieren zumindest eines Teils der Fahrtrajektorie durch den Benutzer erfolgen.
-
Das Verfahren umfasst weiterhin ein Berechnen einer weiteren Fahrtrajektorie für das autonome Fahrzeug basierend auf der dritten Benutzereingabe. Dies kann z.B. gemäß den oben ausgeführten Grundsätzen erfolgen. Auch umfasst das Verfahren ein Anzeigen der weiteren Fahrtrajektorie in dem Kartenausschnitt sowie nach Empfang einer vierten Benutzereingabe, welche eine Zustimmung des Benutzers zu der weiteren Fahrtrajektorie anzeigt, ein Senden von Informationen über die weitere Fahrtrajektorie sowie einen Befehl, sich entlang der weiteren Fahrtrajektorie zu bewegen, an die Steuervorrichtung des autonomen Fahrzeugs. Dem Benutzer kann somit erlaubt werden, vorgeschlagene Fahrtrajektorien zu verwerfen und neue Vorgaben zu machen bzw. neue Fahrtrajektorien planen zu lassen. Bei Segmenten (zwischen Zwischenpunkten der Fahrtrajektorie) können auch nur Teilsegmente verworfen bzw. bearbeitet werden.
-
Gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung umfasst das Berechnen der zumindest einen Fahrtrajektorie für das autonome Fahrzeug ein Berechnen einer bei einem Abfahren der Fahrtrajektorie durch das autonome Fahrzeug belegten Bodenfläche, wobei das Verfahren neben dem Anzeigen der Fahrtrajektorie in dem Kartenausschnitt ferner ein Anzeigen der beim Abfahren der Fahrtrajektorie durch das autonome Fahrzeug belegten Bodenfläche in dem Kartenausschnitt umfasst. Dem Benutzer können somit Informationen bereitgestellt werden, die ihm ermöglichen, nachzuvollziehen, dass beim Abfahren der Fahrtrajektorie keine Kollision mit Objekten außerhalb des autonomen Fahrzeugs erfolgt. Dies kann insbesondere bei Fahrzeugen mit Überhang (z.B. Lastkraftwagen oder Bus), welche Ausschwenken, die Beurteilung einer vorgeschlagenen Fahrtrajektorie für den Benutzer erleichtern.
-
In einigen Ausführungsbeispielen der vorliegenden Erfindung umfasst das Verfahren ferner ein Empfangen einer Nachricht, dass die Fahrtrajektorie einen Abschnitt enthält, den das autonome Fahrzeug für nicht befahrbar erachtet. Bei dem Abschnitt der Fahrtrajektorie handelt es sich um einen Bereich, den das autonome Fahrzeug gemäß seinen Regeln für gewöhnlich nicht befahren würde. Bei dem Abschnitt der Fahrtrajektorie kann es sich z.B. um einen Bordstein, einen Bürgersteig, eine Grünfläche oder einen nicht befestigten Randstreifen handeln. Das Verfahren umfasst dabei weiterhin ein Ausgeben einer momentanen Aufnahme einer Kamera des autonomen Fahrzeugs an den Benutzer. Dem Benutzer können somit zusätzliche Informationen für die Beurteilung der Situation durch die Bordsensorik bereitgestellt werden. Optional kann der Benutzer die Darstellung des Kamerabildes auch ändern (z.B. zoomen). Nach Empfang einer fünften Benutzereingabe, welche eine Zustimmung des Benutzers zu dem Abschnitt der Fahrtrajektorie anzeigt, umfasst das Verfahren ein Senden eines Befehls, sich entlang des Abschnitts der Fahrtrajektorie zu bewegen, an die Steuervorrichtung des autonomen Fahrzeugs. Der Fahrer kann somit aktiv veranlassen, dass das autonome Fahrzeug einen Abschnitt der Fahrtrajektorie befährt, den es für gewöhnlich nicht befahren würde. Somit stehen dem Benutzer weitere Optionen für die Fahrtrajektorie zur Verfügung. Gleichzeitig behält der Benutzer die Kontrolle über das Abfahren dieser Abschnitte. Gegebenenfalls kann der Benutzer auch eine Neuplanung der Fahrtrajektorie veranlassen, falls sich das autonome Fahrzeug nicht entlang dieses Abschnitts der Fahrtrajektorie bewegen soll.
-
Es versteht sich von selbst, dass Ausführungsbeispiele der vorliegenden Erfindung auch ein Programm mit einem Programmcode zum Durchführen eines der hierin beschriebenen Verfahren umfasst, wenn der Programmcode auf einer Datenverarbeitungsanlage (z.B. einer Computer-Cloud, einem Tablet-Computer, einem Computer, einem Prozessor oder einer programmierbaren Hardwarekomponente) abläuft bzw. dort ausgeführt wird.
-
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird die externe Steuerung eines autonomen Fahrzeugs durch ein System zur externen Steuerung eines autonomen Fahrzeugs ermöglicht. Das System umfasst eine Ausgabevorrichtung, die eingerichtet ist, einen Kartenausschnitts sowie eine Position des autonomen Fahrzeugs darin an einen Benutzer auszugeben. Bei der Ausgabevorrichtung kann es sich z.B. um eine Anzeige des autonomen Fahrzeugs, eine Anzeige eines fahrzeugexternen Bediengeräts (z.B. Tablet-Computer, Smartphone), oder eine Anzeige eines Kontrollzentrums handeln.
-
Ferner umfasst das System eine Eingabevorrichtung, die eingerichtet ist, eine erste Benutzereingabe zu empfangen. Die erste Benutzereingabe zeigt dabei ein gewünschtes Fahrmanöver an. Die erste Benutzereingabe kann z.B. ein Fahren bis zu einem festgelegten Punkt (z.B. x Meter in Fahrtrichtung, y Meter rückwärts oder eine Ortsangabe wie z.B. die nächste Raststätte), ein Ausführen eines festgelegten Fahrmanövers bis zu einem festgelegten Punkt (z.B. Umfahren eines Objekts links oder rechts herum bis zu einem bestimmten Punkt), ein Erreichen von festgelegten Zwischenpunkten oder ein Verändern der Geschwindigkeit umfassen. Mit anderen Worten: Der Benutzer macht mit Hilfe der ersten Benutzereingabe nur eine grundsätzliche Sollvorgabe. Die Eingabevorrichtung kann z.B. ein Mikrofon für den Empfang eines Sprachkommandos, ein Eingabegerät (z.B. Maus, Tastatur, Trackball oder Stift und Grafiktablett) oder eine berührungsempfindliche Anzeige umfassen.
-
Auch umfasst das System eine Rechenvorrichtung, die eingerichtet ist, zumindest eine Fahrtrajektorie für das autonome Fahrzeug basierend auf der Benutzereingabe zu berechnen.
-
Die Berechnung kann gemäß den oben beschriebenen Prinzipien erfolgen. Die Rechenvorrichtung kann z.B. einen oder mehrere Prozessoren bzw. einen oder mehrere Prozessorkerne, einen anwendungsspezifischen integrierten Schaltkreis (engl. ASIC = Application-Specific Integrated Circuit), einen integrierten Schaltkreis (engl. IC = Integrated Circuit), ein Ein-Chip-System (engl. SoC = System on a Chip), ein programmierbares Logikelement oder ein feldprogrammierbares Gatterarray mit einem Mikroprozessor (engl. FPGA = Field Programmable Gate Array) aufweisen, auf dem Software für die Berechnung der Fahrtrajektorie abläuft. Ferner kann die Rechenvorrichtung einen oder mehrere Speicher aufweisen bzw. mit diesen verbunden sein, in denen z.B. die Software für die Berechnung der Fahrtrajektorie oder sonstige Daten gespeichert sein können.
-
Die Ausgabevorrichtung des Systems ist ferner eingerichtet, die Fahrtrajektorie in dem Kartenausschnitt anzuzeigen. Der Benutzer erhält somit eine Rückmeldung über die durch das Fahrzeug abzufahrende Fahrtrajektorie und kann somit die vorgeschlagene Fahrtrajektorie prüfen.
-
Auch umfasst das System eine Sendevorrichtung, die eingerichtet ist, Informationen über die Fahrtrajektorie sowie einen Befehl, sich entlang der Fahrtrajektorie zu bewegen, an eine Steuervorrichtung des autonomen Fahrzeugs zu senden nach Empfang einer zweiten Benutzereingabe durch die Eingabevorrichtung. Die zweite Benutzereingabe zeigt dabei eine Zustimmung des Benutzers zu der Fahrtrajektorie an. Mit anderen Worten: Ist der Benutzer mit der vorgeschlagenen Fahrtrajektorie einverstanden, so wird das autonome Fahrzeug angewiesen, diese abzufahren. Der Benutzer ist somit zur Ausführung des gewünschten Fahrmanövers nicht Bestandteil des Regelkreises des autonomen Fahrzeugs, sondern macht nur grundsätzliche Sollvorgabe. Die Übermittlung der Informationen über die Fahrtrajektorie bzw. des Befehls über die Sendevorrichtung kann z.B. mittels Funkkommunikation (z.B. über ein zellulares Netzwerk, ein drahtloses lokales Netzwerk, Bluetooth) oder auch leitungsgebunden (falls die Fahrtrajektorie im autonomen Fahrzeug selbst berechnet wird) geschehen.
-
Die einzelnen Komponenten des Systems können dabei in einer oder in unterschiedlichen Geräten untergebracht sein. Beispielsweis kann das System ganz oder teilweise in dem autonomen Fahrzeugs, in einem fahrzeugexternen Bediengeräts (z.B. Smartphone oder Tablet-Computer) oder in einem Kontrollzentrum implementiert sein. Das System kann eine externe Steuerung des autonomen Fahrzeugs ermöglichen.
-
Gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung sind die Ausgabevorrichtung und die Eingabevorrichtung als eine berührungsempfindliche Anzeige ausgebildet, wobei die erste Benutzereingabe ein Skizzieren eines graphischen Elements in dem Kartenausschnitts durch Berühren der berührungsempfindlichen Anzeige umfasst. Mit anderen Worten: Als Eingabe-Interface kann ein Touchscreen verwendet werden, der die Szene zeigt. Mittels der berührungsempfindlichen Anzeige kann eine für den Benutzer intuitive Möglichkeit für Benutzereingabe bereitgestellt werden. Zur Erhöhung der Präzision kann die Eingabe z.B. auch mit Hilfe eines Stiftes erfolgen.
-
In einigen Ausführungsbeispielen der vorliegenden Erfindung ist die berührungsempfindliche Anzeige eine Anzeige des autonomen Fahrzeugs (z.B. eines Infotainmentsystems des Fahrzeugs), eine Anzeige eines mobilen Endgeräts (z.B. eines Smartphones oder eines Tablet-Computers) oder eine Anzeige einer außerhalb des autonomen Fahrzeugs befindlichen stationären Steuervorrichtung (z.B. in einem Kontrollzentrum). Somit können vielfältige Implementierungen für die berührungsempfindliche Anzeige ermöglicht werden.
-
Gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung ist die Rechenvorrichtung eine Rechenvorrichtung des autonomen Fahrzeugs, eine Rechenvorrichtung des mobilen Endgeräts oder eine Rechenvorrichtung einer zentralen Datenverarbeitungsanlage. Somit können vielfältige Implementierungen für die Rechenvorrichtung ermöglicht werden.
-
Wie vorangehend angedeutet können die einzelnen Komponenten des Systems somit über mehrere physische Geräte bzw. Vorrichtungen verteilt sein.
-
In einigen Ausführungsbeispielen der vorliegenden Erfindung umfasst das System ferner eine Empfangsvorrichtung, die eingerichtet ist, Informationen über ein von einem Sensor des autonomen Fahrzeugs erfasstes Objekt und/oder Informationen über ein von einer Entität (z.B. weiteres Fahrzeug, Infrastruktur) außerhalb des autonomen Fahrzeugs erfasstes Objekt und/ oder Informationen über einen Betriebsparameter (Geschwindigkeit, aktuelle Bahnplanung, geplante Manöver, Planung zur Fahrtroute) des autonomen Fahrzeugs und/oder Informationen aus einer Datenbank einer zentralen Datenverarbeitungsanlage zu empfangen. Die Ausgabevorrichtung des Systems ist dabei ferner eingerichtet, die Informationen in dem Kartenausschnitt anzuzeigen. Dem Benutzer können dadurch weitere Informationen über die nähere Umgebung des autonomen Fahrzeugs für die Beurteilung der Situation bereitgestellt werden. Die dem Benutzer angezeigte Ansicht kann somit Informationen beinhalten, welche das autonome Fahrzeug mit seiner eigenen Sensorik gewonnen hat; Informationen, welche das autonome Fahrzeug von anderen Fahrzeugen (kollektive Perzeption) oder einer Infrastruktur (z.B. straßenseitige Sensorik) erhalten hat; als auch Informationen von externen Quellen (z.B. einem Back-End).
-
Gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung ist die Eingabevorrichtung ferner eingerichtet, eine dritten Benutzereingabe, welche eine Änderung zumindest eines Teils der Fahrtrajektorie durch den Benutzer anzeigt, zu empfangen. Die Rechenvorrichtung ist dabei ferner eingerichtet, eine weitere Fahrtrajektorie für das autonome Fahrzeug basierend auf der dritten Benutzereingabe zu berechnen. Die Ausgabevorrichtung ist dabei ferner eingerichtet, die weitere Fahrtrajektorie in dem Kartenausschnitt anzuzeigen. Nach Empfang einer vierten Benutzereingabe durch die Eingabevorrichtung, wobei die vierte Benutzereingabe eine Zustimmung des Benutzers zu der weiteren Fahrtrajektorie anzeigt, ist die Sendevorrichtung dabei eingerichtet, Informationen über die weitere Fahrtrajektorie sowie einen Befehl, sich entlang der weiteren Fahrtrajektorie zu bewegen, an die Steuervorrichtung des autonomen Fahrzeugs zu senden. Dem Benutzer kann somit ermöglicht werden, vorgeschlagene Fahrtrajektorien zu verwerfen und neue Vorgaben zu machen bzw. neue Fahrtrajektorien planen zu lassen. Bei Segmenten (zwischen Zwischenpunkten der Fahrtrajektorie) können auch nur Teilsegmente verworfen bzw. bearbeitet werden.
-
Gemäß weiteren Ausführungsbeispielen der vorliegenden Erfindung können das System bzw. Komponenten des Systems eingerichtet sein, einen oder mehrere der weiteren, oben genannten Verfahrensschritte auszuführen.
-
Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend, Bezug nehmend auf die beigefügten Figuren, näher erläutert. Es zeigen:
- 1 zeigt ein Flussdiagram eines Ausführungsbeispiels eines Verfahrens zur externen Steuerung eines autonomen Fahrzeugs; und
- 2 zeigt ein Ausführungsbeispiel eines Systems zur externen Steuerung eines autonomen Fahrzeugs.
-
1 zeigt ein Verfahren 100 zur externen Steuerung eines autonomen Fahrzeugs. Das Verfahren 100 umfasst ein Ausgeben 102 eines Kartenausschnitts sowie einer Position des autonomen Fahrzeugs darin an einen Benutzer. Ferner umfasst das Verfahren 100 ein Empfangen 104 einer ersten Benutzereingabe, wobei die Benutzereingabe ein gewünschtes Fahrmanöver anzeigt. Das Verfahren 100 umfasst zudem ein Berechnen 106 zumindest einer Fahrtrajektorie für das autonome Fahrzeug basierend auf der ersten Benutzereingabe. Weiterhin umfasst das Verfahren 100 ein Anzeigen 108 der Fahrtrajektorie in dem Kartenausschnitt und ein Senden 110 von Informationen über die Fahrtrajektorie sowie einen Befehl, sich entlang der Fahrtrajektorie zu bewegen, an eine Steuervorrichtung des autonomen Fahrzeugs nach Empfang einer zweiten Benutzereingabe, welche eine Zustimmung des Benutzers zu der Fahrtrajektorie anzeigt.
-
Das Berechnen 106 der zumindest einen Fahrtrajektorie für das autonome Fahrzeug kann dabei mehrere Teilaspekte umfassen. So können die vom Benutzer gemachten Anweisungen (z. B. auf einem Touchscreen mit einem Stift oder den Fingern skizziert) für die Trajektorienplanung bzw. Bahnplanung aufbereitet werden. Trajektorien für automatisch fahrende (autonome) Fahrzeuge werden typischerweise durch Polynome fünften Grades beschrieben. Entsprechend können Polynome auch zur Approximation und „Glättung“ der Skizze verwendet werden. Die „geglättete“ Skizze kann dem Benutzer auch angezeigt werden.
-
Gegebenenfalls können auch alternative Fahrtrajektorien, welche die skizzierte Bahn gut approximieren oder den skizzierten Endzustand gut erreichen, berechnet werden. Diese können dem Benutzer (gegebenenfalls zur Auswahl) angezeigt werden.
-
Optional kann das Verfahren 100 auch eine Berechnung der vom autonomen Fahrzeug beim Abfahren der Trajektorie bzw. der Trajektorien belegten Straßenfläche umfassen. Diese können wiederum dem Bediener (gegebenenfalls zur Auswahl) angezeigt werden. Zur Verbesserung der Übersichtlichkeit können die Darstellungen (vom Benutzer gewählt) einzeln angezeigt werden.
-
Der Benutzer beurteilt die Planung und bestätigt/wählt eine Trajektorie durch die zweite Benutzereingabe oder verwirft diese und startet z.B. eine Neuplanung mit einer neuen Skizze oder einer Änderung von Segmenten der ursprünglichen Skizze. Die ausgewählte Trajektorie ist die Basis für den Bahnplaner des autonomen Fahrzeugs.
-
Der Benutzer startet durch die zweite Benutzereingabe das Abfahren der Trajektorie, so dass das autonome Fahrzeug die notwendigen Berechnungen durchführt und seine Fahrt beginnt. Die Überwachung des Manövers führt das autonome Fahrzeug mit seiner Sensorik aus. Es führt weiterhin seine Fahrmanöver automatisch aus.
-
Beim Erreichen eines Punktes bzw. einer Fläche, die das autonome Fahrzeug normalerweise aufgrund seiner Regeln nicht befährt (z. B. ein nicht befestigter Randstreifen), kann es z.B. anhalten und eine Bestätigung durch den Bediener anfordern. Diesem wird die Szene durch die Bordsensorik (vorzugsweise Kamera) zur Beurteilung gezeigt. Gegebenenfalls kann der Bediener die Darstellung ändern, z. B. durch Zoomen eines Bildes. Gegebenenfalls kann der Bediener auch eine Neuplanung der Fahrtrajektorie starten.
-
Die einzelnen Schritte des Verfahrens 100 können dabei auf einem oder mehreren Geräten ablaufen. Beispielsweis kann das Verfahren 100 ganz oder teilweise auf dem autonomen Fahrzeug, ganz oder teilweise auf einem fahrzeugexternen Bediengerät (z.B. Smartphone oder Tablet-Computer) oder auch ganz oder teilweise in einem Kontrollzentrum ablaufen. Das Verfahren 100 kann eine externe Steuerung des autonomen Fahrzeugs ermöglichen.
-
Weitere Details und Aspekte des Verfahrens 100 sind vorangehend in Zusammenhang mit einem oder mehreren Ausführungsbeispielen beschrieben. Das Verfahren 100 kann eines oder mehrere optionale Merkmale gemäß einem oder mehreren der vorbeschriebenen Ausführungsbeispiele umfassen.
-
2 zeigt ferner ein System 200 zur externen Steuerung eines autonomen Fahrzeugs. Das System 200 ist dabei in Form eines mobilen Endgeräts, hier eines Tablet-Computers, implementiert.
-
Die berührungsempfindliche Anzeige 210 des Table-Computers dient als Ausgabevorrichtung, um einen Kartenausschnitt 211 sowie eine Position 212 des autonomen Fahrzeugs darin an einen Benutzer auszugeben.
-
Die berührungsempfindliche Anzeige 210 des Table-Computers dient ferner als Eingabevorrichtung, um eine erste Benutzereingabe zu empfangen, wobei die erste Benutzereingabe ein gewünschtes Fahrmanöver anzeigt.
-
Eine Rechenvorrichtung 220 (z.B. ein Prozessor des Tablet-Computers) ist eingerichtet, zumindest eine Fahrtrajektorie für das autonome Fahrzeug basierend auf der ersten Benutzereingabe zu berechnen.
-
Die als Ausgabevorrichtung dienende berührungsempfindliche Anzeige 210 ist ferner eingerichtet, die Fahrtrajektorie 213 in dem Kartenausschnitt anzuzeigen.
-
Ferner ist von dem Tablet-Computer eine Sendevorrichtung 230 umfasst. Nach Empfang einer zweiten Benutzereingabe durch die als Eingabevorrichtung dienende berührungsempfindliche Anzeige 210, wobei die zweite Benutzereingabe eine Zustimmung des Benutzers zu der Fahrtrajektorie 213 anzeigt, ist die Sendevorrichtung eingerichtet, Informationen über die Fahrtrajektorie 213 sowie einen Befehl, sich entlang der Fahrtrajektorie 213 zu bewegen, an eine Steuervorrichtung des autonomen Fahrzeugs zu senden.
-
Das System 200 kann eine externe Steuerung des autonomen Fahrzeugs ermöglichen. Die einzelnen Komponenten des Systems 200 können dabei alternativ auch in unterschiedlichen Geräten untergebracht sein. Beispielsweis kann ein Teil das System auch im autonomen Fahrzeug selbst oder in einem Kontrollzentrum implementiert sein.
-
Beispielsweise kann die Bearbeitung der ersten Benutzereingabe auf dem Eingabegerät erfolgen. Je nach Situation könnte dieses im Fahrzeug integriert sein, sich in einem Kontrollzentrum befinden oder es könnte sich um ein mobiles Eingabegerät (z. B. Tablet-Computer) eines mobilen Benutzers (z. B. Service-Techniker) handeln. Die Bearbeitung kann aber auch im Back-End stattfinden, was die entsprechende Kommunikation voraussetzt.
-
Die dem Benutzer präsentierten Trajektorien können vom Bahnplaner des autonomen Fahrzeugs errechnet werden oder von entsprechenden Bahnplanern im Back-End oder auf einem mobilen Eingabegerät. Entsprechendes gilt für die beim Abfahren der Fahrtrajektorie belegten Flächen. Je nach Ausführungsort der Trajektorienplanung (Fahrzeug, Back-End, mobiles Gerät) kann die abzufahrende Bahn an die Steuervorrichtung des autonomen Fahrzeugs übermittelt werden (z.B. Leitungsgebunden oder mittels über Funkkommunikation).
-
Bezugszeichenliste
-
- 100
- Verfahren zur externen Steuerung eines autonomen Fahrzeugs
- 102
- Ausgeben eines Kartenausschnitts sowie einer Position des autonomen Fahrzeugs darin
- 104
- Empfangen einer ersten Benutzereingabe
- 106
- Berechnen zumindest einer Fahrtrajektorie für das autonome Fahrzeug
- 108
- Anzeigen der Fahrtrajektorie in dem Kartenausschnitt
- 110
- Senden von Informationen über die Fahrtrajektorie sowie einen Befehl
- 200
- System
- 210
- berührungsempfindliche Anzeige
- 211
- Kartenausschnitt
- 212
- Position des autonomen Fahrzeugs
- 213
- Fahrtrajektorie
- 220
- Rechenvorrichtung
- 230
- Sendevorrichtung
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102014018108 A1 [0005]
- WO 2008/036805 A1 [0006]
- US 2009/0138151 A1 [0007]