DE102016221106A1 - Verfahren sowie System zur externen Steuerung eines autonomen Fahrzeugs - Google Patents

Verfahren sowie System zur externen Steuerung eines autonomen Fahrzeugs Download PDF

Info

Publication number
DE102016221106A1
DE102016221106A1 DE102016221106.4A DE102016221106A DE102016221106A1 DE 102016221106 A1 DE102016221106 A1 DE 102016221106A1 DE 102016221106 A DE102016221106 A DE 102016221106A DE 102016221106 A1 DE102016221106 A1 DE 102016221106A1
Authority
DE
Germany
Prior art keywords
autonomous vehicle
trajectory
user input
user
driving trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102016221106.4A
Other languages
English (en)
Other versions
DE102016221106B4 (de
Inventor
Sandra KLEINAU
Bernd Rech
Johannes HARTOG
Hendrik-Jörn Günther
Teodor Buburuzan
Stefan Gläser
Bernd Lehmann
Monique Engel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102016221106.4A priority Critical patent/DE102016221106B4/de
Priority to PCT/EP2017/076319 priority patent/WO2018077647A1/de
Publication of DE102016221106A1 publication Critical patent/DE102016221106A1/de
Application granted granted Critical
Publication of DE102016221106B4 publication Critical patent/DE102016221106B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143Touch sensitive instrument input devices
    • B60K2360/1438Touch screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

Bereitgestellt wird ein Verfahren zur externen Steuerung eines autonomen Fahrzeugs. Das Verfahren beinhaltet ein Ausgeben eines Kartenausschnitts sowie einer Position des autonomen Fahrzeugs darin an einen Benutzer. Ferner beinhaltet das Verfahren ein Empfangen einer ersten Benutzereingabe, wobei die Benutzereingabe ein gewünschtes Fahrmanöver anzeigt. Das Verfahren beinhaltet zudem ein Berechnen zumindest einer Fahrtrajektorie für das autonome Fahrzeug basierend auf der ersten Benutzereingabe. Weiterhin beinhaltet das Verfahren ein Anzeigen der Fahrtrajektorie in dem Kartenausschnitt und ein Senden von Informationen über die Fahrtrajektorie sowie einen Befehl, sich entlang der Fahrtrajektorie zu bewegen, an eine Steuervorrichtung des autonomen Fahrzeugs nach Empfang einer zweiten Benutzereingabe, welche eine Zustimmung des Benutzers zu der Fahrtrajektorie anzeigt.

Description

  • Die vorliegende Erfindung betrifft die externe Steuerung autonomer Fahrzeuge. Insbesondere betrifft die vorliegende Erfindung ein Verfahren sowie ein System zur externen Steuerung eines autonomen Fahrzeugs.
  • Ein Fahrzeug ist ein mobiles Verkehrsmittel für den Transport von Personen oder Gütern. Bei dem Fahrzeug kann es sich daher sowohl um ein Personen- als auch um ein Nutzfahrzeug handeln. Zum Beispiel kann ein Fahrzeug ein Personenkraftwagen, ein Lastkraftwagen, ein Motorrad oder ein Traktor sein. Allgemein kann ein Fahrzeug als eine Vorrichtung aufgefasst werden, die einen Motor, ein Antriebsstrangsystem sowie Räder umfasst.
  • Ein autonomes Fahrzeug bewegt sich autonom im öffentlichen Straßenverkehr. Dazu kann ein autonomes Fahrzeug mit bordeigener Sensorik zur Erkennung seines Umfeldes ausgestattet sein (z.B. Kameras, Laserscanner, Radar) und die Möglichkeit besitzen, mit anderen Verkehrsteilnehmern oder auch Infrastruktur (z.B. Back-End, straßenseitige Infrastruktur wie Ampeln) zu kommunizieren. Ein autonomes Fahrzeug trifft Entscheidungen zu seinem operativen und taktischen Fahren auf Basis der erhaltenen Informationen selbst und kann in seinem Nahbereich auch mit anderen Verkehrsteilnehmern kooperieren.
  • Es sind Situationen vorstellbar, in denen von außen das Verhalten des autonomen Fahrzeugs beeinflusst werden soll. Beispielsweise Situationen, in denen es an die Grenzen seines Arbeitsbereiches stößt. Zum Beispiel kann es vorkommen, dass das autonome Fahrzeug den Verkehr anhand des eigenen Wissens nicht richtig einschätzen kann oder die Planung einer zu fahrenden Trajektorie nicht möglich ist. Weiterhin ist es vorstellbar, dass z.B. Fahrzeuginsassen eingreifen möchten, auch wenn keine konventionellen Bedieneinheiten (z. B. Lenkrad, Bremspedal) vorhanden sind. Dies kann etwa bei der genauen individuellen Festlegung des Anhalteortes („letzte 50 Meter“) gewünscht sein.
  • In Druckschrift DE 10 2014 018 108 A1 wird ein Verfahren vorgeschlagen, bei dem eine Fahrzeugumgebung auf einer berührungsempfindlichen Anzeigevorrichtung ausgegeben wird. In dem Umgebungsbild wird eine Zielposition oder eine Trajektorie für das Fahrzeug vorgegeben. Aufgrund der perspektivischen Darstellung der Umgebung sowie der schwankenden Qualität der Eingaben über die berührungsempfindliche Anzeigevorrichtung kann die Bestimmung einer adäquaten Trajektorie für das Fahrzeug erschwert sein. Somit ist der Druckschrift DE 10 2014 018 108 A1 keine Lösung zur effizienten externen Steuerung eines autonomen Fahrzeugs zu entnehmen.
  • Druckschrift WO 2008/036805 A1 schlägt ein Verfahren vor, bei dem ein Weg in eine Karte eingezeichnet wird. Die Koordinaten des eingezeichneten Wegs werden als Wegpunkte für ein Fahrmanöver eines autonomen Fahrzeugs genutzt. Dabei erfolgt jedoch keinerlei Rückmeldung an einen Bediener über das konkrete Fahrmanöver bzw. die durch das Fahrzeug abzufahrende Trajektorie. Somit ist auch der Druckschrift WO 2008/036805 A1 keine Lösung zur effizienten externen Steuerung eines autonomen Fahrzeugs zu entnehmen.
  • In Druckschrift US 2009/0138151 A1 wird ein Verfahren zum Lokalisieren und Navigieren einer Vorrichtung vorgeschlagen, bei dem ein Trajektorie per Hand in eine Luftaufnahme eingezeichnet werden kann. Das Abfahren der Trajektorie erfolgt mit Hilfe von Signalen entlang der Trajektorie angeordneter Beacons. Auch hier erfolgt jedoch keinerlei Rückmeldung an einen Bediener über das konkrete Fahrmanöver bzw. die durch das Fahrzeug abzufahrende Trajektorie. Somit ist auch der Druckschrift US 2009/0138151 A1 keine Lösung zur effizienten externen Steuerung eines autonomen Fahrzeugs zu entnehmen.
  • Es besteht somit ein Erfordernis, eine Möglichkeit bereitzustellen, ein autonomes Fahrzeug extern zu steuern.
  • Die vorliegende Erfindung ermöglicht dies durch ein Verfahren zur externen Steuerung eines autonomen Fahrzeugs. Dabei umfasst das Verfahren zunächst ein Ausgeben eines Kartenausschnitts sowie einer Position des autonomen Fahrzeugs darin an einen Benutzer. Damit können dem Benutzer zur Beurteilung der Situation Informationen über die (nähere) Umgebung des autonomen Fahrzeugs bereitgestellt werden. Beispielsweise kann eine digitale Karte des betroffenen Straßenabschnitts (z.B. inklusive Fahrstreifen, Bürgersteig, Bebauung, Einfahrten etc.) in einer Draufsicht (engl. bird view) an den Benutzer ausgegeben werden. In der Darstellung der digitalen Karte ist ferner das zu steuernde autonome Fahrzeug angezeigt. Die Ausgabe des Kartenausschnitts kann z.B. über eine Anzeige des autonomen Fahrzeugs, eine Anzeige eines fahrzeugexternen Bediengeräts (z.B. Tablet-Computer, Smartphone) oder eine Anzeige eines Kontrollzentrums für die externe Steuerung autonomer Fahrzeuge (engl. command center) erfolgen.
  • Weiterhin umfasst das Verfahren ein Empfangen einer ersten Benutzereingabe, wobei die Benutzereingabe ein gewünschtes Fahrmanöver anzeigt. Die erste Benutzereingabe kann z.B. ein Fahren bis zu einem festgelegten Punkt (z.B. x Meter in Fahrtrichtung, y Meter rückwärts oder eine Ortsangabe wie z.B. die nächste Raststätte), ein Ausführen eines festgelegten Fahrmanövers bis zu einem festgelegten Punkt (z.B. Umfahren eines Objekts links oder rechts herum bis zu einem bestimmten Punkt), ein Erreichen von festgelegten Zwischenpunkten oder ein Verändern der Geschwindigkeit umfassen. Mit anderen Worten: Der Benutzer macht mit Hilfe der ersten Benutzereingabe nur eine grundsätzliche Sollvorgabe. Die erste Benutzereingabe kann z.B. über ein Sprachkommando, eine Eingabe mittels eines Eingabegeräts (z.B. Maus, Tastatur, Trackball oder Stift und Grafiktablett) oder über eine Eingabe auf einer berührungsempfindlichen Anzeige erfolgen.
  • Das Verfahren umfasst ferner ein Berechnen zumindest einer Fahrtrajektorie für das autonome Fahrzeug basierend auf der ersten Benutzereingabe. Mit anderen Worten: Die Eingaben des Benutzers werden verarbeitet und in eine Fahrtrajektorie für das autonome Fahrzeug umgesetzt. Bei der Fahrtrajektorie handelt es sich um eine von dem autonomen Fahrzeug abzufahrende Bahnkurve, d.h. einen zeitabhängigen Verlauf der Position des autonomen Fahrzeugs. Die Fahrtrajektorie kann z.B. von dem autonomen Fahrzeug selbst, einem fahrzeugexternen Bediengerät, das die erste Benutzereingabe entgegennimmt, oder einem Back-End berechnet werden.
  • Ebenso umfasst das Verfahren ein Anzeigen der Fahrtrajektorie in dem Kartenausschnitt. Der Benutzer erhält somit eine Rückmeldung über die durch das Fahrzeug abzufahrende Fahrtrajektorie und kann somit die vorgeschlagene Fahrtrajektorie prüfen.
  • Nach Empfang einer zweiten Benutzereingabe, welche eine Zustimmung des Benutzers zu der Fahrtrajektorie anzeigt, umfasst das Verfahren zudem ein Senden von Informationen über die Fahrtrajektorie sowie einen Befehl, sich entlang der Fahrtrajektorie zu bewegen, an eine Steuervorrichtung des autonomen Fahrzeugs. Mit anderen Worten: Ist der Benutzer mit der vorgeschlagenen Fahrtrajektorie einverstanden, so wird das autonome Fahrzeug angewiesen, diese abzufahren. Der Benutzer ist somit zur Ausführung des gewünschten Fahrmanövers nicht Bestandteil des Regelkreises des autonomen Fahrzeugs, sondern macht nur grundsätzliche Sollvorgabe. Die Übermittlung der Informationen über die Fahrtrajektorie bzw. des Befehls kann z.B. mittels Funkkommunikation (z.B. über ein zellulares Netzwerk, ein drahtloses lokales Netzwerk, Bluetooth) oder auch leitungsgebunden (falls die Fahrtrajektorie im autonomen Fahrzeug selbst berechnet wird) geschehen.
  • Die einzelnen Schritte des Verfahrens können dabei auf einem oder mehreren Geräten ablaufen. Beispielsweis kann das Verfahren ganz oder teilweise auf dem autonomen Fahrzeug, ganz oder teilweise auf einem fahrzeugexternen Bediengerät (z.B. Smartphone oder Tablet-Computer) oder auch ganz oder teilweise in einem Kontrollzentrum (engl. command center) ablaufen. Das Verfahren kann eine externe Steuerung des autonomen Fahrzeugs ermöglichen.
  • Gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung erfolgt das Ausgeben des Kartenausschnitts auf einer berührungsempfindlichen Anzeige, wobei die erste Benutzereingabe ein Skizzieren eines graphischen Elements in dem Kartenausschnitts durch Berühren der berührungsempfindlichen Anzeige umfasst. Mit anderen Worten: Als Eingabe-Interface kann ein Touchscreen verwendet werden, der die Szene zeigt. Mittels der berührungsempfindlichen Anzeige kann eine für den Benutzer intuitive Möglichkeit für Benutzereingabe bereitgestellt werden. Zur Erhöhung der Präzision kann die Eingabe z.B. auch mit Hilfe eines Stiftes erfolgen. Dies könnte z.B. durch Zeichnen mit einem Stift auf einem Tablet-Computer durch einen Benutzer (z.B. Fahrzeuginsasse, oder Service-Techniker in der Nähe des autonomen Fahrzeugs) erfolgen. Eine entsprechende Eingabe könnte auch durch einen Benutzer in einem vom autonomen Fahrzeug entfernten Kontrollzentrum erfolgen. Auch könnte sich die berührungsempfindliche Anzeige im autonomen Fahrzeug selbst befinden (z.B. als Bestandteil eines Infotainmentsystems). Selbstverständlich kann die berührungsempfindliche Anzeige auch ohne Stift, d.h. mit einem oder mehreren Fingern, bedient werden.
  • In einigen Ausführungsbeispielen der vorliegenden Erfindung ist die Fahrtrajektorie für das autonome Fahrzeug eine aus einer Mehrzahl an berechneten und in dem Kartenausschnitt angezeigten Fahrtrajektorien. Mit anderen Worten: Bei der Planung der fahrbaren Fahrtrajektorien kann auch eine Trajektorienschar berechnet werden. Falls Alternativen bestehen, werden dem Benutzer somit mehrere mögliche ausführbare Fahrtrajektorien bzw. befahrbare Bahnen zur Erfüllung seiner Anweisungen (d.h. der ersten Benutzereingabe) angezeigt. Dabei umfasst die zweite Benutzereingabe ein Auswählen der Fahrtrajektorie für das autonome Fahrzeug aus der Mehrzahl an berechneten und in dem Kartenausschnitt angezeigten Fahrtrajektorien. Mit anderen Worten: Der Benutzer kann aus der Mehrzahl an berechneten und in dem Kartenausschnitt angezeigten Fahrtrajektorien auswählen. Dem Benutzer kann somit eine Mehrzahl möglicher Fahrtrajektorien bereitgestellt werden, aus welcher er nach seinen Vorlieben wählen kann. Ferner kann die Mehrzahl an berechneten und in dem Kartenausschnitt angezeigten Fahrtrajektorien eine Auswahl aller berechneten Fahrtrajektorien sein. Beispielsweise kann eine Trajektorienschar berechnet werden, aus der einzelne, nach einem festgelegten Kriterium ausgewählte Repräsentanten dem Benutzer zur Auswahl angezeigt werden. Somit kann eine Vorauswahl stattfinden, um dem Benutzer nur mögliche Fahrtrajektorien anzuzeigen, welche einem Kriterium (z.B. best. Abstand zu einem zu umfahrenden Objekt, möglichst geringe Wegstrecke etc.) genügen.
  • Gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung umfasst das Verfahren neben dem Ausgeben des Kartenausschnitts ferner ein Ausgeben eines momentanen Messwerts eines Sensors des autonomen Fahrzeugs, wobei der Messwert Informationen über einen Abstand eines außerhalb des autonomen Fahrzeugs befindlichen Objekts zu dem autonomen Fahrzeug umfasst. Bei dem Sensor des autonomen Fahrzeugs kann es sich z.B. um eine Kamera, ein Lasermesssystem oder ein Radarmesssystem des Fahrzeugs handeln. Der Messwert des Sensors kann dem Benutzer eine bessere Einschätzung der Umgebung des autonomen Fahrzeugs ermöglichen. So kann z.B. die Ausgabe der aktuellen Aufnahmen einer Kamera des Fahrzeugs dem Benutzer eine Beurteilung der Umgebung des autonomen Fahrzeugs erheblich vereinfachen aufgrund der zusätzlich enthaltenen Informationen. Der Benutzer kann somit auf weitere Informationen zurückgreifen, um das gewünschtes Fahrmanöver des autonomen Fahrzeugs zu bestimmen.
  • In einigen Ausführungsbeispielen der vorliegenden Erfindung ist in dem Kartenausschnitt weiterhin ein von einem Sensor des autonomen Fahrzeugs erfasstes Objekt und/oder ein von einer Entität (z.B. weiteres Fahrzeug, Infrastruktur) außerhalb des autonomen Fahrzeugs erfasstes Objekt und/oder ein wahrscheinlich durch das autonome Fahrzeug befahrbarer Bereich und/oder ein Betriebsparameter (z.B. Geschwindigkeit, aktuelle Bahnplanung, geplante Manöver, Planung zur Fahrtroute) des autonomen Fahrzeugs und/oder eine Fahrtrajektorie zumindest eines weiteren autonomen Fahrzeugs dargestellt. Dem Benutzer können dadurch weitere Informationen über die (nähere) Umgebung des autonomen Fahrzeugs für die Beurteilung der Situation bereitgestellt werden. Die dem Benutzer angezeigte Ansicht kann somit Informationen beinhalten, welche das autonome Fahrzeug mit seiner eigenen Sensorik gewonnen hat; Informationen, welche das autonome Fahrzeug von anderen Fahrzeugen (kollektive Perzeption) oder einer Infrastruktur (z.B. straßenseitige Sensorik) erhalten hat; als auch Informationen von externen Quellen (z.B. einem Back-End). Die von dem autonomen Fahrzeug gewonnen Informationen als auch die von externen Quellen (z.B. weitere Fahrzeuge, Infrastruktur) erhaltenen Informationen können z.B. an ein Back-End übermittelt und dort verarbeitet werden, um dem autonomen Fahrzeug als auch weiteren Fahrzeugen aufbereitet zur Verfügung gestellt werden zu können. In einer Ausführungsform können dem Benutzer z.B. folgende Informationen angezeigt werden:
    • • digitale Karte des betroffenen Straßenabschnitts (z.B. inkl. Fahrstreifen, Bürgersteig, Bebauung, Einfahrten etc.)
    • • in der Karte positioniertes, zu steuerndes autonomes Fahrzeug. Die genaue Verortung in der Karte kann z.B. auf Basis von Satellitennavigationsdaten und/oder Informationen der Sensorik des autonomen Fahrzeugs (z.B. Abstände zu Landmarken) erfolgen.
    • • von der Sensorik des autonomen Fahrzeugs erfasste Objekte (ggf. Abgleich, engl. matching, mit Karteninformationen)
    • • von externen Quellen (z.B. anderen Fahrzeugen, straßenseitiger Sensorik) zusätzlich erfasster Objekte (optional unter Berücksichtigung des Problems veralteter Informationen bzw. der Wahrscheinlichkeit der zum Beurteilungszeitpunkt bestehenden Gültigkeit der Informationen)
    • • weitere Informationen, wie etwa typisch gefahren Fahrtrajektorien von anderen Fahrzeugen (z.B. Flottenfahrzeugen) in diesem Straßenabschnitt
    • • außer realen Ansichten (Fotos, Videos) können auch bearbeitete Fotos und abstrahierte Objekte angezeigt werden
    • • aktuelle Bahnplanung, Planung zur Fahrtroute, aktuelle Geschwindigkeit und geplante Manöver
  • Es versteht sich von selbst, dass einzelne Ansichten bzw. Elemente weg- bzw. zugeschaltet werden können, um die Übersichtlichkeit der Anzeige zu verbessern bzw. an die Wünsche des Benutzers anzupassen.
  • Gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung umfasst die erste Benutzereingabe ein Skizzieren einer gewünschten Fahrtrajektorie für das autonome Fahrzeug in dem Kartenausschnitt, wobei das Berechnen der zumindest einen Fahrtrajektorie für das autonome Fahrzeug ein Anpassen der zumindest einen Fahrtrajektorie für das autonome Fahrzeug an die gewünschte Fahrtrajektorie für das autonome Fahrzeug umfasst. Die Skizze der gewünschten Fahrtroute kann Unebenheiten aufweisen bzw. nicht glatt sein. Ebenso werden Fahrtrajektorien für autonome Fahrzeug üblicherweise als Polynome höherer Ordnung (z.B. fünften Grades) beschrieben. Entsprechend kann die Anpassung zur Approximation und „Glättung“ der skizzierten Fahrtrajektorie genutzt werden.
  • In einigen Ausführungsbeispielen der vorliegenden Erfindung umfasst das Verfahren ferner ein Empfangen einer dritten Benutzereingabe, welche eine Änderung zumindest eines Teils der Fahrtrajektorie durch den Benutzer anzeigt. Die Benutzereingabe kann z.B. durch Ziehen oder abermaliges Skizzieren zumindest eines Teils der Fahrtrajektorie durch den Benutzer erfolgen.
  • Das Verfahren umfasst weiterhin ein Berechnen einer weiteren Fahrtrajektorie für das autonome Fahrzeug basierend auf der dritten Benutzereingabe. Dies kann z.B. gemäß den oben ausgeführten Grundsätzen erfolgen. Auch umfasst das Verfahren ein Anzeigen der weiteren Fahrtrajektorie in dem Kartenausschnitt sowie nach Empfang einer vierten Benutzereingabe, welche eine Zustimmung des Benutzers zu der weiteren Fahrtrajektorie anzeigt, ein Senden von Informationen über die weitere Fahrtrajektorie sowie einen Befehl, sich entlang der weiteren Fahrtrajektorie zu bewegen, an die Steuervorrichtung des autonomen Fahrzeugs. Dem Benutzer kann somit erlaubt werden, vorgeschlagene Fahrtrajektorien zu verwerfen und neue Vorgaben zu machen bzw. neue Fahrtrajektorien planen zu lassen. Bei Segmenten (zwischen Zwischenpunkten der Fahrtrajektorie) können auch nur Teilsegmente verworfen bzw. bearbeitet werden.
  • Gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung umfasst das Berechnen der zumindest einen Fahrtrajektorie für das autonome Fahrzeug ein Berechnen einer bei einem Abfahren der Fahrtrajektorie durch das autonome Fahrzeug belegten Bodenfläche, wobei das Verfahren neben dem Anzeigen der Fahrtrajektorie in dem Kartenausschnitt ferner ein Anzeigen der beim Abfahren der Fahrtrajektorie durch das autonome Fahrzeug belegten Bodenfläche in dem Kartenausschnitt umfasst. Dem Benutzer können somit Informationen bereitgestellt werden, die ihm ermöglichen, nachzuvollziehen, dass beim Abfahren der Fahrtrajektorie keine Kollision mit Objekten außerhalb des autonomen Fahrzeugs erfolgt. Dies kann insbesondere bei Fahrzeugen mit Überhang (z.B. Lastkraftwagen oder Bus), welche Ausschwenken, die Beurteilung einer vorgeschlagenen Fahrtrajektorie für den Benutzer erleichtern.
  • In einigen Ausführungsbeispielen der vorliegenden Erfindung umfasst das Verfahren ferner ein Empfangen einer Nachricht, dass die Fahrtrajektorie einen Abschnitt enthält, den das autonome Fahrzeug für nicht befahrbar erachtet. Bei dem Abschnitt der Fahrtrajektorie handelt es sich um einen Bereich, den das autonome Fahrzeug gemäß seinen Regeln für gewöhnlich nicht befahren würde. Bei dem Abschnitt der Fahrtrajektorie kann es sich z.B. um einen Bordstein, einen Bürgersteig, eine Grünfläche oder einen nicht befestigten Randstreifen handeln. Das Verfahren umfasst dabei weiterhin ein Ausgeben einer momentanen Aufnahme einer Kamera des autonomen Fahrzeugs an den Benutzer. Dem Benutzer können somit zusätzliche Informationen für die Beurteilung der Situation durch die Bordsensorik bereitgestellt werden. Optional kann der Benutzer die Darstellung des Kamerabildes auch ändern (z.B. zoomen). Nach Empfang einer fünften Benutzereingabe, welche eine Zustimmung des Benutzers zu dem Abschnitt der Fahrtrajektorie anzeigt, umfasst das Verfahren ein Senden eines Befehls, sich entlang des Abschnitts der Fahrtrajektorie zu bewegen, an die Steuervorrichtung des autonomen Fahrzeugs. Der Fahrer kann somit aktiv veranlassen, dass das autonome Fahrzeug einen Abschnitt der Fahrtrajektorie befährt, den es für gewöhnlich nicht befahren würde. Somit stehen dem Benutzer weitere Optionen für die Fahrtrajektorie zur Verfügung. Gleichzeitig behält der Benutzer die Kontrolle über das Abfahren dieser Abschnitte. Gegebenenfalls kann der Benutzer auch eine Neuplanung der Fahrtrajektorie veranlassen, falls sich das autonome Fahrzeug nicht entlang dieses Abschnitts der Fahrtrajektorie bewegen soll.
  • Es versteht sich von selbst, dass Ausführungsbeispiele der vorliegenden Erfindung auch ein Programm mit einem Programmcode zum Durchführen eines der hierin beschriebenen Verfahren umfasst, wenn der Programmcode auf einer Datenverarbeitungsanlage (z.B. einer Computer-Cloud, einem Tablet-Computer, einem Computer, einem Prozessor oder einer programmierbaren Hardwarekomponente) abläuft bzw. dort ausgeführt wird.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird die externe Steuerung eines autonomen Fahrzeugs durch ein System zur externen Steuerung eines autonomen Fahrzeugs ermöglicht. Das System umfasst eine Ausgabevorrichtung, die eingerichtet ist, einen Kartenausschnitts sowie eine Position des autonomen Fahrzeugs darin an einen Benutzer auszugeben. Bei der Ausgabevorrichtung kann es sich z.B. um eine Anzeige des autonomen Fahrzeugs, eine Anzeige eines fahrzeugexternen Bediengeräts (z.B. Tablet-Computer, Smartphone), oder eine Anzeige eines Kontrollzentrums handeln.
  • Ferner umfasst das System eine Eingabevorrichtung, die eingerichtet ist, eine erste Benutzereingabe zu empfangen. Die erste Benutzereingabe zeigt dabei ein gewünschtes Fahrmanöver an. Die erste Benutzereingabe kann z.B. ein Fahren bis zu einem festgelegten Punkt (z.B. x Meter in Fahrtrichtung, y Meter rückwärts oder eine Ortsangabe wie z.B. die nächste Raststätte), ein Ausführen eines festgelegten Fahrmanövers bis zu einem festgelegten Punkt (z.B. Umfahren eines Objekts links oder rechts herum bis zu einem bestimmten Punkt), ein Erreichen von festgelegten Zwischenpunkten oder ein Verändern der Geschwindigkeit umfassen. Mit anderen Worten: Der Benutzer macht mit Hilfe der ersten Benutzereingabe nur eine grundsätzliche Sollvorgabe. Die Eingabevorrichtung kann z.B. ein Mikrofon für den Empfang eines Sprachkommandos, ein Eingabegerät (z.B. Maus, Tastatur, Trackball oder Stift und Grafiktablett) oder eine berührungsempfindliche Anzeige umfassen.
  • Auch umfasst das System eine Rechenvorrichtung, die eingerichtet ist, zumindest eine Fahrtrajektorie für das autonome Fahrzeug basierend auf der Benutzereingabe zu berechnen.
  • Die Berechnung kann gemäß den oben beschriebenen Prinzipien erfolgen. Die Rechenvorrichtung kann z.B. einen oder mehrere Prozessoren bzw. einen oder mehrere Prozessorkerne, einen anwendungsspezifischen integrierten Schaltkreis (engl. ASIC = Application-Specific Integrated Circuit), einen integrierten Schaltkreis (engl. IC = Integrated Circuit), ein Ein-Chip-System (engl. SoC = System on a Chip), ein programmierbares Logikelement oder ein feldprogrammierbares Gatterarray mit einem Mikroprozessor (engl. FPGA = Field Programmable Gate Array) aufweisen, auf dem Software für die Berechnung der Fahrtrajektorie abläuft. Ferner kann die Rechenvorrichtung einen oder mehrere Speicher aufweisen bzw. mit diesen verbunden sein, in denen z.B. die Software für die Berechnung der Fahrtrajektorie oder sonstige Daten gespeichert sein können.
  • Die Ausgabevorrichtung des Systems ist ferner eingerichtet, die Fahrtrajektorie in dem Kartenausschnitt anzuzeigen. Der Benutzer erhält somit eine Rückmeldung über die durch das Fahrzeug abzufahrende Fahrtrajektorie und kann somit die vorgeschlagene Fahrtrajektorie prüfen.
  • Auch umfasst das System eine Sendevorrichtung, die eingerichtet ist, Informationen über die Fahrtrajektorie sowie einen Befehl, sich entlang der Fahrtrajektorie zu bewegen, an eine Steuervorrichtung des autonomen Fahrzeugs zu senden nach Empfang einer zweiten Benutzereingabe durch die Eingabevorrichtung. Die zweite Benutzereingabe zeigt dabei eine Zustimmung des Benutzers zu der Fahrtrajektorie an. Mit anderen Worten: Ist der Benutzer mit der vorgeschlagenen Fahrtrajektorie einverstanden, so wird das autonome Fahrzeug angewiesen, diese abzufahren. Der Benutzer ist somit zur Ausführung des gewünschten Fahrmanövers nicht Bestandteil des Regelkreises des autonomen Fahrzeugs, sondern macht nur grundsätzliche Sollvorgabe. Die Übermittlung der Informationen über die Fahrtrajektorie bzw. des Befehls über die Sendevorrichtung kann z.B. mittels Funkkommunikation (z.B. über ein zellulares Netzwerk, ein drahtloses lokales Netzwerk, Bluetooth) oder auch leitungsgebunden (falls die Fahrtrajektorie im autonomen Fahrzeug selbst berechnet wird) geschehen.
  • Die einzelnen Komponenten des Systems können dabei in einer oder in unterschiedlichen Geräten untergebracht sein. Beispielsweis kann das System ganz oder teilweise in dem autonomen Fahrzeugs, in einem fahrzeugexternen Bediengeräts (z.B. Smartphone oder Tablet-Computer) oder in einem Kontrollzentrum implementiert sein. Das System kann eine externe Steuerung des autonomen Fahrzeugs ermöglichen.
  • Gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung sind die Ausgabevorrichtung und die Eingabevorrichtung als eine berührungsempfindliche Anzeige ausgebildet, wobei die erste Benutzereingabe ein Skizzieren eines graphischen Elements in dem Kartenausschnitts durch Berühren der berührungsempfindlichen Anzeige umfasst. Mit anderen Worten: Als Eingabe-Interface kann ein Touchscreen verwendet werden, der die Szene zeigt. Mittels der berührungsempfindlichen Anzeige kann eine für den Benutzer intuitive Möglichkeit für Benutzereingabe bereitgestellt werden. Zur Erhöhung der Präzision kann die Eingabe z.B. auch mit Hilfe eines Stiftes erfolgen.
  • In einigen Ausführungsbeispielen der vorliegenden Erfindung ist die berührungsempfindliche Anzeige eine Anzeige des autonomen Fahrzeugs (z.B. eines Infotainmentsystems des Fahrzeugs), eine Anzeige eines mobilen Endgeräts (z.B. eines Smartphones oder eines Tablet-Computers) oder eine Anzeige einer außerhalb des autonomen Fahrzeugs befindlichen stationären Steuervorrichtung (z.B. in einem Kontrollzentrum). Somit können vielfältige Implementierungen für die berührungsempfindliche Anzeige ermöglicht werden.
  • Gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung ist die Rechenvorrichtung eine Rechenvorrichtung des autonomen Fahrzeugs, eine Rechenvorrichtung des mobilen Endgeräts oder eine Rechenvorrichtung einer zentralen Datenverarbeitungsanlage. Somit können vielfältige Implementierungen für die Rechenvorrichtung ermöglicht werden.
  • Wie vorangehend angedeutet können die einzelnen Komponenten des Systems somit über mehrere physische Geräte bzw. Vorrichtungen verteilt sein.
  • In einigen Ausführungsbeispielen der vorliegenden Erfindung umfasst das System ferner eine Empfangsvorrichtung, die eingerichtet ist, Informationen über ein von einem Sensor des autonomen Fahrzeugs erfasstes Objekt und/oder Informationen über ein von einer Entität (z.B. weiteres Fahrzeug, Infrastruktur) außerhalb des autonomen Fahrzeugs erfasstes Objekt und/ oder Informationen über einen Betriebsparameter (Geschwindigkeit, aktuelle Bahnplanung, geplante Manöver, Planung zur Fahrtroute) des autonomen Fahrzeugs und/oder Informationen aus einer Datenbank einer zentralen Datenverarbeitungsanlage zu empfangen. Die Ausgabevorrichtung des Systems ist dabei ferner eingerichtet, die Informationen in dem Kartenausschnitt anzuzeigen. Dem Benutzer können dadurch weitere Informationen über die nähere Umgebung des autonomen Fahrzeugs für die Beurteilung der Situation bereitgestellt werden. Die dem Benutzer angezeigte Ansicht kann somit Informationen beinhalten, welche das autonome Fahrzeug mit seiner eigenen Sensorik gewonnen hat; Informationen, welche das autonome Fahrzeug von anderen Fahrzeugen (kollektive Perzeption) oder einer Infrastruktur (z.B. straßenseitige Sensorik) erhalten hat; als auch Informationen von externen Quellen (z.B. einem Back-End).
  • Gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung ist die Eingabevorrichtung ferner eingerichtet, eine dritten Benutzereingabe, welche eine Änderung zumindest eines Teils der Fahrtrajektorie durch den Benutzer anzeigt, zu empfangen. Die Rechenvorrichtung ist dabei ferner eingerichtet, eine weitere Fahrtrajektorie für das autonome Fahrzeug basierend auf der dritten Benutzereingabe zu berechnen. Die Ausgabevorrichtung ist dabei ferner eingerichtet, die weitere Fahrtrajektorie in dem Kartenausschnitt anzuzeigen. Nach Empfang einer vierten Benutzereingabe durch die Eingabevorrichtung, wobei die vierte Benutzereingabe eine Zustimmung des Benutzers zu der weiteren Fahrtrajektorie anzeigt, ist die Sendevorrichtung dabei eingerichtet, Informationen über die weitere Fahrtrajektorie sowie einen Befehl, sich entlang der weiteren Fahrtrajektorie zu bewegen, an die Steuervorrichtung des autonomen Fahrzeugs zu senden. Dem Benutzer kann somit ermöglicht werden, vorgeschlagene Fahrtrajektorien zu verwerfen und neue Vorgaben zu machen bzw. neue Fahrtrajektorien planen zu lassen. Bei Segmenten (zwischen Zwischenpunkten der Fahrtrajektorie) können auch nur Teilsegmente verworfen bzw. bearbeitet werden.
  • Gemäß weiteren Ausführungsbeispielen der vorliegenden Erfindung können das System bzw. Komponenten des Systems eingerichtet sein, einen oder mehrere der weiteren, oben genannten Verfahrensschritte auszuführen.
  • Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend, Bezug nehmend auf die beigefügten Figuren, näher erläutert. Es zeigen:
    • 1 zeigt ein Flussdiagram eines Ausführungsbeispiels eines Verfahrens zur externen Steuerung eines autonomen Fahrzeugs; und
    • 2 zeigt ein Ausführungsbeispiel eines Systems zur externen Steuerung eines autonomen Fahrzeugs.
  • 1 zeigt ein Verfahren 100 zur externen Steuerung eines autonomen Fahrzeugs. Das Verfahren 100 umfasst ein Ausgeben 102 eines Kartenausschnitts sowie einer Position des autonomen Fahrzeugs darin an einen Benutzer. Ferner umfasst das Verfahren 100 ein Empfangen 104 einer ersten Benutzereingabe, wobei die Benutzereingabe ein gewünschtes Fahrmanöver anzeigt. Das Verfahren 100 umfasst zudem ein Berechnen 106 zumindest einer Fahrtrajektorie für das autonome Fahrzeug basierend auf der ersten Benutzereingabe. Weiterhin umfasst das Verfahren 100 ein Anzeigen 108 der Fahrtrajektorie in dem Kartenausschnitt und ein Senden 110 von Informationen über die Fahrtrajektorie sowie einen Befehl, sich entlang der Fahrtrajektorie zu bewegen, an eine Steuervorrichtung des autonomen Fahrzeugs nach Empfang einer zweiten Benutzereingabe, welche eine Zustimmung des Benutzers zu der Fahrtrajektorie anzeigt.
  • Das Berechnen 106 der zumindest einen Fahrtrajektorie für das autonome Fahrzeug kann dabei mehrere Teilaspekte umfassen. So können die vom Benutzer gemachten Anweisungen (z. B. auf einem Touchscreen mit einem Stift oder den Fingern skizziert) für die Trajektorienplanung bzw. Bahnplanung aufbereitet werden. Trajektorien für automatisch fahrende (autonome) Fahrzeuge werden typischerweise durch Polynome fünften Grades beschrieben. Entsprechend können Polynome auch zur Approximation und „Glättung“ der Skizze verwendet werden. Die „geglättete“ Skizze kann dem Benutzer auch angezeigt werden.
  • Gegebenenfalls können auch alternative Fahrtrajektorien, welche die skizzierte Bahn gut approximieren oder den skizzierten Endzustand gut erreichen, berechnet werden. Diese können dem Benutzer (gegebenenfalls zur Auswahl) angezeigt werden.
  • Optional kann das Verfahren 100 auch eine Berechnung der vom autonomen Fahrzeug beim Abfahren der Trajektorie bzw. der Trajektorien belegten Straßenfläche umfassen. Diese können wiederum dem Bediener (gegebenenfalls zur Auswahl) angezeigt werden. Zur Verbesserung der Übersichtlichkeit können die Darstellungen (vom Benutzer gewählt) einzeln angezeigt werden.
  • Der Benutzer beurteilt die Planung und bestätigt/wählt eine Trajektorie durch die zweite Benutzereingabe oder verwirft diese und startet z.B. eine Neuplanung mit einer neuen Skizze oder einer Änderung von Segmenten der ursprünglichen Skizze. Die ausgewählte Trajektorie ist die Basis für den Bahnplaner des autonomen Fahrzeugs.
  • Der Benutzer startet durch die zweite Benutzereingabe das Abfahren der Trajektorie, so dass das autonome Fahrzeug die notwendigen Berechnungen durchführt und seine Fahrt beginnt. Die Überwachung des Manövers führt das autonome Fahrzeug mit seiner Sensorik aus. Es führt weiterhin seine Fahrmanöver automatisch aus.
  • Beim Erreichen eines Punktes bzw. einer Fläche, die das autonome Fahrzeug normalerweise aufgrund seiner Regeln nicht befährt (z. B. ein nicht befestigter Randstreifen), kann es z.B. anhalten und eine Bestätigung durch den Bediener anfordern. Diesem wird die Szene durch die Bordsensorik (vorzugsweise Kamera) zur Beurteilung gezeigt. Gegebenenfalls kann der Bediener die Darstellung ändern, z. B. durch Zoomen eines Bildes. Gegebenenfalls kann der Bediener auch eine Neuplanung der Fahrtrajektorie starten.
  • Die einzelnen Schritte des Verfahrens 100 können dabei auf einem oder mehreren Geräten ablaufen. Beispielsweis kann das Verfahren 100 ganz oder teilweise auf dem autonomen Fahrzeug, ganz oder teilweise auf einem fahrzeugexternen Bediengerät (z.B. Smartphone oder Tablet-Computer) oder auch ganz oder teilweise in einem Kontrollzentrum ablaufen. Das Verfahren 100 kann eine externe Steuerung des autonomen Fahrzeugs ermöglichen.
  • Weitere Details und Aspekte des Verfahrens 100 sind vorangehend in Zusammenhang mit einem oder mehreren Ausführungsbeispielen beschrieben. Das Verfahren 100 kann eines oder mehrere optionale Merkmale gemäß einem oder mehreren der vorbeschriebenen Ausführungsbeispiele umfassen.
  • 2 zeigt ferner ein System 200 zur externen Steuerung eines autonomen Fahrzeugs. Das System 200 ist dabei in Form eines mobilen Endgeräts, hier eines Tablet-Computers, implementiert.
  • Die berührungsempfindliche Anzeige 210 des Table-Computers dient als Ausgabevorrichtung, um einen Kartenausschnitt 211 sowie eine Position 212 des autonomen Fahrzeugs darin an einen Benutzer auszugeben.
  • Die berührungsempfindliche Anzeige 210 des Table-Computers dient ferner als Eingabevorrichtung, um eine erste Benutzereingabe zu empfangen, wobei die erste Benutzereingabe ein gewünschtes Fahrmanöver anzeigt.
  • Eine Rechenvorrichtung 220 (z.B. ein Prozessor des Tablet-Computers) ist eingerichtet, zumindest eine Fahrtrajektorie für das autonome Fahrzeug basierend auf der ersten Benutzereingabe zu berechnen.
  • Die als Ausgabevorrichtung dienende berührungsempfindliche Anzeige 210 ist ferner eingerichtet, die Fahrtrajektorie 213 in dem Kartenausschnitt anzuzeigen.
  • Ferner ist von dem Tablet-Computer eine Sendevorrichtung 230 umfasst. Nach Empfang einer zweiten Benutzereingabe durch die als Eingabevorrichtung dienende berührungsempfindliche Anzeige 210, wobei die zweite Benutzereingabe eine Zustimmung des Benutzers zu der Fahrtrajektorie 213 anzeigt, ist die Sendevorrichtung eingerichtet, Informationen über die Fahrtrajektorie 213 sowie einen Befehl, sich entlang der Fahrtrajektorie 213 zu bewegen, an eine Steuervorrichtung des autonomen Fahrzeugs zu senden.
  • Das System 200 kann eine externe Steuerung des autonomen Fahrzeugs ermöglichen. Die einzelnen Komponenten des Systems 200 können dabei alternativ auch in unterschiedlichen Geräten untergebracht sein. Beispielsweis kann ein Teil das System auch im autonomen Fahrzeug selbst oder in einem Kontrollzentrum implementiert sein.
  • Beispielsweise kann die Bearbeitung der ersten Benutzereingabe auf dem Eingabegerät erfolgen. Je nach Situation könnte dieses im Fahrzeug integriert sein, sich in einem Kontrollzentrum befinden oder es könnte sich um ein mobiles Eingabegerät (z. B. Tablet-Computer) eines mobilen Benutzers (z. B. Service-Techniker) handeln. Die Bearbeitung kann aber auch im Back-End stattfinden, was die entsprechende Kommunikation voraussetzt.
  • Die dem Benutzer präsentierten Trajektorien können vom Bahnplaner des autonomen Fahrzeugs errechnet werden oder von entsprechenden Bahnplanern im Back-End oder auf einem mobilen Eingabegerät. Entsprechendes gilt für die beim Abfahren der Fahrtrajektorie belegten Flächen. Je nach Ausführungsort der Trajektorienplanung (Fahrzeug, Back-End, mobiles Gerät) kann die abzufahrende Bahn an die Steuervorrichtung des autonomen Fahrzeugs übermittelt werden (z.B. Leitungsgebunden oder mittels über Funkkommunikation).
  • Bezugszeichenliste
  • 100
    Verfahren zur externen Steuerung eines autonomen Fahrzeugs
    102
    Ausgeben eines Kartenausschnitts sowie einer Position des autonomen Fahrzeugs darin
    104
    Empfangen einer ersten Benutzereingabe
    106
    Berechnen zumindest einer Fahrtrajektorie für das autonome Fahrzeug
    108
    Anzeigen der Fahrtrajektorie in dem Kartenausschnitt
    110
    Senden von Informationen über die Fahrtrajektorie sowie einen Befehl
    200
    System
    210
    berührungsempfindliche Anzeige
    211
    Kartenausschnitt
    212
    Position des autonomen Fahrzeugs
    213
    Fahrtrajektorie
    220
    Rechenvorrichtung
    230
    Sendevorrichtung
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102014018108 A1 [0005]
    • WO 2008/036805 A1 [0006]
    • US 2009/0138151 A1 [0007]

Claims (15)

  1. Verfahren (100) zur externen Steuerung eines autonomen Fahrzeugs, umfassend: Ausgeben (102) eines Kartenausschnitts sowie einer Position des autonomen Fahrzeugs darin an einen Benutzer; Empfangen (104) einer ersten Benutzereingabe, wobei die erste Benutzereingabe ein gewünschtes Fahrmanöver anzeigt; Berechnen (106) zumindest einer Fahrtrajektorie für das autonome Fahrzeug basierend auf der ersten Benutzereingabe; Anzeigen (108) der Fahrtrajektorie in dem Kartenausschnitt; und Senden (110) von Informationen über die Fahrtrajektorie sowie einen Befehl, sich entlang der Fahrtrajektorie zu bewegen, an eine Steuervorrichtung des autonomen Fahrzeugs nach Empfang einer zweiten Benutzereingabe, welche eine Zustimmung des Benutzers zu der Fahrtrajektorie anzeigt.
  2. Verfahren nach Anspruch 1, wobei das Ausgeben (102) des Kartenausschnitts auf einer berührungsempfindlichen Anzeige erfolgt, und wobei die erste Benutzereingabe ein Skizzieren eines graphischen Elements in dem Kartenausschnitts durch Berühren der berührungsempfindlichen Anzeige umfasst.
  3. Verfahren nach Anspruch 1 oder Anspruch 2, wobei die Fahrtrajektorie für das autonome Fahrzeug eine aus einer Mehrzahl an berechneten und in dem Kartenausschnitt angezeigten Fahrtrajektorien ist, und wobei die zweite Benutzereingabe ein Auswählen der Fahrtrajektorie für das autonome Fahrzeug aus der Mehrzahl an berechneten und in dem Kartenausschnitt angezeigten Fahrtrajektorien umfasst.
  4. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren neben dem Ausgeben (102) des Kartenausschnitts ferner ein Ausgeben eines momentanen Messwerts eines Sensors des autonomen Fahrzeugs umfasst, wobei der Messwert Informationen über einen Abstand eines außerhalb des autonomen Fahrzeugs befindlichen Objekts zu dem autonomen Fahrzeug umfasst.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei in dem Kartenausschnitt weiterhin ein von einem Sensor des autonomen Fahrzeugs erfasstes Objekt und/oder ein von einer Entität außerhalb des autonomen Fahrzeugs erfasstes Objekt und/oder ein wahrscheinlich durch das autonome Fahrzeug befahrbarer Bereich und/oder ein Betriebsparameter des autonomen Fahrzeugs und/oder eine Fahrtrajektorie zumindest eines weiteren autonomen Fahrzeugs dargestellt ist.
  6. Verfahren nach einem der vorhergehenden Ansprüche, wobei die erste Benutzereingabe ein Skizzieren einer gewünschten Fahrtrajektorie für das autonome Fahrzeug in dem Kartenausschnitt umfasst, und wobei das Berechnen der zumindest einen Fahrtrajektorie für das autonome Fahrzeug ein Anpassen der zumindest einen Fahrtrajektorie für das autonome Fahrzeug an die gewünschte Fahrtrajektorie für das autonome Fahrzeug umfasst.
  7. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren ferner Folgendes umfasst: Empfangen einer dritten Benutzereingabe, welche eine Änderung zumindest eines Teils der Fahrtrajektorie durch den Benutzer anzeigt; Berechnen einer weiteren Fahrtrajektorie für das autonome Fahrzeug basierend auf der dritten Benutzereingabe; Anzeigen der weiteren Fahrtrajektorie in dem Kartenausschnitt; und Senden von Informationen über die weitere Fahrtrajektorie sowie einen Befehl, sich entlang der weiteren Fahrtrajektorie zu bewegen, an die Steuervorrichtung des autonomen Fahrzeugs nach Empfang einer vierten Benutzereingabe, welche eine Zustimmung des Benutzers zu der weiteren Fahrtrajektorie anzeigt.
  8. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Berechnen (106) der zumindest einen Fahrtrajektorie für das autonome Fahrzeug ein Berechnen einer bei einem Abfahren der Fahrtrajektorie durch das autonome Fahrzeug belegten Bodenfläche umfasst, und wobei das Verfahren neben dem Anzeigen (108) der Fahrtrajektorie in dem Kartenausschnitt ferner ein Anzeigen der beim Abfahren der Fahrtrajektorie durch das autonome Fahrzeug belegten Bodenfläche in dem Kartenausschnitt umfasst.
  9. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren ferner Folgendes umfasst: Empfangen einer Nachricht, dass die Fahrtrajektorie einen Abschnitt enthält, den das autonome Fahrzeug für nicht befahrbar erachtet; Ausgeben einer momentanen Aufnahme einer Kamera des autonomen Fahrzeugs an den Benutzer; und Senden eines Befehls, sich entlang des Abschnitts der Fahrtrajektorie zu bewegen, an die Steuervorrichtung des autonomen Fahrzeugs nach Empfang einer fünften Benutzereingabe, welche eine Zustimmung des Benutzers zu dem Abschnitt der Fahrtrajektorie anzeigt.
  10. System (200) zur externen Steuerung eines autonomen Fahrzeugs, umfassend: eine Ausgabevorrichtung, die eingerichtet ist, einen Kartenausschnitts (211) sowie eine Position (212) des autonomen Fahrzeugs darin an einen Benutzer auszugeben; eine Eingabevorrichtung, die eingerichtet ist, eine erste Benutzereingabe zu empfangen, wobei die erste Benutzereingabe ein gewünschtes Fahrmanöver anzeigt; eine Rechenvorrichtung (220), die eingerichtet ist, zumindest eine Fahrtrajektorie (213) für das autonome Fahrzeug basierend auf der ersten Benutzereingabe zu berechnen, wobei die Ausgabevorrichtung ferner eingerichtet ist, die Fahrtrajektorie (213) in dem Kartenausschnitt anzuzeigen; und eine Sendevorrichtung (230), die eingerichtet ist, Informationen über die Fahrtrajektorie (213) sowie einen Befehl, sich entlang der Fahrtrajektorie (213) zu bewegen, an eine Steuervorrichtung des autonomen Fahrzeugs zu senden nach Empfang einer zweiten Benutzereingabe durch die Eingabevorrichtung, wobei die zweite Benutzereingabe eine Zustimmung des Benutzers zu der Fahrtrajektorie (213) anzeigt.
  11. System nach Anspruch 10, wobei die Ausgabevorrichtung und die Eingabevorrichtung als eine berührungsempfindliche Anzeige (210) ausgebildet sind, und wobei die erste Benutzereingabe ein Skizzieren eines graphischen Elements in dem Kartenausschnitts durch Berühren der berührungsempfindlichen Anzeige (210) umfasst.
  12. System nach Anspruch 11, wobei die berührungsempfindliche Anzeige (210) eine Anzeige des autonomen Fahrzeugs, eine Anzeige eines mobilen Endgeräts oder eine Anzeige einer außerhalb des autonomen Fahrzeugs befindlichen stationären Steuervorrichtung ist.
  13. System nach einem der vorhergehenden Ansprüche, wobei die Rechenvorrichtung (220) eine Rechenvorrichtung des autonomen Fahrzeugs, eine Rechenvorrichtung eines mobilen Endgeräts oder eine Rechenvorrichtung einer zentralen Datenverarbeitungsanlage ist.
  14. System nach einem der vorhergehenden Ansprüche, wobei das System ferner eine Empfangsvorrichtung umfasst, die eingerichtet ist, Informationen über ein von einem Sensor des autonomen Fahrzeugs erfasstes Objekt und/oder Informationen über ein von einer Entität außerhalb des autonomen Fahrzeugs erfasstes Objekt und/ oder Informationen über einen Betriebsparameter des autonomen Fahrzeugs und/oder Informationen aus einer Datenbank einer zentralen Datenverarbeitungsanlage zu empfangen, wobei die Ausgabevorrichtung ferner eingerichtet ist, die Informationen in dem Kartenausschnitt anzuzeigen.
  15. System nach einem der vorhergehenden Ansprüche, wobei die Eingabevorrichtung ferner eingerichtet ist, eine dritten Benutzereingabe, welche eine Änderung zumindest eines Teils der Fahrtrajektorie durch den Benutzer anzeigt, zu empfangen, wobei die Rechenvorrichtung ferner eingerichtet ist, eine weitere Fahrtrajektorie für das autonome Fahrzeug basierend auf der dritten Benutzereingabe zu berechnen, wobei die Ausgabevorrichtung ferner eingerichtet ist, die weitere Fahrtrajektorie in dem Kartenausschnitt anzuzeigen, und wobei die Sendevorrichtung eingerichtet ist, Informationen über die weitere Fahrtrajektorie sowie einen Befehl, sich entlang der weiteren Fahrtrajektorie zu bewegen, an die Steuervorrichtung des autonomen Fahrzeugs zu senden nach Empfang einer vierten Benutzereingabe durch die Eingabevorrichtung, wobei die vierte Benutzereingabe eine Zustimmung des Benutzers zu der weiteren Fahrtrajektorie anzeigt.
DE102016221106.4A 2016-10-26 2016-10-26 Verfahren sowie System zur externen Steuerung eines autonomen Fahrzeugs Active DE102016221106B4 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102016221106.4A DE102016221106B4 (de) 2016-10-26 2016-10-26 Verfahren sowie System zur externen Steuerung eines autonomen Fahrzeugs
PCT/EP2017/076319 WO2018077647A1 (de) 2016-10-26 2017-10-16 Verfahren sowie system zur externen steuerung eines autonomen fahrzeugs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016221106.4A DE102016221106B4 (de) 2016-10-26 2016-10-26 Verfahren sowie System zur externen Steuerung eines autonomen Fahrzeugs

Publications (2)

Publication Number Publication Date
DE102016221106A1 true DE102016221106A1 (de) 2018-04-26
DE102016221106B4 DE102016221106B4 (de) 2024-05-16

Family

ID=60202018

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016221106.4A Active DE102016221106B4 (de) 2016-10-26 2016-10-26 Verfahren sowie System zur externen Steuerung eines autonomen Fahrzeugs

Country Status (2)

Country Link
DE (1) DE102016221106B4 (de)
WO (1) WO2018077647A1 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020048718A1 (de) * 2018-09-06 2020-03-12 Volkswagen Aktiengesellschaft Konzept zum überwachen und planen einer bewegung eines fortbewegungsmittels
DE102020203901A1 (de) 2020-03-25 2021-09-30 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtungen zum Anpassen einer Einstellung einer Komponente eines Fortbewegungsmittels
DE102020130406A1 (de) 2020-11-18 2022-05-19 Valeo Schalter Und Sensoren Gmbh Verfahren und steuervorrichtung zum steuern eines autonomen fahrzeugs
EP4173919A1 (de) * 2021-11-02 2023-05-03 Volvo Truck Corporation Fahrerassistenzsystem für schwerlastfahrzeuge mit überhang

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11072342B2 (en) 2019-02-19 2021-07-27 Toyota Research Institute, Inc. Actively adapting to driving environments based on human interactions
USD985607S1 (en) 2021-08-23 2023-05-09 Waymo Llc Display screen or portion thereof with graphical user interface

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005008874A1 (de) * 2005-02-24 2006-09-07 Daimlerchrysler Ag Bedien- und Anzeigekonzept für die Bildgestützte Navigation bei Fahrzeugen
WO2008036805A1 (en) 2006-09-22 2008-03-27 Jadi, Inc. Autonomous vehicle controller
US20090138151A1 (en) 2007-11-27 2009-05-28 Jadi Inc. Method and system for locating and navigating a target
DE102014018108A1 (de) 2014-12-06 2016-06-09 Daimler Ag Verfahren zur Bestimmung eines Fahrmanövers eines Fahrzeuges
DE102015205377A1 (de) * 2015-03-25 2016-09-29 Volkswagen Aktiengesellschaft Ansicht einer Umgebung eines Fahrzeugs
DE102016003308B3 (de) * 2016-03-17 2017-09-21 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5605617B2 (ja) * 2010-05-26 2014-10-15 アイシン精機株式会社 駐車支援装置
WO2012104964A1 (ja) * 2011-01-31 2012-08-09 トヨタ自動車株式会社 車両制御装置
DE102012222972A1 (de) * 2012-12-12 2014-06-12 Robert Bosch Gmbh Verfahren und Einrichtung zur Ermittlung einer Trajektorie eines Fahrmanövers
US8996224B1 (en) * 2013-03-15 2015-03-31 Google Inc. Detecting that an autonomous vehicle is in a stuck condition
DE102015014614A1 (de) * 2015-11-12 2016-05-12 Daimler Ag Verfahren zur Durchführung einer autonomen Fahrt eines Fahrzeuges

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005008874A1 (de) * 2005-02-24 2006-09-07 Daimlerchrysler Ag Bedien- und Anzeigekonzept für die Bildgestützte Navigation bei Fahrzeugen
WO2008036805A1 (en) 2006-09-22 2008-03-27 Jadi, Inc. Autonomous vehicle controller
US20090138151A1 (en) 2007-11-27 2009-05-28 Jadi Inc. Method and system for locating and navigating a target
DE102014018108A1 (de) 2014-12-06 2016-06-09 Daimler Ag Verfahren zur Bestimmung eines Fahrmanövers eines Fahrzeuges
DE102015205377A1 (de) * 2015-03-25 2016-09-29 Volkswagen Aktiengesellschaft Ansicht einer Umgebung eines Fahrzeugs
DE102016003308B3 (de) * 2016-03-17 2017-09-21 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020048718A1 (de) * 2018-09-06 2020-03-12 Volkswagen Aktiengesellschaft Konzept zum überwachen und planen einer bewegung eines fortbewegungsmittels
US11934188B2 (en) 2018-09-06 2024-03-19 Volkswagen Aktiengesellschaft Monitoring and planning a movement of a transportation device
DE102020203901A1 (de) 2020-03-25 2021-09-30 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtungen zum Anpassen einer Einstellung einer Komponente eines Fortbewegungsmittels
DE102020130406A1 (de) 2020-11-18 2022-05-19 Valeo Schalter Und Sensoren Gmbh Verfahren und steuervorrichtung zum steuern eines autonomen fahrzeugs
EP4173919A1 (de) * 2021-11-02 2023-05-03 Volvo Truck Corporation Fahrerassistenzsystem für schwerlastfahrzeuge mit überhang

Also Published As

Publication number Publication date
DE102016221106B4 (de) 2024-05-16
WO2018077647A1 (de) 2018-05-03

Similar Documents

Publication Publication Date Title
DE102018130566B4 (de) Autonomer fahrzeugbetrieb mit automatisierter unterstützung
DE102016221106B4 (de) Verfahren sowie System zur externen Steuerung eines autonomen Fahrzeugs
DE102018122459B4 (de) Fahrzeugsystem, entferntes fahrzeugassistenzsystem und comuterimplementiertes verfahren zum bereitstellen von fernunterstützung
EP3472027B1 (de) Verfahren zum betrieb eines kraftfahrzeugs
DE112015001150B4 (de) Verfahren, Vorrichtung und System zur Unterstützung von Platooning
DE102019211681B4 (de) Verfahren eines Fahrzeugs zum automatisierten Parken
DE102018104147A1 (de) Karteninformations-Aktualisierungssystem und Karteninformations-Aktualisierungsserver
DE102017130936A1 (de) Expertenmodus für Fahrzeuge
EP3566105B1 (de) Verfahren und system zum bereitstellen einer zumindest teilweise automatischen führung eines folgefahrzeugs
DE102018113007A1 (de) Trajektorienplaner zum autonomen fahren mittels bézier-kurven
DE102019201840A1 (de) Fahrzeugsteuerungssystem und steuerverfahren
DE102018110086A1 (de) Automatisierte routenüberquerung eines fahrzeugs
DE102016112859A1 (de) Navigationsvorrichtung für ein autonom fahrendes Fahrzeug
DE102014224104A1 (de) Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs respektive eines Parkplatzes
DE102016116928A1 (de) Formulieren von Leitplänen auf Fahrspurebene
EP3170163A1 (de) Verfahren zur verkehrskoordinierung von kraftfahrzeugen in einer parkumgebung
DE102014224073A1 (de) Server zum Betreiben eines Parkplatzes
DE102015113596A1 (de) Verfahren und System für das Parken eines Fahrzeugs
DE112016007451T5 (de) Verfahren und vorrichtungen zum gewerblichen betrieb persönlicher autonomer fahrzeuge
DE102014202730A1 (de) Verfahren und vorrichtung zur wegabschlusswahrscheinlichkeitsgradanzeige
DE102014224099A1 (de) Verfahren und Vorrichtung zum Betreiben von mehreren Fahrzeugen
WO2016020023A1 (de) Verfahren und vorrichtung zur durchführung eines parkvorganges eines fahrzeuges in einem parkhaus
DE102020135073A1 (de) Fahrzeugwegsteuerung
DE102021132218A1 (de) Prädiktive Analytik für Fahrzeuggesundheitszustand
DE102019107485A1 (de) Bewegung eines autonomen fahrzeugs um stationäre fahrzeuge herum

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division