-
Die vorliegende Erfindung betrifft ein Steuerverfahren für ein teleoperiertes Kraftfahrzeug, ein Steuergerät, das ausgestaltet ist, um das Verfahren auszuführen, und ein Kraftfahrzeug mit dem Steuergerät.
-
Das automatisierte, insbesondere autonome, Fahren wurde in den letzten Jahren im Kraftfahrzeugbau weiter erforscht und entwickelt, wobei das automatisierte Fahren bei einigen Szenarien, wie beispielsweise eine Autobahnfahrt und/oder Stau- bzw. Stop-and-Go-Verkehr, in Serienfahrzeugen bereits zum Einsatz kommt.
-
Für weitere Szenarien und vor allem den Bereich des Stadtverkehrs ist fraglich, ob sich in den nächsten Jahrzehnten dort autonome Kraftfahrzeuge im öffentlichen Straßenverkehr bewegen werden, da eine Komplexität von auftretenden Situationen im Kraftfahrzeugumfeld, beispielsweise aufgrund vieler unterschiedlicher Arten von Verkehrsteilnehmern und/oder unübersichtlichen Straßentopologien, sehr hoch ist.
-
Um diese Funktionseinschränkungen von automatisierten Fahrsystemen mit dem aktuellen Stand der maschinellen Wahrnehmung zu überwinden, hat das teleoperierte Fahren sein hohes Potenzial bewiesen.
-
Aus der
WO 2020/200535 A1 ist beispielsweise ein System zum teleoperierten Fahren bekannt, das ein Fahrzeug, ein Backend und Fernbedienungsgeräte umfasst, wobei das Fahrzeug, das Backend und die Fernbedienungsgeräte dazu eingerichtet sind, sich über ein Mobilfunknetz auszutauschen.
-
Bei der konventionellen direktgesteuerten Teleoperation wird der Mensch bzw. Bediener im Regelkreis des Fahrzeugs gehalten. Auf diese Weise können mögliche Defizite in der maschinellen Wahrnehmung kompensiert werden.
-
Während dieses Teleoperationsparadigma bei niedriger Geschwindigkeit ohne automatisierte Fahrfunktionen gut funktioniert, verursachen komplexe urbane Szenarien typischerweise eine hohe Arbeitsbelastung für den Bediener, was zu einem Stop-and-Go-Verhalten des Kraftfahrzeugs führen kann.
-
Dieser Nachteil lässt sich zudem unter anderem auf die Kommunikationszeitverzögerung zurückführen, die den Bediener zwingt, langsamer und vorsichtiger zu fahren als dies bei einer herkömmlichen Steuerung des Kraftfahrzeugs durch einen Fahrer des Kraftfahrzeugs der Fall wäre.
-
Weiterhin sind übergeordnete Steuerung bekannt, bei denen der Bediener über einen verzögerten Kommunikationskanal hochrangige Ziele kommuniziert, die das Fahrzeug anschließend selbständig bzw. automatisiert ausführt.
-
In diesem Zusammenhang wurde eine Mensch-Maschine-Schnittstelle für eine kollaborative Steuerung entwickelt, wobei eine Trajektorie des Kraftfahrzeugs von dem Bediener des Kraftfahrzeugs manuell über ein herkömmliches Lenkrad und Fußpedale erzeugt werden.
-
Obwohl dieser Ansatz den Bediener beim Fahren auf geradlinigen Pfaden unterstützt, führt die manuelle Generierung geeigneter Trajektorien in Echtzeit bei gekrümmten Pfaden oder in Kurvenszenarien zu einem Stop-and-Go-Fahrverhalten des Kraftfahrzeugs.
-
Das heißt, die übergeordnete Steuerung ist ebenfalls nur für gut strukturierte und statische Umgebungen geeignet, in denen alle relevanten Hindernisse bekannt sind. Dies ist in fast allen urbanen Szenarien nicht der Fall.
-
Vor dem Hintergrund dieses Standes der Technik besteht die Aufgabe der vorliegenden Erfindung darin, eine Vorrichtung und ein Verfahren anzugeben, welche jeweils geeignet sind, zumindest die oben genannten Nachteile des Standes der Technik zu überwinden.
-
Insbesondere soll ein Steuerverfahren und ein Steuergerät sowie ein das Steuergerät umfassendes Kraftfahrzeug bereitgestellt werden, die jeweils ausgestaltet sind, um ein teleoperiertes Steuern eines Kraftfahrzeugs in urbanen Fahrsituationen erleichtert.
-
Gelöst wird die Aufgabe durch die Merkmale des unabhängigen Anspruchs. Die Unteransprüche haben bevorzugte Weiterbildungen der Erfindung zum Inhalt.
-
Danach wird die Aufgabe durch ein Steuerverfahren für ein teleoperiertes Kraftfahrzeug gelöst.
-
Das Steuerverfahren zeichnet sich dadurch aus, dass es einen Schritt eines Festlegens eines Korridors zu einem vorbestimmten Ziel durch einen Bediener aufweist.
-
Das Steuerverfahren zeichnet sich ferner dadurch aus, dass es einen Schritt eines automatisierten Steuerns des Kraftfahrzeugs zu dem vordefinierten Ziel innerhalb des festgelegten Korridors aufweist.
-
Unter teleoperiert kann vorliegend verstanden werden, dass ein externer, sich insbesondere außerhalb des Kraftfahrzeugs befindlicher, menschlicher Bediener das Kraftfahrzeug durch Übergabe von Informationen an das Kraftfahrzeug insofern steuert, als dass das Kraftfahrzeug durch die Übergabe der Informationen in die Lage versetzt wird, dass es automatisiert von einem Startpunkt bzw. einer initialen Position zu dem durch den Bediener festgelegten Ziel fahren kann. Die Übergabe der Informationen kann drahtlos und/oder drahtgebunden erfolgen.
-
Mit anderen Worten, es wird ein korridorbasierter Planungsansatz vorgeschlagen, welcher eine übergeordnete Steuerungsmethode für eine interaktive Bewegungsplanung zwischen Bediener und automatisiertem Fahrzeug ermöglicht. Dieser Planungsansatz ermöglicht es dem Bediener, einen zu befahrenden Bereich bzw. den Korridor in Richtung eines gewünschten Ziels festzulegen.
-
Dafür kann der Bediener Sensordaten nutzen, die vom Kraftfahrzeug bereitgestellt werden, und Grenzen des Korridors entsprechend seiner Wahrnehmung festlegen. Dabei kann der Bediener Hindernisse berücksichtigen, die von einer Sensorik und Auswerteeinheit fälschlicherweise nicht erkannt werden.
-
Denkbar ist, dass unzureichende Fahrbahnmarkierungen oder Hindernisse zwar in einem Kraftfahrzeugumfeld vorhanden und auf einem Kamerabild einer außen am Kraftfahrzeug installierten Umfeldkamera für den Bediener sichtbar sind, von dem Kraftfahrzeug selbst aber nicht erkannt werden. Dies kann der Bediener beim Festlegen des Korridors berücksichtigen und so eine mögliche Kollision mit dem nicht erkannten Hindernis vermeiden.
-
Innerhalb des durch den Bediener festgelegten Korridors berechnet das automatisierte Fahrzeug selbst oder eine externe zum Kraftfahrzeug verbundene Recheneinheit, insbesondere in Echtzeit, eine optimierte Trajektorie des Kraftfahrzeugs und das Kraftfahrzeug folgt der berechneten Trajektorie automatisiert zum Ziel.
-
Durch die Ausnutzung der menschlichen Fähigkeiten bei der Festlegung des Korridors wird der menschliche Bediener in die Lage versetzt, einen Korridor zum gewünschten Ziel vorzugeben, während das automatisierte Kraftfahrzeug und/oder eine externe Recheneinheit selbst eine Trajektorie zum Ziel berechnet.
-
Mit diesem übergeordneten Steuerungsansatz für teleoperierte Fahraufgaben wird der menschliche Bediener in komplexen urbanen Szenarien entlastet. Insbesondere kann die manuelle Generierung geeigneter Trajektorien in Echtzeit bei gekrümmten Pfaden oder in Kurvenszenarien und damit auch ein Stop-and-Go-Fahrverhalten des Kraftfahrzeugs vermieden werden.
-
Das Festlegen des Korridors kann eine Ermittlung einer Bahn basierend auf zumindest zwei vom Bediener festgelegten Fahrzeugposen, und eine Ermittlung von Korridorgrenzen entlang der ermittelten Bahn unter Verwendung einer vordefinierten Breite des Korridors aufweisen.
-
Jede der zumindest zwei Fahrzeugposen kann eine Information über eine Lage eines Punktes in einem zweidimensionalen Raum, die durch eine X-Koordinate und eine Y-Koordinate festgelegt ist, und eine Information über eine Orientierung, die durch einen Winkel festgelegt ist, aufweisen.
-
Das heißt, die Bahn umfasst dabei insbesondere ausschließlich eine örtliche Komponente bzw. Information, wohingegen die Trajektorie zusätzlich zu dieser örtlichen Komponente eine zeitliche Komponente bzw. Information umfasst.
-
Die Ermittlung der Bahn kann ein Durchführen einer Splineinterpolation umfassen.
-
Die Splineinterpolation kann unter Verwendung eines C3-Splines eine polynomial Kurve bestimmen, die zwischen den zumindest zwei Fahrzeugposen unter Berücksichtigung einer Skalarkrümmung und zumindest einem Differentialquotienten der Skalarkrümmung interpoliert.
-
Denkbar ist, dass eine polynomial Kurve siebten Grades verwendet wird.
-
Das Festlegen des Korridors kann eine Möglichkeit zur manuellen Anpassung der ermittelten Korridorgrenzen durch den Bediener aufweisen.
-
Die manuelle Anpassung der ermittelten Korridorgrenzen durch den Bediener kann ein Verschieben diskreter Punkte zumindest einer der Korridorgrenzen aufweisen.
-
Das heißt, sowohl der Pfad als auch die sich links und rechts vom Pfad befindlichen Korridorgrenzen werden durch diskrete Punkte festgelegt. Durch das Verschieben der Korridorgrenzen kann eine Bewegung des Kraftfahrzeugs in bestimmte Bereiche und damit eine Kollision mit sich in diesen Bereichen und ggf. vom Kraftfahrzeug nicht erkannten Hindernissen verhindert werden.
-
Das oben Beschriebene kann mit anderen Worten und in einer konkreteren Ausführung wie nachfolgend beschrieben zusammengefasst werden.
-
Wie im vorherigen Abschnitt beschrieben, umfasst der hier vorgestellte korridorbasierte Planungsansatz hauptsächlich zwei Schritte.
-
In einem ersten der zwei Schritte spezifiziert der Bediener ein Ziel und einen Korridor, d.h. eine zweidimensionale nach außen durch Grenzen begrenzte Fläche, zu einem von dem Bediener festlegbaren Ziel, wobei der Korridor von den Planungsalgorithmen im zweiten Schritt benötigt wird, um eine (insbesondere optimierte) Trajektorie zu berechnen.
-
Dieses Spezifizieren bzw. Festlegen im ersten Schritt kann in einer Bedienerumgebung an einer externen Recheneinheit, beispielsweise einem Personal Computer, einem Smartphone und/oder einem Tablet, erfolgen.
-
Die externe Recheneinheit kann drahtgebunden oder drahtlos zu dem Kraftfahrzeug verbunden sein und das vom Bediener festgelegte Ziel und/oder den vom Bediener festgelegten Korridor an das Kraftfahrzeug übergeben, sodass das Kraftfahrzeug eine Trajektorie berechnen kann.
-
Das Festlegen des Korridors kann in dem ersten Schritt durch eine splinebasierte Berechnung eines Anfangspfades unter Verwendung von gewünschten Fahrzeugposen des Operators erfolgen, wobei der Bediener die Fahrzeugposen zuvor in der Bedienerumgebung definiert.
-
Mit Hilfe von Spline-Funktionen soll eine Polynomkurve bestimmt werden, die zwischen gegebenen Punkten interpoliert, deren Orientierungen durch Winkel, skalare Krümmungen bzw. Krümmungsableitungen bestimmt sind. Die Krümmungsableitungen sollten berücksichtigt werden, um glatte Pfade zu erzeugen. Daher ist ein C3-Spline notwendig. Als Abhilfe wird hier eine Polynomkurve vom Grad sieben verwendet.
-
Anschließend kann eine Berechnung von Korridorgrenzen unter Verwendung einer vorgegebenen Breite des Korridors durchgeführt werden.
-
Dieser berechnete Korridor und die zugehörigen Korridorgrenzen können dem Bediener in der Bedienerumgebung dargestellt werden, wobei eine optionale Anpassung der Korridorgrenzen durch Verschieben einzelner Punkte der Korridorgrenzen mittels der Bedienerumgebung möglich ist.
-
In dem zweiten der zwei Schritte bestimmt das Kraftfahrzeug die Trajektorie, die sich innerhalb des im ersten Schritt spezifizierten Korridors befindet, und das Kraftfahrzeug fährt bzw. steuert automatisiert von einer Ausgangsposition zu dem Ziel entlang der Trajektorie.
-
Ferner kann ein Steuergerät bzw. eine Steuervorrichtung bereitgestellt werden. Das Steuergerät ist ausgestaltet, das oben beschriebene Verfahren zumindest teilweise auszuführen.
-
Ferner kann ein Kraftfahrzeug, insbesondere ein Automobil, bereitgestellt werden. Das Kraftfahrzeug weist das oben beschriebene Steuergerät auf.
-
Das oben mit Bezug zum Verfahren Beschriebene gilt analog auch für das Steuergerät sowie das Kraftahrzeug und umgekehrt.
-
Nachfolgend wird eine Ausführungsform mit Bezug zu 1 beschrieben.
- 1 zeigt schematisch ein Ablaufdiagramm für ein Steuerverfahren für ein teleoperiertes Kraftfahrzeug.
- 2 zeigt schematisch eine Prinzipskizze eines Festlegens eines Korridors gemäß einem ersten Schritt des Steuerverfahrens durch Platzieren einer ersten Pose,
- 3 zeigt schematisch eine Prinzipskizze des Festlegens des Korridors gemäß dem ersten Schritt des Steuerverfahrens durch Platzieren einer zweiten Pose, und
- 4 zeigt schematisch eine Prinzipskizze des Festlegens des Korridors gemäß dem ersten Schritt des Steuerverfahrens durch eine Anpassung von ermittelten Korridorgrenzen.
-
Wie aus 1 ersichtlich ist, weist das Steuerverfahren für das teleoperierte Kraftfahrzeug 5 im Wesentlichen zwei Schritte S1, S2 auf.
-
In einem ersten Schritt S1 wird ein Korridor 1 zu einem vorbestimmten Ziel durch einen Bediener festgelegt.
-
Dieses Festlegen des Korridors 1 durch Festlegen von zwei Posen 2, 3 und Anpassen einer basierend auf den zwei festgelegten Posen 2,3 bestimmten Korridorgrenze 11 ist im Fortgang von 2 bis 4 beispielhaft dargestellt und wird nachfolgend im Detail beschrieben.
-
In 2 bis 4 ist das automatisierte, teleoperierte Kraftfahrzeug 5 dargestellt, das sich auf einer Fahrbahn 6 befindet, welche durch Fahrbahnmarkierungen 61, 62 (s. 4) nach außen bzw. lateral begrenzt wird und eine Mittellinie 63 aufweist. Auf der Fahrbahn 6 befindet sich ein Hindernis 7.
-
Das Festlegen des Korridors 1 weist eine Ermittlung einer Bahn 4 basierend auf zumindest zwei vom Bediener festgelegten Fahrzeugposen 2, 3, und eine Ermittlung von Korridorgrenzen 11, 12 eines Korridors 1 entlang der ermittelten Bahn 4 unter Verwendung einer vordefinierten Breite b des Korridors 1 auf.
-
Jede der zumindest zwei Fahrzeugposen 2, 3 weist eine Information über eine Lage eines Punktes in einem zweidimensionalen Raum auf, die durch eine X-Koordinate und eine Y-Koordinate festgelegt ist, und eine Information über eine Orientierung, die durch einen Winkel festgelegt ist.
-
Die Ermittlung der Bahn 4 umfasst ein Durchführen einer Splineinterpolation.
-
Die Splineinterpolation bestimmt unter Verwendung eines C3-Splines eine polynomial Kurve, die zwischen den zumindest zwei Fahrzeugposen 2, 3 unter Berücksichtigung einer Skalarkrümmung und zumindest einem Differentialquotienten der Skalarkrümmung interpoliert.
-
Es wird eine polynomial Kurve siebten Grades verwendet wird.
-
Das Festlegen des Korridors 1 weist eine Möglichkeit zur manuellen Anpassung der ermittelten Korridorgrenzen durch den Bediener auf, wie dies in 4 dargestellt ist.
-
Die manuelle Anpassung der ermittelten Korridorgrenzen durch den Bediener weist ein Verschieben diskreter Punkte zumindest einer der Korridorgrenzen 11, 12, hier der Korridorgrenze 11, auf.
-
Um die oben abstrakt beschrieben ersten Schritt S1 des Verfahren zum Festlegen des Korridors 1 durchzuführen, erhält der Bediener, der auch als Operator bezeichnet werden kann, an einem Operatorarbeitsplatz Informationen über eine Fahrzeugumgebung des teleoperierten Kraftfahrzeugs 5 in Form von Kamerabildern sowie einer virtuellen Darstellung der Fahrzeugumgebung. In der virtuellen Darstellung der Fahrzeugumgebung ist das teleoperierte Kraftfahrzeug 5 und eine beispielsweise durch einen LiDAR-Sensor sensierte zur Fahrzeugumgebung korrespondierende Punktwolke dargestellt.
-
Nachdem der Bediener die Teleoperationsaufgabe verstanden hat, wie vorliegend z.B. ein Umfahren des Hindernisses 7, welches die Fahrspur 6 teilweise blockiert, beginnt der Bediener den Korridor 1 in der oben beschriebenen Weise zu planen bzw. festzulegen.
-
Dazu werden die gewünschten Fahrzeugposen 2, 3 gesetzt bzw. festgelegt. Das Setzen der Fahrzeugposen 2, 3 kann über ein Werkzeug in der virtuellen Darstellung erfolgen, das ein Klicken und gedrückt halten in der virtuellen Darstellung der Fahrzeugumgebung ermöglicht, also ein Platzieren der Fahrzeugposen 2, 3 durch Klicken, anschließendes Ziehen zur Definition der Orientierung der jeweiligen Fahrzeugpose 2, 3 und Loslassen zur Bestätigung der festgelegten Fahrzeugpose 2, 3.
-
Durch die oben beschriebene Splinefunktion wird ein Initialpfad 13 zwischen den festgelegten Fahrzeugposen 2, 3 interpoliert und durch die vordefinierte Breite b wird ausgehend vom Initialpfad 13 der Korridor 1 geplant. Der Initialpfad 13 dient zur Initialisierung der Pfadoptimierung. Die Pfadoptimierung erfolgt in Echtzeit und berücksichtigt das Hindernis 7. Der optimierte Pfad 4 ist in 3 und 4 mit gestrichelter Linie dargestellt.
-
Falls notwendig, ist es dem Bediener möglich anhand seiner Wahrnehmung durch Kamerabilder, LiDAR-Informationen und dem in Echtzeit optimierten Pfad 4 den Korridor 1 anzupassen, wie dies in 4 dargestellt ist.
-
Der Bediener kann dazu die Kamerabilder, die LiDAR-Informationen und den optimierten Pfad 1 dahingehend vergleichen, ob alle Hindernisse 7 und Fahrbahnbegrenzungen 61, 62 durch den LiDAR-Sensor korrekt wahrgenommen werden. Die LiDAR-Daten bilden die Basis der automatisierten Pfad- und Trajektorienplanung. Falls flache Hindernisse, z.B. Verkehrsinseln, nicht korrekt vom LiDAR-Sensor erfasst werden, können die Korridorgrenzen 11, 12 so geplant werden, dass das nicht erkannte Hindernis außerhalb des Korridors1 angeordnet ist. Gleiches gilt für Lichtdurchlässige Hindernisse, wie z.B. ein Absperrband, oder wie hier fehlende oder unzureichende Fahrbahnbegrenzungen 61, 62, welche ebenfalls durch das Anpassen der Korridorgrenzen kompensiert werden können.
-
Das heißt, vorliegend wird eine der zwei Fahrbahnmarkeirungen 62 durch den LiDAR-Sensor nicht wahrgenommen, was dazu führt, dass der Korridor 1 zunächst (s. 2 und 3) außerhalb der Fahrbahn 6 liegt. Um dies zu vermeiden verschiebt der Bediener, wie dies in 4 dargestellt ist, die Korridorgrenze 12 so, dass diese innerhalb der Fahrbahn 6 liegt.
-
Dadurch verringert sich die Breite b des Korridors 1 auf die in 4 dargestellte Breite b1, wobei diese noch immer für eine Breite des Kraftfahrzeugs 5 ausreichend ist. Das heißt, nach der Anpassung der Korridorgrenze 11 an die Fahrspur 6 weist der Korridor 1 ausschließlich rechts der Stelle, an der die Korridorgrenze 11 an die Fahrspur 6 angepasst ist, die Breite b auf, wohingegen der Korridor 1 links dieser Stelle die durch die Anpassung verringerte Breite b1 aufweist.
-
Optional und abhängig vom Automatisierungsgrad des Kraftfahrzeugs 5 ist denkbar, dass der Bediener, wenn er mit dem spezifizierten Korridor zufrieden ist, eine Soll-Geschwindigkeit für das automatisierte Kraftfahrzeug 5 entsprechend seiner Einschätzung setzt.
-
In einem zweiten Schritt S2 erfolgt dann ein automatisiertes Steuern des Kraftfahrzeugs 5 zu dem vordefinierten Ziel, hier der zweiten Fahrzeugpose 3, innerhalb des zuvor festgelegten Korridors 1.
-
Das automatisierte Steuern umfasst eine automatisierte Übernahme von Quer- und Längsführung des Kraftfahrzeugs 5, sodass das Kraftfahrzeug 5 kollisionsfrei innerhalb des im ersten Schritt festgelegten Korridors 1 zum Ziel fährt.
-
Während das Kraftfahrzeug 5 eine ggf. optimierte Trajektorie, basierend auf den Korridorgrenzen 11, 12 und des sich innerhalb des darin befindlichen optimierten Pfades berechnet und abfährt, d.h. während des zweiten Schritts S2 des Steuerverfahrens, kann der Operator weitere Korridorsegmente durch da oben beschriebene Festlegen des Korridors 1 durch Festlegen von zumindest einer weiteren Fahrzeugpose anhängen und/oder die Korridorgrenzen 11, 12 anpassen.
-
Bezugszeichenliste
-
- 1
- Korridor
- 11, 12
- Korridorgrenzen
- 13
- Initialpfad
- 2, 3
- Fahrzeugposen
- 4
- optimierter Pfad
- 5
- teleoperiertes, automatisiertes Kraftfahrzeug
- 6
- Fahrbahn
- 61, 62
- Fahrbahnbegrenzungen bzw. Fahrbahnmarkierungen
- 7
- Hindernis
- b
- Breites des Korridors
- b1
- durch Anpassung verringerte Breite b1 des Korridors
- S1, S2
- Schritte des Verfahrens
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
