DE102021106390A1

DE102021106390A1 - Verfahren und Unterstützungseinrichtung zum Unterstützen eines Fernsteuerbetriebs eines Kraftfahrzeugs

Info

Publication number: DE102021106390A1
Application number: DE102021106390.6A
Authority: DE
Inventors: Gaetano Graf
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2021-03-16
Filing date: 2021-03-16
Publication date: 2022-09-22

Abstract

Die Erfindung betrifft ein Verfahren (10) sowie eine Unterstützungseinrichtung zum Unterstützen eines Fernsteuerbetriebs eines Kraftfahrzeugs (12) durch einen Teleoperator (14). Dabei werden übertragungsverzögerte Videosignale (18) und Zustandsdaten (16) des Kraftfahrzeugs (12) sowie ein Steuerinput (22) des Teleoperators (14) erfasst. Aus den Zustandsdaten (16) und dem Steuerinput (22) wird mittels eines vorgegebenen Modells eine aus Sicht des Teleoperators (14) aktuelle Position des Kraftfahrzeugs (12) vorhergesagt. Weiter wird ein Korridor vorhergesagt, der sich von dieser Position in Fahrtrichtung erstreckt und in dem sich das Kraftfahrzeug (12) ohne weitere Steuerinputs (20, 22) voraussichtlich bewegen wird. Die Videosignale 18 werden mit der vorhergesagten aktuellen Position und dem vorhergesagten Korridor zum Erzeugen einer Visualisierung für den Teleoperators (14) überlagert.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Unterstützen eines Fernsteuerbetriebs eines Kraftfahrzeugs. Die Erfindung betrifft weiter eine Unterstützungsvorrichtung zum Unterstützen eines Teleoperators bei einem Fernsteuern eines Kraftfahrzeugs.
Eine Teleoperation, also eine Fernsteuerung eines Kraftfahrzeugs durch einen Teleoperator, der sich außerhalb des Kraftfahrzeugs befindet, stellt eine Möglichkeit dar, einen bedingt automatisierten Fahrbetrieb eines Kraftfahrzeugs zu ermöglichen. In einem solchen bedingt automatisierten Fahrbetrieb, beispielsweise entsprechend SAE J3016 Stufe 3, kann das Kraftfahrzeug zeitweise autonom fahren, jedoch gelegentlich auf Situationen stoßen, die es nicht selbstständig autonom bewältigen kann. In solchen Situationen kann der Teleoperator dann die Steuerung des Kraftfahrzeugs übernehmen, da von einem Fahrzeuginsassen des Kraftfahrzeugs nicht notwendigerweise erwartet wird, dass er selbstständig das Verkehrsgeschehen überwacht und sofort bereit ist, die Steuerung des Kraftfahrzeugs zu übernehmen. Ein derartiger Teleoperationsbetrieb von Kraftfahrzeugen bringt jedoch Schwierigkeiten und Herausforderungen mit sich, wie etwa eine Übertragungsverzögerung, also eine Latenz bei der Daten- oder Signalübermittlung zwischen Kraftfahrzeug und Teleoperator sowie ein im Vergleich zu einem Fahrzeuginsassen für den Teleoperator eingeschränktes oder erschwertes Erkennen einer jeweiligen Umgebung oder Verkehrssituation, in der sich das Kraftfahrzeug befindet.
Mit der Problematik der Übertragungsverzögerung, also einer gegebenenfalls nicht gegebenen Aktualität auf Seiten des Teleoperators empfangener, durch das Fahrzeug gesendeter Daten, befasst sich beispielsweise die DE 10 2019 002 789 A1 . Dort ist ein Verfahren zur Steuerung eines automatisiert fahrenden Fahrzeugs mittels eines Fahrzeugkontrollzentrums beschrieben, wobei fahrzeugseitig erfasste Sensorsignale an das Fahrzeugkontrollzentrum übermittelt und das Fahrzeug in Abhängigkeit davon mittels des Fahrzeugkontrollzentrums gesteuert wird. Dabei wird das jeweilige Sensorsignal fahrzeugseitig mit einem Zeitstempel versehen, der beim Empfangen des Sensorsignals in dem Fahrzeugkontrollzentrum überprüft wird. Bei Überschreiten eines vorgegebenen ersten Alters des Zeitstempel des jeweiligen Sensorsignals wird dieses einem Teleoperator des Fahrzeugkontrollzentrums zur Kenntlichmachung einer Signalverzögerung markiert angezeigt. Das Anzeigen eines Sensorsignals, dessen Zeitstempel ein vorgegebenes zweites Alter überschreitet, wird hingegen unterdrückt. Nicht ausreichend aktuelle Sensorsignale werden also für die Fahrzeugsteuerung nicht berücksichtigt.
Ein weiteres Verfahren zum Steuern eines Fahrzeuges durch einen Teleoperator ist in der DE 10 2019 204 939 A1 beschrieben. Dort wird, während der Teleoperator ein auf Sensordaten des Fahrzeuges basierendes Bild betrachtet, eine Blickrichtung des Teleoperators erfasst. Mehreren von den Sensordaten umfassten Datenströmen werden anhand der Blickrichtung unterschiedliche Prioritäten zugewiesen. Weiter wird eine Vorhersage hinsichtlich einer Qualität einer zum Steuern des Fahrzeugs durch den Teleoperator verwendeten Datenverbindung getroffen. Anhand der Prioritäten und der Qualität der Datenverbindung werden Vorgaben hinsichtlich einer jeweiligen Datenrate der Datenströme angepasst. Gemäß diesen Vorgaben werden die Sensordaten vom Fahrzeug zum Aktualisieren des Bildes an eine Leitstelle, in der sich der Teleoperator befindet, übertragen. Auf diese Weise soll der Problematik begegnet werden, dass die Verbindungsqualität heutiger Mobilfunknetze starken Schwankungen im Hinblick auf Datenraten, Latenzen, Jitter und Paketverlustraten unterliegen kann, was bei teleoperierten Verfahren zu Einschränkungen und Problemen führen kann. Wird beispielsweise eine Datenrate für Videoübertragungen verwendet, die sich nicht prädiktiv an eine veränderte Netzqualität anpasst, kann es zu Unterbrechungen bei der Videoübertragung kommen, wodurch die Kontrollierbarkeit des Fahrzeuges beeinträchtigt werden kann.
Aufgabe der vorliegenden Erfindung ist es, eine verbesserte Teleoperation eines Kraftfahrzeugs zu ermöglichen.
Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Mögliche Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in den Figuren offenbart.
Das erfindungsgemäße Verfahren dient, ist also eingerichtet zum Unterstützen eines Fernsteuerbetriebs eines Kraftfahrzeugs. In einem solchen Fernsteuerbetrieb kann ein Teleoperator das Kraftfahrzeug fernsteuern. Der Teleoperator kann also von außerhalb des Kraftfahrzeugs Steuersignale an das Kraftfahrzeug übermitteln, die dann zum Führen des Kraftfahrzeugs in diesem oder von diesem ausgeführt werden. In einem Verfahrensschritt des erfindungsgemäßen Verfahrens werden - beispielsweise durch eine fahrzeugexterne Unterstützungsvorrichtung - fahrzeugseitig aufgenommene Videosignale erfasst, die eine Umgebung des Kraftfahrzeugs zum Aufnahmezeitpunkt der Videosignale abbilden. Die erfassten Videosignale sind dabei mit einer Übertragungsverzögerung, also einer Latenz behaftet. Dies bedeutet, dass zu dem Zeitpunkt, an dem die Videosignale erfasst werden, diese bereits zumindest um die Übertragungsverzögerung veraltet sind.
Weiter werden in dem erfindungsgemäßen Verfahren - beispielsweise durch die fahrzeugexterne Unterstützungsvorrichtung - ebenfalls mit einer Übertragungsverzögerung behaftete Zustandsdaten erfasst. Diese Zustandsdaten geben dabei einen Zustand des Kraftfahrzeugs zu ihrem Ermittlungszeitpunkt an. Die Zustandsdaten können beispielsweise eine Geschwindigkeit und eine Gierrate des Kraftfahrzeugs zu einem Zeitpunkt angeben, an dem die Zustandsdaten, also etwa die Geschwindigkeit und die Gierrate, ermittelt, also gemessen oder bestimmt wurden. Das Erfassen der Zustandsdaten findet dann nach Übertragung der ermittelten oder gemessenen bzw. bestimmten Zustandsdaten statt, woraus sich die Übertragungsverzögerung ergibt.
Weiter wird in dem erfindungsgemäßen Verfahren - beispielsweise durch die fahrzeugexterne Unterstützungsvorrichtung - ein Steuerinput des Teleoperators für das Kraftfahrzeug erfasst, welcher das Kraftfahrzeug nur mit einer Übertragungsverzögerung erreichen kann. Der Steuerinput kann beispielsweise einen einzustellenden Lenkwinkel oder Lenkradwinkel umfassen oder angeben, der von dem Teleoperator zum Fernsteuern des Kraftfahrzeugs vorgesehen oder eingegeben wurde. Ebenso kann der Steuerinput weitere oder andere Daten oder Steuersignale für das Kraftfahrzeug umfassen, beispielsweise bezüglich einer Betätigung eines Brems- oder Gaspedals, eines Fahrtrichtungsanzeigers und/oder dergleichen mehr. Dass der Steuerinput das Kraftfahrzeug nur mit einer Übertragungsverzögerung erreichen kann, ergibt sich daraus, dass der Steuerinput auf einer Eingabe oder Bedienhandlung des Teleoperators beruht und der Teleoperator sich außerhalb des Kraftfahrzeugs befindet.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens werden die erfassten Zustandsdaten und der erfasste Steuerinput in einem vorgegebenen Modell kombiniert. Dadurch oder damit wird dann eine aus Sicht des Teleoperators aktuelle Position des Kraftfahrzeugs vorhergesagt. Diese vorhergesagte aktuelle Position ist also diejenige Position, an der sich das Kraftfahrzeug voraussichtlich oder vermutlich tatsächlich befindet, wenn die Videosignale erfasst oder dem Teleoperator präsentiert werden bzw. dieser den Steuerinput erzeugt. Die tatsächliche Position des Kraftfahrzeugs zu diesem Zeitpunkt kann aufgrund der Übertragungsverzögerung der erfassten Videosignale von einer in den Videosignalen abgebildeten Position des Kraftfahrzeugs abweichen, da sich das Kraftfahrzeug während der Übertragung der Videosignale weiterbewegt haben kann.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird ein Korridor vorhergesagt, der sich von der vorhergesagten aktuellen Position des Kraftfahrzeugs in dessen Fahrtrichtung erstreckt und in dem sich das Kraftfahrzeug ohne weitere Steuerinputs voraussichtlich bewegen wird. Da der Fernsteuerbetrieb des Kraftfahrzeugs durch den Teleoperator üblicherweise nur dann eingesetzt oder verwendet wird, wenn das Kraftfahrzeug an eine Situation kommt, die es nicht autonom bewältigen kann, kann beispielsweise ein automatisches Bremsen oder Anhalten des Kraftfahrzeugs vorgesehen sein. Dann kann der Korridor beispielsweise von der vorhergesagten aktuellen Position des Kraftfahrzeugs bis zu einer voraussichtlichen Anhalteposition, an der das Kraftfahrzeug - zumindest ohne weitere Steuerinputs - automatisch zum Stillstand kommen wird - erstrecken.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens werden die erfassten Videosignale mit der vorhergesagten aktuellen Position und dem vorhergesagten Korridor zum Erzeugen einer Visualisierung für den Teleoperator überlagert. In dieser Visualisierung können beispielsweise die vorhergesagte aktuelle Position und der vorhergesagte Korridor durch entsprechende virtuelle Elemente repräsentiert sein. Mit anderen Worten kann die Visualisierung also eine Darstellung der virtuellen oder argumentierten Realität sein oder ein entsprechendes virtuelles oder augmentiertes Element umfassen. Die Visualisierung kann dann mittels eines entsprechenden Darstellungs- oder Ausgabegerätes ausgegeben werden. Dazu kann beispielsweise ein Bildschirm, ein HMD (englisch: Head-Mounted Display) oder dergleichen verwendet werden.
Von besonderer Bedeutung ist hier, dass für das Vorhersagen der aktuellen Position des Kraftfahrzeugs nicht nur von dem Kraftfahrzeug stammende Daten oder Signale, also die mit der Übertragungsverzögerung behafteten Videosignale und/oder Zustandsdaten, sondern auch der im Vergleich dazu aktuellere Steuerinput des Teleoperators verwendet oder berücksichtigt wird, insbesondere bevor der Steuerinput aufgrund der unvermeidlichen Übertragungsverzögerung das Kraftfahrzeug tatsächlich erreicht hat bzw. in diesem umgesetzt oder angewendet wurde. Ebenso kann der erfasste Steuerinput auch für das Vorhersagen des Korridors verwendet werden. Der Korridor kann also basierend auf den erfassten Zustandsdaten und dem erfassten Steuerinput oder auch basierend auf der vorhergesagten aktuellen Position des Kraftfahrzeugs vorhergesagt werden. Damit ist die erfindungsgemäß vorgesehene Visualisierung für den Teleoperator also nicht allein abhängig von oder angewiesen auf von dem Kraftfahrzeug übermittelte und somit aus Sicht des Teleoperators stets veraltete Daten oder Signale. Dadurch kann die erfindungsgemäß vorgesehene Visualisierung im Vergleich zu herkömmlichen Methoden aus Sicht des Teleoperators aktueller sein und somit eine genauere, zuverlässigere und effektiv latenzärmere Fernsteuerung des Kraftfahrzeugs bzw. Einschätzung einer Fahr- oder Umgebungssituation des Kraftfahrzeugs durch den Teleoperator ermöglichen. Dies kann zu einer zuverlässigeren, robusteren und sichereren Bewältigung entsprechender Fahr- oder Verkehrssituationen beitragen.
Da die erfindungsgemäß vorgesehene Visualisierung auf Vorhersagen beruht und einen Bewegungskorridor des Kraftfahrzeugs umfasst, kann sie auch als Predicted Corridor bezeichnet werden. Damit kann den bei der Fernsteuerung oder Teleoperation von Kraftfahrzeugen auftretenden Herausforderungen von Kommunikations- oder Übertragungsverzögerungen und der schwierigeren oder schlechteren Situations- oder Umgebungswahrnehmung des Teleoperators im Vergleich zu einem Fahrzeuginsassen sowie einer Unterbrechung einer Daten- oder Kommunikationsverbindung zwischen dem Teleoperator und dem Kraftfahrzeug begegnet werden. So kann der Teleoperator seine Steuerinputs stets so wählen oder vorgegeben, dass der vorhergesagte Korridor frei von Hindernissen ist, was aufgrund der besseren Aktualität der Visualisierung im Vergleich zu herkömmlichen Verfahren auch bei einer Unterbrechung der Daten- oder Kommunikationsverbindung zwischen Teleoperator und ferngesteuertem Kraftfahrzeug letztlich zu einer verbesserten Sicherheit, beispielsweise hinsichtlich einer zuverlässigeren Kollisionsvermeidung, führen oder beitragen kann.
Das zum Vorhersagen der aktuellen Position des Kraftfahrzeugs verwendete vorgegebene Modell kann ein Bewegungsmodell des Kraftfahrzeugs sein oder umfassen. Dabei kann, beispielsweise je nach verfügbarer Rechenleistung, ein vollständiges physikalisches Modell oder ein vereinfachtes Modell verwendet werden, was an anderer Stelle näher erläutert wird.
In einer möglichen Ausgestaltung der vorliegenden Erfindung wird das Erfassen der Videosignale, der Zustandsdaten und des Steuerinputs sowie das Vorhersagen der aktuellen Position des Kraftfahrzeugs und des Korridors außerhalb des Kraftfahrzeugs durchgeführt. Beispielsweise können diese Verfahrensschritte an einer Arbeitsstätte des Teleoperators, beispielsweise in einem dortigen lokalen oder daran angeschlossenen Rechenzentrum, einem Cloudserver oder dergleichen durchgeführt werden. Dadurch kann der Steuerinput besonders zeitnah erfasst und verarbeitet sowie die Visualisierung besonders aktuell, also verzögerungsarm erzeugt werden. Beispielsweise kann zwischen einer für das beschriebene Erfassen und Vorhersagen verwendeten Unterstützungsvorrichtung und einer Bedieneinrichtung, über welche der Teleoperator den Steuerinput eingeben oder vornehmen kann, eine besonders geringe und besonders gleichmäßige Latenz, also eine besonders robuste Datenverbindung realisiert werden, insbesondere im Vergleich zu einer gegebenenfalls weniger robusten kabellosen Datenverbindung zu dem Kraftfahrzeug.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird das Verfahren nur angewendet, wenn eine Geschwindigkeit des Kraftfahrzeugs höchstens 50 km/h, insbesondere höchstens 30 km/h, beträgt. Dies kann beispielsweise jeweils die als Teil der erfassten Zustandsdaten angegebene Geschwindigkeit des Kraftfahrzeugs sein. Die hier vorgeschlagene Begrenzung der Geschwindigkeit ermöglicht eine besonders sichere und zuverlässige Fernsteuerung des Kraftfahrzeugs. Zudem kann bei derartigen Geschwindigkeiten in dem bzw. einem zum Vorhersagen der aktuellen Position des Kraftfahrzeugs oder auch zum Vorhersagen des Korridors verwendeten Modell eine Krümmung einer Bahnkurve, also eines Bewegungspfades oder einer Trajektorie des Kraftfahrzeugs proportional zum Lenkwinkel bestimmt werden, ohne dass dadurch signifikante Ungenauigkeiten erzeugt würden. Somit wird also eine vereinfachte und schneller durchführbare Vorhersage ermöglicht.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird zum Vorhersagen der aktuellen Position des Kraftfahrzeugs und/oder des Korridors eine Bewegung, also ein Verhalten des Kraftfahrzeugs durch ein Einspurmodell (englisch: Single-Track Model) modelliert. Darin wird das Verhalten des Kraftfahrzeugs durch ein Verhalten eines Masseschwerpunkts des Kraftfahrzeugs repräsentiert. Ein Einspurmodell in diesem Sinne ist ein Modell, in dem das Kraftfahrzeug als einspuriges Fahrzeug modelliert oder repräsentiert wird. In dem Einspurmodell kann also das Kraftfahrzeug beispielsweise ein einzelnes Vorderrad und ein einzelnes Hinterrad aufweisen, auch wenn es sich in der Realität bei dem Kraftfahrzeug tatsächlich beispielsweise um ein mehrspuriges Fahrzeug, wie etwa einen Pkw, handelt. Das Einspurmodell kann das vorgegebene Modell oder ein Teil davon sein, dieses umfassen oder zusätzlich zu diesem vorgegeben sein. Gemäß einer der vorliegenden Erfindung zugrunde liegenden Erkenntnis kann ein solches Einspurmodell für das erfindungsgemäße Verfahren eine ausreichende Genauigkeit, beispielsweise sichtlich einer Analyse eines Kurvenverhaltens, also einer Antwort des Kraftfahrzeugs auf einen gegebenen oder veränderten Lenkwinkel, ermöglichen. Das Einspurmodell ermöglicht dabei eine im Vergleich zu einem vollständigen physikalischen Mehrspurmodell signifikant vereinfachte und damit schneller, also verzögerungsärmer durchführbare Berechnung bzw. Vorhersage.
In einer möglichen Weiterbildung der vorliegenden Erfindung wird die aktuelle Position des Kraftfahrzeugs und/oder der Korridor mittels eines Klothoidenmodells vorhergesagt. Darin wird eine Bahnkrümmung C einer Bahnkurve oder Trajektorie des Kraftfahrzeugs gemäß C = A·δ - B·δ/v bestimmt. Dabei sind δ ein gemäß dem Steuerinput einzustellender Lenkwinkel oder Lenkradwinkel, v eine als Teil der Zustandsdaten übermittelte Geschwindigkeit des Kraftfahrzeugs und A und B vorgegebene Parameter. Hier wird also ein Modell für das Bestimmen der Bahnkrümmung C vorgeschlagen, dass sowohl den Steuerinput als auch die erfassten Zustandsdaten des Kraftfahrzeugs berücksichtigt. Damit ist die Bestimmung der Bahnkrümmung nicht vollständig abhängig von oder angewiesen auf die mit der Übertragungsverzögerung behafteten Daten oder Signale von dem Kraftfahrzeug und kann somit weniger stark durch die Übertragungsverzögerung der Zustandsdaten bzw. eines beispielsweise für deren Übertragung verwendeten Mobilfunknetzes oder dergleichen beeinträchtigt sein. Das Bestimmen der Bahnkrümmung bzw. das Vorhersagen oder Erzeugen der Trajektorie des Kraftfahrzeugs mit der entsprechenden Bahnkrümmung kann hier basierend auf einer Klothoide durchgeführt. Dabei handelt es sich um einen Spline oder Polynomzug mit sich linear verändernder Krümmung, durch den Bögen oder Bahnabschnitte mit unterschiedlichen Radien glatt bzw. nahtlos miteinander verbunden werden können.
Für die vorliegend vorgeschlagene Implementierung kann insbesondere angenommen werden, dass sich das Kraftfahrzeug zumindest abschnittweise mit konstanter Geschwindigkeit bewegt und sich die Bahnkrümmung mit einer konstanten Rate verändert. Ist allerdings die Bahnkrümmung bzw. deren Bestimmung allein abhängig von fahrzeugseitigen, also mit einer entsprechenden Übertragungsverzögerung behafteten Daten, kann dementsprechend auch die darauf basierende Vorhersage beeinträchtigt sein. Dies kann zu einer entsprechenden eingeschränkten Stabilität eines bei dem Fernsteuern des Kraftfahrzeugs effektiv realisierten Steuer- oder Regelkreises führen. Dieser Problematik wird vorliegend durch das Einbinden des Steuerinputs, hier also des Lenkwinkels δ begegnet. Durch das Einbinden des Steuerinputs kann die aktuelle Position des Kraftfahrzeugs bzw. die dort gegebene Bahnkrümmung der Trajektorie des Kraftfahrzeugs besonders genau und zuverlässig vorhergesagt werden und da sich der vorhergesagte Korridor dort anschließt und durch die an der aktuellen Position gegebene Bahnkrümmung beeinflusst wird, auch der Korridor besonders genau und zuverlässig vorhergesagt werden.
In einer möglichen Weiterbildung der vorliegenden Erfindung wird zum Erzeugen der Visualisierung automatisch eine Koordinatentransformation von einem auf den Masseschwerpunkt des Kraftfahrzeugs bezogenen Koordinatensystem zu einem Koordinatensystem, das auf einen in Fahrzeugquerrichtung zentralen Punkt an einer Vorderkante des Kraftfahrzeugs bezogen ist, durchgeführt. Dies kann beispielsweise bedeuten, dass der Masseschwerpunkt bzw. der zentrale Punkt an der Vorderkante des Kraftfahrzeugs als Koordinatenursprung oder Bezugspunkt verwendet wird. Die Vorderkante des Kraftfahrzeugs kann hier insbesondere jeweils einen in Fahrtrichtung des Kraftfahrzeugs führenden Rand des Kraftfahrzeugs bezeichnen. In dem Einspurmodell kann das auf den Masseschwerpunkt des Kraftfahrzeugs bezogene Koordinatensystem verwendet werden. Mit anderen Worten kann in dem Einspurmodell also beispielsweise zunächst der Masseschwerpunkt des Kraftfahrzeugs als Koordinatenursprung dienen. Durch die hier vorgeschlagene Koordinatentransformation hin zu dem zentralen Punkt an der Vorderkante des Kraftfahrzeugs als Koordinatenursprung oder Bezugspunkt kann ein Blickwinkel oder eine Perspektive berücksichtigt werden, den bzw. die ein Fahrer in dem Kraftfahrzeug hat oder hätte und dieser Blickwinkel oder diese Perspektive für die Visualisierung für den Teleoperator verwendet werden. Dies ermöglicht dem Teleoperator eine vereinfachte und verbesserte Wahrnehmung oder Einschätzung der jeweiligen Fahr- oder Verkehrssituation, in der sich das Kraftfahrzeug befindet. Beispielsweise kann sich so in der Visualisierung der vorhergesagte Korridor nahtlos in Fahrtrichtung an die Vorderkante des Kraftfahrzeugs anschließen, wodurch dem Teleoperator ein besonders einfaches und schnelles Verständnis der jeweiligen Fahrsituation des Kraftfahrzeugs ermöglicht wird.
Im Rahmen des erfindungsgemäßen Verfahrens kann vor der hier beschriebenen Koordinatentransformation, die auch als zweite Koordinatentransformation bezeichnet wird, eine vorherige erste Koordinatentransformation von einem weltfesten Koordinatensystem in das auf den Masseschwerpunkt des Kraftfahrzeugs bezogene Koordinatensystem durchgeführt werden. Dies kann eine besonders einfache Anwendung der genannten Modelle, also eine besonders einfache Vorhersage der aktuellen Position des Kraftfahrzeugs und/oder des Korridors ermöglichen.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird der Korridor mittels eines Kreisbogenmodells vorhergesagt, in dem ein Pfad, also beispielsweise die Trajektorie des Kraftfahrzeugs, basierend auf einem Kreis mit festem Mittelpunkt und gleichmäßiger, also konstanter Krümmung repräsentiert wird. Eine Bahnkrümmung C des Bewegungspfads bzw. der vorhergesagten Trajektorie des Kraftfahrzeugs wird gemäß C = _'/_i7 und C = ¹/ϱ bestimmt. Dabei gibt ψ̇ die Änderung des Gierwinkels ψ des Kraftfahrzeugs, v dessen Geschwindigkeit und ϱ den Radius des Bewegungspfads bzw. der Trajektorie an. Ein solches Kreisbogenmodell bzw. eine solche Kreisbogenmethode ist geeignet für eine Pfadvorhersage mit konstanter Krümmung. Durch die hier vorgeschlagene Ausgestaltung kann der Korridor besonders einfach und aufwandsarm und damit auch besonders schnell und Verzögerungsarm vorhergesagt werden.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung umfassen die Zustandsdaten eine Geschwindigkeit des Kraftfahrzeugs. Unter Berücksichtigung dieser als Teil der Zustandsdaten erfassten Geschwindigkeit wird eine Länge des vorhergesagten Korridors bestimmt aus der Übertragungsverzögerung der Videosignale, einer vorgegebenen Reaktionszeit des Teleoperators, der Übertragungsverzögerung des Steuerinputs an das Kraftfahrzeug und einer Ansteuer- und Ausführungsdauer für ein auszuführendes Manöver, insbesondere ein Bremsen oder Anhalten, des Kraftfahrzeugs. Mit anderen Worten repräsentiert der vorhergesagte Korridor also wenigstens denjenigen Raumbereich, den das Kraftfahrzeug voraussichtlich tatsächlich durchfahren wird. Durch die Berücksichtigung der Geschwindigkeit und der unterschiedlichen Verzögerungseffekte kann der Korridor bzw. der entsprechende Bereich besonders zuverlässig und genau bestimmt und in der Visualisierung repräsentiert werden. Dies ermöglicht dem Teleoperator eine besonders genaue und zuverlässige Einschätzung der beiliegenden Situation des Kraftfahrzeugs, insbesondere beispielsweise hinsichtlich einer Vermeidung von Hindernissen oder Kollisionen.
In einer möglichen Ausgestaltung der vorliegenden Erfindung wird als das Manöver ein Anhalten des Kraftfahrzeugs angesetzt. Eine Länge S_b eines zugehörigen Abschnitts des bzw. eine Größe eines zugehörigen Anteils der Länge des Korridors wird dann bestimmt als S_b =v²/a_max. v ist dabei die als Teil der Zustandsdaten erfasste Geschwindigkeit des Kraftfahrzeugs, während a_max eine maximale Bremsbeschleunigung, also Verzögerung des Kraftfahrzeugs angibt. Es kann also beispielsweise davon ausgegangen werden, dass das Kraftfahrzeug, etwa bei einer Unterbrechung der Verbindung für die Fernsteuerung, also zu dem Teleoperator, autonom ein Bremsmanöver einleitet und anhält. Dadurch wird es dem Teleoperator ermöglicht, einzuschätzen, ob auch in einem solchen Fall die Sicherheit gewährleistet ist oder ob beispielsweise ein neuer oder abweichender Steuerinput gegeben werden sollte, um auch im Falle eines Anhaltens des Kraftfahrzeugs sicherzustellen, dass dieses sich in einer sicheren Position befinden wird bzw. keine Kollisionen erfährt. Beispielsweise kann so besonders zuverlässig sichergestellt werden, dass das Kraftfahrzeug nicht auf einer Kreuzung oder einer Gegenfahrbahn zum Stillstand kommt, wenn dies vermeidbar ist, oder eine solche Situation zumindest möglichst frühzeitig erkannt werden.
Ein weiterer Aspekt der vorliegenden Erfindung ist eine Unterstützungsvorrichtung zum Unterstützen eines Teleoperators bei einem Fernsteuern eines Kraftfahrzeugs. Die erfindungsgemäße Unterstützungsvorrichtung weist eine Eingangsschnittstelle zum Erfassen von Videosignalen, Zustandsdaten und Steuerinputs, eine Ausgangsschnittstelle zum Ausgeben einer darauf basierend erzeugten Visualisierung für den Teleoperators und eine mit den Schnittstellen verbundene Datenverarbeitungseinrichtung zum Erzeugen der Visualisierung auf. Die erfindungsgemäße Unterstützungseinrichtung ist dabei zum, insbesondere automatischen, Ausführen zumindest einer Variante oder Ausführungsform des erfindungsgemäßen Verfahrens eingerichtet. Dazu kann die Datenverarbeitungseinrichtung beispielsweise einen computerlesbaren Datenspeicher sowie eine damit verbundene Prozessoreinrichtung, beispielsweise einen Mikrochip, Mikroprozessor oder Mikrocontroller, umfassen. In dem Datenspeicher kann dann ein Betriebs- oder Computerprogramm hinterlegt sein, welches das entsprechende Verfahren bzw. dessen Verfahrensschritte oder Abläufe repräsentiert, also codiert oder implementiert, und durch die Prozessoreinrichtung ausführbar ist, um das Verfahren auszuführen bzw. die Ausführung des Verfahrens zu bewirken oder zu veranlassen. Die erfindungsgemäße Unterstützungsvorrichtung kann ebenso ein Benutzerinterface oder Bedienelement umfassen, worüber der Teleoperator den Steuerinput eingeben oder vornehmen kann. Ebenso kann die erfindungsgemäße Unterstützungsvorrichtung eine Anzeigeeinrichtung zum Anzeigen der Visualisierung umfassen. Die erfindungsgemäße Unterstützungseinrichtung kann als kompakte Vorrichtung oder verteiltes System realisiert werden.
Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
Die Zeichnung zeigt in:

1 eine schematische Darstellung zum Veranschaulichen eines Verfahrens zum Unterstützen eines Teleoperators beim Fernsteuern eines Kraftfahrzeugs;
2 eine schematische Darstellung zum Veranschaulichen einer in dem Verfahren erzeugten Visualisierung für den Teleoperator;
3 eine schematische Darstellung zum Veranschaulichen eines ein dem Verfahren verwendeten Einspurmodells des Kraftfahrzeugs; und
4 eine schematische Darstellung zum Veranschaulichen einer in dem Verfahren für die Visualisierung durchgeführten Koordinatentransformation.

In den Figuren sind gleiche und funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
1 zeigt eine beispielhafte schematische Darstellung eines Ablaufplan 10 zum Veranschaulichen eines Verfahrens zum Unterstützen einer Fernsteuerung oder Teleoperation eines Kraftfahrzeugs 12 durch einen Teleoperator 14.
Fahrzeugseitig werden dabei Zustandsdaten 16, die beispielsweise eine Geschwindigkeit und Gierrate des Kraftfahrzeugs 12 angeben, sowie Videosignale 18, die eine Umgebung des Kraftfahrzeugs 12 abbilden, aufgenommen. Sowohl die Zustandsdaten 16 als auch die Videosignale 18 werden dann von dem Kraftfahrzeug 12 an eine fahrzeugexterne Unterstützungsvorrichtung übermittelt, beispielsweise über eine Mobilfunkverbindung.
Von Seiten des Teleoperators 14 werden hingegen zum Fernsteuern des Kraftfahrzeugs 12 an dieses Steuersignale 20 übermittelt, beispielsweise ebenfalls über die Mobilfunkverbindung.
Da derartige Übermittlungen oder Übertragungen stets eine gewisse endliche Zeit benötigen, sind aus Sicht des Teleoperators 14 bzw. der Unterstützungsvorrichtung, in der die Zustandsdaten 16 und die Videosignale 18 erfasst werden, die Zustandsdaten 16 und die Videosignale 18 sowie aus Sicht des Kraftfahrzeugs 12 die Steuersignale 20 veraltet oder verzögert, also mit einer Übertragungsverzögerung behafteten.
Zumindest ein von dem Teleoperator 14 zum Fernsteuern des Kraftfahrzeugs 12 vorgegebener Lenkwinkelinput 22, der einen einzustellenden Lenkwinkel für das Kraftfahrzeug 12 angibt, wird ebenfalls durch die Unterstützungsvorrichtung erfasst. Der Lenkwinkelinput 22 kann dabei den genannten Steuersignalen 20 entsprechen oder Teil davon sein. Durch die Unterstützungsvorrichtung wird anhand des Lenkwinkelinputs 22 und der Zustandsdaten 16 eine Positionsvorhersage 24 durchgeführt, wobei eine aktuelle, also verzögerungsfreie Position des Kraftfahrzeugs 12 vorhergesagt wird. Dabei kann diese vorhergesagte aktuelle Position auch durch ein virtuelles Element repräsentiert werden.
Weiter wird durch die Unterstützungsvorrichtung eine Korridorvisualisierung 26 durchgeführt bzw. erzeugt. Dazu wird ein Korridor, in dem sich das Kraftfahrzeug 12 voraussichtlich bewegen wird, vorhergesagt und mit der vorhergesagten aktuellen Position des Kraftfahrzeugs 12 kombiniert, sodass sich der vorhergesagte Korridor in Fahrtrichtung des Kraftfahrzeugs 12 an dessen vorhergesagte aktuelle Position anschließt. Diese Korridorvisualisierung 26 wird dann an den Teleoperator 14 ausgegeben, um diesem die entsprechende Situation des Kraftfahrzeugs 12 zu vermitteln.
Zur weiteren Veranschaulichung zeigt 2 eine schematische Übersichtsdarstellung. Dort ist das Kraftfahrzeug 12, beispielsweise in seiner gemäß den Videosignalen 18 bzw. den vorausgehend oder zuletzt erfassten Videosignalen 18 gegebenen Position dargestellt. Aufgrund der Übertragungsverzögerung hat sich das Kraftfahrzeug 12 demgegenüber jedoch bereits weiterbewegt. Diese Bewegung ist hier durch die Positionsvorhersage 24 repräsentiert. Ausgehend von der dementsprechend vorhergesagten aktuellen Position des Kraftfahrzeugs 12 ist hier die Korridorvisualisierung 26 angedeutet. Die Länge dieses Korridors ist bestimmt durch verschiedene Korridorlängenbeiträge 28 bis 36. So kann beispielsweise ein Korridorlängenbeitrag 28 die Übertragungsverzögerung der Videosignale 18 berücksichtigen oder repräsentieren. Ein weiterer Korridorlängenbeitrag 30 kann eine Verzögerung berücksichtigen oder repräsentieren, die durch eine Erfassungs- oder Aufnahmezeit und Reaktionszeit des Teleoperators 14 zustande kommt. Ein weiterer Korridorlängenbeitrag 32 kann durch eine Ansteuerzeit oder -verzögerung gegeben sein bzw. eine solche repräsentieren. Eine solche Ansteuerzeit oder -verzögerung kann beispielsweise durch eine Verarbeitung der Steuersignale 20 in dem Kraftfahrzeug bis zum Beginn einer durch die Steuersignale 20 veranlassten Maßnahme zustande kommen. Ein weiterer Korridorlängenbeitrag 34 kann durch eine für die Umsetzung dieser Maßnahme oder eine beispielsweise bei einer Unterbrechung der Datenverbindung zwischen Unterstützungsvorrichtung oder Teleoperator 14 einerseits und dem Kraftfahrzeug 12 andererseits durch das Kraftfahrzeug 12 autonom eingeleitete Maßnahme gegeben sein. Wird als Maßnahme oder Manöver beispielsweise ein Bremsen und oder Anhalten des Kraftfahrzeugs 12 vorgesehen, so kann eine entsprechende Aktivierung einer Bremsanlage eine gewisse Zeit benötigen, beispielsweise um Bremsdruck aufzubauen, Bremsbeläge in Kontakt mit einer Bremsscheibe zu bringen und/oder dergleichen mehr. Ein weiterer Korridorlängenbeitrag 36 kann dann durch eine Fahrzeit des Kraftfahrzeugs 12 während eines entsprechenden Fahrmanövers gegeben sein, also beispielsweise einen Bremsweg des Kraftfahrzeugs 12 repräsentieren.
Dementsprechend kann in der Korridorvisualisierung 26 also die vorhergesagte aktuelle Position des Kraftfahrzeugs 12, dessen voraussichtliche Bewegung und eine voraussichtliche bzw. vorhergesagte Anhalteposition am Ende des Korridors visualisiert oder repräsentiert werden.
Zum Vorhersagen der aktuellen Position und des Korridors, also letztlich zum Erzeugen der Korridorvisualisierung 26 wird eine Bewegung oder ein Verhalten des Kraftfahrzeugs 12 modelliert. Dabei kann von den Annahmen ausgegangen werden, dass sich das Kraftfahrzeug mit einer relativ niedrigen Geschwindigkeit, beispielsweise höchstens 50 km/h oder höchstens 30 km/h, bewegt und das Verhalten des Kraftfahrzeugs 12 basierend auf einem Einspurmodell modelliert oder vorhergesagt werden kann.
Zur weiteren Veranschaulichung dieser Modellierung zeigt 3 eine schematische Darstellung, in der das Kraftfahrzeug 12 durch ein einzelnes Vorderrad 38, ein einzelnes Hinterrad 40 und einen dazwischenliegenden Masseschwerpunkt 42 sowie einige kinematische Parameter repräsentiert ist. In dem Einspurmodell kann angenommen werden, dass sich der Masseschwerpunkt 42 des Kraftfahrzeugs 12 auf dem Höhenniveau einer befahrenen Fahrbahnoberfläche befindet. Somit werden also beispielsweise Lastwechsel oder Belastungswechsel aufgrund von Neigungs- und Rollbewegungen des Kraftfahrzeugs 12 vernachlässigt. Die Bewegung des Kraftfahrzeugs 12 ist hier also auf zwei translatorische Freiheitsgrade in einer x-y-Ebene, die zumindest lokal der ebenen Fahrbahnoberfläche entspricht, und einen rotatorischen Freiheitsgrad, nämlich einen Gierwinkel ψ um eine senkrecht zur Fahrbahnoberfläche bzw. hier senkrecht zur Zeichenebene stehende z-Achse beschränkt. Zudem kann hier angenommen werden, dass sich das Gesamtsystem, also jegliche Veränderungen über relativ kleine Winkel oder Veränderungen linear verhält oder entwickelt.
Durch das Einspurmodell kann ein dynamisches Verhalten des Kraftfahrzeugs 12 also vereinfacht repräsentiert oder modelliert werden. Veranlasst der Teleoperator 14 durch Übermittlung entsprechender Steuersignale 20 eine Veränderung des Lenkwinkels δ, so führt das Vorderrad 38 mit bzw. in einer Vorderradgeschwindigkeit v_front das Hinterrad 40 entlang eines gekrümmten Pfades, wobei sich das Hinterrad 40 mit oder in einer Geschwindigkeit v_rear bewegt. Resultierend aus einer modellierten Geometrie, insbesondere eines Vorderradabstandes I_front zwischen einem Mittelpunkt des Vorderrads 38 und dem Masseschwerpunkt 42 resultiert dann - repräsentativ für das Kraftfahrzeug 12 insgesamt - eine Fahrzeuggeschwindigkeit v des Masseschwerpunkts 42. Der gekrümmte Pfad, auf dem sich das Kraftfahrzeug 12 dabei bewegt, wird hier beschrieben durch einen Schwerpunktsystemursprung O_c und einen von diesem ausgehenden und sich bis zu dem Masseschwerpunkt 42 erstreckenden Bewegungspfadradius ϱ.
Der Masseschwerpunkt 42 wird hier als Referenzpunkt für die Beschreibung des gekrümmten Pfades des Kraftfahrzeugs 12 verwendet, da das Vorderrad 38 und das Hinterrad 40 sich auf unterschiedlichen Pfaden bewegen können.
Zusätzlich ist hier ein weltfestes Koordinatensystem mit einem Weltkoordinatenursprung O_w und Fahrzeugweltkoordinaten x_w, y_w dargestellt, von dem in das um den Schwerpunktsystemursprung O_c zentrierte bzw. auf den Masseschwerpunkt 42 bezogene Koordinatensystem transformiert werden kann.
Grundsätzlich könnte die aktuelle oder lokale Krümmung des Pfades des Kraftfahrzeugs 12 an der jeweiligen Position des Kraftfahrzeugs 12 aus dem Gierwinkel ψ und der jeweils gegebenen Geschwindigkeit des Kraftfahrzeugs 12 berechnet werden als $C = \frac{\dot{ψ}}{v_{c}}$
mit der jeweils aktuellen oder lokalen Geschwindigkeit v_c des Kraftfahrzeugs 12.
Wenn ein Einfluss eines Schräglaufwinkels vernachlässigt wird, kann die Krümmung C bestimmt werden als
Es sind jedoch weitere Verbesserungen möglich.
Um einen Einfluss der Übertragungsverzögerungen zu begrenzen, kann ein Steuerinput des Teleoperators 14, hier insbesondere der Lenkwinkelinput 22, zum Bestimmen der Krümmung der Bahn oder Trajektorie des Kraftfahrzeugs 12 berücksichtigt werden. Damit kann die Krümmung der Trajektorie des Kraftfahrzeugs 12 an dessen jeweiliger Position beispielsweise ausgedrückt werden als: $C = 0,0199 \cdot δ - 1,97 \cdot 10^{- 6} \cdot \frac{δ}{v}$
Die Trajektorie und damit letztlich auch die aktuelle Position des Kraftfahrzeugs 12 kann mittels eines Klothoidenmodells vorhergesagt werden. Mit der genannten verbesserten Bestimmung der Krümmung der Trajektorie, also des Pfads des Kraftfahrzeugs kann ein entsprechendes Modell dann beispielsweise vorgegeben oder definiert sein als: $C_{0, c} = 0,0199 \cdot δ - 1,97 \cdot 10^{- 6} \cdot \frac{δ}{v}$
$C_{1, c} = \frac{C_{0, c} - C_{0, c - 1}}{v_{c} (t_{c} - t_{c - 1})}$
$ψ = C_{0, c} v_{c} t_{d} + \frac{1}{2} C_{1, c} v_{v}^{2} τ_{d}^{2}$
$x = \sum_{τ = 0}^{t_{d}} Δ t \cdot c o s (c_{0, c} v τ + \frac{1}{2} C_{1, c} v^{2} τ^{2})$
$y = \sum_{τ = 0}^{t_{d}} Δ t \cdot sin (C_{0, c} v τ + \frac{1}{2} C_{1, c} v^{2} τ^{2})$
mit den Visualisierungsreferenzkoordinaten x, y des Masseschwerpunkts 42, der Zeit t, der Signal-Umlaufzeit t_d der aktuellen oder lokalen Krümmung C_0,c und der aktuellen oder lokalen Änderungsrate C_1,c der Krümmung.
Für die Visualisierung für den Teleoperators 14 kann eine weitere Koordinatentransformation durchgeführt werden von dem auf der Masseschwerpunkt 42 bezogenen Koordinatensystem zu einem Koordinatensystem, das auf einen vorderen Zentralpunkt 44 des Kraftfahrzeugs 12 bezogen ist. Dies ist schematisch in 4 veranschaulicht. In dem Einspurmodell kann also der Masseschwerpunkt 42 mit den Schwerpunktsystemkoordinaten x_CoG, y_CoG als Referenzpunkt oder Koordinatenursprung verwendet werden. Durch die Transformation auf den vorderen Zentralpunkt 44 als Referenzpunkt oder Koordinatenursprung kann die Visualisierung jedoch gemäß einem Blickwinkel oder einer Perspektive eines Fahrers des Kraftfahrzeugs 12 erzeugt bzw. dem Teleoperator 14 ausgegeben werden. Bei der Koordinatentransformation von dem Masseschwerpunkt 42 auf den vorderen Zentralpunkt 44 ergibt sich ein Positionsoffset Δx, Δy für Visualisierungsreferenzkoordinaten x, y des vorderen Zentralpunkt 44 sowie bezüglich einer Fahrzeuglängsrichtung des Kraftfahrzeugs 12 ein entsprechender Offsetwinkel θ. Die Koordinatentransformation von den Schwerpunktsystemkoordinaten x_CoG, Y_CoG zu den Visualisierungsreferenzkoordinaten x, y kann unter Berücksichtigung des Vorderradabstands If_ront und des Offsetwinkels θ ausgedrückt oder durchgeführt werden als: $[\begin{matrix} x \\ y \end{matrix}] = [\begin{matrix} x_{C o G} + l_{f r o n t} \cdot cos θ \\ y_{C o G} + l_{f r o n t} \cdot sin θ \end{matrix}]$
An die entsprechend gemäß dem beschriebenen Modell bestimmte vorhergesagte aktuelle Position des Kraftfahrzeugs 12 kann dann der vorhergesagte Korridor angeschlossen werden. Der Korridor kann dem Teleoperator 14 denjenigen Bereich anzeigen, in welchem sich das Kraftfahrzeug 12 bewegen wird, falls kein weiterer Steuerinput erfolgt bzw. die Datenverbindung zu dem Kraftfahrzeug 12 unterbrochen wird, wie beschrieben gegebenenfalls einschließlich eines Anhaltens oder Anhalteweges des Kraftfahrzeugs 12. Wenn in einem solchen Fall das Kraftfahrzeug 12 keine aktualisierten Steuersignale 20 erhält, kann es automatisch einen Notanhaltevorgang oder Notbremsvorgang aktivieren, um zum Stillstand zu kommen. Dabei kann der Lenkwinkel δ konstant gehalten werden, also unverändert bleiben, sodass dementsprechend auch die Krümmung der Trajektorie des Kraftfahrzeugs in dem Korridor einen konstanten Wert hat. Dabei kann ein Kreisbogenmodell verwendet werden, womit die Visualisierungsreferenzkoordinaten x, y aus dem Bewegungspfadradius ϱ und dem Offsetwinkel θ berechnet werden können gemäß:
Eine Länge des Korridors kann dabei wie beschrieben bestimmt oder zusammengesetzt werden. Dabei kann beispielsweise für die Übertragungsverzögerung und die Ansteuerzeit oder -verzögerung eine Zeitdauer von 400 ms und für die Reaktionszeit des Teleoperators 14 sowie die Ausführungsdauer, also beispielsweise die Zeit zum Aktivieren der Bremsen des Kraftfahrzeugs 12, eine Dauer von 1,15 s angesetzt werden. Der Bremsweg des Kraftfahrzeugs 12 kann bei maximaler Bremsverzögerung amax in Abhängigkeit von der Fahrzeuggeschwindigkeit v beispielsweise berechnet werden gemäß: $S_{b} = \frac{v^{2}}{a_{m a x}}$
Insgesamt zeigen die beschriebenen Beispiele damit, wie eine vorhergesagte Position und eine Vorhersage eines freien bzw. voraussichtlich befahrenen Korridors unter Berücksichtigung nicht nur von fahrzeugseitigen Daten, sondern auch eines Steuerinputs des Teleoperators 14 für eine Teleoperation eines Fahrzeugs kombiniert werden können.
Bezugszeichenliste

10: Verfahrensschema
12: Kraftfahrzeug
14: Teleoperator
16: Zustandsdaten
18: Videosignale
20: Steuersignale
22: Lenkwinkelinput
24: Positionsvorhersage
26: Korridorvisualisierung
28 - 36: Korridorlängenbeiträge
38: Vorderrad
40: Hinterrad
42: Masseschwerpunkt
44: vorderer Zentralpunkt
46: Komplementoffsetwinkel
Ow: Weltkoordinatenursprung
xw, yw: Fahrzeugweltkoordinaten
ψ: Gierwinkel
Oc: Schwerpunktsystemursprung
xv, yv: Krümmungsmodelkoordinaten
δ: Lenkwinkel
ϱ: Bewegungspfadradius
v: Fahrzeuggeschwindigkeit
vfront: Vorderradgeschwindigkeit
vrear: Hinterradgeschwindigkeit
Ifront: Vorderradabstand
xCoG, yCoG: Schwerpunktsystemkoordinaten
Δx, Δy: Positionsoffset
x, y: Visualisierungsreferenzkoordinaten
θ: Offsetwinkel

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102019002789 A1 [0003]
DE 102019204939 A1 [0004]

Claims

Verfahren (10) zum Unterstützen eines Fernsteuerbetriebs eines Kraftfahrzeugs (12), in dem ein Teleoperator (14) das Kraftfahrzeug (12) fernsteuern kann, umfassend die Verfahrensschritte - Erfassen von mit einer Übertragungsverzögerung behafteten Videosignalen (18), die eine Umgebung des Kraftfahrzeugs (12) zum Aufnahmezeitpunkt der Videosignale (18) abbilden, - Erfassen von mit einer Übertragungsverzögerung behafteten Zustandsdaten (16), die einen Zustands des Kraftfahrzeugs (12) zu ihrem Ermittlungszeitpunkt angeben, - Erfassen eines Steuerinputs (20, 22) des Teleoperators (14) für das Kraftfahrzeug (12), welcher das Kraftfahrzeug (12) nur mit einer Übertragungsverzögerung erreichen kann, - Kombinieren der erfassten Zustandsdaten (16) und des erfassten Steuerinputs (20, 22) in einem vorgegebenen Modell und damit Vorhersagen einer aus Sicht des Teleoperators (14) aktuellen Position des Kraftfahrzeugs (12), - Vorhersagen eines Korridors (26), der sich von der vorhergesagten aktuellen Position des Kraftfahrzeugs (12) in dessen Fahrtrichtung erstreckt und in dem sich das Kraftfahrzeug (12) ohne weitere Steuerinputs (20, 22) voraussichtlich bewegen wird; - Überlagern der Videosignale (18) mit der vorhergesagten aktuellen Position und dem vorhergesagten Korridor (26) zum Erzeugen einer Visualisierung für den Teleoperator (14).
Verfahren (10) nach Anspruch 1, dadurch gekennzeichnet, dass das Erfassen der Videosignale (18), der Zustandsdaten (16) und des Steuerinputs (20, 22) sowie das Vorhersagen der aktuellen Position des Kraftfahrzeugs (12) und des Korridors (26) außerhalb des Kraftfahrzeugs (12), insbesondere an einer Arbeitsstätte des Teleoperators (14), durchgeführt wird.
Verfahren (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren (10) nur angewendet wird, wenn eine Geschwindigkeit des Kraftfahrzeugs (12) höchstens 50 km/h, insbesondere höchstens 30 km/h, beträgt.
Verfahren (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Vorhersagen der aktuellen Position des Kraftfahrzeugs (12) und/oder des Korridors (26) eine Bewegung des Kraftfahrzeugs (12) durch ein Einspurmodell modelliert wird, in dem ein Verhalten des Kraftfahrzeugs (12) durch ein Verhalten eines Masseschwerpunkts (42) des Kraftfahrzeugs (12) repräsentiert wird.
Verfahren (10) nach Anspruch 4, dadurch gekennzeichnet, dass die aktuelle Position des Kraftfahrzeugs (12) mittels eines Klothoidenmodells vorhergesagt wird, in dem eine Bahnkrümmung C_0,c einer Trajektorie des Kraftfahrzeugs (12) gemäß C = A·δ - B·δ/v bestimmt wird, wobei A und B vorgegebene Parameter, δ ein gemäß dem Steuerinput (20, 22) einzustellender Lenkwinkel und v eine als Teil der Zustandsdaten (16) übermittelte Geschwindigkeit des Kraftfahrzeugs (12) sind.
Verfahren (10) nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass für die Visualisierung automatisch eine Koordinatentransformation von einem auf den Masseschwerpunkt (42) des Kraftfahrzeugs (12) bezogenen Koordinatensystem zu einem Koordinatensystem, das auf einen in Fahrzeugquerrichtung zentralen Punkt (44) an einer Vorderkante des Kraftfahrzeugs (12) bezogen ist, durchgeführt wird.
Verfahren (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Korridor mittels eines Kreisbogenmodells vorhergesagt wird, in dem ein Pfad basierend auf einem Kreis mit festem Mittelpunkt (O_c) und gleichmäßiger Krümmung repräsentiert wird, wobei eine Bahnkrümmung C der Trajektorie des Kraftfahrzeugs (12) bestimmt wird gemäß C = Ψ̇/_v und C = ¹/ϱ, wobei ψ̇ die Änderung des Gierwinkels ψ des Kraftfahrzeugs (12), v dessen Geschwindigkeit und ϱ den Radius der Trajektorie angibt.
Verfahren (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Zustandsdaten (16) eine Geschwindigkeit (v) des Kraftfahrzeugs (12) umfassen und unter Berücksichtigung davon eine Länge des Korridors (26) bestimmt wird aus der Übertragungsverzögerung der Videosignale (18), einer vorgegebenen Reaktionszeit des Teleoperators (14), der Übertragungsverzögerung des Steuerinputs (20, 22) und einer Ansteuer- und Ausführungsdauer für ein unter Anwendung des Steuerinputs (20, 22) auszuführendes Manöver, insbesondere ein Anhalten, des Kraftfahrzeugs (12).
Verfahren (10) nach Anspruch 8, dadurch gekennzeichnet, dass als das Manöver ein Anhalten des Kraftfahrzeugs (12) angesetzt wird und eine Größe S_b eines zugehöriger Anteils der Länge des Korridors (26) bestimmt wird als $S_{b} = \frac{v^{2}}{a_{m a x}},$
wobei v die als Teil der Zustandsdaten (16) erfasste Geschwindigkeit des Kraftfahrzeugs (12) und a_max eine maximale Bremsbeschleunigung des Kraftfahrzeugs (12) angibt.
Unterstützungsvorrichtung zum Unterstützen eines Teleoperators (14) bei einem Fernsteuern eines Kraftfahrzeugs (12), wobei die Unterstützungsvorrichtung eine Eingangsschnittstelle zum Erfassen von Videosignalen, Zustandsdaten (16) und Steuerinputs (20, 22), eine Ausgangsschnittstelle zum Ausgeben einer Visualisierung für den Teleoperator (14) und eine mit den Schnittstellen verbundene Datenverarbeitungseinrichtung aufweist und zum Ausführen eines Verfahrens (10) nach einem der vorhergehenden Ansprüche eingerichtet ist.