-
Die Erfindung betrifft ein Verfahren zur Fernüberwachung von automatisierten oder teilautomatisierten Fahrzeugfunktionen nach der im Oberbegriff von Anspruch 1 näher definierten Art.
-
Automatisierte oder teilautomatisierte Fahrzeugfunktionen erfordern im Allgemeinen eine permanente Überwachung der Fahrzeugfunktion durch einen Nutzer des Fahrzeugs. Um nicht ständig während der Durchführung einer solchen automatisierten oder teilautomatisierten Fahrzeugfunktion neben dem Fahrzeug verbleiben zu müssen, ist es aus dem Stand der Technik bekannt, eine Art Fernüberwachung bzw. Fernsteuerung von Fahrzeugen vorzunehmen. In diesem Zusammenhang beschreibt die
DE 10 2009 040 221 A1 die Fernsteuerung von Fahrzeugen wozu ein von einer Kamera des Fahrzeugs aufgenommenes Bild bzw. eine von dieser Kamera aufgenommene Videosequenz in Echtzeit zu einer Steuerzentrale übertragen wird, von welcher aus das Fahrzeug überwacht wird. Damit ist es möglich, automatisierte oder teilautomatisierte Fahrzeugfunktionen oder auch autonome Fahrmanöver, welche nachfolgend ebenfalls unter dem Begriff automatisierte Fahrzeugfunktion fallen sollen, auch aus der Entfernung zu überwachen, sodass derartige Funktionen an dem bzw. von dem Fahrzeug auch durchgeführt werden können, wenn der Nutzer nicht direkt vor Ort ist.
-
Ein gravierender Nachteil bei dieser Methode besteht in der notwendigen sehr hohen Datenrate, welche mit geringer Latenz übertragen werden muss, um im Falle, dass der überwachsende Benutzer ein Problem erkennt, er auch noch in der Lage ist, diesem entsprechend zu begegnen, beispielsweise den Ablauf anzuhalten. Darüber hinaus ist es notwendig, die Daten sicher bezüglich eines Zugriffs Dritter zu übertragen, was beispielsweise eine sichere Funkverbindung und/oder eine Verschlüsselung der Daten notwendig macht. Dies erhöht die Gefahr einer Latenz in den Daten bei einer gegebenenfalls nicht ausreichenden Datenrate weiter. Für die Praxis stellt dies ein erhebliches Problem dar, verbunden mit einem entsprechend hohen Aufwand hinsichtlich der Kosten für die Datenübertragung.
-
Die Aufgabe der vorliegenden Erfindung besteht nun darin, ein entsprechendes Verfahren zur Fernüberwachung von automatisierten oder teilautomatisierten Fahrzeugfunktionen in der Art zu verbessern, dass die Notwendigkeit der Menge an zu übertragenden Daten reduziert wird, sodass einfache und kostengünstig verfügbare Datenverbindungen einsetzbar werden.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zur Fernüberwachung mit den Funktionen im Anspruch 1, und hier insbesondere im kennzeichnenden Teil des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Unteransprüchen.
-
Bei dem erfindungsgemäßen Verfahren ist es dementsprechend vorgesehen, dass zu jeder automatisiert oder teilautomatisiert ablaufenden Fahrzeugfunktion eine vorab aufgezeichnete Videosequenz in dem Fernüberwachungsgerät hinterlegt ist, welche während der automatisierten oder teilautomatisierten Fahrzeugfunktion angezeigt wird, und zwar synchron zu dem Ablauf der Fahrzeugfunktion am Fahrzeug. Lediglich für den Fall, dass ein unerwartetes Problem oder Hindernis den Ablauf am Fahrzeug unterbricht, werden aktuelle Livebilder erzeugt und zumindest in Ausschnitten in die hinterlegte Videosequenz eingefügt. Die Notwendigkeit Livebilder zu übertragen, wird also bei dem erfindungsgemäßen Verfahren auf die Zeitabschnitte eines Ablaufs einer automatisierten oder teilautomatisierten Fahrzeugfunktion reduziert, bei welcher ein Problem aufgetreten ist oder ein Hindernis erkannt wurde. Nur in einer solchen Situation kommt es dann zu einer von einer aufgezeichneten Videosequenz hinsichtlich der sicherheitsrelevanten Aspekte abweichenden Bildfolge. Der Erfinder hat erkannt, dass es ausreicht, ausschließlich in einer solchen Situation Livebilder zu verwenden, während ansonsten vorab aufgezeichnete und in dem Fernüberwachungsgerät gespeicherte Videosequenzen verwendbar sind. Dadurch wird der Aufwand zur Übertragung von Livebildern erheblich reduziert, sodass mit einer geringeren Datenrate und einer entsprechend einfacheren und insbesondere kostengünstigeren Datenverbindung operiert werden kann.
-
Gemäß einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens ist es dabei vorgesehen, dass die vorab aufgezeichnete Videosequenz mit den Ablauf der automatisierten oder teilautomatisierten Fahrzeugfunktion charakterisierenden Indizes versehen wurde, welche zur Synchronisation der aufgezeichneten Videosequenz mit späteren Abläufen an dem Fahrzeug genutzt werden. So kann beispielsweise für eine automatisierte oder teilautomatisierte Fahrzeugfunktion, beispielsweise das Öffnen und Schließen eines Fahrzeugverdecks, eine einmalige Videosequenz aufgezeichnet werden. Bestimmte Stellungen bestimmter Elemente des Fahrzeugverdecks werden dabei in diesem Video entsprechend mit Indizes versehen. Erreicht in einem späteren Ablauf eines der Elemente eine derartige Position, wird wiederum derselbe Index erzeugt und zu dem Fernüberwachungsgerät übertragen. Hierdurch ist es möglich, die tatsächlich stattfindende Bewegung des Ablaufs der automatisierten oder teilautomatisierten Fahrzeugfunktion an dem Fahrzeug mit der zuvor aufgezeichneten und im Fernüberwachungsgerät gespeicherten Videosequenz zu synchronisieren, auch wenn der Ablauf langsamer oder schneller stattfindet, als bei der ursprünglichen Aufzeichnung.
-
Wie erwähnt kann es gemäß einer vorteilhaften Weiterbildung der Idee deshalb ausreichen, zu jeder der automatisierten oder teilautomatisierten Fahrzeugfunktionen, für welche eine aufgezeichnete Videosequenz vorliegt, zwischen dem Fahrzeug oder dem Fernüberwachungsgerät ausschließlich die Indizes zu übertragen solange kein Problem oder Hindernis vorliegt. Eine solche Übertragung von Indizes ist entsprechend einfach und mit minimalem Aufwand hinsichtlich der zu übertragenden Datenmenge außerordentlich effizient. Dies kann daher zuverlässig in einem einfachen Netzwerk, beispielsweise einem Low-Energy-Bluetooth-Netzwerk oder Ähnlichem kostengünstig erfolgen.
-
Eine weitere sehr vorteilhafte Ausgestaltung der Idee sieht es ferner vor, dass über das Fernüberwachungsgerät zumindest eine Freigabe und/oder ein Stoppen des Ablaufs möglich ist. Das Fernüberwachungsgerät kann also auch ganz oder bis zu einem gewissen Grad eine direkte Fernsteuerung sein. So kann beispielsweise angefragt werden, ob ein automatisierter oder teilautomatisierter Ablauf, beispielsweise das automatische Einparken eines Fahrzeugs von der Grundstückgrenze aus in eine Garage oder dergleichen, starten kann. Erst nachdem der Nutzer des Fahrzeugs die Freigabe über das Fernüberwachungsgerät erteilt hat, beginnt der Ablauf. Solange er problemlos abläuft, also keine unerwarteten Probleme wie beispielsweise Hindernisse im zuvor gespeicherten Fahrweg des Fahrzeugs auftreten, erfolgt der Ablauf dabei entsprechend des gespeicherten Ablaufs, also beispielsweise mit einer gespeicherten Fahrtrajektorie für das Fahrzeug. Auf dem Fernüberwachungsgerät wird dann, ausschließlich unter Übertragung der Indizes, wenn die oben gewählte Ausführungsvariante Verwendung findet, eine zuvor gespeicherte Videosequenz dieses automatisierten Einparkvorgangs übertragen. Gleichzeitig überwacht das Fahrzeug mit seinen vorhandenen Umfeldsensoren, beispielsweise Kameras, Radarsensoren, Ultraschallsensoren oder dergleichen, die Umgebung. Sollte ein unerwartetes Problem auftreten, weil beispielsweise ein Hindernis innerhalb des geplanten Fahrwegs des Fahrzeugs erkannt worden ist, dann wird von der Anzeige der aufgezeichneten Videosequenz auf dem Fernüberwachungsgerät auf eine Anzeige von Livebildern gewechselt. Bei Bedarf kann das Fahrzeug auch selbsttätig angehalten werden, um eine Kollision mit dem Hindernis in jedem Fall zu vermeiden. Ansonsten lässt sich im Falle eines erkannten und auf dem Fernüberwachungsgerät angezeigten Hindernisses das Fahrzeug auch von dem Nutzer über eine entsprechende Funktion des Fernüberwachungsgeräts stoppen.
-
Im Falle eines automatisierten Anhaltens des Fahrzeugs wird dann auf eine erneute Freigabe des Nutzers oder einen Abbruch der entsprechenden Fahrzeugfunktion bzw. des Fahrmanövers gewartet, was der Nutzer anhand der übertragenen Livebilder entscheiden kann.
-
Handelt es sich beispielsweise um ein vorübergehendes Problem, wie beispielsweise ein Haustier oder eine Person, welches die geplante Trajektorie vor dem Fahrzeug passiert hat, dann wird, vorzugsweise nach erfolgter Freigabe durch den Nutzer, der automatisierte Einparkvorgang als Fahrzeugfunktion entsprechend fortgesetzt.
-
Gemäß einer vorteilhaften Weiterbildung der Idee wird dann auf aktuelle Livebilder wieder verzichtet, und es wird entsprechend der Synchronisation über die Indizes wieder zu der bereits aufgezeigten Videosequenz zurückgesprungen, wenn das Problem oder Hindernis nicht mehr vorhanden ist.
-
Wie bereits erwähnt kann es sich gemäß einer vorteilhaften Weiterbildung der Idee bei der automatisierten oder teilautomatisierten Fahrzeugfunktion um ein autonomes Einpark- und/oder Ausparkmanöver handeln. Gemäß einer vorteilhaften Weiterbildung der Idee sind auch andere entsprechende automatisierte oder teilautomatisierte Fahrzeugfunktionen denkbar, welche über das erfindungsgemäße Verfahren in einer seiner Ausgestaltungen überwacht werden können. Solche Funktionen sind beispielsweise, wie es oben bereits erwähnt worden ist, das Öffnen und Schließen eines Fahrzeugverdecks bei einem Cabrio oder Ähnliches.
-
Die Übertragung der Daten erfolgt dabei, wie es ebenfalls schon erwähnt worden ist, über eine sichere Funkverbindung, um eine sichere Funktionalität zu gewährleisten und den Eingriff Dritter nach Möglichkeit zu unterbinden. Als Fernüberwachungsgerät kann dabei ein eigens hierfür vorgesehenes Gerät eingesetzt werden.
-
Gemäß einer besonders einfachen und vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens lässt sich jedoch auch eine Anwendung, eine sogenannte App, auf einem Smartphone als Fernüberwachungsgerät nutzen, sodass beispielsweise die Vorzüge eines hochwertigen Bildschirms, wie es bei derartigen Smartphones üblich ist, genutzt werden kann. Die entsprechende Anwendung bzw. App kann dann vom jeweiligen Autohersteller, beispielsweise in Abstimmung mit dem vom Fahrzeug gelieferten Daten und Funktionen, entwickelt werden, um für einen Nutzer des Fahrzeugs außerordentlich einfach und effizient die Steuerung über eine solche Anwendung auf seinem Smartphone zu ermöglichen.
-
Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens ergeben sich auch aus dem Ausführungsbeispiel, welches nachfolgend unter Bezugnahme auf eine Figur näher beschrieben ist.
-
Die einzige beigefügte Figur zeigt ein prinzipmäßig angedeutetes Fahrzeug sowie einen vom Fahrzeug entfernt befindlichen Nutzer mit einem Smartphone als Fernüberwachungsgerät.
-
Das in der Figur dargestellte und mit 1 bezeichnete Fahrzeug soll in der Lage sein, selbsttätig auf einem mit 2 bezeichneten Stellplatz einzuparken. Hierfür ist eine mit 3 bezeichnete vorgegebene Trajektorie für das Einparken in dem Fahrzeug 1 entsprechend hinterlegt. Bei dem erfindungsgemäßen Verfahren ist es nun so, dass zunächst das Fahrmanöver einmal in der herkömmlichen Methode ausgeführt werden muss. Dies bedeutet, dass das automatisierte Einparken unter direkter Beobachtung eines Nutzers oder Programmierers freigegeben und permanent beobachtet wird. Der Nutzer bzw.
-
Programmierer muss sich dabei unmittelbar im Bereich des Fahrzeugs 1 befinden und die gesamte Trajektorie 3 ständig einsehen, um ausschließen zu können, dass es zu Problemen kommt oder dass Hindernisse im Bereich der Trajektorie 3 vorhanden sind. Über das Fahrzeugsystem wird dann eine Videosequenz dieses automatischen Fahrmanövers erstellt, welche später am Fernüberwachungsgerät dazu dient, während vergleichbarer Vorgänge abgespielt zu werden. Die Videosequenz, welche während des Fahrmanövers aufgezeichnet wird, ist so strukturiert, dass parallel zur Videoaufzeichnung Indizes generiert werden, welche den Fortschritt des Fahrmanövers markieren. Ist das Fahrmanöver entsprechend abgeschlossen, wird auch die Videoaufzeichnung vom Fahrzeugsystem beendet und ein Abschlussindex wird eingetragen.
-
Nun kann die aufgezeichnete Videosequenz auf ein externes Fernüberwachungsgerät zum Beispiel eine Anwendung auf einem Smartphone 4 eines mit 5 bezeichneten Nutzers übertragen werden. Hierfür lassen sich insbesondere sichere Funkverbindungen oder Kabelverbindungen verwenden. Alle von dem Fahrzeug 1 aufgezeichneten Videosequenzen zu vorgegebenen teilautomatisierten oder automatisierten Fahrzeugfunktionen bzw. Fahrmanöver werden dann in dem Fernüberwachungsgerät, beispielsweise dem Smartphone 4, gespeichert.
-
Mittels des Fahrzeugs 1 lässt sich ein solches Fahrmanöver, hier also das Einparken auf den Stellplatz 2, nun erneut durchführen. Das Fahrzeug 1 baut dazu zunächst wieder eine sichere Funkverbindung 6 zu dem Fernüberwachungsgerät, also dem Smartphone 4 des Nutzers 5, welcher hier z. B. bereits in ein Gebäude gegangen ist, auf. Das Fahrzeug 1 frägt dann zunächst ab, ob für das geplante Fahrmanöver eine passende Videosequenz auf dem Smartphone 4 gespeichert ist. Wird das bestätigt, beginnt das Fahrzeug 1 mit der Übertragung von Indexinformationen an das Smartphone 4, jeweils in Abhängigkeit vom Fortschritt des Fahrmanövers. Das Smartphone 4 bestätigt zyklisch den Empfang der Indizes gegenüber dem System des Fahrzeugs 1. Erfolgt die Bestätigung des Smartphones 4 nicht innerhalb einer vorgegebenen Zeitspanne, dann wird über das Fahrzeugsystem das Fahrmanöver des Fahrzeugs 1 aus Sicherheitsgründen umgehend unterbrochen.
-
Erfolgt die Bestätigung der Indizes vom Smartphone 4 gegenüber dem Fahrzeug 1 innerhalb der definierten Toleranz, wird das Fahrmanöver weiter fortgeführt und letztlich vollständig ausgeführt solange es nicht aktiv vom Nutzer 5 des Smartphones 4 über eine entsprechende Eingabe an seinem Smartphone 4 abgebrochen wird.
-
Der Nutzer 5 kann dabei den Fortschritt des Fahrmanövers am Smartphone 4 entsprechend überwachen, wozu er eine mit dem real stattfindenden Fahrmanöver synchronisierte, zuvor aufgezeichnete Videosequenzen gezeigt bekommt.
-
Das Fahrzeug 1 verfügt über Sensoren, welche die Umgebung des Fahrzeugs 1 erfassen. Solche Umfeldsensoren, wie sie beispielsweise für autonome oder teilautonome Fahrfunktionen allgemein bekannt sind, können potenzielle Hindernisse oder andere Probleme erkennen. Rein beispielhaft ist in der Figur gestrichelt auf der vorgegebenen Trajektorie 3 ein mit 7 bezeichnetes Hindernis eingezeichnet. Zwischen dem Fahrzeug 1 und dem Hindernis 7 könnte es zu einer Kollision kommen. Wird eine solche Gefahr erkannt, beispielsweise durch Ultraschallsensoren oder Ähnliches, dann wird die Fahrt verlangsamt und gegebenenfalls gestoppt. Gleichzeitig wird von dem Fahrzeug 1 der isolierte Bildausschnitt mit dem erkannten Hindernis 7 in Form von Livebildern direkt auf das Smartphone 4 übertragen. In der Anwendung des Smartphones 4 werden diese Livebilder nun in die auf dem Gerät gespeicherte aufgezeichnete Videosequenz integriert, solange das Problem besteht, dass das Hindernis 7 also im Bereich der geplanten Trajektorie 3 vorhanden ist. Deren Nutzer 5 kann nun über die teilweise in Echtzeit übertragenen Bilder des Geschehens am Fahrzeug 1 entscheiden, ob das Fahrmanöver entsprechend fortgesetzt werden soll.
-
Wird vom System erkannt, dass die Datenrate oder Verbindungsqualität für die jetzt kurzzeitig notwendige echtzeitnahe Darstellung der Livebilder auf dem Bediengerät nicht ausreicht, dann wird das Fahrmanöver am Fahrzeug 1 aus Sicherheitsgründen unterbrochen, bis wieder eine ausreichend stabile Verbindung für die Datenübertragung hergestellt worden ist. Nachdem dies der Fall ist kann der Nutzer 5 nun, sofern er dies für sinnvoll und richtig hält, eine erneute Freigabe für das automatische Fahrmanöver erteilen, sodass dieses entsprechend seiner Entscheidung fortgesetzt wird. Kommt er zu einem anderen Entschluss, dann kann er den Vorgang auch gänzlich abbrechen, sodass es nicht zu einer Fortsetzung des automatisierten Fahrmanövers kommt.
-
Ein solches Verfahren ermöglicht eine deutliche Reduzierung der Datenmenge, welche während der Ausführung des Fahrmanövers oder auch einer anderen automatisierten oder teilautomatisierten Fahrzeugfunktion zwischen dem Fahrzeug 1 und dem Fernüberwachungsgerät, also hier dem Smartphone 4, entsprechend ausgetauscht werden muss. Auch im Falle eines erkannten Problems, wie beispielsweise des Hindernisses 7, ist die Datenrate noch deutlich reduziert gegenüber einer permanenten Bildübertragung des gesamten Videostreams in Echtzeit. Dies wird dadurch erreicht, dass vorzugsweise nicht das gesamte Umgebungsbild entsprechend übertragen wird, sondern lediglich die Bildausschnitte, welche das Problem bzw. Hindernis 7 zeigen, wobei diese Bilder dann entsprechend in die bereits gespeicherte Videosequenz integriert werden. Dies ermöglicht es Funkverbindungen mit geringer Bandbreite zu verwenden, beispielsweise Bluetooth-Low-Energy.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102009040221 A1 [0002]
