-
Die Erfindung betrifft ein Verfahren zum Betreiben eines Autopiloten für ein Fahrzeug gemäß dem Oberbegriff von Anspruch 1 sowie eine Vorrichtung zur Durchführung des Verfahrens gemäß dem Oberbegriff von Anspruch 3.
-
Schon seit längerem sind Autopiloten für Fahrzeuge, beispielsweise als Garagenassistenten für eine Einparkhilfe für Fahrzeuge bekannt.
-
Aus der
DE 20 2008 018 157 U1 ist ein Garagenassistent zur Einparkunterstützung eines Fahrzeugs in eine Garage oder eine Parklücke bekannt, der anhand von einer Umweltsensorik zur automatischen Erfassung von Raumverhältnissen und einer Fernsteuerung zum Aktivieren eines Einparkvorgangs in der Lage ist, automatisch ein Fahrzeug in der Garage abzustellen. Dabei ist der Einparkvorgang über eine drahtlose Schnittstelle visuell auf ein mobiles Endgerät übertragbar, worüber der Einparkvorgang überwacht werden kann.
-
Aus der
EP 2 133 729 A1 ist ein NTED (Near the Eyes Display) bekannt, über das eine Überwachung von Land-, Wasser- und Luftfahrzeugen möglich ist, wobei Bilder aus den jeweiligen Fahrzeugen in dem NTED der Überwachungsvorrichtung eingeblendet werden und damit eine Beobachtung des unmittelbaren Umfelds aus der Perspektive des jeweiligen Fahrzeugs möglich ist.
-
Es ist eine Aufgabe der vorliegenden Erfindung ein Verfahren sowie eine Vorrichtung bereitzustellen, mit der ein pilotiertes Fahren eines Fahrzeugs einfach überprüft und zuverlässig ausgeführt werden kann.
-
Diese Aufgabe wird mittels eines Verfahrens zum Betreiben eines Autopiloten für ein Fahrzeug gemäß dem kennzeichnenden Teil des Anspruchs 1 sowie einer Vorrichtung zur Durchführung dieses Verfahrens gemäß dem kennzeichnenden Teil von Anspruch 3 gelöst.
-
Dabei kommt ein Verfahren zum Betreiben eines Autopiloten für ein Fahrzeug zum Einsatz, bei dem der Autopilot umfasst:
- – eine Steuerungseinrichtung zum Ausführen und Überwachen von vorbestimmten autonomen Fahrmanövern eines mit der Steuerungseinrichtung koppelbaren Fahrzeugs,
- – zumindest einen Sensor des Fahrzeugs der an die Steuerungseinrichtung koppelbar ist,
- – eine Kommunikationseinrichtung, die mit der Steuerungseinrichtung verbunden ist,
- – eine mit der Kommunikationseinrichtung koppelbare und sich außerhalb des Fahrzeugs befindende Ausgabeeinrichtung, die eingerichtet ist, auf dem Kopf eines Benutzers getragen zu werden und die zur Ausgabe von Fahrmanöverdaten und/oder Sensordaten dient,
und das Verfahren die Schritte umfasst:
- – Erfassen von Sensordaten,
- – Generieren von Steuerungsbefehlen zum Ausführen der vorbestimmten autonomen Fahrmanöver in Abhängigkeit von den erfassten Sensordaten,
- – Ausführen der generierten Steuerungsbefehle,
wobei die Steuerungseinrichtung sowohl das Ausführen des vorbestimmten autonomen Fahrmanövers unterbricht als auch eine Ausgabe von Sensordaten und/oder Fahrmanöverdaten auf der Ausgabeeinheit bewirkt, wenn während des vorbestimmten autonomen Fahrmanövers ein Fehlerkriterium erfüllt ist.
-
Mittels eines Planer-Moduls, das beispielsweise in der Steuerungseinrichtung angeordnet ist, wird anhand der Sensordaten eine Fahrmanöver-Bahnkurve berechnet anhand der das Fahrzeug kollisionsfrei in/an ein gewünschtes Ziel von der Steuerungseinheit manövriert wird. Sobald die Steuerungsvorrichtung einen Fehler identifiziert, der auf Grund eines Fehlerkriteriums ermittelt wird, unterbricht sie das autonome Fahrmanöver des Autopiloten. Ein besonderer Vorteil des Verfahrens liegt darin, dass ein Benutzer das Fahrzeug beim Ausführen eines vorbestimmten autonomen Fahrmanövers überwachen kann, und/oder im Fall einer Unterbrechung bzw. eines „Dead Locks” beim Ausführen des autonomen Fahrmanövers von dem Fahrzeug bzw. der Steuerungseinrichtung des Autopiloten auf die Unterbrechung des Fahrmanövers hingewiesen wird und in einen halbautomatischen Modus schaltet, bei dem dem Benutzer ein Eingreifen in das unterbrochene Fahrmanöver ermöglicht wird. Um dem Benutzer einen gezielten Eingriff zu ermöglichen, werden dem Benutzer auf einer Ausgabeeinrichtung Fahrmanöverdaten und/oder Sensordaten übermittelt, beispielsweise Bilder einer Videokamera mit Overlays, die auf bestimmte Merkmale wie Gefahrenschwerpunkte, Fußgänger, Tank- oder Ladestationen hinweisen. Dazu können zusätzliche Zeit- und Rauminformationen zu vom Fahrzeug geplanten Aktivitäten bzw. Fahrmanövern zum Laden, Fahren in einer Waschstraße sowie benötigte Zeiten, Energiehaushalt und gefahrene Wege auf der Anzeige der Ausgabeeinrichtung eingeblendet werden. Weitere erfasste Sensordaten können Temperatur, Öldruck, Treibstoff/Kraftstoff, Batteriespannung, Fahrzeugzustand und/oder Fahrzustand bzw. Betriebszustand des Fahrzeugs umfassen.
-
Bei einer besonders bevorzugten Ausführungsform der Erfindung veranlasst die Steuerungseinrichtung in Abhängigkeit zumindest eines Benutzerbefehls ein Fortsetzen oder ein Abbrechen oder ein Einleiten eines neuen Fahrmanövers. Dabei kann der Benutzer in Abhängigkeit der ihm auf der Ausgabeeinrichtung vorliegenden Informationen wie z. B. Bildern und Sensordaten gezielt in das Geschehen eingreifen und je nach vorliegendem Fall das bereits eingeleitete Fahrmanöver fortsetzen, beispielsweise wenn der Grund der Unterbrechung nur temporär bedingt ist, das Fahrmanöver vollständig abbrechen, in dem Fall, dass ein drohender Schaden oder Unfall eintreten könnte, oder mittels eines neuen Fahrmanövers oder korrigierenden halbautomatischen Eingriffs das beabsichtigte ursprüngliche Fahrmanöver abschließen oder ein vollkommen neues Fahrmanöver einleiten. Halbautomatisch bedeutet, dass der Fahrer nicht sofort ein autonomes Fahrmanöver einleitet, sondern das autonome Fahrmanöver erst nach einpaar ferngesteuerten Zwischenschritten veranlasst.
-
Ein weiterer Aspekt der Erfindung betrifft eine Vorrichtung zum Durchführen des Verfahrens mittels eines Autopiloten für ein Fahrzeug, wobei der Autopilot umfasst:
- – eine Steuerungseinrichtung zum Ausführen und Überwachen von vorbestimmten autonomen Fahrmanövern eines mit der Steuerungseinrichtung koppelbaren Fahrzeugs,
zumindest einen Sensor des Fahrzeugs der an die Steuerungseinrichtung koppelbar ist,
- – eine Kommunikationseinrichtung, die mit der Steuerungseinrichtung verbunden ist,
- – eine mit der Kommunikationseinrichtung koppelbare und sich außerhalb des Fahrzeugs befindende Ausgabeeinrichtung, die eingerichtet ist, auf dem Kopf eines Benutzers getragen zu werden und die zur Ausgabe von Fahrmanöverdaten und/oder Sensordaten dient, wobei
die Steuerungseinrichtung eingerichtet ist, sowohl ein Ausführen des vorbestimmten autonomen Fahrmanövers zu unterbrechen als auch eine Ausgabe von Sensordaten und/oder Fahrmanöverdaten auf der Ausgabeeinrichtung zu bewirken, wenn während des vorbestimmten autonomen Fahrmanövers ein Fehlerkriterium erfüllt ist.
-
Die bezüglich des Verfahrens beschriebenen Vorteile gelten gleichermaßen für die damit betriebene Vorrichtung. Darüber hinaus ermöglicht die am Kopf des Benutzers tragbare Ausgabeeinrichtung dem Benutzer zu zeigen, was das Fahrzeug gerade macht, ganz so, als wäre er selbst der Fahrer des Fahrzeugs – aus einer Perspektive des Fahrers.
-
Weitere Fehlerkriterien, die zu einer Unterbrechung des Fahrmanövers führen können, umfassen Abweichungen von Schwellwerten von einzelnen Zuständen unterschiedlicher Sensoren, wie Treibstoff-, Batterie-, Bremsen-, Entfernungs-Sensoren sowie Zustände der Fahrbahn, Schlupf- und Rutsch-Zustände, festgestellte Bremsen und dergleichen.
-
Gemäß einer vorteilhaften Ausführungsform der Erfindung umfasst der zumindest eine Sensor einen Lidar- und/oder Radar- und/oder Kamera- und/oder Schall-Sensor. Je mehr Sensorendaten der Steuerungseinrichtung zur Auswertung zur Verfügung stehen, desto genauer und zuverlässiger ist ein autonomes Fahrmanöver von dem Fahrzeug durchführbar und desto exakter kann ein Fehler bzw. Grund für einen Fehler im Falle der Unterbrechung des autonomen Fahrmanövers dem Benutzer bereitgestellt werden.
-
Damit der Benutzer von der Unterbrechung des autonomen Fahrmanövers in Kenntnis gesetzt werden kann, sieht die Ausgabeeinrichtung gemäß einer Ausführungsform der Erfindung eine Anzeige- und/oder einen Lautsprecher vor.
-
Bei einer bevorzugten Ausführungsform der Erfindung ist die Anzeige ein NTED (Near the Eye Display) oder eine elektronische Anzeige eines mobilen Endgerätes. Der besondere Vorteil eines NTED ist das direkte Einblenden von Fahrmanöverdaten und/oder Sensordaten in das Blickfeld des Benutzers. Bilddaten eines im Fahrzeug angeordneten Kamera-Sensors erscheinen für den Benutzer genau so, als wären es die Bilder aus der Perspektive des Fahrers im Fahrzeug. Dadurch ergibt sich eine realistische Perspektive, die ein Eingreifen in das Fahrmanöver erheblich erleichtert.
-
Bevorzugt ist die Ausgabeeinrichtung ein Teil einer sie umfassenden E/A-Einrichtung (Ein-/Ausgabe-Einrichtung), wobei die E/A-Einrichtung Mittel zur Gestenzuordnung aufweist. Dadurch ist es nicht nur möglich, Informationen vom Fahrzeug bzw. der Steuerungseinrichtung anzuzeigen, sondern auf die angezeigten Hinweise bezüglich des Fahrmanövers mittels Gesten zu reagieren und dadurch das Fahrzeug zu steuern.
-
Vorteilhafterweise umfassen die Mittel zur Gestenzuordnung eine Kamera und/oder einen Inertialsensor. Mittels der Kamera können beispielsweise Hand-Gesten erkannt werden, wobei durch eine Bildbearbeitung die von der Kamera der E/A-Einrichtung erfassten Bilddaten, die Gesten entsprechen, mit Bilddaten des Kamera-Sensors des Fahrzeugs überlagert werden können und dadurch beispielsweise ein Lenkrad oder Schalthebel bedient werden kann, als ob der Benutzer sich in dem Fahrzeug befinden würde. Mittels des Inertialsensors können in einer weiteren vorteilhaften Ausführungsform der Erfindung Kopfstellungen erfasst werden, wie beispielsweise zur Ansteuerung des Kamera-Sensors in dem Fahrzeug interpretiert werden können, wobei dadurch eine virtuelle Blickrichtung des Fahrers simuliert werden kann. Demnach würde sich ein im Fahrzeug befindender Kamera-Sensor mit der Bewegung des Kopfes des Benutzers mitbewegen und dadurch seiner „virtuellen” Blickrichtung folgen können. Bei einer weiteren Ausführungsform der Erfindung ist eine Bewegung des Kamera-Sensors auch aufgrund der Auswertung von Bilddaten der Kamera der E/A-Einrichtung möglich, wobei ein Bildfluss der Bilddaten der Kamera der E/A-Einrichtung ausgewertet wird.
-
Bei einer weiteren zweckmäßigen Ausführungsform der Erfindung weist die E/A-Einrichtung Mittel zur Spracherkennung auf. Dadurch können auf einfache Weise Sprachbefehle zur Steuerung der vorbestimmten autonomen Fahrmanöver genutzt werden. Als Mittel zur Spracherkennung erweisen sich Mikrofon- und/oder Schallwandler als besonders kostengünstig und effektiv.
-
Gemäß einer vorteilhaften Ausführungsform der Erfindung ist die Steuerungseinrichtung im Fahrzeug angeordnet. Eine Anordnung der Steuerungseinrichtung im Fahrzeug ist zum einen ortsfest, kann nicht verloren werden und ist darüber hinaus auch nicht so leicht zu beschädigen.
-
Im Folgenden werden die Erfindung und beispielhafte Ausführungsformen anhand einer Zeichnung näher erläutert. Dabei veranschaulicht die einzige Figur anhand einer skizzenhaften Darstellung eine mittels eines erfindungsgemäßen Verfahrens betriebene Vorrichtung für einen Autopiloten eines Fahrzeugs.
-
In der Figur wird eine Vorrichtung zum Durchführen eines Verfahrens zum Betreiben eines Autopiloten für ein Fahrzeug dargestellt. Der Autopilot umfasst eine Steuerungseinrichtung 1 zum Ausführen und Überwachen von vorbestimmten autonomen Fahrmanövern eines Fahrzeugs – in der vorliegenden Figur durch die Steuerungseinrichtung 1 symbolisiert. Unter autonomen Fahrmanövern wird ein pilotiertes Fahren des Fahrzeugs verstanden, wobei sich das Fahrzeug selbständig, ohne Insassen, in vorzugsweise menschfreien Räumen bewegt. Dieses können Fahrmanöver zum Parken, Tanken, Waschen oder zum Aufladen einer Batterie an einer Ladestation sein. Zumindest ein Sensor 2 des Fahrzeugs ist mit der Steuerungseinrichtung 1 gekoppelt. Gemäß einer Ausführungsform der Erfindung kann der Sensor 2 ein Lidar- und/oder Radar- und/oder Kamera- und/oder Schall-Sensor sein. Um eine möglichst genaue Diagnose über ein Fahrverhalten bzw. Fahrzeugszustand liefern zu können, werden bevorzugt mehrere Sensoren unterschiedlicher Art in das Fahrzeug verbaut bzw. an/mit der Steuerungseinrichtung 1 gekoppelt. Die Steuerungseinrichtung 1 verfügt über eine Kommunikationseinrichtung 3, die mit einer sich außerhalb des Fahrzeugs befindenden E/A-Einrichtung koppelbar ist. In der Figur ist die E/A-Einrichtung als Datenbrille 4 ausgeführt. Die Datenbrille 4 weist eine Ausgabeeinrichtung 5, 6 auf, die eingerichtet ist, auf dem Kopf eines Benutzers 7 getragen zu werden, und die zur Ausgabe von Fahrmanöverdaten und/oder Sensordaten dient. Vorzugsweise verfügt die Ausgabeeinrichtung 5, 6 über eine Anzeige 5 und oder einen Lautsprecher 6. Über die Anzeige 5 werden einem Benutzer 7 – in der Figur als Auge symbolisiert – Fahrmanöverdaten und/oder Sensordaten ins Blickfeld eingeblendet. Darüber hinaus können Warnsignale bzw. Fahrmanöverdaten und/oder Sensordaten des Fahrzeugs auditiv über einen Lautsprecher 6 der Ausgabeeinrichtung 5, 6 ausgegeben werden. Zusätzlich zu den Fahrmanöverdaten und den Sensordaten können dabei auch von einem in dem Fahrzeug verbauten Mikrofon aufgenommene Schalldaten dem Benutzer 7 über den Lautsprecher 6 ausgegeben werden. Mittels der in der Figur veranschaulichten Datenbrille 4 lässt sich ein besonders realistischer Eindruck hinsichtlich eines Fahrgefühls in dem Fahrzeug an den Benutzer 7 schaffen.
-
Bei einer besonders bevorzugten Ausführungsform der Erfindung können Bewegungen des Kopfes des Fahrers 7 von einem Kamera-Sensor des Fahrzeugs nachvollzogen werden, wobei der Kamera-Sensor im Fahrzeug die gleiche Bewegung wie die des Kopfes des Benutzers nachvollzieht. Dadurch wird dem Benutzer 7 ein besonders realistisches Bild aus der Perspektive eines im Fahrzeug sitzenden Fahrers ermöglicht. Zusammen mit dem Lautsprecher 6 lässt sich für den Benutzer 7 ein Gefühl erzeugen, als ob er selbst in dem Fahrzeug fährt. Die Datenbrille 4 verfügt des Weiteren über eine Antenne, die Teil der Kommunikationseinrichtung 3 ist. Des Weiteren verfügt die Datenbrille 4 über einen Inertialsensor 8, der Relativbewegungen des Kopfes des Fahrers 7 in Steuerungssignale, beispielsweise für den Kamera-Sensor im Fahrzeug generiert, die über die Antenne der Kommunikationseinrichtung 3 der Datenbrille 4 an die Steuerungseinrichtung 1 gesendet werden, um die daran gekoppelten Sensoren 2 – z. B. ein Kamera-Sensor – anzusteuern.
-
Die Steuerungseinrichtung 1 des Autopiloten des Fahrzeugs ist eingerichtet, ein vorbestimmtes autonomes Fahrmanöver des Fahrzeugs auszuführen und zu überwachen. Wenn beim Ausführen des autonomen Fahrmanövers ein Fehler auftritt, weil ein bestimmtes Fehlerkriterium von der Steuerungseinrichtung 1 erfüllt wird, wird das Fahrmanöver von der Steuerungseinrichtung 1 unterbrochen und eine Ausgabe von Sensordaten und/oder Fahrmanöverdaten auf der Ausgabeeinrichtung 5, 6 der Datenbrille 4 des Benutzers 7 generiert bzw. bewirkt. Bei der Prüfung des Fehlerkriteriums stellt die Steuerungseinrichtung 1 des Autopiloten fest, ob beispielsweise ein unvorhergesehenes Hindernis die Ausführung des Fahrmanövers behindert oder bestimmte Sensoren 2 ausgefallen sind, oder die noch intakten Sensoren 2 einen Fahrzeugzustand feststellen, der die weitere Ausführung des Fahrmanövers behindert. Dies kann beispielsweise ein Mangel an Kraftstoff, zu niedrige Batteriespannung oder eine Radpanne des Fahrzeugs sein. Anhand der Sensoren 2 kann eine Diagnose eines möglichen Fehlers ermittelt werden, der zur Unterbrechung des Fahrmanövers geführt hat und dies dem Benutzer 7 auf der Datenbrille 4 über die Ausgabeeinrichtung 5, 6 angezeigt werden. Der Fahrer 7 ist nun in der Lage, das unterbrochene Fahrmanöver fortzusetzen, abzubrechen oder ein vollkommen neues autonomes Fahrmanöver einzuleiten. Dazu ist die E/A-Einrichtung 4 gemäß einer vorteilhaften Ausführungsform der Erfindung mit Mitteln zur Gestenzuordnung 8, 9 eingerichtet.
-
Als Gesten werden gemäß einer vorteilhaften Ausführungsform der Erfindung beispielsweise Kopfgesten sowie Handgesten des Benutzers 7 verstanden. Über den in der Datenbrille 4 eingebauten Inertialsensor 8 können Kopfbewegungen in Steuerungssignale für die Steuerungseinrichtung 1 des Autopiloten umgewandelt werden. So können beispielsweise in Abhängigkeit der von der Steuerungseinrichtung 1 identifizierten Fehler beim Fahrmanöver zusätzlich Menüeinträge generiert werden, die dem Benutzer 7 über die Ausgabeeinrichtung 5, 6 angezeigt werden und über eine Kopfbewegung des Benutzers 7 aus dem Menü – das in dem NTED eingeblendet wird – ausgewählt werden.
-
Bei einer besonders bevorzugten Ausführungsform der Erfindung ist die E/A-Einrichtung bzw. Datenbrille 4 zusätzlich oder alternativ mit einer Kamera 9 ausgerüstet, die dasselbe Blickfeld erfasst wie ein Auge des Benutzers 7. Mittels Handgesten 10, die im Blickfeld des Benutzers 7 ausgeführt werden, kann der Autopilot das Fahrzeug steuern. Dabei können beispielsweise mittels der Handgesten bzw. Bewegungen eines Lenkrads oder eines Schalthebels gesteuert werden, ganz so, als befände sich der Benutzer 7 im Fahrzeug selbst. Beispielsweise könnte durch eine Überlagerung von Bilddaten der Kamera 9 – von der Datenbrille 4 aufgezeichnet Bilder der Handgesten – mit in dem NTED 5 angezeigten Bildern eines Fahrzeuginnenraums überlagert werden, und mittels geeigneter Software die Steuerung des Wagens vollständig virtuell erfolgen.
-
Bei einer weiteren Ausführungsform der Erfindung weist die E/A-Einrichtung bzw. Datenbrille 4 alternativ oder zusätzlich Mittel zur Spracherkennung, beispielsweise ein Mikrofon und/oder einen Schallwandler auf – in der Figur nicht gezeigt. Über die Mittel zur Spracherkennung können Sprachbefehle zur Steuerung des Autopiloten an die Steuerungseinrichtung 1 übertragen werden. Dadurch wird dem Benutzer 7 eine weitere Möglichkeit zur Steuerung des Fahrzeugs ermöglicht.
-
Bei einer bevorzugten Ausführungsform der Erfindung ist die Steuerungseinrichtung 1 in dem Fahrzeug integriert. Dadurch lassen sich elektronische Bausteine des Fahrzeugs von der Steuereinrichtung des Autopiloten gemeinsam verwenden.
-
Bei einer weiteren Ausführungsform der Erfindung ist der Autopilot, umfassend eine Steuerungseinrichtung 1, Kommunikationseinrichtung 3 sowie E/A-Einrichtung 4 über eine im Fahrzeug vorgesehene Schnittstelle nachrüstbar.
-
Durch die Möglichkeit eines Eingreifens in ein unterbrochenes vorbestimmtes autonomes Fahrmanöver kann die Zuverlässigkeit einer Ausführung des Fahrmanövers gesteigert und dadurch die Sicherheit des Fahrzeugs und des Fahrzeugumfelds gewährleistet werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 202008018157 U1 [0003]
- EP 2133729 A1 [0004]
