-
Die Erfindung betrifft ein Verfahren zum Abbrechen eines autonomen Fahrvorgangs eines Fahrzeugs gemäß dem Oberbegriff des Patentanspruchs 1 und eine Vorrichtung zur Durchführung des Verfahrens gemäß Patentanspruch 10
-
Fahrzeuge, die einen autonomen Fahrvorgang durchführen sind hinlänglich bekannt. Beispielsweise sind auf dem Markt Fahrzeuge verfügbar, die autonom in eine Parklücke einparken oder aus der Parklücke ausparken. Bei Mercedes-Benz-Fahrzeugen, die mit der sogenannten Remote-Park-Pilot-Funktion ausgestattet sind, kann ein sich außerhalb des Fahrzeugs befindender Benutzer einen autonomen Einparkvorgang oder einen autonomen Ausparkvorgang ferngesteuert per Smartphone-App starten. Der autonome Einpark- bzw. Ausparkvorgang wird dabei solange durchgeführt solange der Benutzer auf einem Display seines Smartphones eine kreisende Bewegung ausführt. Bei Unterbrechung der kreisenden Bewegung wird auch die Ausführung des Einparkvorgangs bzw. Ausparkvorgangs unterbrochen. Auf diese Weise wird eine sogenannte Totmannfunktion realisiert.
-
Aus der
DE 10 2013 010 819 A1 ist ein Verfahren zur Fernsteuerung eines autonomen Fahrvorgangs eines Fahrzeugs bekannt, wobei die Fernsteuerung mittels einer mobilen Steuereinheit erfolgt, die ein sich außerhalb des Fahrzeugs befindender Benutzer bei sich trägt. Bei diesem Verfahren wird an einer vorgegebenen Position am Fahrzeug ein optisches Signal erzeugt und die Fernsteuerung des autonomen Fahrvorgangs wird ausschließlich dann freigegeben, wenn das optische Signal von einer in der Steuereinheit integrierten Kamera erfasst wird. Zur Fernsteuerung des Fahrvorgangs muss der Benutzer mithin die Kamera der Steuereinheit auf das Fahrzeug ausrichten, so dass das vom Fahrzeug ausgesendete optische Signal empfangen werden kann. Hierdurch wird ebenfalls eine Totmannfunktion realisiert.
-
Aus der
DE 10 2012 017 934 A1 ist weiterhin ein Verfahren zur Durchführung eines autonomen Fahrvorgang eines Fahrzeugs bekannt, bei dem mittels einer fahrzeugseitigen Kamera Gesten eines sich außerhalb des Fahrzeugs befindenden Benutzers erfasst werden und bei dem der autonome Fahrvorgang abgebrochen wird, wenn erfasst wird, dass der Benutzer eine vorgegebene Stopp-Geste ausführt.
-
In der gattungsbildenden unveröffentlichten
DE 102017007215.9 ist ein Verfahren zur Ausführung eines von einem Benutzer ferngesteuert einleitbaren autonomen Fahrvorgangs, insbesondere eines autonomen Einparkvorgangs, beschrieben. Bei diesem Verfahren wird der Benutzer während und nach dem Aussteigen aus dem Fahrzeug mittels mindestens einer am Fahrzeug angeordneten Kamera erfasst. Anhand der aufgenommen Bilddaten wird die Blickrichtung des Benutzers ermittelt und der autonome Fahrvorgang wird ausschließlich dann und solange zur Ausführung freigegeben, wenn und solange festgestellt wird, dass der Benutzer seinen Blick auf das Fahrzeug richtet. Auf diese Weise wird sichergestellt, dass der autonome Fahrvorgang unter der dauernden Beobachtung des Benutzers ausgeführt wird.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zum Abbrechen eines autonomen Fahrvorgangs eines Fahrzeugs anzugeben. Der Erfindung liegt weiterhin die Aufgabe zugrunde, eine Vorrichtung zur Durchführung des Verfahrens anzugeben
-
Die Aufgabe wird erfindungsgemäß mit einem Verfahren gemäß den Merkmalen des Patentanspruchs 1 und mit einer Vorrichtung gemäß den Merkmalen des Patentanspruchs 10 gelöst.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Bei einen Verfahren zum Abbrechen eines autonomen Fahrvorgangs eines Fahrzeugs, bei dem der Fahrvorgang von einem sich außerhalb des Fahrzeugs befindenden Benutzer des Fahrzeugs überwacht wird und bei dem der Benutzer mit einem Kamerasystem des Fahrzeugs erfasst wird, wird erfindungsgemäß ein Bewegungszustand des Benutzers durch Auswertung von Kameradaten des Kamerasystems ermittelt und der Fahrvorgang wird unterbrochen und das Fahrzeug mithin vorzugsweise angehalten, wenn festgestellt wird, dass der ermittelte Bewegungszustand einem Zustand einer Starre oder einem Zustand einer reflexartigen Bewegung entspricht. Durch die Unterbrechung des Fahrvorgangs wird das Fahrzeug vorzugsweise angehhalten, d.h. in den Stillstand gebremst.
-
Die Erfindung geht davon aus, dass es Aufgabe des Benutzers ist, den autonomen Fahrvorgang zu überwachen und, in nach seinem Ermessen gefährlichen Situationen, zu unterbrechen. Das heißt, der Fahrvorgang wird zwar autonom ausgeführt, der Benutzer ist aber eine übergeordnete Kontrollinstanz, die den Fahrvorgang jederzeit beenden kann. Der Erfindung liegt die Erkenntnis zugrunde, dass der Benutzer sich während der Beobachtung des Fahrvorgangs im Normalfall anders bewegt als im Gefahrenfall. Im Normalfall führt er moderate Bewegungen aus. Im Gefahrenfall ist hingegen mit einer unkontrollierten Schreckreaktion zu rechnen. Solche Schreckreaktionen äußern sich einerseits dadurch, dass der Benutzer erstarrt, andererseits dadurch, dass der Benutzer reflexartige Bewegungen ausführt. Hierbei handelt es sich, im Gegensatz zu Gesten, die der Benutzer bewusst ausführt, um unkontrollierte Bewegungszustände des Benutzers, in denen der Benutzer vorübergehend nicht in der Lage ist, rechtzeitig und adäquat auf die Situation zu reagieren. Dadurch, dass solche Bewegungszustände des Benutzers automatisch erkannt werden und bei deren Vorliegen der Fahrvorgang automatisch unterbrochen wird, wird sichergestellt, dass eine Gefahrensituation auch dann entschärft wird, wenn der Benutzer als übergeordnete Kontrollinstanz nicht in der Lage ist adäquat zu reagieren.
-
Vorteilhafterweise wird der Bewegungszustand des Benutzers basierend auf der Ermittlung mindestens einer Gestik, einer Mimik, einer Körperhaltung und/oder einer Position des Benutzers ermittelt.
-
Vorteilhafterweise wird der Bewegungszustand des Benutzers basierend auf der Ermittlung von Änderungen vorgegebener Punkte im Gesicht, am Kopf und/oder an Gliedmaßen des Benutzers ermittelt.
-
Vorteilhafterweise wird der ermittelte Bewegungszustand des Benutzers dann als Zustand der Starre identifiziert, wenn durch die Auswertung der Kameradaten festgestellt wird, dass der Benutzer keine Bewegungen oder lediglich geringfügige Bewegungen ausführt. Eine Bewegung wird insbesondere dann als geringfügig angesehen, wenn ihre Dynamik gering ist, d.h. wenn eine Dynamikgröße der Bewegung oder mehrere Dynamikgrößen der Bewegung jeweils unterhalb einer vorgegebenen, der jeweiligen Dynamikgröße zugeordneten unteren Schwelle liegt bzw. liegen. Unter einer Dynamikgröße ist dabei insbesondere eine innerhalb eines bestimmten Zeitintervalls zurückgelegte Wegstrecke, eine Geschwindigkeit oder eine Beschleunigung zu verstehen.
-
Vorteilhafterweise wird der ermittelte Bewegungszustand dann als Zustand der reflexartigen Bewegung identifiziert, wenn durch die Auswertung der Kameradaten festgestellt wird, dass der Benutzer ruckartige Bewegungen ausführt. Eine Bewegung wird insbesondere dann als ruckartig angesehen, wenn ihre Dynamik hoch ist, d.h. wenn die oben genannte eine Dynamikgröße oder die oben genannten mehreren Dynamikgrößen der Bewegung jeweils oberhalb einer, der jeweiligen Dynamikgröße zugeordneten oberen Schwelle liegt bzw. liegen.
-
Vorteilhafterweise wird durch Auswertung der Kameradaten eine Blickrichtung des Benutzers ermittelt und der Fahrvorgang wird unterbrochen, wenn erkannt wird, dass die Blickrichtung des Benutzers sich schnell ändert oder dass der Benutzer seinen Blick nicht auf das Fahrzeug richtet. Dadurch wird sichergestellt, dass der Fahrvorgang ausschließlich unter Beobachtung des Benutzers ausgeführt wird.
-
In einer vorteilhaften Weiterbildung des Verfahrens ist vorgesehen, dass der autonome Fahrvorgang vom Benutzer über eine mobile Bedieneinheit gestartet wird, wobei ein Starten unterbunden wird, wenn der Benutzer seinen Blick nicht auf das Fahrzeug richtet oder wenn der ermittelte Bewegungszustand des Benutzers dem Zustand der Starre oder dem Zustand der reflexartigen Bewegung entspricht. Hierdurch wird sichergestellt, dass der Fahrvorgang ausschließlich unter der Kontrolle des Benutzers eingeleitet werden kann.
-
Vorteilhafterweise wird der Fahrvorgang unterbrochen, wenn der Benutzer nicht erkannt wird. Das kann beispielsweise dann der Fall sein, wenn der Benutzer sich in einem vom Kamerasystem nicht erfassbaren Bereich befindet, beispielsweise in einem Totwinkelbereich hinter einem Objekt, oder wenn der Benutzer aus einer Gruppe von Personen nicht eindeutig identifiziert werden kann. Vorteilhafterweise wird der Fahrvorgang auch dann unterbrochen, wenn anhand der Kameradaten ermittelt wird, dass ein Abstand zwischen dem Fahrzeug und dem Benutzer eine vorgegebene Abstandsschwelle übersteigt. Die Ermittlung des Abstands kann beispielsweise auf einer Stereobildverarbeitung oder einer Auswertung der Größe des Benutzers in aufgenommenen Kamerabildern beruhen.
-
Vorzugsweise handelt es sich bei dem autonomen Fahrvorgang um einen autonomen Einparkvorgang oder um einen autonomen Ausparkvorgang des Fahrzeugs.
-
Eine Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens umfasst ein Kamerasystem zur Erfassung eines sich außerhalb des Fahrzeugs befindenden Benutzers, eine Auswerteeinheit zur Ermittlung eines Bewegungszustands des Benutzers und/oder einer Blickrichtung des Benutzers durch Auswertung von Kameradaten des Kamerasystems und eine Steuereinheit zur Ausführung eines autonomen Fahrvorgangs und zum Abbrechen des Fahrvorgang in Abhängigkeit des ermittelten Bewegungszustands und/oder der ermittelten Blickrichtung.
-
Das Verfahren ermöglicht es, zuverlässig ausschließlich mittels am Fahrzeug vorhandener Sensorik zu erkennen, ob der Benutzer als übergeordnete Kontrollinstanz präsent ist und bereit ist, seine Überwachungsaufgabe zu erfüllen. Die Präsenz und Bereitschaft des Benutzers gilt dabei als gegeben, solange eindeutig erfasst wird, dass der Benutzer sich nicht in einem für eine Schreckreaktion typischen Bewegungszustand befindet und vorzugsweise zusätzlich auf das Fahrzeug blickt. Hierdurch wird eine hohe Sicherheit gewährleistet. Da der Benutzer zudem nicht aktiv anzeigen muss, dass er seine Überwachungsaufgabe erfüllt, wird zudem eine hohe Nutzerfreundlichkeit erzielt.
-
Ein Ausführungsbeispiel der Erfindung wird nachfolgend anhand einer Figur näher erläutert. Die Figur zeigt ein mögliches Ausführungsbeispiel einer Vorrichtung 1 zur Ausführung eines autonomen Fahrvorgangs eines Fahrzeugs. Die Vorrichtung 1 ist zur Ausführung eines autonomen Fahrvorgangs, beispielsweise eines autonomen Einparkvorgangs, ausgebildet, wobei der Fahrvorgang von einem sich außerhalb des Fahrzeugs befindenden Benutzer mittels einer mobilen Bedieneinheit, vorteilhafterweise durch Bedienen einer App eines Smartphones, gestartet wird.
-
Um sicherzustellen, dass der autonome Fahrvorgang vom Benutzer überwacht wird und bei einer Fehlfunktion oder in einer Gefahrensituation vom Benutzer abgebrochen werden kann, wird der autonome Fahrvorgangs ausschließlich dann zur Ausführung freigegeben, wenn erfasst wird, dass der Benutzer seinen Blick auf das Fahrzeug richtet.
-
Hierzu umfasst die Vorrichtung 1 eine, insbesondere in einem Fahrzeuginnenraum angeordnete und zu einer Fahrerbeobachtung ausgebildete Kamera 2 und ein Kamerasystem 3 mit einer oder mehreren weiteren Kameras 3.1 bis 3.n zur Erfassung einer Fahrzeugumgebung. Die Kameras 2, 3.1 bis 3.n werden automatisch aktiviert, wobei die Aktivierung insbesondere dann erfolgt, wenn der Benutzer eine Fahrt beendet. Dies wird beispielsweise durch Erfassen einer Deaktivierung einer Zündung, durch Erfassen eines Einlegens eines Parkfahrstufe „P“ und/oder Betätigung einer Feststellbremse ermittelt.
-
Zunächst wird mittels der Kamera 2 der auf einem Fahrersitz befindliche Benutzer des Fahrzeugs nach Beenden der Fahrt erfasst. Anschließend wird der Benutzer während und nach einem Verlassen des Fahrzeuginnenraums mittels zumindest einer weiteren Kamera 3.1 bis 3.n des Kamerasystems 3 erfasst, wobei die hiermit erfassten Kameradaten D, D1 bis Dn an eine Auswerteinheit 4 übermittelt werden. Hierdurch kann eine lückenlose Erfassung und Verfolgung des Benutzers und daraus folgend eine Identifizierung desselben in der Fahrzeugumgebung sichergestellt werden.
-
Anhand von mittels der zumindest einen weiteren Kamera 3.1 bis 3.n erfassten Kameradaten D1 bis Dn wird eine Blickrichtung des Benutzers ermittelt. Zu diesem Zweck führt die Auswerteeinheit 4 einen Algorithmus aus, welcher Augen des Benutzers detektiert und eine Augenbewegung des Benutzers erfasst.
-
Wird ermittelt, dass der Benutzer seinen Blick auf das Fahrzeug richtet, wird ein entsprechendes Steuersignal S1 von der Auswerteeinheit 4 generiert und an eine Steuereinheit 5 gesendet, welche den autonomen Fahrvorgang steuert. Mittels des Steuersignals S1 wird die Ausführung des autonomen Fahrvorgangs ausschließlich dann freigegeben, wenn erfasst wird, dass der Benutzer seinen Blick auf das Fahrzeug richtet.
-
Wird erfasst, dass der Benutzer seinen Blick vom Fahrzeug wegrichtet, wird die Ausführung des autonomen Fahrvorgangs unterbrochen, indem die Auswerteeinheit 4 ein entsprechendes weiteres Steuersignal S2 an die Steuereinheit 5 sendet. Die Unterbrechung des Fahrvorgangs bedeutet, dass das Fahrzeug angehalten wird, d.h. in den Stillstand gebremst wird.
-
Die Auswerteeinheit 4 ist weiterhin eingerichtet, anhand der Kameradaten D1 bis Dn einen Bewegungszustand des Benutzers zu ermitteln. Wenn der ermittelte Bewegungszustand einem Zustand der Starre oder einem Zustand der reflexartigen Bewegung entspricht, wird das weitere Steuersignal S2 an die Steuereinheit 5 ausgegeben und der autonome Fahrvorgang wird mithin abgebrochen und das Fahrzeug angehalten.
-
Die Ermittlung des Bewegungszustands basiert dabei auf der Ermittlung verschiedener Merkmale des Benutzers, insbesondere seiner Gestik, Mimik, Körperhaltung und/oder Position. Insbesondere werden zur Ermittlung des Bewegungszustands Bewegungsänderungen von vorgegebenen Punkten im Gesicht, am Kopf und/oder an Gliedmaßen des Benutzers ermittelt und es wird geprüft, ob diese Bewegungsänderungen innerhalb eines vorgegebenen, für normale Bewegungen typischen Normalbereichs liegen. Ist das der Fall, wird davon ausgegangen, dass der Benutzer sich in einem Normalzustand befindet. Andernfalls wird davon ausgegangen, dass eine Schreckreaktion vorliegt. Der Bewegungszustand im Falle einer Schreckreaktion ist dabei entweder der o.g. Zustand der Starre, also ein geringdynamischer Zustand, oder der o.g. Zustand der reflexartigen Bewegung, also ein hochdynamischer Zustand.
-
Selbstverständlich kann bei der Ermittlung des Bewegungszustands des Benutzers auch geprüft werden, ob der Benutzer eine eindeutige Stopp-Geste oder Freigabe-Geste ausführt und abhängig hiervon eine Entscheidung zum Abbruch bzw. zur Freigabe des autonomen Fahrvorgangs getroffen werden.
-
Vorteilhafterweise wird der von der Steuereinheit 5 gesteuerte autonome Fahrvorgang ausschließlich dann zur Ausführung freigegeben, wenn die Ermittlung des Bewegungszustands des Benutzers ergibt, dass der Benutzer sich weder im Zustand der Starre noch im Zustand der reflexartigen Bewegung, also im Normalzustand befindet.
-
Beim vorliegenden Ausführungsbeispiel wird der Benutzer fortlaufend von dem Zeitpunkt an, zu dem er den Fahrersitz verlässt, bis zu dem Zeitpunkt, zu dem der Fahrvorgang beendet wird, von den Kameras 2, 3.1, ... 3.n erfasst und verfolgt. Durch diese Verfolgung wird sichergestellt, dass die Vorrichtung jederzeit die richtige Person als Benutzer identifiziert, nämlich diejenige Person, die zuvor auf dem Fahrersitz saß.
-
Die Erfassung des Benutzers im Fahrzeuginnenraum ist aber für die Ausführung des Verfahrens nicht zwingend notwendig. Eine Lösung, bei der auf die Erfassung des Benutzers im Fahrzeuginnenraum verzichtet wird, ist insbesondere dann sinnvoll, wenn der autonome Fahrvorgang gestartet werden soll, ohne dass der Benutzter sich vorher auf den Fahrersitz setzen muss. Auch in solchen Fällen, beispielsweise bei einem autonomen Ausparkvorgang, muss der Benutzer sich der Vorrichtung 1 als diejenige Person identifizieren, deren Bewegungszustand und/oder Blickrichtung werden soll. Dies kann beispielsweise dadurch erfolgen, dass der Benutzer sich an eine vorgegebene Position begibt, beispielsweise neben die Fahrertür, und von dort aus eine Bedienaktion zur Aktivierung der Vorrichtung ausführt. Die Bedienaktion kann beispielsweise eine Betätigung eines Türgriffs oder eine Betätigung an der mobilen Bedieneinheit umfassen. Denkbar ist auch eine Identifizierung des Benutzers über eine vom Benutzer auszuführende Identifizierungsgeste, beispielsweise eine Wink-Geste, oder über ein von der mobilen Bedieneinrichtung auszusendendes Identifizierungslichtsignal, welche vom Kamerasystem 3 erfasst und von der Auswerteeinheit 4 erkannt werden. Denkbar ist auch eine Identifizierung des Benutzers über ein sogenanntes Challenge-Response-Verfahren, bei dem die Vorrichtung 1 über eine in der Figur nicht gezeigte Sendeeinheit einen Code an die mobile Bedieneinheit sendet und bei dem die mobile Bedieneinheit den empfangenden Code oder einen hieraus abgeleiteten Code als Bildcode, insbesondere als QR-Code, auf einer Anzeigevorrichtung der mobilen Bedieneinheit ausgibt. Der Benutzer muss die mobile Bedieneinheit dann so vor eine Kamera der Vorrichtung 1 halten, dass der Bildcode von der Kamera erfasst wird. In der Vorrichtung 1 wird dann geprüft, ob der erfasste Bildcode die erwartete Antwort auf den gesendeten Code ist, und wenn das der Fall ist, wird der Benutzer, der die mobile Bedieneinheit bei sich trägt, als Person identifiziert, deren Bewegungszustand und/oder Blickrichtung erfasst werden soll.
-
Insgesamt ist es somit möglich, das Verfahren sowohl im Zusammenhang mit einem autonomen Einparkvorgang als auch im Zusammenhang mit einem autonomen Ausparkvorgang anzuwenden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102013010819 A1 [0003]
- DE 102012017934 A1 [0004]
- DE 102017007215 [0005]
