DE102022129020A1

DE102022129020A1 - Gestengesteuertes Öffnen eines durch ein bewegliches Bauelement verschlossenen Bereichs eines Fahrzeugs

Info

Publication number: DE102022129020A1
Application number: DE102022129020.4A
Authority: DE
Inventors: Niko Moritz Scholz; Maximilian Poepperl
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2022-11-03
Filing date: 2022-11-03
Publication date: 2024-05-08

Abstract

Gemäß einem Verfahren zum gestengesteuerten Öffnen eines durch ein bewegliches Bauelement (3) verschlossenen Bereichs eines Fahrzeugs (1) wird ein Objektverfolgungsmodus (9) eines Ultraschallsensorsystems (5a, 5b, 5c, 5d, 5e, 6) des Fahrzeugs (1) aktiviert und wenigstens ein zeitabhängiges Sensorsignal erzeugt. Es wird eine Bewegung einer Person (8) basierend auf dem wenigstens einen Sensorsignal überwacht und basierend darauf ein Konfidenzwert dafür berechnet, dass die Person (8) es beabsichtigt, das Öffnen des verschlossenen Bereichs zu initiieren. Abhängig von dem Konfidenzwert wird ein Gestenerkennungsmodus (10) des Ultraschallsensorsystems (5a, 5b, 5c, 5d, 5e, 6) aktiviert und in dem Gestenerkennungsmodus (10) wird mittels des Ultraschallsensorsystems (5a, 5b, 5c, 5d, 5e, 6) wenigstens ein zeitabhängiges weiteres Sensorsignal erzeugt. Eine vordefinierte Geste der Person (8) wird basierend auf dem wenigstens einen weiteren Sensorsignal detektiert und abhängig von der detektierten Geste das bewegliche Bauelement (3) automatisch bewegt wird, um den verschlossenen Bereich zu öffnen.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum gestengesteuerten Öffnen eines durch ein bewegliches Bauelement verschlossenen Bereichs eines Fahrzeugs sowie eine entsprechende Vorrichtung für ein Fahrzeug zum gestengesteuerten Öffnen eines durch ein bewegliches Bauelement verschlossenen Bereichs des Fahrzeugs und ein Computerprogrammprodukt.
Es sind Vorrichtungen bekannt, um Kofferraumdeckel oder Heckklappen von Fahrzeugen berührungslos zu öffnen, wenn ein Benutzer beispielsweise ein Bein in einen dafür vorgesehenen Zielbereich in der Umgebung des Fahrzeugs bringt. Dazu werden beispielsweise kapazitive Sensoren eingesetzt, um die Präsenz des Beins in dem Zielbereich zu detektieren.
Ein Nachteil dabei ist es, dass diese Vorrichtungen relativ unspezifisch reagieren und so potentiell die Gefahr von falsch-positiven Detektionen besteht, wenn etwa ein anderes Objekt in den Zielbereich gebracht wird, ohne dass eine entsprechende Intention zum automatischen Öffnen des Kofferraumdeckels oder der Heckklappe durch den Benutzer besteht. Um dem entgegenzuwirken, kann die Vorrichtung beispielsweise derart ausgestaltet werden, dass der Zielbereich entsprechend klein ist, so dass die Wahrscheinlichkeit reduziert wird, dass unbeabsichtigter Weise ein Objekt in den Zielbereich gebracht wird. Dies ist jedoch ebenfalls nachteilhaft, da der Benutzer, sollte ein automatisches Öffnen des Kofferraumdeckels beziehungsweise der Heckklappe tatsächlich erwünscht sein, einen relativ kleinen Zielbereich treffen muss, was wiederum zur Folge hat, dass die Zuverlässigkeit bei der Erkennung der Intention des Benutzers reduziert wird.
Ferner ist es bekannt, Ultraschallsensoren zur Gestenerkennung zu verwenden. Da mittels eines Ultraschallsensors zeitabhängig der Abstand eines Objekts zu dem Ultraschallsensor ausgewertet werden kann, kann auch der zeitliche Verlauf beispielsweise eines Beins des Benutzers und dementsprechend eine Geste, die der Benutzer mit dem Bein durchführt, mittels Ultraschallsensoren erkannt und charakterisiert werden.
Es ist eine Aufgabe der vorliegenden Erfindung, eine Möglichkeit zum berührungslosen Öffnen eines durch ein bewegliches Bauelement eines Fahrzeugs verschlossenen Bereichs des Fahrzeugs anzugeben, durch welche die Intention des Benutzers zum Öffnen zuverlässig erkannt werden kann und dennoch die Wahrscheinlichkeit für falsch-positive Detektionen reduziert wird.
Diese Aufgabe wird gelöst durch den jeweiligen Gegenstand der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Die Erfindung beruht auf der Idee, ein Ultraschallsensorsystem des Fahrzeugs zunächst in einem Objektverfolgungsmodus zu betreiben, in dem eine Bewegung einer Person in der Umgebung des Fahrzeugs überwacht wird, und basierend darauf einen Konfidenzwert dafür zu berechnen, dass die Person beabsichtigt, das Öffnen zu initiieren. Basierend auf dem Konfidenzwert wird dann ein von dem Objektverfolgungsmodus verschiedener Gestenerkennungsmodus des Ultraschallsensorsystems aktiviert und in dem Gestenerkennungsmodus eine vordefinierte Geste des Benutzers erkannt, mit welcher der Benutzer den Wunsch zum Initiieren des Öffnens kundtut.
Gemäß einem Aspekt der Erfindung wird ein Verfahren zum gestengesteuerten Öffnen eines durch ein bewegliches Bauelement eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, beispielsweise eines Kraftwagens, verschlossenen Bereichs des Fahrzeugs angegeben. Gemäß dem Verfahren wird ein Objektverfolgungsmodus eines Ultraschallsensorsystems des Fahrzeugs aktiviert und in dem Objektverfolgungsmodus wird mittels des Ultraschallsensorsystems wenigstens ein zeitabhängiges Sensorsignal erzeugt. Es wird, insbesondere in dem Objektverfolgungsmodus, eine Bewegung einer Person in einer Umgebung des Fahrzeugs basierend auf dem wenigstens einen Sensorsignal überwacht und, insbesondere in dem Objektverfolgungsmodus, basierend auf der überwachten Bewegung der Person ein Konfidenzwert dafür berechnet, dass die Person es beabsichtigt, das Öffnen zu initiieren. Abhängig von dem Konfidenzwert wird ein Gestenerkennungsmodus des Ultraschallsensorsystems aktiviert und in dem Gestenerkennungsmodus wird mittels des Ultraschallsensorsystems wenigstens ein zeitabhängiges weiteres Sensorsignal erzeugt. Eine vordefinierte Geste der Person wird, insbesondere in dem Gestenerkennungsmodus, basierend auf dem wenigstens einen weiteren Sensorsignal detektiert und abhängig von der detektierten Geste wird das bewegliche Bauelement automatisch bewegt, um den verschlossenen Bereich zu öffnen, insbesondere automatisch zu öffnen.
Das Ultraschallsensorsystem beinhaltet einen oder mehrere Ultraschallsensoren sowie wenigstens eine Steuer- und/oder Recheneinheit, die im Folgenden als wenigstens eine Recheneinheit bezeichnet wird. Die wenigstens eine Recheneinheit kann zum einen die Ultraschallsensoren zum Emittieren von Ultraschallwellen ansteuern, zum anderen die Verfahrensschritte des Überwachens der Bewegung basierend auf dem wenigstens einen Sensorsignal, des Berechnens des Konfidenzwerts, des Aktivierens des Objektverfolgungsmodus, des Aktivierens des Gestenerkennungsmodus und/oder des Erkennens der vordefinierten Geste durchführen.
Die wenigstens eine Recheneinheit kann auch wenigstens ein Steuersignal für wenigstens einen Aktuator des Fahrzeugs erzeugen, der das bewegliche Bauelement automatisch bewegen kann. Alternativ kann hierfür auch eine weitere Steuereinheit des Fahrzeugs vorgesehen sein und die wenigstens eine Recheneinheit des Ultraschallsensorsystems kann durch Erzeugen des wenigstens einen Sensorsignals die weitere Steuereinheit zum entsprechenden Ansteuern des beweglichen Bauelements veranlassen.
Das automatische Bewegen des beweglichen Bauelements beinhaltet insbesondere das Ansteuern des wenigstens einen Aktuators, beispielsweise eines Motors und/oder eines Aktuators zur Entriegelung des beweglichen Bauelements, abhängig davon, ob die Geste detektiert wurde, insbesondere nur dann, wenn die Geste detektiert wurde.
Insbesondere kann die wenigstens eine Recheneinheit die Ultraschallsensoren des Ultraschallsensorsystems in dem Objektverfolgungsmodus ansteuern, sodass diese entsprechend Ultraschallwellen emittieren, insbesondere Ultraschallimpulse. In der Umgebung reflektierte und von den Ultraschallsensoren detektierte Anteile der emittierten Ultraschallwellen veranlassen die Ultraschallsensoren dazu, das wenigstens eine Sensorsignal, insbesondere als wenigstens ein elektrisches Signal beziehungsweise Spannungssignal oder Stromsignal, zu erzeugen. Die Ultraschallsensoren können auch als Ultraschallwandler oder Ultraschalltransducer bezeichnet werden. Jeder der Ultraschallsensoren erzeugt beispielsweise genau eines des wenigstens einen Sensorsignals.
Das wenigstens eine Sensorsignal beziehungsweise das wenigstens eine weitere Sensorsignal kann beispielsweise einer Amplitude oder Intensität der jeweils zum bestimmten Zeitpunkt reflektierten und detektierten Ultraschallwellen entsprechen beziehungsweise einer entsprechenden Einhüllenden.
Im Gestenerkennungsmodus kann die wenigstens eine Recheneinheit die Ultraschallsensoren ebenfalls ansteuern, so dass diese Ultraschallwellen emittieren und basierend auf den reflektierten Anteilen das wenigstens eine weitere Sensorsignal erzeugen. Dabei kann sich die Anzahl der eingesetzten Ultraschallsensoren im Objektverfolgungsmodus von der Anzahl der eingesetzten Ultraschallsensoren im Gestenerkennungsmodus unterscheiden, beispielsweise werden im Gestenerkennungsmodus weniger der Ultraschallsensoren verwendet als im Objektverfolgungsmodus. Beispielsweise können im Objektverfolgungsmodus alle Ultraschallsensoren des Ultraschallsensorsystems eingesetzt werden, wohingegen im Gestenerkennungsmodus beispielsweise nur ein Ultraschallsensor eingesetzt wird. Es sind jedoch auch andere Konstellationen denkbar.
Der Objektverfolgungsmodus und der Gestenerkennungsmodus können sich auch darin unterscheiden, wie die wenigstens eine Recheneinheit die entsprechend eingesetzten Ultraschallsensoren ansteuert. Beispielsweise können sich Messfrequenzen, also Zeitabstände zwischen emittierten Ultraschallwellenimpulsen, unterscheiden. Insbesondere kann im Gestenerkennungsmodus eine höhere Messfrequenz eingesetzt werden.
Der Objektverfolgungsmodus und der Gestenerkennungsmodus unterscheiden sich insbesondere auch dadurch, in welcher Weise die das wenigstens eine Sensorsignal beziehungsweise das wenigstens eine weitere Sensorsignal ausgewertet wird. Insbesondere können für die genannten Aufgaben der wenigstens einen Recheneinheit im Objektverfolgungsmodus und für die genannten Aufgaben der wenigstens einen Recheneinheit im Gestenerkennungsmodus unterschiedliche Softwareprogramme, Algorithmen und so weiter eingesetzt werden, die auch anhand unterschiedlicher Softwaremodule des Ultraschallsensorsystems, insbesondere der wenigstens einen Recheneinheit implementiert sein können.
Beispielsweise schließen sich der Objektverfolgungsmodus und der Gestenerkennungsmodus gegenseitig aus. Das bedeutet, wenn der Objektverfolgungsmodus aktiviert ist, ist der Gestenerkennungsmodus deaktiviert und umgekehrt. Mit anderen Worten wird beim Aktivieren des Gestenerkennungsmodus der Objektverfolgungsmodus deaktiviert. Beispielsweise ist der Gestenerkennungsmodus bei aktiviertem Objektverfolgungsmodus deaktiviert.
Dies bedeutet insbesondere, dass vor der Aktivierung des Gestenerkennungsmodus abhängig von dem Konfidenzwert der verschlossene Bereich nicht geöffnet wird, indem das bewegliche Bauelement bewegt wird, auch wenn der Benutzer die vordefinierte Geste durchführt.
Da das wenigstens eine Sensorsignal also den Abstand der Person von dem jeweiligen Ultraschallsensor widerspiegelt, kann dadurch die Bewegung der Person überwacht werden, beispielsweise anhand eines entsprechenden Objektverfolgungsalgorithmus. Andererseits kann die Bewegung eines Beins oder eines sonstigen Körperteils des Benutzers detektiert und ein entsprechendes Bewegungsmuster als vordefinierte Geste identifiziert und detektiert werden, wenn der Gestenerkennungsmodus aktiviert wurde.
Das Überwachen der Bewegung beinhaltet also insbesondere das zeitabhängige Charakterisieren der Bewegung der Person, insbesondere anhand eines oder mehrerer Abstände der Person von den jeweils eingesetzten Ultraschallsensoren des Ultraschallsensorsystems.
Die vordefinierte Geste der Person ist also beispielsweise durch einen vordefinierten Bewegungsablauf eines Beins oder eines sonstigen Körperteils der Person gegeben.
Bei dem beweglichen Bauelement kann es sich je nach Ausgestaltungsform des Verfahrens und des Fahrzeugs beispielsweise um eine Tür, beispielsweise eine Seitentür, eine Fahrertür, eine Beifahrertür, eine Fondtür, eine Hecktür, eine Schiebetür, eine Heckklappe oder einen Kofferraumdeckel handeln. Vorzugsweise handelt es sich um eine Heckklappe oder um einen Kofferraumdeckel. In diesem Fall handelt es sich bei dem verschlossenen Bereich des Fahrzeugs beispielsweise um einen Kofferraum oder um einen offenen oder geschlossenen Ladebereich des Fahrzeugs. Ein offener Ladebereich kann dabei insbesondere nach oben hin offen sein, was es nicht ausschließt, dass der offene Ladebereich beispielsweise in Heckrichtung durch die Heckklappe verschlossen ist, wie etwa bei einem Kleintransporter oder einem Pickup mit offener Ladefläche.
Dass der Gestenerkennungsmodus abhängig von dem Konfidenzwert aktiviert wird, schließt nicht aus, dass weitere Bedingungen erfüllt sein müssen, damit der Gestenerkennungsmodus aktiviert wird. Mit anderen Worten kann es in verschiedenen Ausgestaltungsformen sein, dass nicht nur anhand des Konfidenzwerts allein entschieden wird, ob der Gestenerkennungsmodus aktiviert wird oder nicht. Beispielsweise kann auch die Position der Person bezüglich des Fahrzeugs berücksichtigt werden.
Es sei außerdem darauf hingewiesen, dass aufgrund der üblichen Funktionsweise von Ultraschallsensoren zunächst nur erkannt werden kann, ob und wo sich ein Objekt in der Umgebung der Ultraschallsensoren befindet und nicht notwendigerweise, ob es sich dabei um eine Person oder ein sonstiges Objekt handelt. Möglicherweise kann die Zeitabhängigkeit des wenigstens einen Sensorsignals darauf geschlossen werden, dass es sich bei dem Objekt um eine Person handelt. Dies ist jedoch nicht zwingend notwendig zur Durchführung des erfindungsgemäßen Verfahrens. Viel mehr kann die wenigstens eine Recheneinheit bei entsprechenden Signaturen in dem wenigstens einen Sensorsignal, die darauf schließen lassen, dass es sich um ein sich bewegendes Objekt in der Umgebung des Fahrzeugs handelt, davon ausgehen, dass es sich um eine Person handelt, ohne dass dieses notwendigerweise sichergestellt werden muss.
Der Konfidenzwert, der beispielsweise ein skalarer Wert zwischen einem Minimalwert, beispielsweise 0, und einem Maximalwert, beispielsweise 1, sein kann, kann als Maß dafür verstanden werden, wie hoch die Wahrscheinlichkeit gemäß einem vordefinierten Regelsatz oder gemäß sonstigen Erfahrungswerte ist, dass die Person in Kürze beabsichtigt, die vordefinierte Geste zum Öffnen des verschlossenen Bereichs durchzuführen. Dazu können basierend auf der Beobachtung von Benutzern Regeln hinsichtlich des typischen Bewegungsverhaltens von Personen in der Umgebung des Fahrzeugs aufgestellt werden und bei der Berechnung des Konfidenzwerts zugrunde gelegt werden. Beispielsweise kann anhand des wenigstens einen Sensorsignals bestimmt werden, ob und wie die Person ihre Bewegungsrichtung ändert beziehungsweise wie zielgerichtet sich die Person auf einen Zielbereich für die Gestenerkennung, also einem vordefinierten Gestenerkennungsbereich in der Umgebung des Fahrzeugs, insbesondere in der Umgebung der beweglichen Komponente, zu bewegt. Basierend darauf kann der Konfidenzwert berechnet werden. Dabei stellt beispielsweise der Minimalwert, insbesondere 0, die geringste Wahrscheinlichkeit dafür dar, dass der Benutzer beabsichtigt, den Bereich zu öffnen beziehungsweise die Öffnung zu veranlassen, wohingegen der Maximalwert, insbesondere 1, die maximale Wahrscheinlichkeit hierfür repräsentiert.
Der Konfidenzwert kann aber nicht nur basierend auf vordefinierten Regelsätzen berechnet werden, sondern es können auch andere Möglichkeiten zur Berücksichtigung von Erfahrungswerten eingesetzt werden, beispielsweise indem entsprechende maschinenlernbare Algorithmen zur Vorhersage des Konfidenzwerts basierend auf dem wenigstens einen Sensorsignal direkt oder indirekt trainiert werden. Solche Algorithmen können beispielsweise auf künstlichen neuronalen Netzwerken beruhen. Indem das künstliche neuronale Netzwerk beispielsweise mit Hilfe annotierter Trainingsdaten trainiert wird, werden die Erfahrungswerte, wann eine Person beabsichtigt, das Öffnen des verschlossenen Bereichs zu initiieren, in dem trainierten Netzwerk codiert, ohne dass es erforderlich ist, die exakten Zusammenhänge auch analytisch bestimmen zu können.
Durch das erfindungsgemäße Verfahren wird einerseits erreicht, dass die vordefinierte Geste mit hoher Zuverlässigkeit erkannt werden kann, indem etablierte Techniken zur Gestenerkennung basierend auf Ultraschalldaten herangezogen werden. Durch die zweistufige Vorgehensweise mit dem Objektverfolgungsmodus und dem Gestenerkennungsmodus, wobei der Gestenerkennungsmodus zumindest auch abhängig von dem Konfidenzwert aktiviert wird, können darüber hinaus falsch-positive Detektionen der Geste verhindert werden, da eine Bewegung des Benutzers, die fälschlicherweise als die vordefinierte Geste interpretiert werden könnte, in dem Objektverfolgungsmodus noch nicht berücksichtigt wird, sofern der Konfidenzwert nicht ausreichend hoch ist. Der Objektverfolgungsmodus beziehungsweise der Konfidenzwert wird also gewissermaßen als Filterkriterium für die Berücksichtigung für die durch den Benutzer durchgeführte Bewegungen verwendet. Nur wenn der Konfidenzwert vorgegebene Bedingungen erfüllt, also insbesondere groß genug ist, wird eine Geste überhaupt als solche erkannt, anderenfalls nicht.
Dies hat jedoch auch zur Folge, dass in dem Gestenerkennungsmodus selbst die Anforderungen an die Exaktheit der Durchführung der Geste beziehungsweise der Bewegung durch den Benutzer reduziert werden können, ohne dass die Wahrscheinlichkeit für falsch-positive Detektionen signifikant erhöht wird.
Gemäß zumindest einer Ausführungsform wird der Gestenerkennungsmodus, insbesondere mittels der wenigstens einen Recheneinheit, nur dann aktiviert, wenn der Konfidenzwert größer ist als ein vorgegebener Mindestkonfidenzwert.
Gemäß zumindest einer Ausführungsform des Verfahrens wird in dem Objektverfolgungsmodus, insbesondere mittels der wenigstens einen Recheneinheit, basierend auf der überwachten Bewegung überprüft, ob sich die Person in einem vordefinierten Gestenerkennungsbereich in der Umgebung des Fahrzeugs, beispielsweise in der Umgebung des beweglichen Bauelements befindet. Der Gestenerkennungsmodus wird nur dann aktiviert, insbesondere abhängig vom Konfidenzwert, wenn basierend auf einem Ergebnis der Prüfung festgestellt wird, dass sich die Person in dem Gestenerkennungsbereich befindet.
Dass der Konfidenzwert größer oder gleich dem Mindestkonfidenzwert ist, ist also in solchen Ausführungsformen eine notwendige, aber nicht zwingend auch eine hinreichende Bedingung für das Aktivieren des Gestenerkennungsmodus.
Indem der Gestenerkennungsmodus nur aktiviert wird, wenn sich die Person in dem Gestenerkennungsbereich befindet und zusätzlich der Gestenerkennungsmodus abhängig von dem Konfidenzwert aktiviert wird, wird die Wahrscheinlichkeit für falsch-positive Detektionen weiter verringert, da die Aktivierung auch hinsichtlich die absolute Position der Person eingeschränkt wird.
Solche Ausführungsformen sind insbesondere gegenüber denkbaren Varianten von Vorteil, bei denen der Gestenerkennungsmodus unabhängig von dem Konfidenzwert immer dann aktiviert wird, wenn sich die Person in dem Gestenerkennungsbereich befindet. In solchen Verfahren wäre es zum Reduzieren der Wahrscheinlichkeit für falsch-positive Detektionen erforderlich, eine gewisse Pufferzeit vorzusehen, um sicherzustellen, dass sich die Person tatsächlich mehr oder weniger dauerhaft in dem Gestenerkennungsbereich befindet und nicht nur durch diesen hindurch läuft. Erfindungsgemäß wird dies vermieden, indem der Konfidenzwert wie beschrieben ausgewertet wird. Befindet sich in entsprechenden Ausführungsformen der Erfindung die Person also in dem Gestenerkennungsbereich und gleichzeitig ist der Konfidenzwert groß genug, also insbesondere größer als der Mindestkonfidenzwert, so kann ohne weitere Verzögerung das Öffnen des verschlossenen Bereichs initiiert werden, ohne signifikant das Risiko falsch-positiver Detektionen zu erhöhen.
Gemäß einer bevorzugten Ausführungsform wird der Gestenerkennungsmodus genau dann aktiviert, wenn sich die Person in dem Gestenerkennungsbereich befindet und der Konfidenzwert größer oder gleich dem vorgegebenen Mindestkonfidenzwert ist.
Gemäß zumindest einer Ausführungsform wird die Bewegung der Person in der Umgebung des Fahrzeugs durch Anwendung eines Objektverfolgungsalgorithmus auf das wenigstens eine Sensorsignal überwacht.
Das Überwachen der Bewegung beinhaltet also beispielsweise das Verfolgen, auch als Tracken bezeichnet, einer oder mehrerer Positionen und/oder sonstiger Zustandseigenschaften der Person über die Zeit.
Das Überwachen der Bewegung beinhaltet also insbesondere das Verfolgen beziehungsweise Tracken eines Zustandsvektors, wobei die zeitliche Entwicklung des Zustandsvektors die Bewegung der Person charakterisiert. Der Zustandsvektor kann beispielsweise einen jeweiligen Abstand der Person von dem entsprechenden Ultraschallsensor beinhalten. Der Zustandsvektor kann aber auch davon abgeleitete Werte, beispielsweise Koordinaten, beinhalten. Der Zustandsvektor kann auch alternativ oder zusätzlich Charakteristika des wenigstens einen Sensorsignals, etwa eines Signalpeaks, auch als Echo bezeichnet, beinhalten.
Beispielsweise kann der Zustandsvektor eine zeitliche Position des Echos, eine Breite des Echos, eine maximale Amplitude des Echos, eine Geschwindigkeit, mit der sich aufeinanderfolgende Echos, und so weiter beinhalten. Beispielsweise kann der Zustandsvektor einen Abstand gemäß des entsprechenden Sensorsignals, eine geschätzte zweidimensionale oder dreidimensionale Position der Person, eine Absolutgeschwindigkeit und/oder eine Richtung der Geschwindigkeit der Person in der Umgebung des Fahrzeugs, beispielsweise in einem Fahrzeugkoordinatensystem, beinhalten.
Der Objektverfolgungsalgorithmus kann in verschiedenen Ausführungsformen beispielsweise basierend auf einem Kalman-Filter-Algorithmus, beispielsweise einem Kalman Multi-Object Tracker, oder einem Bernoulli-Algorithmus, beispielsweise einem Multi-Bernoulli Filteralgorithmus oder einem Multi-Bernoulli Mixture Algorithmus, durchgeführt werden.
Gemäß zumindest einer Ausführungsform beinhaltet das Überwachen der Bewegung der Person in der Umgebung des Fahrzeugs das Verfolgen des Zustandsvektors und der Konfidenzwert ist eine Komponente des Zustandsvektors.
In solchen Ausführungsformen wird also, beispielsweise bei der Verwendung des Kalman-Filter-Algorithmus, eine Zeitentwicklungsgleichung in der Art einer Bewegungsgleichung auch für den Konfidenzwert anhand vorgegebener Regeln aufgesetzt und der Konfidenzwert in jedem Schritt des Objektverfolgungsalgorithmus prädiziert. Der Konfidenzwert kann also als Teil des Zustands kontinuierlich beziehungsweise quasi kontinuierlich mitverfolgt beziehungsweise getrackt werden und sobald er die vorgegebene Bedingung erfüllt, also insbesondere sobald er größer oder gleich dem Mindestkonfidenzwert ist, kann der Gestenerkennungsmodus aktiviert werden, wobei gegebenenfalls weitere Bedingungen berücksichtigt werden können, wie etwa die Präsenz der Person in dem Gestenerkennungsbereich.
In solchen Ausführungsformen kann mit Vorteil also der ohnehin zur Objektverfolgung eingesetzte Objektverfolgungsalgorithmus, insbesondere Kalman-Filter-Algorithmus, erweitert werden, um den Konfidenzwert mit vergleichsweise hoher Frequenz zu bestimmen. Dem entsprechend kann schnell auf die Veränderung des Konfidenzwerts reagiert werden und gegebenenfalls der Gestenerkennungsmodus eingeleitet werden beziehungsweise aktiviert werden.
Gemäß zumindest einer Ausführungsform beinhaltet das Überwachen der Bewegung der Person in der Umgebung des Fahrzeugs das Verfolgen des Zustandsvektors und der Konfidenzwert wird prädiziert, indem ein trainiertes künstliches neuronales Netzwerk auf Eingangsdaten angewendet wird, die auf dem verfolgten Zustandsvektor basieren.
Der Zustandsvektor oder davon abgeleitete Eingangsdaten können also dem neuronalen Netzwerk als Eingangsdaten zugeführt werden und dieses kann dementsprechend trainiert sein, dass es den Konfidenzwert vorhersagen beziehungsweise prädizieren kann. Die Prädiktion kann dabei kontinuierlich in einem vorgegebenen Bereich oder auch diskret, insbesondere binär, erfolgen, so dass der Konfidenzwert also beispielsweise entweder gleich 0 oder gleich 1 ist.
Zum Trainieren des künstlichen neuronalen Netzwerks können die Zustandsvektoren für eine Vielzahl von Fällen erzeugt werden, bei denen eine Person in einem Testumfeld sich mit der Intention, das Öffnen des verschlossenen Bereichs zu initiieren oder mit einer anderen Intention, beispielsweise an dem Fahrzeug ohne weitere Aktionen vorbei zu gehen, nähert. Auf diese Weise können die Eingangsdaten als annotierte Trainingsdaten gespeichert werden und das neuronale Netzwerk kann in einer an sich bekannten Weise basierend darauf trainiert werden.
Das künstliche neuronale Netzwerk kann beispielsweise ein rekurrentes neuronales Netzwerk, RNN, insbesondere ein langes Kurzzeitgedächtnis, LSTM (englisch: „long short time memory“) beinhalten.
Gemäß zumindest einer Ausführungsform wird als die Geste der Person eine Bewegung eines Körperteils, beispielsweise eines Beins, der Person detektiert, wobei der Körperteil bei der Geste aus einer Ruheposition heraus an das Fahrzeug angenähert wird, insbesondere an einen oder mehrere der Ultraschallsensoren, und danach wieder in dieselbe Ruheposition zurückbewegt wird.
Die Geste besteht also im Wesentlichen aus einer Bewegung des Körperteils in die Nähe des Fahrzeugs und eine Rückbewegung des Körperteils in die Ausgangsposition, die hier als Ruheposition bezeichnet wird. Dadurch kann die Geste insbesondere von einen regulären Schritt vorwärts auf das Fahrzeug hin unterschieden werden, da in diesem Fall das Bein typischerweise nicht wieder in die Ruheposition zurückbewegt wird.
Zusätzlich zu der Bewegung von der Ruheposition auf das Fahrzeug zu und zurück in die Ruheposition können auch weitere Eigenschaften der Bewegung, die sich anhand des wenigstens einen weiteren Sensorsignals bestimmen lassen, berücksichtigt werden, um die Geste zu definieren, wie etwa eine Geschwindigkeit der Bewegung und so weiter.
Gemäß zumindest einer Ausführungsform wird zum Erzeugen des wenigstens einen Sensorsignals in dem Objektverfolgungsmodus eine erste Anzahl von Ultraschallsensoren des Ultraschallsensorsystems betrieben und zum Erzeugen des wenigstens einen weiteren Sensorsignals in dem Gestenerkennungsmodus wird eine zweite Anzahl von Ultraschallsensoren des Ultraschallsensorsystems betrieben, wobei die zweite Anzahl kleiner ist als die erste Anzahl.
Mit anderen Worten ist die erste Anzahl größer oder gleich zwei und die zweite Anzahl ist größer oder gleich eins. Die Ultraschallsensoren, die im Gestenerkennungsmodus betrieben werden, können beispielsweise eine Teilmenge der Ultraschallsensoren sein, die im Objektverfolgungsmodus betrieben werden.
In solchen Ausführungsformen wird einerseits ausgenutzt, dass die Objektverfolgung umso genauer durchgeführt werden kann, je mehr Ultraschallsensoren eingesetzt werden, da der Zustand der Person dem entsprechend exakter abgebildet werden kann, und zum anderen, dass durch die Reduzierung der Anzahl von Ultraschallsensoren im Gestenerkennungsmodus eine gezieltere Auswertung der entsprechenden weiteren Sensorsignale erfolgen kann, und insbesondere die Auswertung und Detektion der Gestenerkennung in ihrer Komplexität reduziert werden kann. Dementsprechend kann auch beispielsweise die Messfrequenz im Gestenerkennungsmodus im Vergleich zum Objektverfolgungsmodus erhöht werden, wobei durch die reduzierte Anzahl von Ultraschallsensoren die gesamte Rechenlast nicht zu stark ansteigt. Somit kann zum einen eine exakte Objektverfolgung und zum anderen eine zuverlässige Gestenerkennung realisiert werden.
In manchen Ausführungsformen beinhaltet das Ultraschallsensorsystem eine Vielzahl von drei oder mehr Ultraschallsensoren und die erste Anzahl von Ultraschallsensoren entspricht der Gesamtzahl der Vielzahl von drei oder mehr Ultraschallsensoren. Die zweite Anzahl ist gleich eins.
Mit anderen Worten, während also im Objektverfolgungsmodus alle Ultraschallsensoren, die verfügbar sind, zur Objektverfolgung eingesetzt werden, wird zur Gestenerkennung lediglich ein einziger Ultraschallsensor verwendet. Dieser befindet sich dann vorzugsweise in der unmittelbaren Umgebung des Gestenerkennungsbereichs. So wird die Wahrscheinlichkeit für falsch-positive Gestenerkennungen im Gestenerkennungsmodus weiter reduziert, wobei der Gestenerkennungsbereich aufgrund der vergleichsweise großen Detektionswinkel von Ultraschallsensoren nicht übermäßig stark eingeschränkt werden muss, auch wenn nur ein Ultraschallsensor verwendet wird.
Gemäß zumindest einer Ausführungsform wird beim Aktivieren des Gestenerkennungsmodus eine Messfrequenz des Ultraschallsensorsystems gegenüber dem Objektverfolgungsmodus erhöht.
Die Messfrequenz entspricht also im Objektverfolgungsmodus einer ersten Frequenz und im Gestenerkennungsmodus einer zweiten Frequenz, die größer ist als die erste Frequenz. Die Messfrequenz entspricht dabei insbesondere einer Frequenz, mit der entsprechende Ultraschallimpulse der Ultraschallwellen von den jeweils eingesetzten Ultraschallsensoren in die Umgebung des Fahrzeugs emittiert werden.
Dadurch lässt sich ein optimaler Ausgleich zwischen Zuverlässigkeit und Rechenaufwand erzielen, insbesondere in Kombination mit Ausführungsformen, bei denen die Anzahl der eingesetzten Ultraschallsensoren im Gestenerkennungsmodus gegenüber dem Objektverfolgungsmodus reduziert wird.
Gemäß zumindest einer Ausführungsform ist in dem Objektverfolgungsmodus ein erstes Softwaremodul des Ultraschallsensorsystems, insbesondere der wenigstens einen Recheneinheit, aktiviert, welches dazu eingerichtet ist, die Bewegung der Person basierend auf dem wenigstens einen Sensorsignal zu überwachen und insbesondere den Konfidenzwert zu berechnen.
Beispielsweise ist das erste Softwaremodul dazu eingerichtet, den Objektverfolgungsalgorithmus durchzuführen.
Gemäß zumindest einer Ausführungsform wird beim Aktivieren des Gestenerkennungsmodus ein zweites Softwaremodul des Ultraschallsensorsystems, insbesondere der wenigstens einen Recheneinheit, aktiviert, welches dazu eingerichtet ist, die vordefinierte Geste der Person basierend auf dem wenigstens einen weiteren Sensorsignal zu detektieren.
Insbesondere ist das zweite Softwaremodul in dem Objektverfolgungsmodus deaktiviert und beispielsweise ist das erste Softwaremodul in dem Gestenerkennungsmodus deaktiviert.
Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.
Gemäß einem weiteren Aspekt der Erfindung wird eine Vorrichtung für ein Fahrzeug zum gestengesteuerten Öffnen eines durch ein bewegliches Bauelement des Fahrzeugs verschlossenen Bereichs des Fahrzeugs angegeben. Die Vorrichtung weist ein Ultraschallsensorsystem für das Fahrzeug auf. Das Ultraschallsensorsystem weist wenigstens eine Recheneinheit auf, die dazu eingerichtet ist, einen Objektverfolgungsmodus des Ultraschallsensorsystems zu aktivieren. Das Ultraschallsensorsystem weist wenigstens einen Ultraschallsensor auf, der dazu eingerichtet ist, insbesondere angesteuert durch die wenigstens eine Recheneinheit, in dem Objektverfolgungsmodus wenigstens ein zeitabhängiges Sensorsignal zu erzeugen.
Die wenigstens eine Recheneinheit ist dazu eingerichtet, eine Bewegung einer Person in einer Umgebung des Fahrzeugs basierend auf dem wenigstens einen Sensorsignal zu überwachen. Die wenigstens eine Recheneinheit ist dazu eingerichtet, basierend auf der überwachten Bewegung der Person einen Konfidenzwert dafür zu berechnen, dass die Person es beabsichtigt, das Öffnen zu initiieren. Die wenigstens eine Recheneinheit ist dazu eingerichtet, abhängig von dem Konfidenzwert einen Gestenerkennungsmodus des Ultraschallsensorsystems zu aktivieren und der wenigstens eine Ultraschallsensor ist dazu eingerichtet, insbesondere angesteuert durch die wenigstens eine Recheneinheit, in dem Gestenerkennungsmodus wenigstens ein zeitabhängiges weiteres Sensorsignal zu erzeugen. Die wenigstens eine Recheneinheit ist dazu eingerichtet, eine vordefinierte Geste der Person basierend auf dem wenigstens einen weiteren Sensorsignal zu detektieren und abhängig von der detektierten Geste ein Steuersignal zum automatischen Bewegen des beweglichen Bauelements zu erzeugen, insbesondere um den verschlossenen Bereich zu öffnen.
Mit anderen Worten ist die wenigstens eine Recheneinheit dazu eingerichtet, in dem Objektverfolgungsmodus den wenigstens einen Ultraschallsensor anzusteuern, sodass der wenigstens eine Ultraschallsensor Ultraschallwellen emittiert und der wenigstens eine Ultraschallsensor ist dazu eingerichtet, basierend auf reflektierten Anteilen der Ultraschallwellen das wenigstens eine Sensorsignal zu erzeugen. Die wenigstens eine Recheneinheit ist dazu eingerichtet, in dem Gestenerkennungsmodus den wenigstens einen Ultraschallsensor anzusteuern, sodass der wenigstens eine Ultraschallsensor weitere Ultraschallwellen emittiert und der wenigstens eine Ultraschallsensor ist dazu eingerichtet, basierend auf reflektierten Anteilen der weiteren Ultraschallwellen das wenigstens eine weitere Sensorsignal zu erzeugen.
Unter einer Recheneinheit kann insbesondere ein Datenverarbeitungsgerät verstanden werden, das einen Verarbeitungsschaltkreis enthält. Die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. Darunter fallen gegebenenfalls auch Operationen, um indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Umsetzungstabelle, LUT (englisch: „look-up table“), durchzuführen.
Die Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit“), eines oder mehrere feldprogrammierbare Gate-Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „system on a chip“). Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.
In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstellen und/oder eine oder mehrere Speichereinheiten.
Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer programmierbarer Festwertspeicher, EPROM (englisch: „erasable programmable read-only memory“), als elektrisch löschbarer programmierbarer Festwertspeicher, EEPROM (englisch: „electrically erasable programmable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), ausgestaltet sein.
Gemäß zumindest einer Ausführungsform weist die Vorrichtung wenigstens einen Aktuator auf, der dazu eingerichtet ist, das bewegliche Bauelement abhängig von dem Steuersignal automatisch zu bewegen, um den verschlossenen Bereich zu öffnen.
Dabei kann die wenigstens eine Recheneinheit das Steuersignal direkt an den wenigstens einen Aktuator übermitteln oder an eine Steuereinheit für den wenigstens einen Aktuator und die Steuereinheit für den wenigstens einen Aktuator erzeugt ein weiteres Steuersignal, welches sie an den wenigstens einen Aktuator übermittelt, um diesen zum Bewegen des beweglichen Bauelements abhängig von dem weiteren Steuersignal zu veranlassen.
Ist im Rahmen der vorliegenden Offenbarung die Rede davon, dass eine Komponente der erfindungsgemäßen Vorrichtung, insbesondere die wenigstens eine Recheneinheit der Vorrichtung dazu eingerichtet, ausgebildet, ausgelegt, oder dergleichen ist, eine bestimmte Funktion auszuführen oder zu realisieren, eine bestimmte Wirkung zu erzielen oder einem bestimmten Zweck zu dienen, so kann dies derart verstanden werden, dass die Komponente, über die prinzipielle oder theoretische Verwendbarkeit oder Eignung der Komponente für diese Funktion, Wirkung oder diesen Zweck hinaus, durch eine entsprechende Anpassung, Programmierung, physische Ausgestaltung und so weiter konkret und tatsächlich dazu in der Lage ist, die Funktion auszuführen oder zu realisieren, die Wirkung zu erzielen oder dem Zweck zu dienen.
Weitere Ausführungsformen der erfindungsgemäßen Vorrichtung folgen unmittelbar aus den verschiedenen Ausgestaltungen des erfindungsgemäßen Verfahrens und umgekehrt. Insbesondere lassen sich einzelne Merkmale und entsprechende Erläuterungen sowie Vorteile bezüglich der verschiedenen Ausführungsformen zu dem erfindungsgemäßen Verfahren analog auf entsprechende Ausführungsformen der erfindungsgemäßen Vorrichtung übertragen. Insbesondere ist die erfindungsgemäße Vorrichtung zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet oder programmiert. Insbesondere führt die erfindungsgemäße Vorrichtung das erfindungsgemäße Verfahren durch.
Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogramm mit Befehlen angegeben. Wenn die Befehle durch eine erfindungsgemäße Vorrichtung für ein Fahrzeug zum automatischen Öffnen eines durch ein bewegliches Bauelement verschlossenen Bereichs des Fahrzeugs, insbesondere durch die wenigstens eine Recheneinheit, ausgeführt werden, veranlassen die Befehle die Vorrichtung dazu, ein erfindungsgemäßes Verfahren zum automatischen Öffnen des durch das bewegliche Bauelement verschlossenen Bereichs durchzuführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium angegeben, welches ein erfindungsgemäßes Computerprogramm speichert.
Das Computerprogramm sowie das computerlesbare Speichermedium können als jeweilige Computerprogrammprodukte mit den Befehlen aufgefasst werden.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen von der Erfindung umfasst sein. Es können insbesondere auch Ausführungen und Merkmalskombinationen von der Erfindung umfasst sein, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es können darüber hinaus Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Die Erfindung wird im Folgenden anhand konkreter Ausführungsbeispiele und zugehöriger schematischer Zeichnungen näher erläutert. In den Figuren können gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen sein. Die Beschreibung gleicher oder funktionsgleicher Elemente wird gegebenenfalls nicht notwendigerweise bezüglich verschiedener Figuren wiederholt.
In den Figuren zeigen:

1 eine schematische Darstellung eines Fahrzeugs mit einer beispielhaften Ausführungsform einer Vorrichtung für ein Fahrzeug zum automatischen Öffnen eines durch ein bewegliches Bauelement verschlossenen Bereichs des Fahrzeugs gemäß der Erfindung; und
2 ein schematisches Ablaufdiagramm einer beispielhaften Ausführungsform eines Verfahrens zum automatischen Öffnen eines durch ein bewegliches Bauelement verschlossenen Bereichs eines Fahrzeugs gemäß der Erfindung.

In 1 ist schematisch ein Fahrzeug 1 mit einer beispielhaften Ausführungsform einer erfindungsgemäßen Vorrichtung 2 zum gestengesteuerten Öffnen eines durch ein bewegliches Bauelement 3 verschlossenen Bereichs des Fahrzeugs 1 dargestellt.
Das bewegliche Bauelement 3 ist vorliegend beispielhaft als Kofferraumdeckel des Fahrzeugs 1 dargestellt, sodass es sich bei dem durch diesen verschlossenen Bereich um einen Kofferraum des Fahrzeugs 1 handelt. In anderen Ausführungsformen kann es sich bei dem beweglichen Bauelement 3 stattdessen auch um eine Heckklappe oder eine Tür des Fahrzeugs 1 handeln.
Das Fahrzeug 1, beispielsweise die Vorrichtung 2, weist insbesondere einen oder mehrere, im nicht beschränkenden Beispiel der 1 zwei, Aktuatoren 4a, 4b auf sowie eine Recheneinheit 6. Die Recheneinheit 6 kann dabei stellvertretend für eine oder mehrere Steuer- / Rechen- und/oder Auswerteeinheiten angesehen werden, die zur Vereinfachung der Beschreibung funktional zusammengefasst beschrieben werden. Die Recheneinheit 6 kann insbesondere die Aktuatoren 4a, 4b ansteuern, sodass diese beispielsweise automatisch eine Bewegung des beweglichen Bauelements 3 initiieren und gegebenenfalls eine Verriegelung des beweglichen Bauelements 3 lösen können. Dadurch kann der durch das bewegliche Bauelement 3 verschlossene Bereich des Fahrzeugs 1 also automatisch geöffnet werden, das heißt, ohne dass ein Benutzer das bewegliche Bauelement 3 manuell öffnen muss. Es sind Systeme bekannt, bei denen dies mittels eines Fahrzeugschlüssels für das Fahrzeug 1 ausgelöst werden kann. Dies kann auch bei der vorliegenden Vorrichtung 2 möglich sein, ist aber nicht zwingend erforderlich. Vielmehr kann die Vorrichtung 2 ein erfindungsgemäßes Verfahren zum gestengesteuerten Öffnen des verschlossenen Bereichs durchführen.
Dazu weist die Vorrichtung 2 einen oder mehrere Ultraschallsensoren 5a, 5b, 5c, 5d, 5e auf, die ein Gesamtsichtfeld in der unmittelbaren Umgebung des Fahrzeugs 1, insbesondere des beweglichen Bauelements 3 abdecken und darin Objekte wie die Person 8 detektieren können. Vorzugsweise ist die Anzahl Ultraschallsensoren 5a, 5b, 5c, 5d, 5e zwei oder mehr, beispielsweise drei oder mehr. Im gezeigten Beispiel ist die Anzahl der Ultraschallsensoren 5a, 5b, 5c, 5d, 5e mindestens fünf.
Insbesondere kann jeder der Ultraschallsensoren 5a, 5b, 5c, 5d, 5e entsprechend Ultraschallimpulse aussenden und von einem Objekt in einem jeweiligen Sichtfeld des Ultraschallsensors 5a, 5b, 5c, 5d, 5e reflektierte Anteile der Ultraschallimpulse detektieren und abhängig davon ein entsprechendes zeitabhängiges Sensorsignal erzeugen, das die Intensität der detektierten reflektierten Anteile der Ultraschallimpulse wiedergibt. Das Sensorsignal enthält dann typischerweise Signalimpulse, auch als Peaks oder Echos bezeichnet, wobei jeder Signalimpuls auf einen emittierten Ultraschallimpuls zurückgeht. Die zeitliche Position der Signalimpulse erlaubt es, den Abstand des reflektierenden Objekts von dem jeweiligen Ultraschallsensor 5a, 5b, 5c, 5d, 5e mittels der Recheneinheit 6 zu bestimmen.
Die Ultraschallsensoren 5a, 5b, 5c, 5d, 5e und die Recheneinheit 6 oder Teile der Recheneinheit 6 können als Teile eines Ultraschallsensorsystems der Vorrichtung 2 aufgefasst werden. Das Ultraschallsensorsystem, insbesondere die Ultraschallsensoren 5a, 5b, 5c, 5d, 5e kann nicht notwendigerweise nur im Sinne der Erfindung verwendet werden, sondern zusätzlich gegebenenfalls auch für andere Funktionen verwendet werden, etwa zur Einparkunterstützung eines Fahrers des Fahrzeugs 1.
Die Recheneinheit 6 kann einen Objektverfolgungsmodus 9 des Ultraschallsensorsystems aktivieren. In dem Objektverfolgungsmodus 9 erzeugen die Ultraschallsensoren 5a, 5b, 5c, 5d, 5e jeweils ein zeitabhängiges Sensorsignal wie oben beschrieben. Befindet sich die Person 8 in dem Gesamtsichtfeld, so kann die Recheneinheit 6 dies anhand der Sensorsignale erkennen und die Bewegung der Person 8 basierend auf den Sensorsignalen überwachen. Dazu wendet die Recheneinheit insbesondere einen Objektverfolgungsalgorithmus, beispielsweise basierend auf einem Kalman-Filteralgorithmus, auf die Sensorsignale an, um einen Zustandsvektor betreffend die Person 8 zu verfolgen.
Der Zustandsvektor kann je nach Ausführungsform unterschiedliche Einträge aufweisen, die von den Sensorsignalen abhängen. Beispielsweise kann der Zustandsvektor Informationen beinhalten, die aus den einzelnen Sensorsignalen erhalten beziehungsweise abgeleitet werden können. Beispielsweise kann der Zustandsvektor die jeweilige Entfernung von den einzelnen Ultraschallsensoren 5a, 5b, 5c, 5d, 5e gemäß der zeitlichen Position der Echos in dem jeweiligen Sensorsignal enthalten und/oder entsprechende die Echobreiten der Echos und/oder Echoamplituden der Echos. Alternativ oder zusätzlich kann der Zustandsvektor eine Geschwindigkeit oder Rate beinhalten, mit der sich die Entfernung der von den einzelnen Ultraschallsensoren 5a, 5b, 5c, 5d, 5e gemäß der zeitlichen Position aufeinanderfolgender Echos verändert.
Alternativ oder zusätzlich kann der Zustandsvektor Informationen beinhalten, die aus den entsprechenden Sensorsignalen mehrerer, insbesondere aller, Ultraschallsensoren 5a, 5b, 5c, 5d, 5e, abgeleitet werden können, wie etwa ein geschätzte Objektposition der Person 8 in zwei oder drei räumlichen Dimensionen in einem Fahrzeugkoordinatensystem des Fahrzeugs 1, eine absolute Geschwindigkeit der Person 8 und/oder ein Richtung des Geschwindigkeitsvektors der Person 8 in dem Fahrzeugkoordinatensystem.
Diese Informationen und Parameter können bei jedem Mess- beziehungsweise Schätzschritt im Speicher abgelegt Schritt gespeichert und dann beispielsweise als Zeitreihendaten ausgewertet werden.
Die Recheneinheit 6 kann basierend auf der überwachten Bewegung, insbesondere dem verfolgten Zustandsvektor, einen Konfidenzwert dafür zu berechnen, dass die Person 8 es beabsichtigt, das Öffnen des verschlossenen Bereichs zu initiieren. Der Konfidenzwert kann beispielsweise als Eintrag des Zustandsvektors mit verfolgt beziehungsweise getrackt werden. Hierzu können dem Objektverfolgungsalgorithmus, insbesondere der Kalman-Filteralgorithmus, Regeln beziehungsweise effektive Bewegungsgleichungen für den Konfidenzwert zugrundegelegt werden, die auf Erfahrungswerten beziehungsweise empirischen Untersuchungen beruhen, um aus den Informationen des Zustandsvektors oder den Konfidenzwert abzuschätzen.
Insbesondere kann die zeitliche Entwicklung der Einträge des Zustandsvektors beziehungsweise der Parameter, die durch die Sensormessungen und den Objektverfolgungsalgorithmus bestimmt werden, genutzt werden, um eine zeitliche Konsistenz der Bewegung der Person 8 zu bestätigen, die mit der Intention der Person 8 einhergeht, das Öffnen des verschlossenen Bereichs zu initiieren, zum Beispiel Positionsdaten und Bewegungsrichtung des Kalman-Filteralgorithmus. Es ist beispielsweise zu erwarten, dass die Person 8, wenn sie das Öffnen des verschlossenen Bereichs initiieren möchte, sich direkt und auf dem kürzesten Weg zu einem vorgegebenen Gestenerkennungsbereich 7 in der unmittelbaren Umgebung des beweglichen Bauelements 3 bewegt. Der Kalman-Filteralgorithmus würde dann am Rand des Gesamtsichtfelds eine Objektverfolgungsinstanz initialisieren, die sich dann nach innen in Richtung Gestenerkennungsbereich 7 bewegt. Der Kalman-Filteralgorithmus kann dann der Objektverfolgungsinstanz als Konfidenzwert beispielsweise eine Zahl von 0 bis 1 zu, wobei 0 für die Vorhersage steht, dass die verfolgte Person 8 nicht beabsichtigt, das Öffnen des verschlossenen Bereichs zu initiieren, während 1 für die Vorhersage steht, dass der die Person 8 die Absicht hat, dies zu tun. Durch Werte zwischen 0 und 1 kann die Unsicherheit des Algorithmus betreffend die sich gegenseitig ausschließenden Vorhersagen berücksichtigt werden.
Die Recheneinheit 6 kann abhängig von dem Konfidenzwert einen Gestenerkennungsmodus 10 des Ultraschallsensorsystems aktivieren, beispielsweise wenn der Konfidenzwert größer oder gleich einem vorgegebenen Mindestkonfidenzwert ist und die Person 8 sich in dem Gestenerkennungsbereich 7 befindet. Da die Vorhersage des Konfidenzwerts in jedem Filterschätzschritt, also quasi kontinuierlich, angepasst wird, ist der Konfidenzwert bereits verfügbar, wenn die Person 8 in den Gestenerkennungsbereich 7 eintritt. Die Aktivierung des Gestenerkennungsmodus 10 kann dann sofort erfolgen, ohne dass eine Stabilisierung des Objektverfolgungsalgorithmus abgewartet werden muss, sodass die Latenzzeit verringert werden kann.
In dem Gestenerkennungsmodus 10 erzeugen die Ultraschallsensoren 5a, 5b, 5c, 5d, 5e jeweils ein zeitabhängiges weiteres Sensorsignal. Dabei kann jedoch vorgesehen sein, dass weniger der Ultraschallsensoren 5a, 5b, 5c, 5d, 5e eingesetzt werden als im Objektverfolgungsmodus 9, beispielsweise nur einer der Ultraschallsensoren 5a, 5b, 5c, 5d, 5e, insbesondere ein Ultraschallsensor 5c, der direkt in oder an dem Gestenerkennungsbereich 7 angeordnet ist. Die Recheneinheit 6 kann in dem Gestenerkennungsmodus 10 eine vordefinierte Geste der Person 8 basierend auf dem wenigstens einen weiteren Sensorsignal detektieren und abhängig von der detektierten Geste wenigstens ein Steuersignal zum automatischen Bewegen des beweglichen Bauelements 3 zu erzeugen und an die Aktuatoren 4a, 4b übermitteln, sodass das Öffnen des verschlossenen Bereichs initiiert wird. Zur Gestenerkennung selbst kann die Recheneinheit 6 an sich bekannte Verfahren einsetzen.
In 2 ist schematisch ein Ablaufdiagramm einer beispielhaften Ausführungsform eines erfindungsgemäßen Verfahrens zum gestengesteuerten Öffnen des durch das bewegliche Bauelement 3 verschlossenen Bereichs des Fahrzeugs 1 gezeigt. Beispielsweise kann die Vorrichtung 2 aus 1 ein solches Verfahren durchführen.
In Schritt S1 wird der Objektverfolgungsmodus 9 des Ultraschallsensorsystems aktiviert, die Sensorsignale werden mittels der Ultraschallsensoren 5a, 5b, 5c, 5d, 5e erzeugt und die Bewegung der Person 8 in der Umgebung des Fahrzeugs 1 wird mittels der Recheneinheit 6 basierend auf den Sensorsignalen überwacht. Ferner wird mittels der Recheneinheit 6 basierend auf der überwachten Bewegung der Person 8 der Konfidenzwert dafür berechnet, dass die Person 8 es beabsichtigt, das Öffnen des verschlossenen Bereichs zu initiieren.
In Schritt S2 vergleicht die Recheneinheit 6 beispielsweise den Konfidenzwert mit einer vorgegebenen Mindestkonfidenzwert. Die Schritte S1 und S2 werden beispielsweise iteriert, bis der Konfidenzwert größer oder gleich dem Mindestkonfidenzwert ist. Ist dies der Fall, so kann die Recheneinheit 6 den Gestenerkennungsmodus 10 aktivieren, beispielsweise wenn die Person 8 sich in dem Gestenerkennungsbereich 7 befindet und gleichzeitig der Konfidenzwert größer oder gleich dem Mindestkonfidenzwert ist.
Im Gestenerkennungsmodus 10 in Schritt S3 erzeugen die Ultraschallsensoren 5a, 5b, 5c, 5d, 5e die weiteren Sensorsignale und die Recheneinheit 6 detektiert basierend auf den weiteren Sensorsignalen die vordefinierte Geste der Person 8. Wurde die Geste detektiert, so wird das bewegliche Bauelement 3 automatisch bewegt wird, um den verschlossenen Bereich zu öffnen, insbesondere indem die Recheneinheit 6 das wenigstens eine Steuersignal erzeugt und an die Aktuatoren 4a, 4b, übermittelt.
Durch die Erfindung wird, wie insbesondere anhand der Figuren beschrieben, ein zuverlässiger Wechsel von dem Objektverfolgungsmodus in den Gestenerkennungsmodus implementiert. Insbesondere kann in verschiedenen Ausführungsformen der Gestenerkennungsmodus aktiviert werden, sobald ein Objektverfolgungsalgorithmus im Objektverfolgungsmodus erkennt, dass eine Person in den Gestenerkennungsbereich eingetreten ist und der Konfidenzwert dafür, dass die Person es beabsichtigt den Kofferraum des Fahrzeugs oder einen sonstigen durch ein bewegliches Bauelement verschlossenen Bereich des Fahrzeugs durch eine entsprechende Gestensteuerung zu öffnen, groß genug ist. Der Objektverfolgungsalgorithmus muss insbesondere nicht abwarten, bis der verfolgte Zustand der Person in dem Gestenerkennungsbereich stabil ist und die geschätzte Geschwindigkeit der Bewegung der Person nahe Null ist, um den Gestenerkennungsmodus zu aktivieren. Andererseits können durch die Berücksichtigung des Konfidenzwerts falsch positive Gestenerkennungen vermieden werden, etwa wenn ein Fußgänger hinter dem Fahrzeug vorbei geht. Durch die Berücksichtigung des Konfidenzwerts wird die Zuverlässigkeit des gestengesteuerten Öffnens erhöht.

Claims

Verfahren zum gestengesteuerten Öffnen eines durch ein bewegliches Bauelement (3) verschlossenen Bereichs eines Fahrzeugs (1), dadurch gekennzeichnet, dass - ein Objektverfolgungsmodus (9) eines Ultraschallsensorsystems (5a, 5b, 5c, 5d, 5e, 6) des Fahrzeugs (1) aktiviert wird und in dem Objektverfolgungsmodus (9) mittels des Ultraschallsensorsystems (5a, 5b, 5c, 5d, 5e, 6) wenigstens ein zeitabhängiges Sensorsignal erzeugt wird; - eine Bewegung einer Person (8) in einer Umgebung des Fahrzeugs (1) basierend auf dem wenigstens einen Sensorsignal überwacht wird; - basierend auf der überwachten Bewegung der Person (8) ein Konfidenzwert dafür berechnet wird, dass die Person (8) es beabsichtigt, das Öffnen des verschlossenen Bereichs zu initiieren; - abhängig von dem Konfidenzwert ein Gestenerkennungsmodus (10) des Ultraschallsensorsystems (5a, 5b, 5c, 5d, 5e, 6) aktiviert wird und in dem Gestenerkennungsmodus (10) mittels des Ultraschallsensorsystems (5a, 5b, 5c, 5d, 5e, 6) wenigstens ein zeitabhängiges weiteres Sensorsignal erzeugt wird; und - eine vordefinierte Geste der Person (8) basierend auf dem wenigstens einen weiteren Sensorsignal detektiert wird und abhängig von der detektierten Geste das bewegliche Bauelement (3) automatisch bewegt wird, um den verschlossenen Bereich zu öffnen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass - in dem Objektverfolgungsmodus (9) basierend auf der überwachten Bewegung geprüft wird, ob sich die Person (8) in einem vordefinierten Gestenerkennungsbereich (7) in der Umgebung des Fahrzeugs (1) befindet; und - der Gestenerkennungsmodus (10) nur aktiviert wird, wenn sich die Person (8) in dem Gestenerkennungsbereich (7) befindet.
Verfahren nach Anspruch 2, dadurch gekennzeichnet dass, der Gestenerkennungsmodus (10) nur dann aktiviert wird, wenn sich die Person (8) in dem Gestenerkennungsbereich (7) befindet und der Konfidenzwert größer oder gleich einem vorgegebenen Mindestkonfidenzwert ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bewegung der Person (8) in der Umgebung des Fahrzeugs (1) durch Anwendung eines Objektverfolgungsalgorithmus auf das wenigstens eine Sensorsignal überwacht wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Objektverfolgungsalgorithmus basierend auf einem Kalman-Filteralgorithmus oder einem Bernoulli-Filteralgorithmus durchgeführt wird.
Verfahren nach einem der Ansprüche 4 oder 5, dadurch gekennzeichnet, dass das Überwachen der Bewegung der Person (8) in der Umgebung des Fahrzeugs (1) das Verfolgen eines Zustandsvektors beinhaltet und der Konfidenzwert eine Komponente des Zustandsvektors ist.
Verfahren nach einem der Ansprüche 4 oder 5, dadurch gekennzeichnet, dass - das Überwachen der Bewegung der Person (8) in der Umgebung des Fahrzeugs (1) das Verfolgen eines Zustandsvektors beinhaltet; - der Konfidenzwert prädiziert wird, indem ein trainiertes künstliches neuronales Netzwerk auf Eingangsdaten angewendet wird, die auf dem verfolgten Zustandsvektor basieren.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als die Geste der Person (8) eine Bewegung eines Körperteils der Person (8) detektiert wird, bei der Körperteil der Person (8) aus einer Ruheposition heraus an das Fahrzeug (1) angenähert wird und danach wieder in die Ruheposition zurückbewegt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - zum Erzeugen des wenigstens einen Sensorsignals in dem Objektverfolgungsmodus (9) eine erste Anzahl von Ultraschallsensoren (5a, 5b, 5c, 5d, 5e) des Ultraschallsensorsystems (5a, 5b, 5c, 5d, 5e, 6) betrieben wird; und - zum Erzeugen des wenigstens einen weiteren Sensorsignals in dem Gestenerkennungsmodus (10) zweite Anzahl von Ultraschallsensoren (5a, 5b, 5c, 5d, 5e) des Ultraschallsensorsystems (5a, 5b, 5c, 5d, 5e, 6) betrieben wird, wobei die zweite Anzahl kleiner ist als die erste Anzahl.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass beim Aktivieren des Gestenerkennungsmodus (10) eine Messfrequenz des Ultraschallsensorsystems (5a, 5b, 5c, 5d, 5e, 6) gegenüber dem Objektverfolgungsmodus (9) erhöht wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - in dem Objektverfolgungsmodus (9) ein erstes Softwaremodul des Ultraschallsensorsystems (5a, 5b, 5c, 5d, 5e, 6) aktiviert ist, welches dazu eingerichtet ist, die Bewegung der Person (8) basierend auf dem wenigstens einen Sensorsignal zu überwachen; - beim Aktivieren des Gestenerkennungsmodus (10) ein zweites Softwaremodul des Ultraschallsensorsystems (5a, 5b, 5c, 5d, 5e, 6) aktiviert wird, welches dazu eingerichtet ist, die vordefinierte Geste der Person (8) basierend auf dem wenigstens einen weiteren Sensorsignal zu detektieren; und - das zweite Softwaremodul in dem Objektverfolgungsmodus (9) deaktiviert ist.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass beim Aktivieren des Gestenerkennungsmodus (10) das erste Softwaremodul deaktiviert wird.
Vorrichtung (2) für ein Fahrzeug (1) zum gestengesteuerten Öffnen eines durch ein bewegliches Bauelement (3) verschlossenen Bereichs des Fahrzeugs (1), dadurch gekennzeichnet, dass - die Vorrichtung (2) ein Ultraschallsensorsystem (5a, 5b, 5c, 5d, 5e, 6) für das Fahrzeug (1) aufweist, wobei das Ultraschallsensorsystem (5a, 5b, 5c, 5d, 5e, 6) wenigstens eine Recheneinheit (6) aufweist, die dazu eingerichtet ist, einen Objektverfolgungsmodus (9) des Ultraschallsensorsystems (5a, 5b, 5c, 5d, 5e, 6) zu aktivieren, und wenigstens einen Ultraschallsensor (5a, 5b, 5c, 5d, 5e), der dazu eingerichtet ist, in dem Objektverfolgungsmodus (9) wenigstens ein zeitabhängiges Sensorsignal zu erzeugen; - die wenigstens eine Recheneinheit (6) dazu eingerichtet ist, eine Bewegung einer Person (8) in einer Umgebung des Fahrzeugs (1) basierend auf dem wenigstens einen Sensorsignal zu überwachen; - die wenigstens eine Recheneinheit (6) dazu eingerichtet ist, basierend auf der überwachten Bewegung der Person (8) einen Konfidenzwert dafür zu berechnen, dass die Person (8) es beabsichtigt, das Öffnen des verschlossenen Bereichs zu initiieren; - die wenigstens eine Recheneinheit (6) dazu eingerichtet ist, abhängig von dem Konfidenzwert einen Gestenerkennungsmodus (10) des Ultraschallsensorsystems (5a, 5b, 5c, 5d, 5e, 6) zu aktivieren wird und der wenigstens eine Ultraschallsensor (5a, 5b, 5c, 5d, 5e) dazu eingerichtet ist, in dem Gestenerkennungsmodus (10) wenigstens ein zeitabhängiges weiteres Sensorsignal zu erzeugen; und - die wenigstens eine Recheneinheit (6) dazu eingerichtet ist, eine vordefinierte Geste der Person (8) basierend auf dem wenigstens einen weiteren Sensorsignal zu detektieren und abhängig von der detektierten Geste wenigstens ein Steuersignal zum automatischen Bewegen des beweglichen Bauelements (3) zu erzeugen.
Vorrichtung (2) nach Anspruch 13, dadurch gekennzeichnet, dass die Vorrichtung (2) wenigstens einen Aktuator (4a, 4b) aufweist, der dazu eingerichtet ist, das bewegliche Bauelement (3) abhängig von dem wenigstens einen Steuersignal automatisch zu bewegen.
Computerprogrammprodukt mit Befehlen, die bei Ausführung durch eine Vorrichtung (2) nach einem der Ansprüche 13 oder 14 die Vorrichtung (2) dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 12 durchzuführen.