-
Die Anmeldung betrifft ein Verfahren zum Betreiben eines Fahrzeugs, ein Fahrzeug, ein Computerprogrammprodukt und ein computerlesbares Medium.
-
Aus der
DE 10 2007 045 932 A1 sind ein Verfahren und eine Vorrichtung zur Warnung eines Fahrers eines Fahrzeuges vor einer Gefahrenquelle in einer Umgebung des Fahrzeuges bekannt, wobei das Fahrzeug ein Mittel zur Erfassung der Gefahrenquelle und einer Richtung zu der Gefahrenquelle aufweist. Bei einer Erfassung einer Gefahrenquelle wird wenigstens ein erstes optisches Warnsignal in einem momentanen Blickfeld des Fahrers angezeigt und dieses erste optische Warnsignal enthält wenigstens einen Hinweis auf die Richtung, in der sich die Gefahrenquelle vom Fahrer aus befindet.
-
Aufgabe der Anmeldung ist es, ein Verfahren zum Betreiben eines Fahrzeugs, ein Fahrzeug, ein Computerprogrammprodukt und ein computerlesbares Medium anzugeben, welche eine weiter verbesserte Berücksichtigung eines momentanen Verhaltens von Insassen des Fahrzeugs für den Betrieb des Fahrzeugs ermöglichen.
-
Diese Aufgabe wird mit dem Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.
-
Ein Verfahren zum Betreiben eines Fahrzeugs weist gemäß einem Aspekt der Anmeldung folgende Schritte auf. Es erfolgt ein Ermitteln, ob zumindest ein Insasse des Fahrzeugs zumindest ein Körperteil bewegt, basierend auf von zumindest einem in dem Fahrzeug angeordneten Ultraschallsensor ermittelter Daten. Falls ermittelt wird, dass zumindest ein Insasse des Fahrzeugs zumindest ein Körperteil bewegt, erfolgt ein Klassifizieren der Bewegung basierend auf den von dem zumindest einen Ultraschallsensor ermittelten Daten. Ferner erfolgt ein Ermitteln, ob die Bewegung einer vorbestimmten Bewegungsart einer Mehrzahl an vorbestimmten Bewegungsarten entspricht. Falls ermittelt wird, dass die Bewegung einer vorbestimmten Bewegungsart einer Mehrzahl an vorbestimmten Bewegungsarten entspricht, erfolgt ein automatisches Anpassen zumindest einer Komponente des Fahrzeugs in Abhängigkeit der vorbestimmten Bewegungsart.
-
Das Verfahren gemäß der genannten Ausführungsform ermöglicht eine weiter verbesserte Berücksichtigung eines momentanen Verhaltens der Insassen des Fahrzeugs für den Betrieb des Fahrzeugs. Dies erfolgt insbesondere durch das Ermitteln, ob zumindest ein Insasse des Fahrzeugs zumindest ein Körperteil bewegt, und das Klassifizieren der Bewegung jeweils basierend auf von dem zumindest einen Ultraschallsensor ermittelten Daten sowie das automatische Anpassen zumindest einer Komponente des Fahrzeugs, falls die ermittelte Bewegung einer vorbestimmten Bewegungsart entspricht. Dabei wird von der Überlegung ausgegangen, dass aus bestimmten Körperbewegungen der Insassen auf ihr momentanes Verhalten geschlossen werden kann. Somit kann basierend auf einer ermittelten und klassifizierten Bewegung ein automatisches Anpassen von Komponenten des Fahrzeugs erfolgen. Dadurch kann die Verkehrssicherheit beziehungsweise der Nutzerkomfort während des Betriebs des Fahrzeugs erhöht werden, wie im Folgenden näher erläutert wird. Das Ermitteln, ob ein Insasse des Fahrzeugs zumindest ein Körperteil bewegt sowie das Klassifizieren der möglichen Bewegung kann dabei in vorteilhafter Weise durch die Verwendung des zumindest einen Ultraschallsensors mit geringem Kostenaufwand erfolgen, da derartige Ultraschallsensoren insbesondere im Vergleich zu optischen Kameras kostengünstiger sind. Ferner können Tiefeninformationen, das heißt räumliche Informationen, mittels Ultraschallsensoren in einfacher Weise ermittelt werden, wohingegen derartige Informationen bei optischen Systemen nur mit erhöhtem Aufwand erhalten werden können. Zudem existieren für die Anordnung des zumindest einen Ultraschallsensors in dem Fahrzeug im Vergleich zu der Anordnung einer optischen Kamera mehr Freiheitsgrade, das heißt die Position des Ultraschallsensors in dem Fahrzeug kann im Vergleich zu der Position einer optischen Kamera flexibler gewählt werden. Das Ermitteln und Klassifizieren von Bewegungen beziehungsweise Gesten von Insassen des Fahrzeugs kann somit durch den Einsatz des zumindest einen Ultraschallsensors in verbesserter Weise kostengünstig erfolgen.
-
Das Ermitteln, ob zumindest ein Insasse des Fahrzeugs zumindest ein Körperteil bewegt, beinhaltet bevorzugt ein Ermitteln, ob ein Fahrer des Fahrzeugs zumindest ein Körperteil bewegt. Das momentane Verhalten des Fahrers des Fahrzeugs ist von besonderer Bedeutung für den momentanen Fahrbetrieb des Fahrzeugs, insbesondere für die Verkehrssicherheit. Durch das Ermitteln und Klassifizieren von Bewegungen des Fahrers kann beispielsweise auf eine verringerte Aufmerksamkeit des Fahrers in einer momentanen Fahrsituation geschlossen und der Betrieb des Fahrzeugs entsprechend angepasst werden, wie im Folgenden näher erläutert wird.
-
In einer weiteren Ausführungsform beinhaltet das Ermitteln, ob zumindest ein Insasse des Fahrzeugs zumindest ein Körperteil bewegt, ein Ermitteln einer Bewegung, ausgewählt aus der Gruppe, bestehend aus einer Kopfbewegung, einer Augenbewegung, einer Handbewegung, einer Beinbewegung und einer Oberkörperbewegung. In dieser Ausführungsform erfolgt somit ein Ermitteln, ob zumindest ein Insasse des Fahrzeugs zumindest ein Körperteil bewegt, ausgewählt aus der Gruppe, bestehend aus Kopf, Augen, Händen, Beinen und Oberkörper. Die genannten Bewegungsarten ermöglichen in besonderem Maße einen Rückschluss auf die Aufmerksamkeit des jeweiligen Insassen. Damit kann basierend auf den genannten Bewegungsarten eine mögliche momentane Ablenkung der Insassen bestimmt werden, beispielsweise eine Abwendung des Fahrers von dem momentanen Fahrgeschehen. Weiterhin kann mittels Beinbewegungen beziehungsweise Beinpositionen und/oder einer Beinhaltung insbesondere ermittelt werden, ob der Fahrer des Fahrzeugs ein Fahrpedal nicht mehr betätigt, das heißt den Fuß von dem Fahrpedal genommen hat, oder ein Bremspedal betätigt.
-
Das Ermitteln, ob zumindest ein Insasse des Fahrzeugs zumindest ein Körperteil bewegt, und/oder das Klassifizieren der Bewegung erfolgt dabei bevorzugt mittels einer Mustererkennung in den von dem zumindest einen Ultraschallsensor ermittelten Daten. Ferner kann das Ermitteln, ob zumindest ein Insasse des Fahrzeug zumindest ein Körperteil bewegt, und/oder das Klassifizieren der Bewegung ein Ermitteln eines zeitlichen Verlaufs eines Abstands des Körperteils von dem zumindest einen Ultraschallsensor und/oder einer Bewegungsrichtung des Körperteils basierend auf den von dem zumindest einen Ultraschallsensor ermittelten Daten beinhalten. Beispielsweise kann der zeitliche Verlauf des Abstands aus einer Frequenzänderung der Ultraschallwellen, welche auch als Mikro-Dopplereffekt bezeichnet wird, und/oder Phasenänderungen der Ultraschallwellen bestimmt werden. Die genannten Ausführungsformen ermöglichen somit ein einfaches und zuverlässiges Ermitteln beziehungsweise Klassifizieren der jeweiligen Bewegungen.
-
In einer weiteren Ausgestaltung des Verfahrens beinhaltet das automatische Anpassen der zumindest einen Komponente des Fahrzeugs ein automatisches Anpassen zumindest eines Fahrerassistenzsystems des Fahrzeugs.
-
Das zumindest eine Fahrerassistenzsystem ist dabei bevorzugt ausgebildet zum automatischen Betätigen zumindest eines Elementes des Fahrzeugs, ausgewählt aus der Gruppe, bestehend aus einer Bremsvorrichtung, einer Antriebsvorrichtung, einer Lenkvorrichtung und einer Warnvorrichtung. Das Anpassen des zumindest einen Fahrerassistenzsystems beinhaltet in dieser Ausgestaltung ein Anpassen eines Schwellenwertes für das automatische Betätigen des zumindest einen Elementes derart, dass die automatische Betätigung, bezogen auf den bisherigen Schwellenwert, zu einem früheren Zeitpunkt erfolgt. Dabei wird, wie bereits erläutert, von der Überlegung ausgegangen, dass bei bestimmten Bewegungsarten auf eine verringerte Aufmerksamkeit des Insassen, insbesondere des Fahrers, geschlossen werden kann. In derartigen Situationen kann damit in der gezeigten Ausgestaltung ein früheres Ausgeben einer Warnmeldung beziehungsweise ein frühzeitiger autonomer Eingriff in die Fahrdynamik des Fahrzeugs erfolgen, womit die Verkehrssicherheit in vorteilhafter Weise erhöht werden kann. Das zumindest eine Fahrerassistenzsystem ist dazu beispielsweise ausgewählt aus der Gruppe, bestehend aus einem Notbremssystem, einem Bremsassistenten, einem Spurhalteassistenten und einem Kollisionswarnsystem.
-
In einer weiteren Ausführungsform des Verfahrens beinhaltet das automatische Anpassen der zumindest einen Komponente des Fahrzeugs ein automatisches Anpassen zumindest eines Bedienelementes und/oder zumindest eines Anzeigeelementes des Fahrzeugs. Dabei wird von der Überlegung ausgegangen, dass bestimmte Bewegungsarten des Insassen auf eine bevorstehende Betätigung von Bedienelementen schließen lassen, beispielsweise eine Handbewegung, beziehungsweise dass aus bestimmten Bewegungsarten auf eine momentane Blickrichtung des Insassen geschlossen werden kann, beispielsweise aus einer Kopfbewegung. In den genannten Fällen können damit Bedienelemente, deren Betätigung bevorsteht, beziehungsweise Anzeigeelemente, die sich im Bereich der momentanen Blickrichtung des Insassen befinden, angepasst werden.
-
Das automatische Anpassen beinhaltet dazu bevorzugt ein automatisches Aktivieren des zumindest einen Bedienelementes und/oder des zumindest einen Anzeigeelementes. Beispielsweise kann ein automatisches Aktivieren eines Eingabeelementes des Bedienelementes erfolgen, insbesondere, falls das Bedienelement eine berührungssensitive Anzeigevorrichtung aufweist. Weiterhin kann, falls das Bedienelement durch eine Blende verdeckt angeordnet ist, die Blende derart verschoben werden, dass eine Betätigung des Bedienelements erfolgen kann, falls ermittelt wird, dass eine Hand- beziehungsweise Armbewegung in Richtung der Blende erfolgt. Ferner kann das automatische Anpassen ein automatisches Anpassen einer Beleuchtungsstärke einer Beleuchtungsvorrichtung des zumindest einen Bedienelementes und/oder des zumindest einen Anzeigeelementes beinhalten. Insbesondere kann die Beleuchtungsstärke der Beleuchtungsvorrichtung erhöht werden, falls basierend auf der ermittelten Bewegung eine bevorstehende Betätigung des Bedienelementes ermittelt wird beziehungsweise ermittelt wird, dass sich das zumindest eine Anzeigeelement im Bereich der momentanen Blickrichtung des Insassen befindet. Weiterhin kann das automatische Anpassen ein automatisches Anpassen einer Position des zumindest einen Bedienelementes und/oder des zumindest einen Anzeigeelementes in dem Fahrzeug beinhalten. Dadurch kann beispielsweise eine Betätigung des Bedienelementes in einfacherer Weise erfolgen beziehungsweise das Anzeigeelement in verbessertem Maße für den Insassen wahrnehmbar sein.
-
Die Anmeldung betrifft zudem ein Fahrzeug, das zumindest einen Ultraschallsensor aufweist, wobei der zumindest eine Ultraschallsensor in dem Fahrzeug angeordnet ist. Zudem weist das Fahrzeug eine erste Ermittlungsvorrichtung auf, die zum Ermitteln ausgebildet ist, ob zumindest ein Insasse des Fahrzeugs zumindest ein Körperteil bewegt, basierend auf von dem zumindest einen Ultraschallsensor ermittelter Daten. Ferner weist das Fahrzeug eine Klassifikationsvorrichtung auf, die zum Klassifizieren der Bewegung basierend auf den von dem zumindest einen Ultraschallsensor ermittelten Daten ausgebildet ist, falls ermittelt wird, dass zumindest ein Insasse des Fahrzeugs zumindest ein Körperteil bewegt. Darüber hinaus weist das Fahrzeug eine zweite Ermittlungsvorrichtung auf, die zum Ermitteln ausgebildet ist, ob die Bewegung einer vorbestimmten Bewegungsart einer Mehrzahl an vorbestimmten Bewegungsarten entspricht, falls ermittelt wird, dass zumindest ein Insasse des Fahrzeugs zumindest ein Körperteil bewegt. Weiterhin weist das Fahrzeug eine Anpassvorrichtung auf, die zum automatischen Anpassen zumindest einer Komponente des Fahrzeugs in Abhängigkeit der vorbestimmten Bewegungsart ausgebildet ist, falls ermittelt wird, dass die Bewegung einer vorbestimmten Bewegungsart einer Mehrzahl an vorbestimmten Bewegungsarten entspricht.
-
Das Fahrzeug gemäß der Anmeldung weist die bereits im Zusammenhang mit dem Verfahren gemäß der Anmeldung genannten Vorteile auf, welche an dieser Stelle zur Vermeidung von Wiederholungen nicht nochmals aufgeführt werden.
-
In einer Ausgestaltung weist das Fahrzeug eine Mehrzahl von in dem Fahrzeug angeordneten Ultraschallsensoren auf, das heißt das Fahrzeug weist in dieser Ausgestaltung zumindest zwei in dem Fahrzeug angeordnete Ultraschallsensoren auf. Insbesondere kann das Fahrzeug mehrere Ultraschallsensoren aufweisen, die als ein gemeinsames Sensorarray betreibbar sind, beispielsweise als sogenanntes Phased-Array, welches durch die Anordnung und Ansteuerung der einzelnen Ultraschallsensoren eine Bündelung der von diesen abgegebenen Schallwellen und damit eine Richtwirkung, das heißt eine Verstärkung des Ultraschallfeldes in einer gewünschten Richtung sowie eine Schwächung in ungewünschten Richtungen, ermöglicht. Durch eine phasenverschobene Überlagerung von empfangenen Einzelsignalen ist eine entsprechende Richtwirkung auch für den Empfang der Schallwellen erreichbar. Somit ermöglicht ein derartiges Phased-Array in vorteilhafter Weise ein direktives beziehungsweise gerichtetes Abstrahlen und Empfangen der Schallwellen.
-
Darüber hinaus betrifft die Anmeldung ein Computerprogrammprodukt, das, wenn es auf einer Recheneinheit eines Fahrzeugs ausgeführt wird, die Recheneinheit anleitet, folgende Schritte auszuführen. Die Recheneinheit wird angeleitet zum Ermitteln, ob zumindest ein Insasse des Fahrzeugs zumindest ein Körperteil bewegt, basierend auf von zumindest einem in dem Fahrzeug angeordneten Ultraschallsensor ermittelter Daten. Falls ermittelt wird, dass zumindest ein Insasse des Fahrzeugs zumindest ein Körperteil bewegt, wird die Recheneinheit angeleitet zum Klassifizieren der Bewegung basierend auf den von dem zumindest einen Ultraschallsensor ermittelten Daten und zum Ermitteln, ob die Bewegung einer vorbestimmten Bewegungsart einer Mehrzahl an vorbestimmten Bewegungsarten entspricht. Falls ermittelt wird, dass die Bewegung einer vorbestimmten Bewegungsart einer Mehrzahl an vorbestimmten Bewegungsarten entspricht, wird die Recheneinheit zum automatischen Anpassen zumindest einer Komponente des Fahrzeugs in Abhängigkeit der vorbestimmten Bewegungsart angeleitet.
-
Ferner betrifft die Anmeldung ein computerlesbares Medium, auf dem ein Computerprogrammprodukt gemäß der genannten Ausführungsform gespeichert ist.
-
Das Computerprogrammprodukt und das computerlesbare Medium gemäß der Anmeldung weisen die bereits im Zusammenhang mit dem Verfahren gemäß der Anmeldung genannten Vorteile auf, welche an dieser Stelle zur Vermeidung von Wiederholungen nicht nochmals aufgeführt werden.
-
Das Fahrzeug ist in den genannten Ausführungsformen bevorzugt als Kraftfahrzeug ausgebildet, beispielsweise als Personenkraftwagen oder Lastkraftwagen.
-
Ausführungsformen der Anmeldung werden nun anhand der beigefügten Figuren näher erläutert.
-
1 zeigt ein Flussdiagramm eines Verfahrens zum Betreiben eines Fahrzeugs gemäß einer Ausführungsform der Anmeldung;
-
2 zeigt ein Fahrzeug gemäß einer Ausführungsform der Anmeldung;
-
3 zeigt Details des in 2 dargestellten Fahrzeugs.
-
1 zeigt ein Flussdiagramm eines Verfahrens zum Betreiben eines Fahrzeugs gemäß einer Ausführungsform der Anmeldung. Das Fahrzeug ist bevorzugt ein Kraftfahrzeug, beispielsweise ein Personenkraftwagen oder ein Lastkraftwagen.
-
In einem Schritt 40 erfolgt während eines Betriebs des Fahrzeugs ein Ermitteln von Daten mittels zumindest einem in dem Fahrzeug angeordneten Ultraschallsensor. Der zumindest eine Ultraschallsensor ist bevorzugt Bestandteil des Fahrzeugs. Weiterhin kann der zumindest eine Ultraschallsensor Bestandteil eines mobilen Gerätes sein, welches sich während des momentanen Betriebs in dem Fahrzeug befindet und mit diesem beispielsweise über eine drahtlose Verbindung gekoppelt ist. Der zumindest eine Ultraschallsensor ist dabei derart in dem Fahrzeug angeordnet, dass sich zumindest einer der Insassen des Fahrzeugs zumindest teilweise innerhalb eines Erfassungsbereiches des Ultraschallsensors befindet, bevorzugt der Fahrer und/oder der Beifahrer des Fahrzeugs.
-
In einem Schritt 50 wird basierend auf den in dem Schritt 40 ermittelten Daten ermittelt, ob zumindest einer der Insassen des Fahrzeugs, die sich in dem Erfassungsbereich befinden, zumindest ein Körperteil bewegt. Dies erfolgt beispielsweise mittels einer Mustererkennung in den von dem zumindest einen Ultraschallsensor ermittelten Daten. Ferner kann dazu ein zeitlicher Verlauf eines Abstands des Körperteils von dem zumindest einen Ultraschallsensor basierend auf den ermittelten Daten bestimmt werden. Ein Annähern des zumindest einen Insassen an den Ultraschallsensor beziehungsweise ein Entfernen von dem Ultraschallsensor kann dabei mittels des sogenannten Mikro-Dopplereffekts aus den ermittelten Daten bestimmt werden. Zudem kann eine Bewegung basierend auf einer veränderten Position des zumindest einen Körperteils in dem Erfassungsbereich des Ultraschallsensors ermittelt werden.
-
Das Ermitteln der Bewegung beinhaltet bevorzugt ein Ermitteln einer Bewegung, ausgewählt aus der Gruppe, bestehend aus einer Kopfbewegung, einer Augenbewegung, einer Handbewegung und einer Oberkörperbewegung, das heißt der Ultraschallsensor ist derart in dem Fahrzeug angeordnet, dass sich die genannten Körperteile innerhalb des Erfassungsbereiches befinden.
-
Wird dabei in dem Schritt 50 ermittelt, dass sich keiner der Insassen, die sich in dem Erfassungsbereich befinden, bewegt, werden die Schritte 40 und 50 wiederholt ausgeführt.
-
Wird hingegen in dem Schritt 50 ermittelt, dass zumindest einer der Insassen, die sich in dem Erfassungsbereich befinden, zumindest ein Körperteil bewegt, erfolgt in einem Schritt 60 ein Klassifizieren der Bewegung basierend auf den von dem zumindest einen Ultraschallsensor ermittelten Daten. Das Klassifizieren der Bewegung kann wiederum mittels einer Mustererkennung in den von dem zumindest einen Ultraschallsensor ermittelten Daten erfolgen und/oder ein Ermitteln eines zeitlichen Verlaufs eines Abstands des Körperteils von dem zumindest einen Ultraschallsensor und/oder einer Bewegungsrichtung des Körperteils beinhalten, beispielsweise wiederum mittels des Mikro-Dopplereffekts.
-
Insbesondere kann das Klassifizieren der Bewegung ein Klassifizieren der Bewegung nach dem jeweiligen bewegten Körperteil, der Dauer der Bewegung, der Amplitude der Bewegung, der Bewegungsrichtung, der momentanen Position des bewegten Körperteils und/oder einer erwarteten Position des bewegten Körperteils beinhalten.
-
In einem Schritt 70 wird ermittelt, ob die in dem Schritt 60 klassifizierte Bewegung einer vorbestimmten Bewegungsart aus einer Mehrzahl an vorbestimmten Bewegungsarten entspricht. Beispielsweise wird die klassifizierte Bewegung dazu mit den vorbestimmten, das heißt vorgegebenen Bewegungsarten verglichen.
-
Falls dabei ermittelt wird, dass die Bewegung keiner der vorbestimmten Bewegungsarten der Mehrzahl an vorbestimmten Bewegungsarten entspricht, werden die Schritte 40, 50 sowie gegebenenfalls 60 und 70 wiederholt ausgeführt. Beispielsweise werden die genannten Schritte wiederholt ausgeführt, falls ermittelt wird, dass keines der oben genannten Körperteile bewegt wird oder die Dauer und/oder Amplitude der Bewegung einen jeweiligen vorbestimmten Schwellenwert nicht überschreitet.
-
Falls hingegen in dem Schritt 70 ermittelt wird, dass die Bewegung einer vorbestimmten Bewegungsart der Mehrzahl an vorbestimmten Bewegungsarten entspricht, erfolgt in einem Schritt 80 ein automatisches Anpassen zumindest einer Komponente des Fahrzeugs in Abhängigkeit der vorbestimmten Bewegungsart.
-
Das automatische Anpassen der zumindest einen Komponente beinhaltet beispielsweise ein automatisches Anpassen zumindest eines Fahrerassistenzsystems des Fahrzeugs. Das zumindest eine Fahrerassistenzsystem ist bevorzugt ausgebildet zum automatischen Betätigen zumindest eines Elementes des Fahrzeugs, ausgewählt aus der Gruppe, bestehend aus einer Bremsvorrichtung, einer Antriebsvorrichtung, einer Lenkvorrichtung und einer Warnvorrichtung. Falls die vorbestimmte Bewegungsart dabei eine momentane Ablenkung des Fahrers kennzeichnet, wird ein Schwellenwert für das automatische Betätigen des zumindest einen Elementes derart angepasst, dass die automatische Betätigung verglichen mit dem gegenwärtigen Schwellenwert zu einem früheren Zeitpunkt erfolgt. Das zumindest eine Fahrerassistenzsystem ist beispielsweise ausgewählt aus der Gruppe, bestehend aus einem Notbremssystem, einem Bremsassistenten, einem Spurhalteassistenten und einem Kollisionswarnsystem.
-
Mittels der gezeigten Ausführungsform kann insbesondere die Bewegung des Kopfes des Fahrers als Kennzeichen für die Aufmerksamkeit des Fahrers ermittelt werden. In Fällen, in denen der Fahrer den Kopf dreht, ist der Fahrer typischerweise nicht aufmerksam und Assistenzsysteme können ihre Warn- oder Kontrollstrategie entsprechend anpassen.
-
Ferner kann das automatische Anpassen der zumindest einen Komponente ein automatisches Anpassen zumindest eines Bedienelementes und/oder zumindest eines Anzeigeelementes des Fahrzeuges beinhalten, insbesondere ein automatisches Aktivieren des zumindest einen Bedienelementes und/oder des zumindest einen Anzeigeelementes. Zudem kann eine Beleuchtungsstärke einer Beleuchtungsvorrichtung des zumindest einen Bedienelementes und/oder des zumindest einen Anzeigeelementes automatisch angepasst werden. In einer weiteren Ausgestaltung wird darüber hinaus eine Position des zumindest einen Bedienelementes und/oder des zumindest einen Anzeigeelementes automatisch angepasst.
-
In einer weiteren Ausgestaltung des Verfahrens erfolgt zusätzlich zu dem Ermitteln von Daten mittels des zumindest einen Ultraschallsensors ein Ermitteln von Daten mittels zumindest einer optischen Kamera, wobei die zumindest eine optische Kamera in dem Fahrzeug angeordnet ist, beispielsweise im Bereich eines Innenspiegels des Fahrzeugs oder zentriert vor dem Fahrer, beispielsweise oberhalb eines Instrumentenclusters beziehungsweise eines Kombiinstrumentes des Fahrzeugs. In dieser Ausgestaltung des Verfahrens erfolgt das Ermitteln, ob zumindest ein Insasse des Fahrzeugs zumindest ein Körperteil bewegt und/oder das Klassifizieren der Bewegung basierend auf den von dem zumindest einen Ultraschallsensor ermittelten Daten sowie zusätzlich basierend auf den von der zumindest einen optischen Kamera ermittelten Daten. Damit erfolgt eine Fusion von Daten, die von mehreren, unterschiedlichen Sensoren ermittelt werden, und somit eine gegenseitige Plausibilisierung der ermittelten Daten.
-
Die genannte Ausführungsform ermöglicht in vorteilhafter Weise eine Gestenerkennung unter Verwendung von akustischen Signalen, gegebenenfalls in Verbindung mit optischen Signalen, beispielsweise einer optischen Kamera. Damit können Gesten insbesondere eines Fahrers eines Kraftfahrzeugs als ein Indikator für die Aufmerksamkeit oder als Kennzeichen spezieller Aktionen ermittelt und klassifiziert werden, um beispielsweise Fahrerassistenzsysteme in dem Kraftfahrzeug zu aktivieren oder anzupassen.
-
2 zeigt eine schematische Darstellung eines Fahrzeugs 1 gemäß einer Ausführungsform der Anmeldung. Das Fahrzeug 1 ist in der gezeigten Ausführungsform ein Kraftfahrzeug in Form eines Personenkraftwagens, wobei in 2 ein Dach des Fahrzeugs 1 teilweise weggelassen ist, um eine Fahrgastzelle 20 des Fahrzeugs 1 näher darzustellen.
-
Das Fahrzeug 1 weist in der gezeigten Ausführungsform einen akustischen Sensor in Form zumindest eines Ultraschallsensors 3 auf, der im Bereich eines nicht näher dargestellten Innenspiegels des Fahrzeugs 1 angeordnet ist. Der Ultraschallsensor 3 weist einen schematisch dargestellten Erfassungsbereich 19 auf. Ein Insasse 2 des Fahrzeugs 1, der in der gezeigten Ausführungsform durch einen Fahrer 7 des Fahrzeugs 1 gebildet wird, befindet sich zumindest teilweise innerhalb des Erfassungsbereiches 19 des Ultraschallsensors 3.
-
Wie im Zusammenhang mit der folgenden Figur näher erläutert wird, kann basierend auf von dem zumindest einen Ultraschallsensor 3 ermittelter Daten ermittelt werden, ob der Insasse 2 des Fahrzeugs 1 zumindest ein Körperteil bewegt, und zudem die Bewegung basierend auf den ermittelten Daten klassifiziert werden. Falls die Bewegung dabei einer vorbestimmten Bewegungsart einer Mehrzahl an vorbestimmten Bewegungsarten entspricht, wird zumindest eine Komponente des Fahrzeugs 1 automatisch in Abhängigkeit der vorbestimmten Bewegungsart angepasst. Dazu sind in 2 Komponenten 5 und 6 des Fahrzeugs 1 in Form eines Bedienelementes 10 beziehungsweise eines Anzeigeelementes 11 dargestellt. Das Bedienelement 10 sowie das Anzeigeelement 11 sind dabei im Bereich einer schematisch dargestellten Mittelkonsole 22 des Fahrzeugs 1 angeordnet.
-
Ferner kann ein automatisches Anpassen zumindest eines Fahrerassistenzsystems des Fahrzeugs 1 erfolgen, falls die Bewegung einer vorbestimmten Bewegungsart der Mehrzahl an vorbestimmten Bewegungsarten entspricht. Beispielsweise kann ein automatisches Anpassen zumindest eines Fahrerassistenzsystems des Fahrzeugs 1 erfolgen, falls ermittelt wird, dass der Fahrer 7 den Kopf derart dreht, dass sich die momentane Blickrichtung des Fahrers 7 außerhalb eines schematisch dargestellten Bereiches 21, der eine mittels eines Pfeils A gezeigte momentane Fahrtrichtung des Fahrzeugs 1 beinhaltet, befindet.
-
Dazu zeigt 3 Details des in 2 dargestellten Fahrzeugs. Komponenten mit den gleichen Funktionen wie in 2 werden mit den gleichen Bezugszeichen gekennzeichnet und im Folgenden nicht nochmals erläutert. Aus Gründen der Übersichtlichkeit ist das Fahrzeug in 3 nicht näher dargestellt.
-
Das Fahrzeug weist in der gezeigten Ausführungsform zusätzlich zu dem zumindest einen Ultraschallsensor 3 zumindest eine optische Kamera 23 auf, die ebenfalls in dem Fahrzeug angeordnet ist.
-
Ferner weist das Fahrzeug eine erste Ermittlungsvorrichtung 13 auf, die zum Ermitteln ausgebildet ist, ob zumindest ein Insasse des Fahrzeugs zumindest ein Körperteil bewegt, basierend auf von dem zumindest einen Ultraschallsensor 3 ermittelter Daten sowie zudem basierend auf von der zumindest einen optischen Kamera 23 ermittelter Daten. Dazu ist die erste Ermittlungsvorrichtung 13 über eine Signalleitung 24 mit dem zumindest einen Ultraschallsensor 3 sowie über eine Signalleitung 25 mit der zumindest einen optischen Kamera 23 verbunden.
-
Darüber hinaus weist das Fahrzeug eine Klassifikationsvorrichtung 14 auf, die zum Klassifizieren der Bewegung basierend auf den von dem zumindest einen Ultraschallsensor 3 ermittelten Daten sowie basierend auf den von der zumindest einen optischen Kamera 23 ermittelten Daten ausgebildet ist, falls ermittelt wird, dass zumindest ein Insasse des Fahrzeugs zumindest ein Körperteil bewegt. Die Klassifikationsvorrichtung 14 weist dazu beispielsweise eine Speichervorrichtung auf, in welcher Parameter und/oder Parameterverlaufe abgelegt sind, die bestimmte Arten der Bewegung kennzeichnen. Insbesondere können Daten beispielhafter Bewegungen in der Speichervorrichtung abgelegt sein. Die Klassifikationsvorrichtung 14 ist über eine Signalleitung 26 mit dem zumindest einen Ultraschallsensor 3 sowie über eine Signalleitung 27 mit der zumindest einen optischen Kamera 23 verbunden. Ferner ist die Klassifikationsvorrichtung 14 über eine Signalleitung 28 mit der ersten Ermittlungsvorrichtung 13 verbunden.
-
Weiterhin weist das Fahrzeug eine zweite Ermittlungsvorrichtung 15 auf, die zum Ermitteln ausgebildet ist, ob die Bewegung einer vorbestimmten Bewegungsart einer Mehrzahl an vorbestimmten Bewegungsarten entspricht. Die zweite Ermittlungsvorrichtung 15 weist dazu beispielsweise eine Speichervorrichtung auf, in welcher die vorbestimmten Bewegungsarten abgelegt sind. Die zweite Ermittlungsvorrichtung 15 ist dabei über eine Signalleitung 29 mit der Klassifikationsvorrichtung 14 verbunden.
-
Das Fahrzeug weist darüber hinaus eine Anpassvorrichtung 16 auf, die zum automatischen Anpassen einer Mehrzahl an Komponenten des Fahrzeugs in Abhängigkeit der jeweiligen vorbestimmten Bewegungsart ausgebildet ist, falls ermittelt wird, dass die Bewegung einer vorbestimmten Bewegungsart der Mehrzahl an vorbestimmten Bewegungsarten entspricht. Die Anpassvorrichtung 16 ist dazu über eine Signalleitung 30 mit der zweiten Ermittlungsvorrichtung 15 verbunden.
-
Ferner ist die Anpassvorrichtung 16 über eine Signalleitung 31 mit einer Komponente 4 des Fahrzeugs verbunden, wobei die Komponente 4 ein Fahrerassistenzsystem 8 des Fahrzeugs bildet. Das Fahrerassistenzsystem 8 ist in der gezeigten Ausführungsform zum automatischen Betätigen zumindest eines Elementes 9 des Fahrzeugs, ausgewählt aus der Gruppe, bestehend aus einer Bremsvorrichtung, einer Antriebsvorrichtung, einer Lenkvorrichtung und einer Warnvorrichtung, ausgebildet. Dazu ist das Fahrerassistenzsystem 8 über eine Signalleitung 32 mit dem zumindest einen Element 9 verbunden. Das Fahrerassistenzsystem ist beispielsweise ausgewählt aus der Gruppe, bestehend aus einem Notbremssystem, einem Bremsassistenten, einem Spurhalteassistenten und einem Kollisionswarnsystem.
-
Die Anpassvorrichtung 16 ist zum Anpassen eines Schwellenwertes des Fahrerassistenzsystems 8 für ein automatisches Betätigen des zumindest einen Elementes 9 derart ausgebildet, dass die automatische Betätigung zu einem früheren Zeitpunkt erfolgt.
-
Ferner ist die Anpassvorrichtung 16 über eine Signalleitung 33 mit einer weiteren Komponente 5 des Fahrzeugs in Form eines Bedienelementes 10 sowie über eine Signalleitung 34 mit einer dritten Komponente 6 in Form eines Anzeigeelementes 11 verbunden.
-
Die Anpassvorrichtung 16 ist in der gezeigten Ausführungsform zum automatischen Anpassen einer Beleuchtungsstärke einer ersten Beleuchtungsvorrichtung 12 des Bedienelementes 10 sowie einer zweiten Beleuchtungsvorrichtung 12 des Anzeigeelementes 11 ausgebildet. Ferner ist die Anpassvorrichtung 16 in der gezeigten Ausführungsform zum automatischen Anpassen einer Position des Bedienelementes 10 und/oder des Anzeigeelementes 11 in dem Fahrzeug ausgebildet.
-
Das Fahrzeug weist in der gezeigten Ausführungsform ferner eine Recheneinheit 17 und ein computerlesbares Medium 18 auf, wobei auf dem computerlesbaren Medium 18 ein Computerprogrammprodukt gespeichert ist, das, wenn es auf der Recheneinheit 17 ausgeführt wird, die Recheneinheit 17 anleitet, die im Zusammenhang mit den Ausführungsformen des Verfahrens gemäß der Anmeldung genannten Schritte, insbesondere die Schritte der in 1 gezeigten Ausführungsform, mittels den dabei genannten Elementen auszuführen. Dazu ist die Recheneinheit 17 in einer nicht näher dargestellten Weise direkt oder indirekt mit den entsprechenden Elementen verbunden.
-
In der gezeigten Ausführungsform wird somit ein System bereitgestellt, welches insbesondere Kopf-, Hand- und/oder Körperbewegungen, beispielsweise die Drehung des Kopfes des Fahrers, basierend auf einem veränderten akustischen Reflektionsverhalten unter Verwendung von einem oder mehreren Ultraschallsensoren, die innerhalb des Fahrzeugs angeordnet und beispielsweise auf den Fahrer ausgerichtet sind, ermittelt. Das System schätzt Änderungen in den Echo-Charakteristiken beispielsweise unter Verwendung des Mikro-Dopplereffekts oder Mustern in den reflektierten Echos ab und ermittelt und klassifiziert bestimmte Gesten insbesondere des Fahrers.
-
Diese Gesten beinhalten beispielsweise ein Drehen des Kopfes des Fahrers nach links oder rechts über seine Schulter, ein Drehen des Kopfes des Fahrers nach rechts zu seinem Beifahrer, ein Blicken des Fahrers nach unten in einem Ausmaß, dass damit eine Bewegung des Kopfes involviert ist, ein Entfernen von beiden Händen des Fahrers von dem Lenkrad, ein Winken des Fahrers mit einer oder beiden Händen und ein Greifen des Fahrers oder Beifahrers in bestimmte Bereiche, beispielsweise ein Annähern einer Hand an einen Bedienknopf in einer Bedienkonsole, sind jedoch nicht auf diese bestimmten Gesten beschränkt.
-
Beispielsweise ermittelt das System eine veränderte Position des Kopfes des Fahrers, wenn der Fahrer in Richtung eines weiteren Insassen oder über seine Schulter blickt, und informiert andere Systeme in dem Fahrzeug über die Position, so dass sie darüber in Kenntnis gesetzt werden können, dass der Fahrer nicht in die Fahrtrichtung blickt. Ferner können die weiteren Systeme in dem Fahrzeug darüber in Kenntnis gesetzt werden, dass der Fahrer nicht in eine bestimmte Richtung blickt, die von der Fahrtrichtung verschieden ist, beispielsweise, dass der Fahrer keinen Schulterblick bei einem Spurwechselmanöver tätigt.
-
Das System wird typischerweise auf die Charakteristiken jeder Geste eingelernt. Nach diesem Offline-Trainingsschritt ermittelt oder klassifiziert das System diese Gesten, so dass andere Systeme, beispielsweise ein Fahrerassistenzsystem, auf die Gesten aufmerksam gemacht werden können, insbesondere die Tatsache, dass der Fahrer nicht in die Fahrtrichtung blickt. Dies ermöglicht ein Anpassen von Warn- und Kontrollverhalten. Beispielsweise wird eine Kollisionswarnung frühzeitiger ausgegeben oder ein automatisches Bremsmanöver frühzeitiger begonnen.
-
Das gezeigte System verwendet dabei kostengünstige Ultraschallsensoren 3, um eine Abschätzung insbesondere der Kopfposition des Fahrers in kritischen Situationen zu realisieren. Dies ermöglicht ein besseres Verständnis der Aufmerksamkeit des Fahrers. Damit kann ein Fahrer, der unachtsam ist, da er nicht in die Fahrtrichtung blickt, kostengünstig ermittelt werden und Assistenzsysteme dieses Wissen ausnutzen und an diese Tatsache angepasst werden, beispielsweise durch das Ausgeben einer früheren Warnmeldung.
-
Die Verwendung von akustischen Signalen ermöglicht zudem, die Fahreraktivitäten zu überwachen, ohne dabei strengen Anforderungen an die Anordnung des Überwachungssensors zu unterliegen, das heißt der zumindest eine Ultraschallsensor 3 unterliegt im Vergleich zu der zumindest einen optischen Kamera 23 weniger Einschränkungen in seiner Anordnung.
-
Das gezeigte System benötigt somit lediglich kostengünstige Hardwarekomponenten und ermöglicht das Ermitteln von wichtigen Fahreraktivitäten beziehungsweise des Fahrerverhaltens, beispielsweise der Aufmerksamkeit des Fahrers, welche eine bedeutende Eingangsgröße insbesondere für Notbremssysteme des Fahrzeugs darstellen.
-
Obwohl zumindest eine beispielhafte Ausführungsform in der vorhergehenden Beschreibung gezeigt wurde, können verschiedene Änderungen und Modifikationen vorgenommen werden. Die genannten Ausführungsformen sind lediglich Beispiele und nicht dazu vorgesehen, den Gültigkeitsbereich, die Anwendbarkeit oder die Konfiguration in irgendeiner Weise zu beschränken. Vielmehr stellt die vorhergehende Beschreibung dem Fachmann einen Plan zur Umsetzung zumindest einer beispielhaften Ausführungsform zur Verfügung, wobei zahlreiche Änderungen in der Funktion und der Anordnung von in einer beispielhaften Ausführungsform beschriebenen Elementen gemacht werden können, ohne den Schutzbereich der angefügten Ansprüche und ihrer rechtlichen Äquivalente zu verlassen.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Insasse
- 3
- Ultraschallsensor
- 4
- Komponente
- 5
- Komponente
- 6
- Komponente
- 7
- Fahrer
- 8
- Fahrerassistenzsystem
- 9
- Element
- 10
- Bedienelement
- 11
- Anzeigeelement
- 12
- Beleuchtungsvorrichtung
- 13
- Ermittlungsvorrichtung
- 14
- Klassifikationsvorrichtung
- 15
- Ermittlungsvorrichtung
- 16
- Anpassvorrichtung
- 17
- Recheneinheit
- 18
- Medium
- 19
- Erfassungsbereich
- 20
- Fahrgastzelle
- 21
- Bereich
- 22
- Mittelkonsole
- 23
- Kamera
- 24
- Signalleitung
- 25
- Signalleitung
- 26
- Signalleitung
- 27
- Signalleitung
- 28
- Signalleitung
- 29
- Signalleitung
- 30
- Signalleitung
- 31
- Signalleitung
- 32
- Signalleitung
- 33
- Signalleitung
- 34
- Signalleitung
- 40
- Schritt
- 50
- Schritt
- 60
- Schritt
- 70
- Schritt
- 80
- Schritt
- A
- Pfeil
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102007045932 A1 [0002]