-
Die vorliegende Erfindung umfasst ein Bediensystem in einem Kraftfahrzeug für eine oder mehrere fahrzeugseitige Vorrichtungen sowie ein Verfahren zum Bedienen von einer oder mehreren fahrzeugseitigen Vorrichtungen.
-
Kraftfahrzeuge weisen in aller Regel fahrzeugseitige Bedienvorrichtungen auf, mit denen ein Nutzer, wie etwa ein Fahrer oder ein anderer Insasse, fahrzeugseitige Vorrichtungen bedienen kann. Diese Vorrichtungen können unterschiedlich komplexe Funktionen bereitstellen und dementsprechend können auch unterschiedlich komplexe Einstell- und Bedienmöglichkeiten für diese Vorrichtungen gegeben sein.
-
Zur Bedienung der fahrzeugseitigen Vorrichtungen weisen die Bedienvorrichtungen wenigstens eine Bedieneinrichtung auf, die oftmals eine Schaltereinrichtung (z.B. Drück-, Dreh-, Dreh-Drück-, Dreh-Drück-Zug-, Dreh-Drück-Schieb-Schaltereinrichtung (Joy-Stick)) und/oder eine Anzeigeeinrichtung umfassen. Die Anzeigeeinrichtung kann beispielsweise ein LCD- oder LED-Display umfassen und eine freiprogrammierbare Anzeigefläche aufweisen.
-
Aufgrund der seit Jahren zu beobachtenden Ausweitung der in Kraftfahrzeugen genutzten Funktionen und Funktionalitäten, beispielsweise im Bereich moderner Medien und der Fahrerassistenzsysteme, finden für die Bedienung der Vorrichtungen in zunehmendem Maße berührungsempfindliche Anzeigeeinrichtungen mit einer freiprogrammierbaren Anzeigefläche Verwendung. Hierdurch kann die Anzahl an benötigten Schaltereinrichtungen verringert werden.
-
Neben dem Nachteil von erhöhten Kosten, die mit berührungsempfindlichen Anzeigeeinrichtungen im Vergleich zu herkömmlichen Bedieneinrichtungen verbunden sind, ergibt sich in einem Kraftfahrzeug das Problem, dass eine Berührung der Oberfläche der Anzeigeeinrichtung an einer vorgegebenen Stelle bei einem in Bewegung befindlichen Kraftfahrzeug oftmals schwierig zu realisieren ist (z.B. bei einer unebenen Fahrbahnoberfläche). Auch kann es vorkommen, dass ein Nutzer die Oberfläche der berührungsempfindlichen Anzeigeeinrichtung mit einem seiner Finger aufgrund der durch den angelegten Sicherheitsgurt bewirkten eingeschränkten Bewegungsfreiheit und/oder aufgrund der Positionierung der berührungsempfindlichen Anzeigeeinrichtung nicht oder nur unter Mühen erreichen kann.
-
Auch vor diesem Hintergrund sind Systeme und Verfahren entwickelt worden, mit denen fahrzeugseitige Vorrichtungen mittels Handgesten gesteuert werden können.
-
So beschreibt etwa die
DE 101 47 940 A1 eine Vorrichtung mit einem Bedienpanel und zumindest einer Kamera zur Detektion eines sich im Bereich über oder auf dem Bedienpanel befindenden Objektes, insbesondere eines Fingers, und einer mit der Kamera verbundenen Verarbeitungseinheit, die die von der Kamera gelieferten Signale derart verarbeitet, dass die Position des Objektes über oder auf dem Bedienpanel erkannt wird und die Verarbeitungseinheit daraus eine zugeordnete Aktion ermittelt und ein entsprechendes Signal zur Ausführung der Aktion ausgibt. Das Bedienpanel ist eine Anordnung einer Anzahl virtueller Bedienflächen, die mittels Betätigungselementen in den von der Kamera beobachteten Bedienpanelbereich bringbar sind.
-
Aus der
US 2004 / 0 141 634 A1 ist eine Handgesten-Schaltvorrichtung bekannt, die eine Handgeste aus einem Bild einer Hand in einer Bildaufnahmezone erkennt und eine Handbewegung detektiert. Es wird ein gesteuertes Objekt auf Grundlage der erkannten Handgeste und/oder der Handbewegung ausgewählt. In Abhängigkeit von dem ausgewählten Objekt wird auf Grundlage der Handbewegung ein Detektionsmodus der Betätigungsinformation verändert. In einem Wegstrecken-Erfassungsmodus wird eine Wegstrecke der Hand in der Zone als Betätigungsinformation detektiert, und in einem Stoppzeit-Erfassungsmodus wird eine Stoppzeit der Hand an einer Stoppposition, in die die Hand in der Zone verschoben wurde, als Betätigungsinformation detektiert. Die Bildaufnahmezone befindet sich an einer Stelle, die sich seitlich von einem Lenkrad befindet und zu der ein Fahrer seinen/ihren Arm strecken kann, ohne die Fahrposition verändern zu müssen.
-
Die
DE 10 2006 037 156 A1 betrifft eine interaktive Bedienvorrichtung mit einer Anzeigevorrichtung und ein Verfahren zum Betreiben der interaktiven Bedienvorrichtung. Das Verfahren umfasst folgende Schritte: Anzeigen von graphischen Informationen auf der Anzeigevorrichtung; Empfangen von Sensorinformationen; Aktivieren einer Bedienaktion, wenn anhand der Sensorinformationen ermittelt wird, dass ein Körperteil eines Nutzers sich innerhalb eines Aktivierungsbereichs befindet, der räumlich relativ zu einem Darstellungsgebiet eines Bedienelements auf der Anzeigevorrichtung festgelegt ist, dem die Bedienaktion zugeordnet ist; wobei die empfangenen Sensorinformationen Nutzerinformationen umfassen, die zum Ermitteln einer Bedienabsicht für das mindestens eine Bedienelement zeitlich vor einem Aktivieren der Bedienaktion ausgewertet werden; und die auf der Anzeigevorrichtung dargestellten Informationen in Abhängigkeit von der ermittelten Bedienabsicht angepasst werden, so dass das mindestens eine Bedienelement optimiert für das Aktivieren der dem Bedienelement zugeordneten Bedienaktion dargestellt wird. Die Bedienvorrichtung ist vorzugsweise Bestandteil einer Kraftfahrzeugkonsole.
-
Aus der
DE 10 2008 048 325 A1 ist ein Betätigungseingabegerät bekannt, umfassend eine Bildaufnahmeeinrichtung, eine Handbereichs-Detektionseinrichtung, die einen Bereich einer menschlichen Hand von einem Bewegungsbild detektiert, das aufgenommen wird mit der Bildaufnahmeeinrichtung, eine Handbetätigungs-Bestimmungseinrichtung, die eine Handbetätigung aus einer Form und Bewegung des detektierten Handbereichs bestimmt; und eine Auswahlmenü-Darstellungseinrichtung, die einen Benutzer über ein Menü benachrichtigt, das ausgewählt wird, basierend auf der bestimmten Betätigung bzw. Manipulation.
-
Die
US 2012 / 0 207 345 A1 beschreibt ein System zum Empfangen einer Eingabe eines Benutzers eines Fahrzeugs, wobei das System umfasst: mindestens zwei Kameras, die dazu eingerichtet sind, ein Bild einer Hand des Benutzers aufzunehmen, und eine Steuerung, die dazu konfiguriert ist, das Bild zu analysieren und einen Befehl auf der Grundlage der Analyse des Bildes auszugeben, wobei die Steuerung dazu konfiguriert ist, die Positionen von wenigstens zwei Fingern relativ zueinander in jedem Bild einer Reihe von Bildern zu bestimmen, um eine Geste auf Grundlage des Wegs eines jeden Fingers der wenigstens zwei Finger in einem dreidimensionalen Raum zu bestimmen.
-
Aus der
DE 20 2012 005 255 U1 ist eine Bedienvorrichtung, insbesondere für ein Fahrzeug oder Haushaltsgerät bekannt, mit einer Gestenüberwachungseinheit, die ausgelegt ist, nicht-taktile Gesten eines Benutzers zu erfassen, und einer Betätigungseinheit, die ausgelegt ist, eine zugeordnete Vorrichtung zu betätigen, wobei die Bedienvorrichtung ausgelegt ist, entweder in einem Sperrzustand zu sein, in dem die Betätigungseinheit nicht angesteuert wird, oder in einem Bedienzustand zu sein, in dem die Bedienvorrichtung ausgelegt ist, in Abhängigkeit des Erkennens einer nicht-taktilen Betätigungsgeste durch die Gestenüberwachungseinheit, die Betätigungseinheit anzusteuern, um die zugeordnete Vorrichtung zu betätigen, wobei die Bedienvorrichtung ausgelegt ist, in den Bedienzustand versetzt zu werden, wenn die Gestenüberwachungseinheit eine nicht-taktile Aktivierungsgeste erfasst, wobei sich die Aktivierungsgeste von der Betätigungs-geste unterscheidet.
-
Die Druckschrift
US 2013 / 0 155 237 A1 beschreibt ein mobiles Gerät, welches Funktionen zum Erkennen von Gesten beinhaltet, die von einem Benutzer in einem Fahrzeug ausgeführt werden. Das mobile Gerät empfängt Bildinformationen, die eine Szene mit Objekten innerhalb eines Interaktionsraums erfasst. Der Interaktionsraum entspricht einem Volumen, das aus dem mobilen Gerät in Richtung des Benutzers ragt. Das mobile Gerät bestimmt anhand der Bildinformationen, ob der Benutzer eine erkennbare Geste im Interaktionsraum ausgeführt hat, ohne das mobile Gerät zu berühren.
-
Die Offenlegungsschrift
DE 10 2011 102 038 A1 beschreibt ein Heimautomatisierungssteuerungssystem sowie ein Verfahren zum Steuern einer Einrichtung eines Heimautomatisierungssteuerungssystems. Das Heimautomatisierungssteuerungssystem umfasst ein Speichermittel zum Speichern von Zuordnungen zwischeneinem virtuellen Sensor und einer den Sensor ansprechenden Geste, ein Erfassungsmittel zum Erfassen von Gesten in einem Raum und einem Steuerungsmittel zum Ansteuern eines Aktors bei einer Detektion der den Sensor ansprechenden Geste.
-
Der Artikel „HACKENBERG, G.; McCALL, R.; BROLL, W.: Lightweight Palm and Finger Tracking for real-time 3D Gesture Control. In: IEEE Virtual Reality Conference, 2011, S. 19-26“ beschreibt, wie eine Handfläche und Finger mittels einer Time-of-Flight-Kamera nachverfolgt werden können. Diese Nachverfolgung kann im Bereich der Gestenerkennung eingesetzt werden.
-
Aus einer Reihe von Druckschriften sind allgemein verwendbare Verfahren und Vorrichtungen zum Erkennen von Gesten bekannt.
-
So beschreibt beispielsweise die
DE 102 33 233 A1 ein Verfahren zur Erkennung von dynamischen Gesten von beweglichen Körperteilen. Das bewegte Körperteil wird während des Bewegungsabschnitts mit einem Bildaufnehmer zur Abgabe eines Bildgebersignals aufgezeichnet. Eine erste Anzahl von Zeitpunkten wird festgelegt, die einen im Wesentlichen gleichen zeitlichen Abstand innerhalb des Bewegungsabschnitts haben. Das Körperteil wird nach Lage, Größe und Form zumindest zu jedem der ersten Anzahl von Zeitpunkten festgehalten, um eine erste Anzahl von Körperteilbildern zu erhalten. Ein begrenztes erstes Raster wird als Erfassungsfeld für einen ersten und einen darauffolgenden (zweiten) Zeitpunkt so auf die Lage, Größe und Form des Körperteils zu den beiden Zeitpunkten abgestimmt, dass das Erfassungsfeld im Wesentlichen das vollständige Körperteil zu beiden Zeitpunkten erfasst.
-
-
Es ist Aufgabe der vorliegenden Erfindung, ein im Vergleich zum Stand der Technik verbessertes System und Verfahren zum berührungslosen Bedienen von einer oder mehreren fahrzeugseitigen Vorrichtungen zur Verfügung zu stellen.
-
Diese Aufgabe wird gelöst durch das Bediensystem gemäß Anspruch 1 sowie das Verfahren zum Bedienen von einer oder mehreren fahrzeugseitigen Vorrichtungen gemäß Anspruch 7. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
-
Aus dem Stand der Technik sind Bediensysteme bekannt, bei denen zur Bedienung bzw. Steuerung von fahrzeugseitigen Vorrichtungen feste Zuordnungen zwischen einer vorbestimmten Handgeste und einer vorbestimmten Aktion bei einer fahrzeugseitigen Vorrichtung gegeben sind. Weiter sind Bediensysteme bekannt, bei denen ein Nutzer mittels eines Lernmodus frei definierbare Handgesten vorgeben kann und dann jeder frei definierten Handgeste eine Aktion bei einer fahrzeugseitigen Vorrichtung zuordnen kann.
-
Haben die ersten oben erwähnten Bediensysteme den Nachteil einer unflexiblen „Bedienphilosophie“, die beispielsweise nicht an die Vorlieben eines Nutzers angepasst werden können, so besteht bei den zweiten oben erwähnten Bediensystemen das Problem, dass ein Nutzer in der Regel nicht weiß, welche Gesten aufgrund der im Kraftfahrzeug vorhandenen Mittel und/oder grundsätzlich technisch unterscheidbar sind. Naheliegend wäre für einen Fahrer oder einen anderen Insassen beispielsweise eine Wischgeste nach rechts oder nach links. Diese beiden Gesten können aber nur sehr schwer voneinander unterschieden werden, da beispielsweise eine Wischbewegung von rechts nach links zuerst eine Handbewegung von links nach rechts erfordert.
-
Diese Nachteile werden durch das erfindungsgemäße Bediensystem überwunden. Da in der Speichervorrichtung eine Anzahl an vorgegebenen Handgesten und eine Anzahl an vorgegebenen Aktionen für eine oder mehrere fahrzeugseitige Vorrichtungen gespeichert sind und durch die Bedienvorrichtung eine vorgegebene gespeicherte Handgeste und eine vorgegebene gespeicherte Aktion bei einer fahrzeugseitigen Vorrichtung auswählbar sind, eine Zuordnung von ausgewählter Handgeste zu ausgewählter Aktion durchführbar ist, sowie die vorgenommene Zuordnung in der Speichervorrichtung abspeicherbar ist, kann zum einen ein Nutzer die Gesten-Bedienung von einer oder mehreren fahrzeugseitigen Vorrichtungen auf seine Vorlieben anpassen (individualisieren) und zum anderen werden dem Nutzer nur solche Gesten zur Auswahl angeboten, die aufgrund der im Kraftfahrzeug vorhandenen Mittel und/oder grundsätzlich technisch unterscheidbar sind. Hierdurch wird zum einen sichergestellt, dass eine Bedienung einer Vorrichtung mittels einer Geste sicher funktioniert und zum anderen werden zeitaufwändige und möglicherweise nicht zielführende und daher für den Nutzer frustrierende Lernmodi verhindert.
-
Gemäß einer ersten vorteilhaften Weiterbildung des Bediensystems umfasst die Sensorvorrichtung eine oder mehrere Kameraeinrichtungen für sichtbares Licht, eine oder mehrere Kameraeinrichtungen für Infrarot-Licht, eine oder mehrere Radar-Einrichtungen, und/oder eine oder mehrere Time-of-Flight-Einrichtungen. Insbesondere durch die Verwendung von mehreren Kameraeinrichtungen, einer oder mehreren Radar-Einrichtungen und/oder einer oder mehreren Time-of-Flight-Einrichtungen lassen sich die oberen Extremitäten (Hand, Unter- und Oberarm) eines Nutzers nicht nur zweidimensional erfassen, sondern auch die Lage bzw. Bewegung der oberen Extremitäten dreidimensional im Raum. Dies erleichtert beispielsweise die Erkennung der oberen Extremitäten, da leichter zwischen oberer Extremität, Hintergrund und Vordergrund innerhalb des Erfassungsbereichs der Sensorvorrichtung unterschieden werden kann, als dies bei einer zweidimensionalen Bilderfassung der Fall ist.
-
Die in der Speichervorrichtung gespeicherten, vorgegebenen Handgesten umfassen statische und dynamische Gesten einer Hand. Diese Gestenarten können durch die in einem Kraftfahrzeug verwendbaren Sensor- und Auswertungsvorrichtungen besonders zuverlässig und ausreichend rasch erkannt werden und damit ist bei Verwendung dieser Gestenarten eine besonders zuverlässige Bedienung von fahrzeugseitigen Vorrichtungen möglich.
-
Gemäß einer zweite vorteilhaften Weiterbildung des Bediensystems umfasst die Bedienvorrichtung einen Bildschirm. Durch einen solchen Bildschirm, bei dem es sich beispielsweise um einen herkömmlichen Bildschirm, einen berührungsempfindlichen oder einen näherungsempfindlichen Bildschirm handeln kann, können einem Nutzer wenigstens alle erforderlichen Informationen angezeigt werden, die für die Auswahl von Gesten, die Auswahl von Funktionen bei den fahrzeugseitigen Vorrichtungen, die Zuordnung von ausgewählter Geste zu ausgewählter Funktion und der Abspeicherung der Zuordnung erforderlich und/oder nützlich sind.
-
Gemäß einer weiteren vorteilhaften Weiterbildung des Bediensystems ist die Auswertungsvorrichtung weiter dazu eingerichtet, die von der Sensorvorrichtung erfassten und übermittelten Bilddaten bezüglich der räumlichen Position der Hand innerhalb des Erfassungsbereichs der Sensorvorrichtung auszuwerten. Und gemäß noch einer weiteren vorteilhaften Weiterbildung des Bediensystems ist die Auswertungsvorrichtung weiter dazu eingerichtet, die von der Sensorvorrichtung erfassten und übermittelten Bilddaten bezüglich der Stellung des Unter- und Oberarms zur Hand innerhalb des Erfassungsbereichs der Sensorvorrichtung auszuwerten. Durch diese Weiterbildungen kann die Robustheit der Erkennung der Gesten erhöht werden.
-
Gemäß noch einer weiteren Weiterbildung des Bediensystems sind in der Speichervorrichtung für verschiedene Insassen des Kraftfahrzeugs unterschiedliche Zuordnungen zwischen einer vorgegebenen Handgeste und einer vorgegebenen Aktion bei einer fahrzeugseitigen Vorrichtung in der Speichervorrichtung abspeicherbar. Hierdurch ist die Gesten-Bedienung von fahrzeugseitigen Vorrichtungen innerhalb eines Kraftfahrzeugs personalisierbar, d.h. es können einer Aktion bei einer fahrzeugseitigen Vorrichtung nutzerspezifisch unterschiedliche Gesten zugeordnet werden.
-
Die vorliegende Erfindung betrifft weiter ein Verfahren nach Anspruch 7.
-
Die erste vorteilhafte Weiterbildung des Verfahrens kann in vorteilhafter Weise dahin weitergebildet sein, dass es weiter die Schritte umfasst
- - Auswerten der von der Sensorvorrichtung erfassten und übermittelten Bilddaten bezüglich der räumlichen Position der Hand innerhalb des Erfassungsbereichs der Sensorvorrichtung und/oder der Stellung des Unter- und Oberarms zur Hand innerhalb des Erfassungsbereichs der Sensorvorrichtung durch die Auswertungsvorrichtung, und
- - Einbeziehen einer erkannten räumlichen Position der Hand und/oder einer Stellung des Unter- und Oberarms zur Hand innerhalb des Erfassungsbereichs der Sensorvorrichtung bei der Auswertung, ob die erfasste Haltung und/oder Bewegung der Hand einer in der Speichervorrichtung gespeicherten Handgeste entspricht, durch die Auswertungsvorrichtung.
-
Die vorliegende Erfindung wird anhand der beigefügten Zeichnungen näher erläutert.
-
Dabei zeigen:
- 1: ein schematisches Diagramm des erfindungsgemäßen Bediensystems;
- 2: Symbolhafte Darstellungen von einigen der möglichen statischen Handgesten;
- 3: Symbolhafte Darstellungen von einigen der möglichen dynamischen Handgesten.
-
Die Darstellungen in den Figuren sind rein schematisch und nicht maßstabsgerecht.
-
Die nachfolgend erläuterten Ausführungsbeispiele stellen bevorzugte Ausführungsformen der vorliegenden Erfindung dar. Die vorliegende Erfindung ist selbstverständlich nicht auf diese Ausführungsformen beschränkt.
-
Wie in 1 schematisch dargestellt ist, weist das erfindungsgemäße Bediensystem 1, das in einem Kraftfahrzeug angeordnet ist und für die Bedienung von einem oder mehreren fahrzeugseitigen Vorrichtungen 7 vorgesehen ist, eine Sensorvorrichtung 2 auf, die zur Erfassung von Bilddaten einer sich im Erfassungsbereich der Sensorvorrichtung 2 befindlichen Hand eines Insassen des Kraftfahrzeugs und zur Übermittlung der erfassten Bilddaten an eine Auswertungsvorrichtung 4 eingerichtet ist.
-
Der Erfassungsbereich der Sensorvorrichtung 2 umfasst dabei einen in Bezug auf Größe und Position vorgebbaren Teilbereich des Innenraums des Kraftfahrzeugs.
-
Weiter umfasst die erfindungsgemäße Bedienvorrichtung 1 eine Speichervorrichtung 3, in der Handgesten und Handgesten zugeordnete Aktionen bei einer oder mehreren fahrzeugseitigen Einrichtungen 7 gespeichert sind, eine Auswertungsvorrichtung 4, die die durch die Sensorvorrichtung 2 erfassten und übermittelten Bilddaten dahin auswertet, ob die im Erfassungsbereich der Sensorvorrichtung 2 befindliche Hand eine Haltung einnimmt und/oder eine Bewegung durchführt, die einer in der Speichervorrichtung 3 gespeicherten Handgeste entspricht, und eine Steuervorrichtung 5, die für den Fall, dass die Haltung und/oder Bewegung der Hand durch die Auswertungsvorrichtung 4 als eine gespeicherte Handgeste erkannt wird, die der gespeicherten Handgeste zugeordnete Aktion bei einer fahrzeugseitigen Vorrichtung 7 ausführt oder ausführen kann.
-
Die erfindungsgemäße Bedienvorrichtung 1 ist dadurch gekennzeichnet, dass in der Speichervorrichtung 3 eine Anzahl an vorgegebenen Handgesten und eine Anzahl an vorgegebenen Aktionen für eine oder mehrere fahrzeugseitige Vorrichtungen 7 gespeichert sind und das Bediensystem 1 weiter eine Bedienvorrichtung 6 aufweist, mittels der eine vorgegebene gespeicherte Handgeste auswählbar, eine vorgegebene gespeicherte Aktion bei einer fahrzeugseitigen Vorrichtung 7 auswählbar, eine Zuordnung von ausgewählter Handgeste zu ausgewählter Aktion durchführbar, sowie die vorgenommene Zuordnung in der Speichervorrichtung 6 abspeicherbar ist.
-
Für das Bediensystem 1 können ohne Einschränkungen alle derzeit aus dem Stand der Technik bekannten oder zukünftig bekannt werdenden Vorrichtungen, Einrichtungen, Baugruppen, Bauelemente, Techniken, Technologien, etc. verwendet werden, die für die Bestandteile des Bediensystems 1 sowie deren Zusammenwirken geeignet sind. Vorrichtungen und Verfahren zur Gestenerkennung und zur Bedienung von fahrzeugseitigen Vorrichtungen mittels Gesten sind beispielsweise aus der im einleitenden Teil erwähnten Patentliteratur bekannt; daneben existieren eine Vielzahl an weiteren wissenschaftlichen und technischen Druckschriften, die ebenfalls Vorrichtungen und Verfahren zur Erkennung von Gesten und der Steuerung von fahrzeugseitigen Vorrichtungen mittels Gesten zum Gegenstand haben. Auf die in diesen Dokumenten offenbarten technischen Lehren kann ohne Einschränkungen für das Bediensystem 1 verwendet werden, soweit diese technischen Lehren auf das Bediensystem 1 anwendbar und geeignet sind, was ein Fachmann ohne Weiteres beurteilen kann.
-
Auch bezüglich der Sensorvorrichtung 2 bestehen keine besonderen Beschränkungen und es können alle aus dem Stand der Technik bereits bekannten oder zukünftig noch bekannt werdenden geeigneten Sensorvorrichtungen bei dem Bediensystem 1 verwendet werden. Bezüglich der Sensorvorrichtung 2 weist das Bediensystem 1 bevorzugt eine oder mehrere Kameraeinrichtungen für sichtbares Licht, eine oder mehrere Kameraeinrichtungen für Infrarot-Licht, eine oder mehrere Radar-Einrichtungen, und/oder eine oder mehrere Time-of-Flight-Einrichtungen auf. Bei Kameraeinrichtungen für sichtbares oder Infrarotlicht kann die Sensorvorrichtung 2 beispielsweise auch über eine „Lichtquelle“ verfügen, die zur Ausleuchtung des Erfassungsbereichs der Sensorvorrichtung 2 dient. Erfassungseinrichtungen der Sensorvorrichtung, die auf unterschiedlichen technischen Grundlagen basieren, können gleichzeitig oder alternativ dazu verwendet werden, Bilddaten zu erfassen.
-
Durch gleichzeitiges Erfassen von Bilddaten durch technisch verschiedenartige Erfassungseinrichtungen (z.B. durch eine Kameraeinrichtung für sichtbares Licht und eine Radar-Einrichtung; durch eine Kameraeinrichtung für sichtbares Licht und eine durch eine Kameraeinrichtung für Infrarotlicht, etc.) und Auswerten der Bilddaten der technisch verschiedenartigen Erfassungseinrichtungen durch die Auswertungsvorrichtung 4 kann beispielsweise die Erkennungsquote bezüglich der Handgesten erhöht werden. Als Beispiel für einen alternativen Einsatz von technisch verschiedenartigen Erfassungseinrichtungen kann die Verwendung von einer oder mehreren Kameraeinrichtungen für sichtbares Licht bei einer ausreichenden Umgebungshelligkeit und die Verwendung von einer oder mehreren Kameraeinrichtungen für Infrarotlicht bei einer Umgebungshelligkeit, die für Kameraeinrichtungen für sichtbares Licht ungenügend ist, erwähnt werden. Bei dem Einsatz von einer oder mehreren Kameraeinrichtungen für Infrarotlicht kann beispielsweise der Erfassungsbereich mittels einer oder mehrere Infrarot-Lichtquellen (z.B. Infrarot-LEDs) ausgeleuchtet werden, ohne dass die Gefahr einer Blendung für einen Insassen des Kraftfahrzeugs gegeben ist.
-
Besonders bevorzugt weist das Bediensystem 1 eine Sensorvorrichtung 2 auf, mit der stereoskopische oder dreidimensionale Bilder erfasst werden können. Dies erleichtert beispielsweise die Erkennung der oberen Extremitäten eines Insassen des Kraftfahrzeugs, da leichter zwischen oberer Extremität, Hintergrund und Vordergrund innerhalb des Erfassungsbereichs der Sensorvorrichtung unterschieden werden kann, als dies bei einer zweidimensionalen Bilderfassung der Fall ist.
-
Eine stereoskopische oder dreidimensionale Bilderfassung kann beispielsweise in an sich bekannter Weise durch eine entsprechende stereoskopische Anordnung und Ausrichtung der Erfassungsachsen von zwei Kameraeinrichtungen für sichtbares oder Infrarotlicht und eine dementsprechende Auswertung der erfassten Bilddaten durch die Auswertungsvorrichtung erreicht werden. Auch mittels einer oder mehrerer Radar-Einrichtungen kann beispielsweise die Lage und/oder Bewegung einer Hand und der Finger innerhalb des Erfassungsbereichs der Radar-Einrichtung räumlich erfasst werden. Aufgrund der (Weiter)Entwicklungen der vergangenen Jahre konnten die Baugrößen von Radar-Einrichtungen zunehmend verkleinert werden, so dass diese nunmehr für das Bediensystem 1 trotz des in einem Kraftfahrzeug nur beschränkt zur Verfügung stehenden Raums einsetzbar sind.
-
Insbesondere bevorzugt sind als Sensorvorrichtung 2 des Bediensystems 1 ein oder mehrere sog. „Time-of-Flight-Einrichtungen vorhanden, wobei das Bediensystem 1 selbstverständlich weitere, davon technisch verschiedene Bilderfassungseinrichtungen aufweisen kann.
-
Bei Vorrichtungen und Verfahren nach dem Time-of-Flight-Prinzip (Laufzeitprinzip) wird ein von einer Sendeeinrichtung ausgesandtes (emittiertes) Signal an einem Objekt reflektiert und das reflektierte Signal von einer Empfangseinrichtung detektiert. Anhand der Geschwindigkeit und der Laufzeit des Signals kann die Entfernung des Objekts von der Empfangseinrichtung ermittelt werden.
-
Time-of-Flight-Einrichtungen enthalten drei wesentliche Komponenten: eine aktive Beleuchtungseinrichtung, eine bilderzeugende Sensoreinrichtung sowie eine Empfangsoptik. Die aktive Beleuchtungseinrichtung strahlt moduliertes Licht, beispielsweise im nahen Infrarot-Bereich aus. Licht, das auf ein Objekt oder eine Oberfläche trifft, wird zu der Einrichtung zurück reflektiert und mit Hilfe der Empfangsoptik auf den Bildsensor projiziert. Durch eine Korrelation von emittierten und empfangenen Signalen ist es möglich, für jedes Pixel die Entfernung des/der beleuchteten Objekts/Szene von dem Sensor zu berechnen. Time-of-Flight-Einrichtungen liefern für jedes Pixel zwei verschiedene Informationen, die Intensität (Amplitude, Grau-Wert) und den Abstand (Distanzwert, Tiefenwert) von der Einrichtung. Die erfassten Informationen ergeben dann beispielsweise (ein) Amplitudenbild(er) und/oder Distanzbild(er) oder es können derartige Bilder aus den erhaltenen Informationen erzeugt werden.
-
Ein Time-of-Flight-Sensor ist eine Matrix, bestehend aus Distanz-Sensoren, der üblicherweise in herkömmlicher CMOS-Technologie gefertigt ist. Daher können Bildgebung und 3-d-Messmöglichkeiten mit Elektronik wie Analog-Digital-Wandler usw. kombiniert werden. Alle „Intelligenz“ des Time-of-Flight-Sensors, einschließlich der Distanz-Berechnung für jeden Pixel, ist in dem Chip integriert. Time-of-Flight-Pixel werden daher manchmal auch „intelligente Pixel“ genannt.
-
Die erhaltene 3D-Information kann dann auf verschiedene Weise weiterverwendet und/oder weiterverarbeitet werden.
-
Eine der bekanntesten Vorrichtung zur Abstandsbestimmung nach dem Time-of-Flight-Prinzip ist ein PMD-System bzw. PMD-Kamerasystem. In einem solchen PMD-Kamerasystem ist ein Photomischdetektor (auch PMD-Sensor genannt; PMD = Photonic Mixing Device) als Sensor enthalten. Ein PMD-Sensor weist ein ein- bzw. in der Regel mehrzeiliges Array von PMD-Detektorelementen und eine Empfangsoptik auf. Ein oder mehrere PMD-Systeme bzw. PMD-Kamerasysteme können in besonders bevorzugter Weise in dem Bediensystem 1 vorgesehen sein.
-
-
Der Erfassungsbereich der Sensorvorrichtung 2 ist nicht besonders beschränkt, umfasst jedoch wenigstens einen in Bezug auf Größe und Position vorgebbaren Teilbereich des Innenraums des Kraftfahrzeugs. Je nachdem, welcher und wie viele Insassen (Fahrer, Beifahrer, Insasse der zweiten oder einer weiteren Sitzreihe) eine fahrzeugseitige Vorrichtung mittels des Bediensystems bedienen können soll, wird/werden der/die Erfassungsbereich(e) der einen oder mehreren Sensorvorrichtungen 2 des Bediensystems 1 in geeigneter Weise gewählt sein.
-
Oftmals wird jedoch vorgesehen sein, dass nur ein Fahrer und ein Beifahrer mittels des Bediensystems 1 eine oder mehrere fahrzeugseitige Vorrichtungen 7 bedienen können soll. In diesem Fall kann sich beispielsweise der Erfassungsbereich der Sensorvorrichtung 2 in horizontaler Richtung (Breitenrichtung) von einigen wenigen Zentimetern (beispielsweise 2, 5, 10, 15 cm, etc.) beabstandet von einem äußeren Rands einer Lenkhandhabe (Lenkrad) bis zu einem Abstand von mehreren Zentimetern (beispielsweise 20, 25, 30, 35, 40 cm, etc.) seitlich des äußeren Rands der Lenkhandhabe erstrecken, mit einer geeigneten Längsrichtung, die beispielsweise in horizontaler Richtung (aus Sicht des Fahrers) einige Zentimeter (beispielsweise 2, 5, 10, 15 cm, etc.) vor dem äußeren Rands der Lenkhandhabe beginnt und einige Zentimeter vor dem Armaturenbrett bzw. der Mittelkonsole (beispielsweise 2, 5, 10, 15 cm, etc.) endet.
-
Die Höhe des Erfassungsbereichs kann bei einer Sensorvorrichtung, mit der stereoskopische oder dreidimensionale Bilddaten erfasst werden können, in vorteilhafter Weise in jeder geeigneten Größe gewählt werden, beispielsweise beginnend am unteren Ende einige Zentimeter (beispielsweise 2, 5, 10, 15 cm, etc.) oberhalb des Bereichs, der für eine angezogene Handbremse benötigt wird. Die Höhe des Erfassungsbereichs kann von dort ausgehend beispielsweise einen Bereich umfassen, in dem ein Fahrer nach dem Loslassen der Lenkhandhabe und einem zumindest teilweisen Ausstrecken seines Arms üblicherweise seine Hand für eine Geste halten bzw. hinbewegen wird. Der Erfassungsbereich kann eine jede geeignete Höhe aufweisen, beispielsweise 20, 25, 30, 35, 40 cm, etc.
-
Bezüglich der Lage und Größe des Erfassungsbereichs der Sensorvorrichtung 2 kann es von Vorteil sein, wenn der Erfassungsbereich beispielsweise nicht einen Bereich der Lenkhandhabe und/oder die Oberfläche des Armaturenbretts oder der Mittelkonsole umfasst. Hierdurch kann beispielsweise verhindert werden, dass eine Handbewegung für einen Lenkvorgang, eine Betätigung einer Schaltereinrichtung am Armaturenbrett öder der Mittelkonsole, oder das Betätigen der Handbremse irrtümlicherweise als Geste interpretiert wird.
-
Bezüglich der Anordnung der Sensoreinrichtung(en) der Sensorvorrichtung 2 bestehen keine besonderen Beschränkungen. Die Sensoreinrichtung(en) der Sensorvorrichtung 2 muss/müssen lediglich innerhalb des Kraftfahrzeugs an (einer) geeigneten Stelle(n) angeordnet sein, beispielsweise in einem Bereich des Dachs, der für den jeweiligen Nutzer (Fahrer, Beifahrer, weitere(r) Insasse(n)) eine möglichst sichere und störungsfreie Erfassung von Bilddaten ermöglicht und wobei die gewählte Perspektive eine zumindest ausreichend gute Auswertung der erfassten Bilddaten und somit Gestenerkennung erlaubt. Als weitere Beispiele für eine Anordnung der Sensoreinrichtung(en) können beispielsweise das Armaturenbrett, die Mittelkonsole, eine Türverkleidung, der Bereich des inneren Rückspiegels, etc. erwähnt werden.
-
Das Bediensystem 1 weist eine Speichervorrichtung 3 auf, die jede Art von geeigneter Speichereinrichtung umfassen kann, beispielsweise einen (wieder)beschreibbaren nichtflüchtigen magnetischen, optischen oder Halbleiterspeicher. In der Speichereinrichtung können Handgesten und Handgesten zugeordnete Aktionen bei einer oder mehreren fahrzeugseitigen Einrichtungen 7 gespeichert sein.
-
Die Auswahl an möglichen Handgesten, die Auswahl an fahrzeugseitigen Vorrichtungen 7, die mittels einer oder mehrerer Handgesten gesteuert werden dürfen, sowie die Aktionen, die mittels Handgesten bei jeder der ausgewählten Vorrichtung 7 durchgeführt werden dürfen, werden von einem Mitarbeiter des Herstellers des Kraftfahrzeugs oder einer anderen hierfür vom Hersteller des Kraftfahrzeugs autorisierten Person (z.B. autorisiertes Servicepersonal) in der Speichervorrichtung 3 gespeichert. Dem Nutzer des Kraftfahrzeugs wird, um die Funktionssicherheit des Bediensystems 1 nicht zu gefährden, demgegenüber nicht die Möglichkeit eingeräumt, diese Vorgaben zu ändern, beispielsweise weitere Gesten hinzuzufügen. Der Nutzer kann aber frei aus den zur Verfügung gestellten Gesten, Vorrichtungen 7 und Aktionen bei den Vorrichtungen 7 auswählen, entsprechende Zuordnungen vornehmen und in der Speichervorrichtung 3 abspeichern.
-
Bezüglich der Handgesten bestehen keine besonderen Beschränkungen. Bei Handgesten wird oftmals zwischen statischen Gesten, Bewegungsgesten und komplexen Gesten unterschieden, die alle grundsätzlich bei dem Bediensystem 1 Verwendung finden können.
-
Statische Gesten, von denen einige der geeigneten Beispiele in 2 schematisch dargestellt sind, werden anhand einer vordefinierten Handhaltung erkannt. Die in 2 dargestellten statischen Gesten, die auch als Gesten eines Fingeralphabets bekannt sind, repräsentieren nur einen kleinen Teil der möglichen statischen Gesten. Weitere mögliche statische Gesten sind beispielsweise diejenigen, mit denen das gesamte Alphabet in verschiedenen Sprachen sowie die Ziffern 0 bis 9 dargestellt werden können. Derartige statische Gesten sind in verschiedenen Publikationen und über das Internet öffentlich zugänglich.
-
Dynamische Gesten, von denen einige der geeigneten Beispiele in 3 schematisch dargestellt sind, werden anhand einer vordefinierten von der Hand und/oder einem oder mehreren Fingern durchlaufenen Bahnkurve erkannt. Hierbei kann einerseits die Form im dreidimensionalen Raum analysiert und ergänzend auch die Geschwindigkeit ausgewertet werden, mit der die einzelnen Abschnitte im dreidimensionalen Raum durchlaufen werden. Wie bereits bei den in 2 dargestellten statischen Gesten, bilden auch die in 3 abgebildeten dynamischen Gesten nur einen kleinen Teil der möglichen dynamischen Gesten. Die in 3 dargestellten beispielhaften dynamischen Gesten sind insbesondere durch eine bestimmte Bewegung von zwei oder mehr Fingern charakterisiert. Verwendbare dynamische Gesten können selbstverständlich jedoch auch die Bewegung von mehr oder weniger Fingern, andere Bewegungen der Finger und/oder Bewegungen der Hand an sich umfassen.
-
Die Dauer der Durchführung einer dynamischen Geste beansprucht üblicherweise in einem Zeitraum von etwa einer halben und zwei Sekunden. Damit eine dynamische Geste als solche erkannt werden kann, ist eine Erfassung und Auswertung einer ausreichenden Anzahl an Bildern (Frames) innerhalb dieses Zeitraums erforderlich und muss daher die Sensorvorrichtung 2 und die Auswertungsvorrichtung 4 entsprechend eingerichtet sein.
-
Üblicherweise sollte für eine sichere Erkennung einer dynamischen Geste die Aufnahmefrequenz 10 bis 15 Frames pro Sekunde nicht unterschreiten, kann - entsprechende Auslegung bzw. Leistungsfähigkeit der Sensorvorrichtung 2 und/oder der Auswertungsvorrichtung 4 vorausgesetzt - jedoch auch höhere Werte annehmen, beispielsweise 20, 25, 30, 35, 40, 45 oder 50 Frames pro Sekunde.
-
Komplexe Gesten zeichnen sich dadurch aus, dass sie mehrere hintereinander ausgeführte statische Gesten und/oder eine statische Geste, die eine vordefinierte Bahnkurve durchläuft, umfassen.
-
In bevorzugter Weise können die in der Speichervorrichtung 3 gespeicherten, vorgegebenen Handgesten statische und dynamische Gesten einer Hand umfassen.
-
Auch bezüglich der vorgegebenen Aktionen und den fahrzeugseitigen Vorrichtungen 7 bestehen keine besonderen Beschränkungen. Beispielsweise kann/können die fahrzeugseitige(n) Vorrichtung(en) eine Radioeinrichtung, eine Multi-Media-Einrichtung, eine Telekommunikations-Einrichtung, eine Einrichtung zur Satellitengestützten Navigation, eine Innenraum-Temperierungseinrichtung, eine Beleuchtungseinrichtung für den Innenraum des Fahrzeugs, eine Beleuchtungseinrichtung für den Außenbereich des Fahrzeugs, eine Einrichtung zum Verstellen von Sitzen, eine Einrichtung zum Verstellen von Spiegeln, eine Einrichtung zum Öffnen und Schließen von Fenstern des Fahrzeugs, eine Einrichtung zum Öffnen und Schließen von Türen des Fahrzeugs und/oder eine Einrichtung zum Aussenden eines Funksignals zum Öffnen und Schließen von einer/einem sich außerhalb des Fahrzeugs befindlichen Tür/Tor umfassen.
-
Und die Aktion(en) kann/können beispielsweise ein Aktivieren, Deaktivieren, Einstellen und/oder Verstellen der fahrzeugseitigen Vorrichtung und/oder eine Eingabe bei der fahrzeugseitigen Vorrichtung umfassen.
-
Das Bediensystem 1 weist auch eine Bedienvorrichtung 6 auf, mittels der eine vorgegebene gespeicherte Handgeste auswählbar, eine vorgegebene gespeicherte Aktion bei einer fahrzeugseitigen Vorrichtung 7 auswählbar, eine Zuordnung von ausgewählter Handgeste zu ausgewählter Aktion durchführbar, sowie die vorgenommene Zuordnung in der Speichervorrichtung 6 abspeicherbar ist.
-
Bezüglich der Bedienvorrichtung 6 bestehen keine besonderen Beschränkungen und es kann jede geeignete Bedienvorrichtung 6 verwendet werden. In bevorzugter Weise umfasst die Bedienvorrichtung 6 einen Bildschirm.
-
Auf einem Bildschirm können die auswählbaren Gesten, die auswählbaren fahrzeugseitigen Vorrichtungen 7 sowie die auswählbaren Aktionen bei den einzelnen fahrzeugseitigen Vorrichtungen 7 angezeigt werden. Ist der Bildschirm berührungsempfindlich, können beispielsweise eine auswählbare Geste, eine auswählbare fahrzeugseitige Vorrichtung 7 sowie eine auswählbare Aktion bei der fahrzeugseitigen Vorrichtung 7 mittels entsprechenden Berührungen der Oberfläche des Bildschirms ausgewählt werden und eine Zuordnung zwischen einer Geste, einer fahrzeugseitigen Vorrichtung 7 und einer Aktion bei der fahrzeugseitigen Vorrichtung 7 vorgenommen werden. Beispielsweise mittels einer Berührung eines auf dem Bildschirm angezeigten Icon kann diese vorgenommene Zuordnung dann in der Speichereinrichtung abgespeichert werden. In entsprechender Weise kann vorgegangen werden, wenn der Bildschirm näherungsempfindlich ist.
-
Ist der Bildschirm weder berührungs- noch näherungsempfindlich, können die Auswahlen und die Zuordnungen auf jede andere geeignete Weise vorgenommen werden, beispielsweise mit Hilfe eines Touchpads, Keypads, Schaltern (z.B. Dreh-Drück-Schalter, Joy-Stick), etc. Auch können diese Vorgänge beispielsweise mit Hilfe von Sprachbefehlen durchgeführt werden.
-
Um die Robustheit der Gestenerkennung zu erhöhen, können bei der Auswertung, ob die erfasste Haltung und/oder Bewegung der Hand einer in der Speichervorrichtung gespeicherten Handgeste entspricht, eine erkannte Position der Hand innerhalb des Erfassungsbereichs mit einbezogen werden. Zu dem gleichen Zweck kann bei der Auswertung, ob die erfasste Haltung und/oder Bewegung der Hand einer in der Speichervorrichtung gespeicherten Handgeste entspricht, eine erkannte Stellung des Unter- und Oberarms zur Hand mit einbezogen werden.
-
Hierdurch kann das Erreichen von reproduzierbaren Ergebnissen erleichtert werden trotz der natürlicherweise gegebenen Variabilität der durchgeführten Gesten, die sowohl bei ein und demselben Insassen des Kraftfahrzeugs als auch bei verschiedenen Insassen des Kraftfahrzeugs vorkommen kann.
-
In vorteilhafter Weise können in der Speichervorrichtung 3 des Bediensystems 1 für verschiedene Insassen (Fahrer, Beifahrer, weitere(r) Insasse(n)) des Kraftfahrzeugs unterschiedliche Zuordnungen zwischen einer vorgegebenen Handgeste und einer vorgegebenen Aktion bei einer fahrzeugseitigen Vorrichtung 7 in der Speichervorrichtung 3 abspeicherbar sein. Hierdurch können beispielsweise in Abhängigkeit von dem jeweils aktuellen Fahrer bei ein und derselben fahrzeugseitigen Vorrichtung 7 eine bestimmte Aktion durch unterschiedliche Gesten durchgeführt werden. Für das Auswählen des gewünschten Satzes an Zuordnungen und/oder das Erkennen eines Nutzers kann auf bekannte Vorrichtungen und Verfahren zurückgegriffen werden. Beispielsweise kann ein Satz an Zuordnungen mittels eines Bildschirms ausgewählt werden, oder es kann ein Fahrer mittels der von ihm verwendeten Zugangs- bzw. Nutzungsberechtigung (z.B. Chipkarte, codierter Fahrzeugschlüssel) oder einer im Fahrzeug vorhandenen Gesichtserkennung erkannt und ein mit dem erkannten Fahrer verknüpfter Satz an Zuordnungen ausgewählt und aktiviert werden.
-
Die vorliegende Erfindung betrifft auch ein Verfahren zum Bedienen von einer oder mehreren fahrzeugseitigen Vorrichtungen 7 mittels eines Bediensystems 1 in einem Kraftfahrzeug, das unter anderem aufweist
- - eine Sensorvorrichtung 2, die zur Erfassung von Bilddaten einer sich im Erfassungsbereich der Sensorvorrichtung 2 befindlichen Hand eines Insassen des Kraftfahrzeugs und zur Übermittlung der erfassten Bilddaten an eine Auswertungsvorrichtung 4 eingerichtet ist, wobei der Erfassungsbereich der Sensorvorrichtung 2 einen in Bezug auf Größe und Position vorgebbaren Teilbereich des Innenraums des Kraftfahrzeugs umfasst,
- - eine Speichervorrichtung 3, in der Handgesten und Handgesten zugeordnete Aktionen bei einer oder mehreren fahrzeugseitigen Einrichtungen 7 gespeichert sind,
- - eine Auswertungsvorrichtung 4, die die durch die Sensorvorrichtung 2 erfassten und übermittelten Bilddaten dahin auswertet, ob die im Erfassungsbereich der Sensorvorrichtung 2 befindliche Hand eine Haltung einnimmt und/oder eine Bewegung durchführt, die einer in der Speichervorrichtung 3 gespeicherten Handgeste entspricht,
- - eine Steuervorrichtung 5, die für den Fall, dass die Haltung und/oder Bewegung der Hand durch die Auswertungsvorrichtung 4 als eine gespeicherte Handgeste erkannt wird, die der gespeicherten Handgeste zugeordnete Aktion bei einer fahrzeugseitigen Vorrichtung 7 ausführt oder ausführen kann, und
- - eine Bedienvorrichtung 6 für das Bediensystem 1.
-
Das erfindungsgemäße Verfahren umfasst die folgenden Schritte:
- - Speichern in der Speichervorrichtung 3 einer Anzahl an vorgegebenen Handgesten und einer Anzahl an vorgegebenen Aktionen für eine oder mehrere fahrzeugseitige Vorrichtungen 7,
- - Auswählen einer vorgegebenen gespeicherten Handgeste, Auswählen einer Aktion für eine fahrzeugseitige Vorrichtung und Zuordnen der ausgewählten Handgeste zu der ausgewählten Aktion mittels der Bedienvorrichtung 6, sowie
- - Speichern der vorgenommenen Zuordnung zwischen Handgeste und Aktion in der Speichervorrichtung 3 mittels der Bedienvorrichtung 6.
-
Ferner umfasst das erfindungsgemäße Verfahren weiter die Schritte
- - Erfassen mittels der Sensorvorrichtung 2 von Bilddaten einer im Erfassungsbereich der Sensorvorrichtung 2 befindlichen Hand eines Insassen des Kraftfahrzeugs und Übermittlung der erfassten Bilddaten an die Auswertungsvorrichtung 4,
- - Auswerten mittels der Auswertungsvorrichtung 4 der durch die Sensorvorrichtung 2 erfassten und übermittelten Bilddaten dahin, ob die im Erfassungsbereich der Sensorvorrichtung 2 befindliche Hand eine Haltung einnimmt und/oder eine Bewegung durchführt, die einer in der Speichervorrichtung 3 gespeicherten Handgeste entspricht, und
- - für den Fall, dass die Haltung und/oder Bewegung der Hand durch die Auswertungsvorrichtung 4 als eine gespeicherte Handgeste erkannt wird, Durchführen der der gespeicherten Handgeste zugeordneten Aktion bei einer fahrzeugseitigen Vorrichtung 7 mittels der Steuervorrichtung 5.
-
Die erste vorteilhafte Weiterbildung des erfindungsgemäßen Verfahrens kann mittels der folgenden Schritte in vorteilhafter Weise weitergebildet werden:
- - Auswerten der von der Sensorvorrichtung 2 erfassten und übermittelten Bilddaten bezüglich der räumlichen Position der Hand innerhalb des Erfassungsbereichs der Sensorvorrichtung 2 und/oder der Stellung des Unter- und Oberarms zur Hand innerhalb des Erfassungsbereichs der Sensorvorrichtung 2 durch die Auswertungsvorrichtung 4, und
- - Einbeziehen einer erkannten räumlichen Position der Hand und/oder einer Stellung des Unter- und Oberarms zur Hand innerhalb des Erfassungsbereichs der Sensorvorrichtung 2 bei der Auswertung, ob die erfasste Haltung und/oder Bewegung der Hand einer in der Speichervorrichtung 3 gespeicherten Handgeste entspricht, durch die Auswertungsvorrichtung 4.
-
In Bezug auf das erfindungsgemäße Verfahren und seine möglichen Weiterbildungen und Ausgestaltungen wird auf die obigen Ausführungen bezüglich des erfindungsgemäßen Bediensystems 1 verwiesen, die auf das erfindungsgemäße Verfahren entsprechend übertragbar sind.
-
Selbstverständlich kann bei dem Bediensystem 1 sowie bei dem Verfahren vorgesehen sein, dass bestimmte Aktionen bei einer vorgegebenen Situation trotz korrekter Erkennung einer Geste und einer gegebenen Zuordnung zwischen der Geste und einer Aktion bei einer fahrzeugseitigen Vorrichtung 7 nicht durchgeführt werden bzw. durchgeführt werden dürfen. Beispielsweise kann vorgesehen sein, dass das Fahrlicht (Abblendlicht) nicht mittels einer Geste ausgeschaltet werden darf, sofern sich das Kraftfahrzeug bewegt und die Umgebungshelligkeit einen vorgebbaren Schwellenwert unterschreitet.
-
Weiter kann bei dem Bediensystem 1 sowie bei dem Verfahren vorgesehen sein, dass der Fahrer oder ein anderer Insasse eine optische und/oder akustische Rückmeldung bezüglich des Ergebnisses einer Gestenerkennung und/oder der Durchführung einer Aktion bei einer fahrzeugseitigen Vorrichtung 7 erhält. Beispielsweise kann bei einer nicht erfolgreichen Erkennung einer Geste bzw. bei nicht erfolgter Durchführung einer Aktion ein anderer Signalton ausgegeben werden, als bei einer erfolgreichen Erkennung bzw. einer erfolgten Durchführung einer Aktion.
-
Ebenfalls kann bei dem Bediensystem 1 sowie bei dem Verfahren vorgesehen sein, dass die Sensorvorrichtung 2 durch den Fahrer oder einen anderen Insassen des Kraftfahrzeugs deaktiviert werden kann. Gemäß einer weiteren von der vorliegenden Erfindung umfassten Weiterbildung des Bediensystems 1 sowie des Verfahrens kann beispielsweise vorgesehen sein, dass eine bestimmte Handlung von einem Fahrer oder einem anderen Insassen des Kraftfahrzeugs vorgenommen werden muss, damit das Bediensystem 1 aktiviert wird. Eine solche Handlung kann beispielsweise eine vorgegebene Geste sein, die der Fahrer oder ein anderer Insasse des Kraftfahrzeugs innerhalb des Erfassungsbereichs der Sensorvorrichtung 2 durchführt. Hierdurch kann beispielsweise verhindert werden, dass eine sich im Erfassungsbereich der Sensorvorrichtung 2 befindliche Hand bzw. deren Bewegung als Geste erkannt und eine damit verknüpfte Aktion bei einer fahrzeugseitigen Vorrichtung 7 durchgeführt wird, ohne dass dies vom Fahrer oder einem anderen Insassen beabsichtigt war.
-
Ebenfalls von der vorliegenden Erfindung umfasst ist eine Weiterbildung des Bediensystems 1 sowie des Verfahrens dahin, das von einem Fahrer oder einem anderen Insassen vorgenommene Zuordnungen zwischen Gesten und Aktionen bei einer oder mehreren fahrzeugseitigen Vorrichtungen 7 verändert und/oder gelöscht werden können. Auch kann vorgesehen sein, dass durch eine entsprechend autorisierte Stelle oder Person die in der Speichervorrichtung 3 vorgegebenen, gespeicherten Gesten und vorgegebenen, gespeicherten Aktionen bei fahrzeugseitigen Vorrichtungen 7 verändert werden dürfen, beispielsweise dann, wenn durch eine Verbesserung des in der Auswertungsvorrichtung 4 verwendeten Auswertungs-Computerprogramms eine zuverlässige Erkennung von bisher nicht vorgesehenen Gesten möglich wird.
-
Aus den obigen Ausführungen ist ersichtlich, dass eine Vielzahl an weiteren Modifikationen des Bediensystems 1 sowie des Verfahrens möglich ist, ohne dass hierdurch der Schutzbereich der Patentansprüche verlassen wird.
-
Die vorliegende Erfindung umfasst die Steuerung von fahrzeugseitigen Vorrichtungen 7 durch Ausführen einer Geste in einem vorgegebenen Interaktionsraum im Inneren eines Kraftfahrzeugs.
-
Mittels einer Sensorvorrichtung 2 und eine Auswertungsvorrichtung 4 (Verarbeitungselektronik) wird die Haltung und/oder Bewegung der Hand (die Geste) in einem vorgegebenen Interaktionsraum (Erfassungsbereich der Sensorvorrichtung 2; zum Beispiel über der Mittelkonsole) detektiert.
-
Mittels des Bediensystems 1 sowie des Verfahrens kann ein Nutzer (Fahrer oder ein anderer Insasse des Kraftfahrzeugs) bestimmten vorgegebenen bzw. vordefinierten Gesten eine Aktion bei einer fahrzeugseitigen Vorrichtung 7 zuweisen. D.h. jeder Geste kann vergleichbar einer Preset-Tastenleiste eine Funktion zugewiesen werden. Diese Auswahl und Zuordnung kann beispielsweise mit Hilfe eines Bildschirms (grafisches Display) erfolgen.
-
Die einer Geste zugewiesene Aktion bzw. Funktion kann grundsätzlich eine jede beliebige in einem Kraftfahrzeug mögliche Aktion bzw. Funktion umfassen. Als einfache Beispiele seien hier erwähnt die Wahl eines Radiosenders, die Aktivierung eines satellitengestützten Navigationssystems, die Auswahl eines Navigationsziels, die Betätigung eines Garagentoröffners, etc.
-
In vorteilhafter Weise können für das Bediensystems 1 sowie das Verfahren statische Gesten (stationäre Gesten) und/oder dynamische Gesten (Bewegungsgesten) zum Einsatz kommen.
-
Um die Robustheit die Erkennung der Gesten zu erhöhen, können weitere Parameter wie zum Beispiel die Position der Hand im Raum und/oder die Stellung des Unter-und Oberarms zur Hand ausgewertet werden.
-
Durch das Bediensystem 1 und das Verfahren können fahrzeugseitige Vorrichtungen 7 berührungslos bedient und/oder gesteuert werden, ohne dass eine Bedienfläche und/oder Bedienelemente für die fahrzeugseitige Vorrichtung 7 erforderlich sind.
-
Ein Fachmann kennt die für das Bediensystem 1 erforderlichen und/oder geeigneten Vorrichtungen, Einrichtungen, Komponenten, etc. sowie die Möglichkeiten für deren Zusammenwirken (z.B. drahtgebunden und/oder drahtlos; Datenkommunikation mittels eines Bussystems, etc.), so dass in der vorliegenden Anmeldung hierauf nicht näher eingegangen zu werden braucht.
