DE102012216184A1

DE102012216184A1 - Komfortable Steuerung von Infotainmenteinrichtungen und/oder Klimaeinrichtungen eines Fahrzeugs von außen

Info

Publication number: DE102012216184A1
Application number: DE201210216184
Authority: DE
Inventors: Chadly Marouane; Christopher Rölle; Sonja Rümelin
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2012-09-12
Filing date: 2012-09-12
Publication date: 2014-06-12

Abstract

Ein System zur Steuerung einer Klimaeinrichtung und/oder einer Infotainmenteinrichtung eines Fahrzeugs durch einen Benutzer, der sich außerhalb des Fahrzeugs befindet, weist zumindest eine am Fahrzeug angeordnete Tiefenkamera zur Erfassung von Tiefenbildern in zumindest einem Bereich außerhalb des Fahrzeugs, eine Gestenerkennungseinheit, welche eingerichtet ist, die von der Tiefenkamera erfassten Tiefenbilder zu empfangen, aus den Tiefenbildern eine Geste des Benutzers zu identifizieren und mit einer Menge vordefinierter Gesten zu vergleichen, wobei, wenn die identifizierte Geste als eine der vordefinierten Gesten erkannt wird, die Gestenerkennungseinheit die identifizierte Geste als eine erkannte Geste bestimmt und ein Signal ausgibt, das die erkannte Geste anzeigt, und eine Steuereinheit auf, welche mit der Gestenerkennungseinheit verbunden ist und eingerichtet ist, in Antwort auf Empfang des Signals, das die erkannte Geste anzeigt, eine der erkannten Geste zugeordnete Funktion der Klimaeinrichtung und/oder der Infotainmenteinrichtung zu steuern.

Description

Die vorliegende Erfindung betrifft das Gebiet der Steuerung von Klima- und/oder Infotainmenteinrichtungen eines Fahrzeugs.
Moderne Fahrzeuge werden mit einer zunehmenden Anzahl verschiedener Klimaeinrichtungen und Infotainmenteinrichtungen ausgestattet.
Die vielen Funktionen und Funktionalitäten, die von Infotainmenteinrichtungen, wie etwa Radio-, Audio-, Audio/Video-, Navigations- oder Telefonfunktionen Klimaeinrichtungen, wie beispielsweise Klimaanlagen, Sitzheizungen, Standheizungen und ähnlichem bereitgestellt werden, werden meist durch eine Benutzerschnittstelle gesteuert, die sich eines im Fahrzeug angeordneten Bildschirms bedient, um einem Fahrer des Fahrzeugs verschiedene Menüs zur Steuerung dieser Funktionen darzustellen. Dem Fahrer steht weiter ein Steuerelement bereit, mittels dessen der Fahrer durch die Menüstruktur navigieren und die einzelnen Funktionen anwählen und aktivieren/deaktivieren oder einstellen kann. Ein Beispiel einer derartigen Benutzerschnittstelle ist das in Fahrzeugen der Marke BMW eingesetzte iDrive System.
Aus dem Dokument DE 10 2009 032 069 A1 ist weiter eine Benutzerschnittstelle in einem Fahrzeug bekannt, bei der auf einer im Fahrzeug angeordneten Anzeigefläche Bedienobjekte und Anzeigeobjekte angezeigt werden. Ein Benutzer kann mit der Benutzerschnittstelle interagieren, indem er oder sie eine Geste innerhalb eines Raums vor der Anzeigefläche als einem Erfassungsraum ausführt, um einen dem Bedienobjekt oder Anzeigeobjekt zugeordneten Steuerbefehl zu veranlassen. Mit einer in der Mittelkonsole oder im Armaturenbrett angeordneten Kamera werden dabei die Gesten im Erfassungsraum erfasst. Ähnliche Systeme sind aus den Dokumenten DE 101 47 940 A1 und DE 10 2008 048 325 A1 bekannt.
Derartige Benutzerschnittstellen weisen den Nachteil auf, dass zur Bedienung der Klimaeinrichtungen und Infotainmenteinrichtungen der Fahrer im Fahrzeug sitzen muss.
Es ist ferner bekannt, eine Fahrzeugfunktion aus der Ferne mittels eines Funksenders zu aktivieren. So können viele Fahrzeuge mit Funkschlüsseln aufgesperrt oder verriegelt werden, oder der Kofferraumdeckel geöffnet werden. Ein anderes Beispiel eines tragbaren Funksenders ist aus dem Dokument DE 10 2009 052 079 A1 bekannt.
Nachteilig ist hierbei, dass zur Fernsteuerung der Funkschlüssel mit sich geführt werden muss. Zudem bieten Funkschlüssel auf Grund ihrer Größe nur eine begrenzte Möglichkeit, zusätzliche Bedienelemente vorzusehen, mit denen etwaige zusätzliche Funktionen aktiviert werden könnten.
Mit der My BMW Remote App ist ferner eine Software bekannt, die auf einem Smartphone wie beispielsweise dem iPhone installiert werden kann, um beispielsweise eine Klimaautomatik eines Fahrzeugs der Marke BMW aus der Ferne zu aktivieren und zu deaktivieren, oder eine gewünschte Fahrzeuginnentemperatur einzustellen.
Auch hierbei ist es notwendig, das Smartphone als zusätzliches Bedienelement mit sich zu führen. Zudem muss zur Fernsteuerung eine Datenverbindung über das Mobilfunknetz vom Smartphone zum Fahrzeug aufgebaut werden, was insbesondere im Ausland mit hohen Kosten verbunden sein kann. Darüber hinaus ist diese Art der Fernsteuerung nur in Gebieten möglich, in denen Mobilfunkempfang existiert.
Aus dem Dokument DE 10 2006 015 891 A1 ist ferner ein System bekannt, mit der eine Heckklappe berührungslos geöffnet werden kann. Hierzu ist eine Sensoreinrichtung an der Heckklappe angeordnet, welche in Reaktion auf eine Bewegung eines Nutzers in der Umgebung der Heckklappe das automatische Öffnen der Heckklappe veranlasst.
Es ist daher eine Aufgabe der Erfindung, ein System und ein Verfahren anzugeben, mit dem ein Benutzer von außerhalb eines Fahrzeugs eine komfortable Steuerung von Klimaeinrichtungen und/oder Infotainmenteinrichtungen des Fahrzeugs vornehmen kann.
Es ist eine weitere Aufgabe der Erfindung, ein System und ein Verfahren anzugeben, mit dem eine sichere Steuerung von Klimaeinrichtungen und/oder Infotainmenteinrichtungen des Fahrzeugs durch einen autorisierter Benutzer von außerhalb eines Fahrzeugs vorgenommen werden kann.
Diese und andere Aufgaben der Erfindung werden durch die Merkmale der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen dargelegt.
In einem Aspekt weist ein System zur Steuerung einer Klimaeinrichtung und/oder einer Infotainmenteinrichtung eines Fahrzeugs durch einen Benutzer, der sich außerhalb des Fahrzeugs befindet, eine Tiefenkamera, eine Gestenerkennungseinheit und eine Steuereinheit auf. Die Tiefenkamera ist am Fahrzeug so angeordnet, dass sie zumindest einen Bereich außerhalb des Fahrzeugs abdeckt und Tiefenbilder für diesen Bereich erfassen kann. Die Gestenerkennungseinheit verarbeitet die Tiefenbilder, um aus diesen eine Geste des Benutzers zu identifizieren und mit einer Menge vordefinierter Gesten zu vergleichen. Ergibt der Vergleich, dass die identifizierte Geste in der Menge der vordefinierten Gesten enthalten ist, so wird die identifizierte Geste als eine erkannte Geste bestimmt und ein entsprechendes Signal an die Steuereinheit ausgegeben. In Antwort auf dieses Signal steuert die Steuereinheit einer der erkannten Geste zugeordnete Funktion der Klimaeinrichtung und/oder der Infotainmenteinrichtung.
Dadurch kann ein Benutzer mittels Gesten auf komfortable Weise mit dem Fahrzeug interagieren, um Funktionen einer Klimaeinrichtung oder einer Infotainmenteinrichtung zu aktivieren oder zu deaktivieren, oder um Einstellungen zu ändern, ohne dass er oder sie sich zu diesem Zweck in das Fahrzeug begeben muss, oder zusätzliche Bedienelemente wie Fernsteuerungen oder Smartphones mitführen muss.
Die Tiefenkamera kann so angeordnet sein, dass sie einen Bereich benachbart einer Fahrertür des Fahrzeugs erfasst. Vorzugsweise können mehrere Tiefenkameras vorgesehen sein, die im Wesentlichen den gesamten Bereich 360 Grad um das Fahrzeug herum abdecken. Es kann damit ein Benutzer mit dem Fahrzeug aus einer beliebigen Position interagieren.
Bevorzugt kann zusätzlich zumindest eine Videokamera vorgesehen sein, die so am oder im Fahrzeug angeordnet ist, dass sie den von der oder den Tiefenkameras abgedeckten Bereich erfasst und Videobilder des erfassten Bereichs ausgibt. Zusätzlich kann eine Videoverarbeitungseinheit vorgesehen sein, welche die Videobilder verarbeitet. Insbesondere kann die Videobearbeitungseinheit dazu eingerichtet sein, in den Videobildern Gesichter zu erkennen und Gesichtsdaten zu extrahieren, um diese mit Gesichtsdaten zu vergleichen, die für zumindest einen Benutzer als einem autorisierten Benutzer in einer Gesichtsdatenspeichereinheit gespeichert sein können. Die Videobearbeitungseinheit kann auch dazu eingerichtet sein, ein Signal auszugeben, das Anzeigen ist für die Person des autorisierten Benutzers und/oder den Positionsbereich, in dem sich der autorisierte Benutzer aufhält.
Die Erkennung, ob ein autorisierter Benutzer erfasst wurde, kann von der Steuereinheit dazu verwendet werden, die gestenbasierte Steuerung der Klimaeinrichtung und/oder der Infotainmenteinrichtung freizugeben oder zu sperren, und/oder um die Tiefenkameras und/oder die Gestenerkennungseinheit zu aktivieren oder zu deaktivieren. Auf diese Weise kann die Gestenerkennung für einen festgelegten Nutzerkreis aktiviert und eine unerwünschte und/oder nicht autorisierte Nutzung der Gestenerkennung vermieden werden.
Vorzugsweise können in der Steuereinheit für verschiedene autorisierte Benutzer unterschiedliche Aktionen vorgesehen sein, die mittels Gesten gesteuert werden können. So kann für einen autorisierten Benutzer nur die Steuerung der Klimaeinrichtung und das Ausschalten der Infotainmenteinrichtung erlaubt sein, während für einen anderen autorisierten Benutzer alle Steuerfunktionen erlaubt sind.
Die Erkennung eines autorisierten Benutzers kann ebenfalls dazu verwendet werden, um eine Steuerung nur auf Grund von Gesten auszuführen, welche von einem autorisierten Benutzer ausgeführt werden. Hierzu kann insbesondere die Erfassung von Gesten mittels der Tiefenkamera auf einen Bereich begrenzt werden, der dem erkannten Positionsbereich des autorisierten Benutzers entspricht. Wenn sich daher neben dem autorisierten Benutzer weitere Personen in der Umgebung des Fahrzeugs befinden, kann eine Steuerung durch unbefugte Personen verhindert werden.
Für den Fall, dass sich mehrere Personen in der Umgebung des Fahrzeugs befinden, kann auch ein priorisierter Bereich definiert werden, bevorzugt benachbart der Fahrertür, um nur Gesten zur Steuerung zu berücksichtigen, die von einer der mehreren Personen ausgeübt werden, die sich in dem priorisierten Bereich aufhält.
Vorzugsweise kann ein Funkschlüssel des Fahrzeugs dazu verwendet werden, um die Gestenerkennung zu aktivieren oder zu deaktivieren. Der Schlüssel kann passiv eingesetzt werden, wobei die Gestenerkennung aktiviert wird, sobald erkannt wird, dass sich der Funkschlüssel in Reichweite befindet. Alternativ kann der Schlüssel aktiv verwendet werden, indem die Gestenerkennung durch eine Betätigung eines Tasters auf dem Schlüssel aktiviert wird. Auf diese Weise kann eine unerwünschte und/oder nicht autorisierte Nutzung der Gestenerkennung vermieden werden.
Vorzugsweise ist es auch möglich, dass eine Aktivierungsgeste vorgesehen ist. Die gestenbasierte Steuerung der Funktionen der Klimaeinrichtung und/oder der Infotainmenteinrichtung kann dabei von der Steuereinrichtung erst aktiviert werden, wenn erkannt wurde, dass ein Benutzer die Aktivierungsgeste ausgeübt hat.
Es kann vorgesehen sein, dass die Steuereinheit über akustische oder optische Mittel, wie einem Blinker, einer Hupe, einem über die Infotainmenteinrichtung wiedergegebenen akustischen Signal oder ähnliches, eine Rückmeldung gibt. Insbesondere kann eine Rückmeldung als Bestätigung der Gestenerkennung erfolgen, wenn eine Funktion gesteuert wird, deren Auswirkung nicht unmittelbar wahrnehmbar sind, wie das Aktivieren einer Sitzheizung, und/oder als eine Rückmeldung, dass eine Funktion, die der getätigten Geste entspricht, nicht ausgeübt wird, weil der Benutzer nicht autorisiert ist, die Funktion für den autorisierten Benutzer nicht freigegeben ist, oder die Funktion aus anderen Gründen nicht ausgeführt wird. Auf diese Weise kann es einem Benutzer erleichtert werden, das System zu bedienen.
Als Gesten werden bevorzugt Gesten verwendet, welche einen symbolischen Bezug auf die zu steuernde Funktion aufweisen. Um eine Infotainmenteinrichtung auszuschalten, die Musik wiedergibt, kann beispielsweise eine Geste definiert sein, wobei der Benutzer einen Finger oder eine Handfläche vor den Mund führt. Der Benutzer wird diese Geste „Finger/Hand auf den Mund” leicht als eine Geste verstehen, die die Bedeutung von „Leise sein” hat. Entsprechend kann zum Einschalten einer Infotainmenteinrichtung zum Abspielen von Musik eine Geste definiert sein, wobei der Benutzer einen Finger oder eine Handfläche zum Ohr führt. Der Benutzer wird diese Geste „Finger/Hand an Ohr” leicht als eine Geste verstehen, die die Bedeutung von „Hören” hat. Um die Lautstärke einzustellen, mit der beispielsweise Musik wiedergegeben wird, kann eine Geste definiert sein, bei welcher der Benutzer mit einer Auf- oder Abbewegung der Hand anzeigt, dass die Lautstärke erhöht oder erniedrigt werden soll. Die Auf-/Abbewegung der Hand kann kombiniert sein mit dem Führen der anderen Hand an den Mund entsprechend der „Finger/Hand auf den Mund” Geste, oder der „Finger/Hand an Ohr” Geste.
Um es dem Benutzer zu ermöglichen, etwa bei kaltem Wetter, die Klimaanlage und die Sitzheizung zu aktivieren, kann eine Geste definiert sein, bei welcher der Benutzer beide Hände vor seinem oder ihrem Oberkörper überkreuzt hält. Der Benutzer wird diese Geste „überkreuzte Hände vor Oberkörper” leicht als eine Geste verstehen, welche die Bedeutung von „ich friere” hat.
Es ist dabei bevorzugt, dass eine Aktivierung der Klimaanlage nur erfolgt, wenn eine kalte Temperatur festgestellt wird. Das System kann daher Umfeldsensoren aufweisen, welche die Temperatur messen. Die Steuereinrichtung kann die gemessene Temperatur berücksichtigen und eine Aktivierung der Klimaanlage und der Sitzheizung nur vornehmen, wenn eine Umgebungstemperatur gemessen wird, die unterhalb eines vordefinierten oder einstellbaren unteren Schwellenwerts liegt. Auf diese Weise kann ein unnötiges Aktivieren der Klimaanlage oder der Sitzheizung vermieden werden.
Auf ähnliche Weise können weitere Umfelddaten mit Umfeldsensoren erfasst werden, welche die Steuereinrichtung berücksichtigt, um eine durch eine erkannte Geste angezeigte Funktion zu steuern oder nicht zu steuern, oder um abhängig von den Umfelddaten die Steuerung der Funktion anzupassen.
In einem weiteren Aspekt weist ein Verfahren zur Steuerung einer Klimaeinrichtung und/oder einer Infotainmenteinrichtung eines Fahrzeugs durch einen Benutzer, der sich außerhalb des Fahrzeugs befindet, die Schritte auf: Erfassen von Tiefenbildern für zumindest einem Bereich außerhalb des Fahrzeugs durch zumindest eine am Fahrzeug angeordnete Tiefenkamera, Erkennung von zumindest einer vordefinierten Geste, die von dem Benutzer in dem erfassten Bereich ausgeübt wird durch eine Gestenerkennungseinheit, und wenn durch die Gestenerkennungseinheit eine vordefinierten Geste erkannt wird, Steuern einer der erkannten Geste zugeordneten Funktion der Klimaeinrichtung und/oder der Infotainmenteinrichtung durch eine Steuereinheit.
Im Folgenden wird die Erfindung anhand von Beispielen unter Bezugnahme auf die folgenden Figuren näher erläutert.
1 zeigt schematisch ein Blockdiagramm eines Systems zur Steuerung einer Klimaeinrichtung und/oder einer Infotainmenteinrichtung eines Fahrzeugs durch einen Benutzer, der sich außerhalb des Fahrzeugs befindet, gemäß einer Ausführungsform der Erfindung;
2 stellt symbolisch einen Benutzer dar, der eine Geste zum Erhöhen der Lautstärke der Infotainmenteinrichtung ausübt;
3 stellt symbolisch einen Benutzer dar, der eine Geste zum Senken der Lautstärke der Infotainmenteinrichtung ausübt; und
4 stellt symbolisch die Erkennung eines Benutzers als einen autorisierten Benutzer dar; und
5 stellt symbolisch einen Benutzer dar, der eine Geste zum Aktivieren der Klimaeinrichtung ausübt.
Die 1 zeigt schematisch ein Blockdiagramm eines Systems zur Steuerung einer Klimaeinrichtung 80 und/oder einer Infotainmenteinrichtung 90 eines Fahrzeugs durch einen Benutzer, der sich außerhalb des Fahrzeugs befindet, gemäß einer Ausführungsform der Erfindung
Wie in der 1 dargestellt, weist das System eine Tiefenkamera 11, eine Gestenerkennungseinheit 12 und eine Steuereinrichtung 20 auf.
Die Tiefenkamera 11 ist am Fahrzeug so angeordnet, dass sie zumindest einen Bereich in der Umgebung des Fahrzeugs umfasst, wie beispielsweise einen Bereich in der Nähe der Fahrertür. Es können auch mehrere Tiefenkameras 11 vorgesehen sein, so dass vorzugsweise die gesamte Umgebung im Bereich von 360 Grad um das Fahrzeug durch die Tiefenkameras 11 abgedeckt und erfasst wird. Die Tiefenkamera 11 kann beispielsweise in einem Rückspiegelgehäuse, in der A-, B- oder C-Säule, in einer Heckklappe oder in einer Dachleiste des Fahrzeugs integriert sein.
Die Tiefenkamera 11 kann 3D Bilddaten in Form einer Tiefenkarte bereitstellen. Zu diesem Zweck kann die Tiefenkamera 11 mit einer Quelle für moduliertes und/oder strukturiertes Licht, insbesondere Infrarotlicht, ausgestattet sein, welche den überwachten Bereich beleuchtet. Bei der Verwendung modulierten Lichts kann die Laufzeit zwischen Aussenden und Empfangen des Lichts, englisch: „Time-of-Flight” ausgewertet werden, um die gewünschte Tiefeninformation zu ermitteln. Alternativ oder ergänzend kann strukturiertes Licht verwendet werden, bei dem das Licht in Form eines Musters, etwa eines Rasters, eines Lichtstreifens oder einer definierten Punktmatrix, ausgesendet wird, wobei aus den reflektierten und erfassten Werten die gewünschte Tiefeninformation trianguliert werden kann. Die Fähigkeit einer Tiefenkamera, eine Tiefenkarte bereitzustellen, erlaubt eine einfache und direkte Tiefenbildsegmentierung, um Personen und deren Gliedmaße und Bewegungen zu erkennen. Es ist daher möglich, eine sehr zuverlässige Erkennung auch in einem Bereich von einigen Metern bis zu etwa 10 Meter Entfernung vom Fahrzeug zu erzielen.
Als Tiefenkamera 11 kann auch ein Stereokamerasystem verwendet werden.
Die von der Tiefenkamera oder den Tiefenkameras 11 erfassten Tiefenbilder werden der Gestenerkennungseinheit 12 zugeführt. Die Gestenerkennungseinheit 12 führt eine Verarbeitung der Tiefenbilder durch, um in den Tiefenbildern Positionen und/oder Bewegungen des Körpers, des Oberkörpers oder des Kopfes, sowie von Armen oder Beinen eines Benutzers identifizieren. Basierend darauf identifiziert die Gestenerkennungseinheit 12, durch einen Vergleich mit vordefinierten Gesten, die in einer (nicht dargestellten) Gestenspeichereinheit gespeichert sind, ob der Benutzer eine der gespeicherten, vordefinierten Gesten ausführt. Falls dies der Fall ist, wird die Geste als eine erkannte Geste bestimmt. Die Gestenerkennungseinheit 12 gibt dann ein Signal an die Steuereinrichtung 20 aus, dass anzeigt, dass eine Geste erkannt wurde und dass es sich um die erkannte Geste handelt. Die Tiefenkamera(s) 11 und die Gestenerkennungseinheit 12 können separat oder in einer Gesteneinheit 10 zusammengefasst vorgesehen sein.
Wenn die Steuereinheit 20 von der Gestenerkennungseinheit 12 das Signal für die erkannte Geste empfängt, steuert die Steuereinheit 20 eine der erkannten Geste zugeordnete Funktion der Klimaeinrichtung 80 oder der Infotainmenteinrichtung 90.
Die Klimaeinrichtung 80 kann beispielsweise eine Klimaautomatik sein, wobei beispielsweise die Funktionen Klimaautomatik Aktivieren, Heizen, Lüften oder Kühlen gesteuert werden können. Die Klimaeinrichtung 80 kann auch eine Sitzheizung sein, die aktiviert werden kann.
Die Infotainmenteinrichtung 90 kann die Funktionalitäten Radio, CD-Spieler, Medienspieler, Videowiedergabe usw. verfügen, wobei Funktionen wie Aktivieren, Deaktivieren, Lautstärkeeinstellung, Quellenwahl, Vor-/Zurückspringen und ähnliches gesteuert werden können. Die Infotainmenteinrichtung 90 kann auch eine Telefonfunktionalität umfassen, wobei ein Annehmen oder Ablehnen eines eingehenden Anrufs, oder ein Beenden eines Anrufs gesteuert werden können.
Die Zuordnung von Funktionen zu erkannten Gesten kann vom Fahrzeughersteller fest vorgegeben sein. Vorzugsweise kann ein Benutzer die Zuordnung durch eine entsprechende Programmierung selbst festlegen.
Mit Bezug auf die 2 und die 3 soll nun die Arbeitsweise des Systems beispielhaft erläutert werden.
In der 2 ist ein Benutzer dargestellt, der eine Lautstärke erhöhen möchte, mit der die Infotainmenteinrichtung 90 Musik wiedergibt. Der Benutzer führt dazu eine Geste aus, bei der der Benutzer eine Hand, in der 2 die linke Hand des Benutzers, an sein oder ihr Ohr legt. Gleichzeitig führt er oder sie mit der anderen Hand eine Auf-/Abbewegung aus. Diese Geste, die von der Tiefenkamera 11 in entsprechenden Tiefenbildern erfasst wird, wird vom System als Geste erkannt, der die Funktion, die Lautstärke der Infotainmenteinrichtung 90 zu erhöhen, zugeordnet ist. Diese Funktion wird entsprechend gesteuert und die Lautstärke erhöht.
Die 3 zeigt den Fall, in dem der Benutzer die Lautstärke senken möchte. Der Benutzer führt dazu eine Geste aus, bei er oder sie einen Finger einer Hand vor den Mund hält, während er oder sie mit der anderen Hand eine Auf-/Abbewegung ausführt. Diese Geste wird vom System als Geste zum Senken der Lautstärke erkannt und entsprechend steuert das System die Lautstärke herunter.
Mit Bezug wieder auf die 1 kann das System optional auch eine oder mehrere Videokameras 31 aufweisen, die vorzugsweise so am oder im Fahrzeug angeordnet sind, Videobilder für zumindest den Bereich zu erfassen, der von der oder von den Tiefenkameras 11 abgedeckt wird. Die Videobilder stellen farbige 2D Bewegtbilder dar, die von einer Videoverarbeitungseinheit 32 verarbeitet werden können. Die Videokamera(s) 31 und die Videoverarbeitungseinheit 32 können separat oder in einer Videoeinheit 30 zusammengefasst vorgesehen sein.
Vorzugsweise ist der Videoverarbeitungseinheit 32 eine Gesichtsdatenspeichereinheit (nicht dargestellt) zugeordnet, in welcher Gesichtsdaten für einen oder für mehrere Benutzer als autorisierte Benutzer gespeichert sind, und die Videoverarbeitungseinheit 32 kann eingerichtet sein, basierend auf den gespeicherten Gesichtsdaten, eine Gesichtserkennungsverarbeitung auf den Videobildern auszuführen, um festzustellen, ob in den Videobildern zumindest ein autorisierter Benutzer erfasst wurde. Falls dies der Fall ist, kann die Videoverarbeitungseinheit 32 zusätzlich bestimmen, um welche Person es sich bei dem autorisierten Benutzer handelt, indem sie auf entsprechende Information in der Gesichtsdatenspeichereinheit zugreift, und/oder in welchem Positionsbereich sich der autorisierte Benutzer befindet.
Dies ist beispielhaft in der 4 dargestellt, die beispielhaft darstellt, wie ein Benutzer von der Videokamera 31 erfasst wird und auf den erfassten Videobildern eine Gesichtserkennungsoperation ausgeführt wird, um zu Bestimmen, ob der Benutzer ein autorisierter Benutzer ist oder nicht. Die Gesichtserkennung kann vorteilhaft dazu verwendet werden, um nur einer bestimmten, vordefinierten Gruppe möglicher Benutzer zu gestatten, die Klimaeinrichtung 80 oder die Infotainmenteinrichtung 90 durch Gesten von außen zu steuern.
Wenn die Gesichtserkennung auch die Person identifiziert, die als autorisierter Benutzer erkannt wurde, und ein entsprechendes Signal an die Steuereinrichtung 20 sendet, kann die Steuereinrichtung 20 in die Lage versetzt werden, die Steuerung von Funktionen abhängig von der identifizierten Person zu machen. So können für jeden möglichen autorisierten Benutzer unterschiedliche Funktionen zur Steuerung freigegeben sein, oder die Funktionen zur Steuerung können personenabhängig unterschiedlich voreingestellt sein. So kann ein möglicher autorisierter Benutzer wünschen, dass beim Einschalten der Infotainmenteinrichtung 90 Musik eines bestimmten Radiosenders mit einer bestimmten Lautstärke erfolgen soll, während ein anderer möglicher Benutzer es vorziehen mag, die Wiedergabe in dem Zustand und mit der Lautstärke fortzusetzen, zu der die Infotainmenteinrichtung 90 zuletzt eingestellt war.
Die Gesichtserkennung autorisierter Benutzer kann auch dazu verwendet werden, um bei Anwesenheit mehrerer Personen nur solche Gesten zu erkennen, zu verarbeiten und zur Steuerung zu verwenden, die von einer autorisierten Person stammen, und Gesten anderer Personen zu ignorieren. Dies kann beispielsweise dadurch erreicht werden, dass der mit der Gesichtserkennung mittels der Videoverarbeitungsbereich bestimmte Positionsbereich der Tiefenkamera 11 und/oder der Gestenerkennungseinheit 12 mitgeteilt wird, so dass eine Gestenerkennung nur für den Positionsbereich ausgeführt wird und Gesten, die von Personen außerhalb des Positionsbereichs ausgeführt werden, nicht dazu führen, dass eine Geste erkannt wird.
Die Videoerfassung und Videoverarbeitung mittels der Videokamera 31 und der Videoverarbeitungseinheit 32 kann auch dazu verwendet werden, um die Gestenerkennung zu aktivieren. So kann zum Beispiel erkannt werden, ob sich eine beliebige Person, oder alternativ ein autorisierter Benutzer dem Fahrzeug nähert, um in Antwort darauf die Gestenerkennung zu aktivieren, zum Beispiel durch einschalten und aktivieren der Tiefenkamera 11 und der Gestenerkennungseinheit 12. Auf diese Weise kann ein unnötiger Betrieb der Gestenerkennung vermieden werden.
Mit Bezug auf die 1 kann das System optional auch eine Empfangseinrichtung 41 zur Erfassung von Funksignalen eines Funkschlüssels 45 aufweisen, sowie eine Zugangsautorisierungseinrichtung 42, die bestimmt, ob ein erfasster Funkschlüssel 45 dem Fahrzeug zugeordnet ist. Das passive Vorhandensein eines zugeordneten Funkschlüssels im Erfassungsbereich der Empfangseinrichtung 41, oder alternativ das aktive Betätigen einer Taste des Funkschlüssels 45 können dazu verwendet werden, um die Gestenerkennung und/oder die Gesichtserkennung zu aktivieren. Auf diese Weise kann ein unnötiger Betrieb der Gestenerkennung vermieden werden. Die Empfangseinrichtung 41 und die Zugangsautorisierungseinrichtung 42 können separat oder in einer Einheit 40 zusammengefasst vorgesehen sein.
Das System kann auch so eingerichtet sein, dass die Steuerung von Funktionen mittels der Steuereinrichtung 20 zunächst aktiviert werden muss, indem der Benutzer eine vordefinierte Aktivierungsgeste ausübt. Auf diese Weise kann ein besserer Schutz gegen unerwünschte Steuerung auf Grund von unbeabsichtigt ausgeübten Bewegungen, die fälschlich als Steuerungsgesten interpretiert werden, erreicht werden.
Werden die Funkschlüsselerkennung, die Gesichtserkennung und die Aktivierungsgeste kombiniert, kann ein besonders gut gegen unautorisierte und unerwünschte Benutzung gesicherter Betrieb des Systems erzielt werden.
Die Steuereinheit 20 kann auch eingerichtet sein, optische und/oder akustische Signaleinrichtungen 60 des Fahrzeugs anzusteuern, wie Lichter, Blinker oder Hupe, um dem Benutzer eine Rückmeldung zu geben. Dies kann beispielsweise erfolgen, um die Erkennung einer Geste und die Steuerung der zugeordneten Funktion zu bestätigen, insbesondere wenn eine Funktion gesteuert wird, deren Auswirkung nicht unmittelbar wahrnehmbar sind, wie das Einschalten einer Sitzheizung. Dies kann auch dazu dienen, anzuzeigen, dass eine Geste nicht erkannt wurde, oder dass eine Geste zwar erkannt wurde, aber die entsprechende Funktion nicht ausgeübt wird, weil der Benutzer nicht autorisiert ist, die Funktion für den autorisierten Benutzer nicht freigegeben ist, oder die Funktion aus anderen Gründen nicht ausgeführt wird.
Das System kann auch über Umgebungssensoren 50 zur Erfassung eines Umgebungszustandes verfügen. Die Steuereinrichtung 20 kann den erfassten Umgebungszustand berücksichtigen, um die Steuerung einer Funktion auf eine erkannte Geste abzuändern oder zu unterlassen. So kann zum Beispiel ein Umgebungstemperatursensor 51 zum Messen der Umgebungstemperatur vorgesehen sein. Wenn ein Benutzer eine Geste zur Aktivierung der Klimaanlage und der Sitzheizung ausübt, indem er oder sie wie in 5 beispielhaft veranschaulicht die Hände vor dem Oberkörper kreuzt, kann die Steuereinrichtung 20 die Umgebungstemperatur berücksichtigen, so dass auf die erkannte Geste eine Aktivierung der Klimaanlage zum Heizen und eine Aktivierung der Sitzheizung nur erfolgt, wenn die Umgebungstemperatur unter einem vordefinierten unteren Schwellwert, wie beispielsweise dem Gefrierpunkt, ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102009032069 A1 [0004]
DE 10147940 A1 [0004]
DE 102008048325 A1 [0004]
DE 102009052079 A1 [0006]
DE 102006015891 A1 [0010]

Claims

System zur Steuerung einer Klimaeinrichtung (80) und/oder einer Infotainmenteinrichtung (90) eines Fahrzeugs durch einen Benutzer, der sich außerhalb des Fahrzeugs befindet, aufweisend: zumindest eine am Fahrzeug angeordnete Tiefenkamera (11) zur Erfassung von Tiefenbildern in zumindest einem Bereich außerhalb des Fahrzeugs; eine Gestenerkennungseinheit (12), welche eingerichtet ist, die von der Tiefenkamera (11) erfassten Tiefenbilder zu empfangen, aus den Tiefenbildern eine Geste des Benutzers zu identifizieren und mit einer Menge vordefinierter Gesten zu vergleichen, wobei, wenn die identifizierte Geste als eine der vordefinierten Gesten erkannt wird, die Gestenerkennungseinheit (12) die identifizierte Geste als eine erkannte Geste bestimmt und ein Signal ausgibt, das die erkannte Geste anzeigt; und eine Steuereinheit (20), welche mit der Gestenerkennungseinheit (12) verbunden ist und eingerichtet ist, in Antwort auf Empfang des Signals, das die erkannte Geste anzeigt, eine der erkannten Geste zugeordnete Funktion der Klimaeinrichtung (80) und/oder der Infotainmenteinrichtung (90) zu steuern.
System nach Anspruch 1, weiterhin aufweisend zumindest eine Videokamera (31), wobei die zumindest eine Videokamera (31) so angeordnet ist, zumindest den von der zumindest einen Tiefenkamera (11) erfassten Bereich zu erfassen, um Videobilder des erfassten Bereichs auszugeben; eine Gesichtsdatenspeichereinheit, in welcher Gesichtsdaten für zumindest einen Benutzer als einem autorisierten Benutzer gespeichert sind; und eine Videoverarbeitungseinheit (32), die eingerichtet ist, die von der Videokamera (31) erfassten Videobilder zu verarbeiten und zu erkennen, basierend auf den in der Gesichtsdatenspeichereinheit gespeicherten Gesichtsdaten, ob zumindest ein autorisierter Benutzer erfasst wurde, bevorzugt mit einer Bestimmung der Person und/oder eines Positionsbereichs des autorisierten Benutzers.
System nach Anspruch 2, wobei die Steuereinheit (20) eingerichtet ist, die zumindest eine Tiefenkamera (11) und die Gestenerkennungseinheit (12) zu aktivieren, in Antwort auf die Bestimmung der Videoverarbeitungseinheit (32), dass ein autorisierter Benutzer erkannt wurde.
System nach Anspruch 2 oder 3, wobei das System eine Erkennung von Gesten nur für einen Benutzer ausführt, der als autorisierter Benutzer bestimmt wurde.
System nach einem der Ansprüche 1 bis 4, wobei das System, wenn eine Mehrzahl von Benutzern in dem von der zumindest einen Tiefenkamera (11) erfassten Bereich erkannt werden, eine Erkennung von Gesten nur für einen Benutzer ausführt, der sich in einem priorisierten Bereich befindet.
System nach Anspruch 5, wobei der priorisierte Bereich ein von der Videoverarbeitungseinheit (32) bestimmter Positionsbereichs eines autorisierten Benutzers ist.
System nach einem der Ansprüche 2 bis 6, wobei für jeden autorisierten Benutzer eine Menge von zur Steuerung freigegebenen Funktionen der Klimaeinrichtung (80) und/oder der Infotainmenteinrichtung (90) abgelegt sind, und wobei die Steuereinrichtung (20) eine der erkannten Geste zugeordnete Funktion nur steuert, wenn für die von der Videoverarbeitungseinheit (32) bestimmten Person des autorisierten Benutzers die Steuerung der Funktion freigegeben ist.
System nach einem der Ansprüche 1 bis 7, wobei die Menge vordefinierter Gesten eine Aktivierungsgeste umfasst, und wobei die Steuereinheit die Steuerung der Funktionen der Klimaeinrichtung (80) und/oder der Infotainmenteinrichtung (90) aktiviert, wenn die Aktivierungsgeste als erkannte Geste angezeigt wird.
System nach einem der Ansprüche 1 bis 8, wobei die Menge vordefinierter Gesten zumindest eines umfasst von: einer Geste, in welcher der Benutzer einen Finger oder eine Handfläche einer Hand vor den Mund führt, wobei die zugeordnete Funktion ein Abschalten der Infotainmenteinrichtung (90) ist, einer Geste, in welcher der Benutzer einen Finger oder eine Handfläche einer Hand zum Ohr führt, wobei die zugeordnete Funktion ein Anschalten der Infotainmenteinrichtung (90) zur Widergabe von Musik oder anderen Audioinhalten ist, einer Geste, in welcher der Benutzer einen Finger oder eine Handfläche einer Hand zum Ohr führt und mit der anderen Hand eine Auf-/Abbewegung ausführt, wobei die zugeordnete Funktion ein Erhöhen einer Lautstärke der Infotainmenteinrichtung (90) ist, und einer Geste, in welcher der Benutzer einen Finger oder eine Handfläche einer Hand auf den Mund führt, und mit der anderen Hand eine Auf-/Abbewegung ausführt, wobei die zugeordnete Funktion ein Erniedrigen einer Lautstärke der Infotainmenteinrichtung (90) ist.
System nach einem der Ansprüche 1 bis 9, wobei die Menge vordefinierter Gesten zumindest eines umfasst von: einer Geste, bei der der Benutzer beide Hände vor dem Oberkörper kreuzt, wobei die zugeordnete Funktion ein Aktivieren einer Klimaanlage zum Heizen des Fahrzeugs und/oder ein Aktivieren einer Sitzheizung ist, und einer Geste, bei der der Benutzer mit einer Hand über die Stirn wischt, wobei die zugeordnete Funktion ein Aktivieren einer Klimaanlage zum Kühlen des Fahrzeugs ist.
System nach Anspruch 10, wobei das System ferner einen Sensor (51) zum Erfassen einer Umgebungstemperatur aufweist, und wobei, wenn die erkannte Geste die Geste ist, bei welcher der Benutzer beide Hände vor dem Oberkörper kreuzt, das Steuergerät die Klimaanlage zum Heizen des Fahrzeugs nur dann steuert und aktiviert, wenn die erfasste Umgebungstemperatur einen unteren Schwellwert unterschreitet.
Fahrzeug, aufweisend: eine Infotainmenteinrichtung (90) und/oder eine Klimaeinrichtung (80); und ein System zur Steuerung der Klimaeinrichtung (80) und/oder der Infotainmenteinrichtung (90) nach einem der Ansprüche 1 bis 11.
Verfahren zur Steuerung einer Klimaeinrichtung (80) und/oder einer Infotainmenteinrichtung (90) eines Fahrzeugs durch einen Benutzer, der sich außerhalb des Fahrzeugs befindet, aufweisend die Schritte: Erfassen von Tiefenbildern für zumindest einen Bereich außerhalb des Fahrzeugs durch zumindest eine am Fahrzeug angeordnete Tiefenkamera (11); Erkennung von zumindest einer vordefinierten Geste, die von dem Benutzer in dem erfassten Bereich ausgeübt wird durch eine Gestenerkennungseinheit (12); und wenn durch die Gestenerkennungseinheit (12) eine vordefinierten Geste erkannt wird, Steuern einer der erkannten Geste zugeordneten Funktion der Klimaeinrichtung (80) und/oder der Infotainmenteinrichtung (90) durch eine Steuereinheit (20).
Verfahren nach Anspruch 13, weiterhin aufweisend die Schritte: Erfassen von Funksignalen eines Funkschlüssels (45) und Bestimmen, ob der Funkschlüssel dem Fahrzeug zugeordnet ist; wenn bestimmt wird, dass der Funkschlüssel (45) dem Fahrzeug zugeordnet ist, aktivieren zumindest einer Videokamera (31); Erfassen von Videobildern für den zumindest einen Bereich außerhalb des Fahrzeugs durch die zumindest eine Videokamera (31); Verarbeiten der erfassten Videobilder und Erkennen, ob in den erfassten Videobildern zumindest ein autorisierter Benutzer erfasst wurde, basierend auf Gesichtsdaten, die für zumindest einen Benutzer als einem autorisierten Benutzer gespeichert sind, mit einer Bestimmung der Person und/oder eines Positionsbereichs des autorisierten Benutzers, wenn ein autorisierter Benutzer erfasst wurde, Aktiveren der zumindest einen Tiefenkamera (11) und der Gestenerkennungseinheit (12); Erkennung einer vordefinierten Aktivierungsgeste in einem Positionsbereich, der für den erfassten autorisierten Benutzer bestimmt wurde, und in Antwort auf die Erkennung der Aktivierungsgeste, Freigeben der Steuerung der Klimaeinrichtung (80) und/oder der Infotainmenteinrichtung (90).
Verfahren nach Anspruch 13 oder 14, wobei die Menge vordefinierter Gesten zumindest eines umfasst von: einer Geste, in welcher der Benutzer einen Finger oder eine Handfläche einer Hand vor den Mund führt, wobei die zugeordnete Funktion ein Abschalten der Infotainmenteinrichtung (90) ist, einer Geste, in welcher der Benutzer einen Finger oder eine Handfläche einer Hand zum Ohr führt, wobei die zugeordnete Funktion ein Anschalten der Infotainmenteinrichtung (90) zur Widergabe von Musik oder anderen Audioinhalten ist, einer Geste, in welcher der Benutzer einen Finger oder eine Handfläche einer Hand zum Ohr führt, und mit der anderen Hand eine Auf-/Abbewegung ausführt, wobei die zugeordnete Funktion ein Erhöhen einer Lautstärke der Infotainmenteinrichtung (90) ist, und einer Geste, in welcher der Benutzer einen Finger oder eine Handfläche einer Hand auf den Mund führt, und mit der anderen Hand eine Auf-/Abbewegung ausführt, wobei die zugeordnete Funktion ein Erniedrigen einer Lautstärke der Infotainmenteinrichtung (90) ist, einer Geste, bei welcher der Benutzer beide Hände vor dem Oberkörper kreuzt, wobei die zugeordnete Funktion ein Aktivieren einer Klimaanlage zum Heizen des Fahrzeugs und/oder ein Aktivieren einer Sitzheizung ist, und einer Geste, bei welcher der Benutzer mit einer Hand über die Stirn wischt, wobei die zugeordnete Funktion ein Aktivieren einer Klimaanlage zum Kühlen des Fahrzeugs ist.