DE102018218480A1

DE102018218480A1 - Fahrzeugsteuerung

Info

Publication number: DE102018218480A1
Application number: DE102018218480.1A
Authority: DE
Inventors: Elvir Hasedzic
Original assignee: Jaguar Land Rover Ltd
Current assignee: Jaguar Land Rover Ltd
Priority date: 2017-11-17
Filing date: 2018-10-29
Publication date: 2019-05-23
Also published as: GB2568511B; GB201719070D0; GB2568511A

Abstract

Ein Verfahren zum Bereitstellen einer benutzerbedienten Steuervorrichtung in einer Fahrzeugkabine. Das Verfahren umfasst das Erfassen einer Hand eines Fahrzeuginsassen in einem Raumvolumen innerhalb der Fahrzeugkabine; das Bestimmen einer Position der Hand in Bezug auf die benutzerbediente Steuervorrichtung; und das Bereitstellen der benutzerbedienten Steuervorrichtung in Abhängigkeit davon, dass ein Abstand zwischen mindestens einem Teil der Hand und der benutzerbedienten Steuervorrichtung kleiner oder gleich einem vorgegebenen Schwellwertabstand ist.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich auf eine Fahrzeugsteuerung. Aspekte der Erfindung betreffen eine Steuerung zum Steuern der Bereitstellung einer in einer Fahrzeugkabine angeordneten, benutzerbedienten Steuervorrichtung; ein die Steuerung umfassendes Fahrzeug; ein System zum Steuern der Bereitstellung einer benutzerbedienten Steuervorrichtung in einer Fahrzeugkabine und ein Verfahren zum Steuern der Bereitstellung einer benutzerbedienten Steuervorrichtung in einer Fahrzeugkabine.
STAND DER TECHNIK
Gegenwärtig eingesetzte Fahrzeuge, insbesondere Automobile, sind häufig mit einer oder mehreren benutzerbedienten Steuervorrichtungen ausgestattet, beispielsweise mit Schaltern, Infotainmentsystemen, Anzeigen und anderen Bedienelementen innerhalb der Fahrzeugkabine, die dazu ausgeführt sind, einem Benutzer das Ändern verschiedener Einstellungen des Fahrzeugs zu ermöglichen. Es ist üblich, dass sich benutzerbediente Steuervorrichtungen an einer für die Insassen des Fahrzeugs leicht zugänglichen Stelle befinden, wie beispielsweise an einem Karosserieelement der Fahrzeugkabine. Unter bestimmten Umständen sind einige der benutzerbedienten Steuervorrichtungen in Bereichen angeordnet, die für bestimmte Fahrzeuginsassen in Abhängigkeit von ihrer Funktion leicht zugänglich sind. So können beispielsweise benutzerbediente Steuervorrichtungen, die fahrbezogene Funktionen wie Traktionskontrolleinstellungen oder Fahrmoduseinstellungen regeln, an Orten platziert sein, die nur für den Fahrer des Fahrzeugs leicht zugänglich sind.
Ein Nachteil der oben genannten Lösungen nach dem Stand der Technik besteht darin, dass für die Anbringung solcher benutzerbedienten Steuervorrichtungen nur beschränkt Platz zur Verfügung steht, so dass mehrere Steuervorrichtungen in unmittelbarer Nähe zueinander platziert werden. Dies kann dazu führen, dass Steuervorrichtungen versehentlich betätigt werden. Dies gilt insbesondere für einen Fahrer eines Fahrzeugs, bei dem es häufig vorkommt, dass er eine Steuervorrichtung versehentlich aktiviert, während der Blick auf die Straße gerichtet bleibt. Um ein versehentliches Aktivieren bestimmter Steuervorrichtungen zu vermeiden, sind die entsprechenden Steuervorrichtungen häufig in einer verstauten Konfiguration angeordnet. In solchen Fällen ist es zunächst notwendig, die Steuervorrichtung bereitzustellen, bevor sie bedient werden kann. Diese Lösung reduziert die Wahrscheinlichkeit einer unbeabsichtigten Aktivierung, jedoch ist es schwierig, die Steuervorrichtung bereitzustellen, ohne den Blick auf die Steuervorrichtung zu lenken. Dies gilt insbesondere für einen Fahrer des Fahrzeugs, bei dem die Ablenkung des Blicks von der vorausliegenden Straße die Fähigkeit zur Bedienung des Fahrzeugs beeinträchtigen kann.
Es ist ein Ziel wenigstens bestimmter Ausführungsformen der vorliegenden Erfindung, Nachteile im Zusammenhang mit dem Stand der Technik auszubessern und insbesondere die Bereitstellung verstauter Steuervorrichtungen in einer Fahrzeugkabine zu erleichtern.
ZUSAMMENFASSUNG DER ERFINDUNG
Erfindungsgemäße Aspekte und Ausführungsformen stellen ein Verfahren, eine Steuerung, ein System, ein Fahrzeug, ein Computerprogramm und einen computerlesbaren Datenträger gemäß den angehängten Patentansprüchen bereit.
Gemäß einem Aspekt der vorliegenden Erfindung wird ein Verfahren zur Bereitstellung einer benutzerbedienten Steuervorrichtung in einer Fahrzeugkabine bereitgestellt. Das Verfahren kann das Erfassen der Hand eines Fahrzeuginsassen in einem Raumvolumen innerhalb der Fahrzeugkabine; das Bestimmen einer Position der Hand in Bezug auf die benutzerbediente Steuervorrichtung; und das Bereitstellen der benutzerbedienten Steuervorrichtung in Abhängigkeit davon, dass ein Abstand zwischen mindestens einem Teil der Hand und der benutzerbedienten Steuervorrichtung kleiner oder gleich einem vorgegebenen Schwellwertabstand ist, umfassen.
Auf diese Weise ist es möglich, eine benutzerbediente Steuervorrichtung selektiv bereitzustellen, abhängig davon, dass sich die Hand eines Fahrzeuginsassen in einem vordefinierten Schwellwertabstand zur gewünschten Steuervorrichtung befindet. Dies erleichtert die Bereitstellung erheblich und kann durchgeführt werden, ohne dass der Fahrzeuginsasse den Blick auf die Steuervorrichtung lenkt. Dies ist besonders praktisch für Fahrer eines Fahrzeugs.
In einer Ausführungsform kann das Verfahren das Überwachen der Position der Hand des Fahrzeuginsassen in Bezug auf eine bereitgestellte benutzerbediente Steuervorrichtung und das Verstauen der bereitgestellten benutzerbedienten Steuervorrichtung in Abhängigkeit davon umfassen, dass der Abstand zwischen mindestens einem Teil der Hand und der benutzerbedienten Steuervorrichtung kleiner oder gleich einem vorgegebenen Schwellwertabstand ist.
Es kann erforderlich sein, dass der Benutzer seine Hand zwischen aufeinanderfolgenden Bereitstellungs- oder Stauvorgängen (oder umgekehrt) auf eine Zwischendistanz zurückzieht, die größer als die vorgegebene Schwellwertdistanz ist (gegebenenfalls für eine Zeitspanne, die größer oder gleich einer vorgegebenen Zeitspanne ist), um Fehlauslösungen zu vermeiden. Somit kann die bereitgestellte benutzerbediente Steuervorrichtung in Abhängigkeit davon verstaut werden, dass ein Abstand zwischen mindestens einem Teil der Hand und der benutzerbedienten Steuervorrichtung von größer als ein vordefinierter Schwellwertabstand zu kleiner als oder gleich einem vordefinierten Schwellwertabstand übergeht.
Dementsprechend kann die benutzerbediente Steuervorrichtung in bestimmten Ausführungsformen von einem Fahrzeuginsassen bereitgestellt und anschließend verstaut werden (oder umgekehrt), indem er nacheinander mindestens einen Teil seiner Hand in einem Abstand von der benutzerbedienten Steuervorrichtung platziert, der kleiner oder gleich dem vorgegebenen Schwellwertabstand ist. Dies ermöglicht eine „Umschalt“-Aktion bzw. Bedienung zum Bereitstellen und Verstauen (oder umgekehrt) der benutzerbedienten Steuervorrichtung.
Das Verfahren kann das Bestimmen einer Position der Hand in Bezug auf eine Näherungsgrenze umfassen, die der benutzerbedienten Steuervorrichtung zugeordnet ist. Die Näherungsgrenze kann eine von der benutzerbedienten Steuervorrichtung um den vordefinierten Schwellwertabstand versetzte Grenze definieren. Die benutzerbediente Steuervorrichtung kann in Abhängigkeit davon bereitgestellt werden, dass mindestens ein Teil der Hand die Näherungsgrenze überschreitet.
In bestimmten Ausführungsformen kann das Verfahren das Überwachen der Position der Hand in Bezug auf eine bereitgestellte benutzerbediente Steuervorrichtung und das Verstauen der bereitgestellten benutzerbedienten Steuervorrichtung in Abhängigkeit davon umfassen, dass der Abstand zwischen dem Teil der Hand und der benutzerbedienten Steuervorrichtung größer als der vordefinierte Schwellwertabstand ist. Auf diese Weise kann die benutzerbediente Steuervorrichtung bequem verstaut werden, wenn die Hand des Fahrzeuginsassen um den vordefinierten Schwellwertabstand von der bereitgestellten Steuervorrichtung zurückgezogen wird.
Das Verfahren kann das Verstauen der bereitgestellten benutzerbedienten Steuervorrichtung in Abhängigkeit davon umfassen, dass der Abstand zwischen dem Teil der Hand und der benutzerbedienten Steuervorrichtung für einen Zeitraum, der größer oder gleich einem vordefinierten Schwellwertzeitraum ist, größer als der vordefinierte Schwellwertabstand ist. Dadurch wird ein versehentliches Verstauen der bereitgestellten Steuervorrichtung verhindert, wenn die Hand des Fahrzeuginsassen auf einen Abstand über den vordefinierten Schwellwertabstand hinaus eingezogen wird.
In bestimmten Ausführungsformen kann das Verfahren das Bestimmen, ob die Hand die linke oder rechte Hand des Fahrzeuginsassen ist, und das Bereitstellen der benutzerbedienten Steuervorrichtung in Abhängigkeit davon, ob die Hand die linke oder rechte Hand des Fahrzeuginsassen ist, umfassen. Dies kann das Bestimmen umfassen, ob die Handfläche innerhalb des Raumvolumens in Bezug auf die benutzerbediente Steuervorrichtung nach oben oder unten ausgerichtet ist; und in Abhängigkeit von der Ausrichtung der Hand das Bestimmen dessen, ob die Hand die linke oder rechte Hand des Fahrzeuginsassen ist. Die Analyse der Ausrichtung der Hand bietet eine bequeme Möglichkeit, festzustellen, ob die Hand die linke oder rechte Hand eines Fahrzeuginsassen ist.
Das Verfahren kann das Bestimmen, zu welchem Fahrzeuginsassen die Hand gehört, und das Bereitstellen der benutzerbedienten Steuervorrichtung in Abhängigkeit davon, zu welchem Fahrzeuginsassen die Hand gehört, umfassen. Auf diese Weise ist es vorteilhafterweise möglich, die Steuerung der Bereitstellung einer benutzerbedienten Steuervorrichtung in Abhängigkeit davon, zu welchem Fahrzeuginsassen die Hand gehört, gezielt einzuschränken. Dies kann besonders vorteilhaft sein, wenn die Bereitstellung einer bestimmten benutzerbedienten Steuervorrichtung auf bestimmte Fahrzeuginsassen, wie beispielsweise den Fahrer des Fahrzeugs, beschränkt werden muss.
Das Verfahren kann das Bestimmen einer Eintrittsrichtung der Hand in das Raumvolumen in Bezug auf die benutzerbediente Steuervorrichtung umfassen. Die Eintrittsrichtung der Hand kann ein Hinweis darauf sein, zu welchem Fahrzeuginsassen die Hand gehört, der wiederum dazu verwendet werden kann, die Bereitstellung der benutzerbedienten Steuervorrichtung selektiv auf bestimmte Fahrzeuginsassen einzuschränken.
Das Verfahren kann das Erhalten von Bilddaten der Hand innerhalb des Raumvolumens; das Empfangen eines von der Hand reflektierten Reflexionssignals; das Bestimmen eines Abstands der Hand von einem bestimmten Ursprung in Abhängigkeit vom empfangenen Reflexionssignal; und das Bestimmen der relativen Position der erfassten Hand in Bezug auf die benutzerbediente Steuervorrichtung in Abhängigkeit von dem Abstand der Hand in Bezug auf den bezeichneten Ursprung, den erhaltenen Bilddaten und einem bekannten Abstand der benutzerbedienten Steuervorrichtung in Bezug auf den bezeichneten Ursprung umfassen. Die Zeit, die benötigt wird, bis das Reflexionssignal von einem Empfänger gemessen wird, ist proportional zum Abstand der Hand vom Sensor und bietet somit eine bequeme Möglichkeit, Entfernungsinformationen, die mit der Position der Hand verbunden sind, zu erhalten. Auf diese Weise ist es möglich, die Position der Hand in Bezug auf die benutzerbediente Steuervorrichtung auf der Grundlage eines zweidimensionalen Bildes der Hand in Bezug auf die benutzerbediente Steuervorrichtung und die Abstandsinformationen von der Hand zu bestimmen. Dies vereinfacht erheblich die für die Durchführung des Verfahrens erforderliche Hardware und erübrigt insbesondere die Verwendung eines komplexen Systems von zwei oder mehr Kameras, die jeweils dazu ausgelegt sind, unterschiedliche perspektivische Bilder der Hand in Bezug auf die benutzerbediente Steuervorrichtung aufzunehmen, aus denen der Abstand der Hand in Bezug auf die benutzerbediente Steuervorrichtung bestimmt werden kann.
In bestimmten Ausführungsformen kann der bezeichnete Ursprung mit der Position einer Bilderfassungsvorrichtung übereinstimmen.
In bestimmten Ausführungsformen kann die benutzerbediente Steuervorrichtung eine verstaute Position einnehmen, in der die benutzerbediente Steuervorrichtung im Wesentlichen bündig an einem Karosserieelement innerhalb der Fahrzeugkabine anliegt, und eine bereitgestellte Position, in der die benutzerbediente Steuervorrichtung aus dem Karosserieelement hervorragt und von einem Insassen des Fahrzeugs bedient werden kann.
Wahlweise können die benutzerbedienten Steuervorrichtungen ein oder mehrere Elemente aus Schaltern, einer Anzeigeeinheit, einer Lüftungssteuerungsvorrichtung und einer Lüftungsöffnung umfassen.
In bestimmten Ausführungsformen kann das Verfahren das Bestimmen, ob die Hand eine vordefinierte Geste innerhalb des Raumvolumens in Bezug auf die benutzerbediente Steuervorrichtung ausführt, und das Bereitstellen der benutzerbedienten Steuervorrichtung in Abhängigkeit davon, ob die Hand die vordefinierte Geste ausführt, umfassen. Darüber hinaus kann die benutzerbediente Steuervorrichtung in Abhängigkeit von der spezifischen, von der Hand ausgeführten vordefinierten Geste bereitgestellt und/oder verstaut werden. Die Abhängigkeit der Bereitstellung und/oder des Verstauens von der Erfassung einer bestimmten Geste verbessert zusätzlich die Robustheit des Systems und vermeidet versehentliches Auslösen.
Gemäß einem weiteren Aspekt der Erfindung ist eine Steuerung zum Bereitstellen einer benutzerbedienten Steuervorrichtung in einer Fahrzeugkabine vorgesehen. Die Steuerung kann einen Eingang umfassen, der dazu ausgelegt ist, Bilddaten zu empfangen, die von einer Bilderfassungsvorrichtung, einem Prozessor und einem Ausgang erhalten werden. Der Prozessor kann im Gebrauch so angeordnet sein, dass er eine Hand eines Fahrzeuginsassen aus den Bilddaten erkennt, wobei sich die Hand in einem Raumvolumen innerhalb der Fahrzeugkabine befindet, innerhalb dessen die Bilddaten von der Bilderfassungsvorrichtung erhalten werden; und dass er eine Position der Hand in Bezug auf die benutzerbediente Steuervorrichtung bestimmt. Der Ausgang kann im Gebrauch so angeordnet sein, dass er ein Steuersignal an die benutzerbediente Steuervorrichtung ausgibt, um die benutzerbediente Steuervorrichtung in Abhängigkeit davon einzusetzen, dass der Abstand zwischen mindestens einem Teil der Hand und der benutzerbedienten Steuervorrichtung kleiner oder gleich einem vordefinierten Schwellwertabstand ist. Der vorliegenden Steuerung kommen die gleichen Vorteile zustatten, wie sie in Bezug auf die vorhergehenden Aspekte der Erfindung dargelegt sind.
In einer Ausführungsform kann der Prozessor so angeordnet sein, dass er die Position der Hand des Fahrzeuginsassen in Bezug auf eine bereitgestellte benutzerbediente Steuervorrichtung überwacht und die bereitgestellte benutzerbediente Steuervorrichtung in Abhängigkeit von einem Abstand zwischen mindestens einem Teil der Hand und der benutzerbedienten Steuervorrichtung, der kleiner oder gleich einem vorbestimmten Schwellwertabstand ist, verstaut.
Es kann erforderlich sein, dass der Benutzer seine Hand zwischen aufeinanderfolgenden Bereitstellungs- oder Stauvorgängen (oder umgekehrt) auf eine Zwischendistanz zurückzieht, die größer als die vorgegebene Schwellwertdistanz ist (gegebenenfalls für eine Zeitspanne, die größer oder gleich einer vorgegebenen Zeitspanne ist), um Fehlauslösungen zu vermeiden. Somit kann die bereitgestellte benutzerbediente Steuervorrichtung in Abhängigkeit davon verstaut werden, dass ein Abstand zwischen mindestens einem Teil der Hand und der benutzerbedienten Steuervorrichtung von größer als ein vordefinierter Schwellwertabstand zu kleiner als oder gleich einem vordefinierten Schwellwertabstand übergeht.
Dementsprechend kann die benutzerbediente Steuervorrichtung in bestimmten Ausführungsformen von einem Fahrzeuginsassen bereitgestellt und anschließend verstaut werden, (oder umgekehrt), indem er nacheinander mindestens einen Teil seiner Hand in einem Abstand von der benutzerbedienten Steuervorrichtung platziert, der kleiner oder gleich dem vorgegebenen Schwellwertabstand ist. Dies ermöglicht eine „Umschalt“-Aktion bzw. Bedienung zum Bereitstellen und Verstauen (oder umgekehrt) der benutzerbedienten Steuervorrichtung.
Der Prozessor kann dazu ausgelegt sein, dass er im Gebrauch die relative Position der Hand in Bezug auf eine Näherungsgrenze bestimmt, die der benutzerbedienten Steuervorrichtung zugeordnet ist.
Die Näherungsgrenze kann eine von der benutzerbedienten Steuervorrichtung um den vordefinierten Schwellwertabstand versetzte Grenze definieren. Der Ausgang kann im Gebrauch so angeordnet sein, dass er das Steuersignal in Abhängigkeit von der Position mindestens eines Teils der Hand, der die Näherungsgrenze überschreitet, ausgibt.
In bestimmten Ausführungsformen kann der Prozessor so angeordnet sein, dass er die Position der Hand in Bezug auf eine bereitgestellte benutzerbediente Steuervorrichtung bestimmt, und der Ausgang kann so angeordnet sein, dass er im Gebrauch ein Steuersignal zum Verstauen der bereitgestellten benutzerbedienten Steuervorrichtung in Abhängigkeit davon ausgibt, dass der Abstand zwischen dem Teil der Hand und der benutzerbedienten Steuervorrichtung größer als der vorgegebene Schwellwertabstand ist. Der Ausgang kann optional so angeordnet sein, dass er im Gebrauch das Steuersignal zum Verstauen der bereitgestellten benutzerbedienten Steuervorrichtung in Abhängigkeit davon ausgibt, dass der Abstand zwischen dem Teil der Hand und der benutzerbedienten Steuervorrichtung für einen Zeitraum, der größer oder gleich einem vorbestimmten Schwellwertzeitraum ist, größer als der vordefinierte Schwellwertabstand ist.
Der Prozessor kann im Gebrauch dazu angeordnet werden, zu bestimmen, ob die Hand die linke oder rechte Hand des Fahrzeuginsassen ist, und der Ausgang kann im Gebrauch dazu angeordnet werden, das Steuersignal in Abhängigkeit davon auszugeben, ob die Hand die linke oder die rechte Hand des Fahrzeuginsassen ist.
Der Prozessor kann im Gebrauch dazu angeordnet werden, zu bestimmen, ob die Handfläche innerhalb des Raumvolumens in Bezug zur Steuervorrichtung nach oben oder unten ausgerichtet ist; und in Abhängigkeit von der Ausrichtung der Hand zu bestimmen, ob die Hand die linke oder rechte Hand des Fahrzeuginsassen ist.
Der Prozessor kann im Gebrauch dazu angeordnet werden, den Fahrzeuginsassen zu bestimmen, zu dem die Hand gehört, und der Ausgang kann im Gebrauch dazu angeordnet werden, das Steuersignal in Abhängigkeit davon auszugeben, zu welchem Fahrzeuginsassen die Hand gehört.
Der Prozessor kann im Gebrauch dazu angeordnet werden, eine Eintrittsrichtung der Hand in das Raumvolumen in Bezug zur Steuervorrichtung zu bestimmen.
In bestimmten Ausführungsformen kann der Eingang dazu ausgelegt sein, Daten von einer einen Sensor umfassenden Laufzeit-(Time-of-Flight - ToF)-Bilderfassungsvorrichtung zu empfangen. Die ToF-Bilderfassungsvorrichtung kann im Gebrauch dazu angeordnet sein, Bilddaten der Hand zu erhalten, um die Hand innerhalb des Raumvolumens zu beleuchten, und eine Rückkehrzeit eines reflektierten Beleuchtungssignals zu messen, wobei die Rückkehrzeit des reflektierten Beleuchtungssignals proportional zu einem Abstand der Hand vom Sensor ist. Die Daten können die Bilddaten und die Rückkehrzeit des reflektierten Beleuchtungssignals umfassen. Der Prozessor kann im Gebrauch dazu angeordnet sein, die relative Position der Hand in Bezug auf die Steuervorrichtung in Abhängigkeit vom bestimmten Abstand der Hand vom Sensor, den erhaltenen Bilddaten und einem bekannten Abstand der Steuervorrichtung in Bezug auf den Sensor zu bestimmen, wobei der Abstand der Hand vom Sensor in Abhängigkeit von der Rückkehrzeit des reflektierten Beleuchtungssignals bestimmt wird. Die ToF-Bilderfassungsvorrichtung bietet eine praktische Möglichkeit, Bilddaten zu erhalten, die mit Abstandsdaten von Bildobjekten verknüpft sind, und vereinfacht somit das Bestimmen des Abstandes der Hand von der benutzerbedienten Steuervorrichtung.
In bestimmten Ausführungsformen kann die benutzerbediente Steuervorrichtung eine verstaute Position einnehmen, in der die benutzerbediente Steuervorrichtung im Wesentlichen bündig an einem Karosserieelement innerhalb der Fahrzeugkabine anliegt, und eine bereitgestellte Position, in der die benutzerbediente Steuervorrichtung aus dem Karosserieelement hervorragt und von einem Insassen des Fahrzeugs bedient werden kann. Der Ausgang kann im Gebrauch so angeordnet sein, dass ein Steuersignal ausgegeben wird, das dazu ausgelegt ist, die benutzerbediente Steuervorrichtung zwischen der verstauten Position und der bereitgestellten Position (oder umgekehrt) zu wechseln.
Gemäß einem weiteren Aspekt der Erfindung ist ein System zum Bereitstellen einer benutzerbedienten Steuervorrichtung in einer Fahrzeugkabine vorgesehen. Das System kann die vorgenannte Steuerung und eine Bilderfassungsvorrichtung umfassen. Optional kann die Bilderfassungsvorrichtung eine Laufzeit-(ToF)-Bilderfassungsvorrichtung umfassen. Das System kann wahlweise auch eine benutzerbediente Steuervorrichtung umfassen. Wahlweise können die benutzerbedienten Steuervorrichtungen ein oder mehrere Elemente aus Schaltern, einer Anzeigeeinheit, einer Lüftungssteuerungsvorrichtung und einer Lüftungsöffnung umfassen.
Gemäß einem weiteren Aspekt der Erfindung ist ein Fahrzeug mit der vorgenannten Steuerung oder dem vorgenannten System vorgesehen.
Gemäß einem weiteren Aspekt der Erfindung ist ein Fahrzeug vorgesehen, das für die Durchführung des vorgenannten Verfahrens ausgelegt ist.
Gemäß einem weiteren Aspekt der Erfindung ist ein Computerprogrammprodukt mit Befehlen zur Durchführung des vorgenannten Verfahrens vorgesehen.
Das Computerprogrammprodukt kann Befehle umfassen, die, wenn sie auf einem Prozessor ausgeführt werden, den Prozessor dazu konfigurieren: eine Hand eines Fahrzeuginsassen in einem Raumvolumen innerhalb der Fahrzeugkabine zu erfassen; die relative Position der erfassten Hand in Bezug auf die Steuervorrichtung zu bestimmen; und die benutzerbediente Steuervorrichtung in Abhängigkeit von einem Abstand zwischen mindestens einem Teil der Hand und der Steuervorrichtung, der kleiner oder gleich einem vorbestimmten Schwellwertabstand ist, bereitzustellen.
Gemäß einem weiteren Aspekt der Erfindung ist ein computerlesbarer Datenträger mit darauf gespeicherten Befehlen zur Durchführung des vorgenannten Verfahrens vorgesehen. Gegebenenfalls umfasst der computerlesbare Datenträger einen nichttransienten, computerlesbaren Datenträger.
Der Datenträger kann Befehle umfassen, die, wenn sie auf einem Prozessor ausgeführt werden, den Prozessor dazu konfigurieren: eine Hand eines Fahrzeuginsassen in einem Raumvolumen innerhalb der Fahrzeugkabine zu erfassen; die relative Position der erfassten Hand in Bezug auf die Steuervorrichtung zu bestimmen; und die benutzerbediente Steuervorrichtung in Abhängigkeit von einem Abstand zwischen mindestens einem Teil der Hand und der Steuervorrichtung, der kleiner oder gleich einem vorbestimmten Schwellwertabstand ist, bereitzustellen.
Innerhalb des Umfangs dieser Anmeldung wird ausdrücklich beabsichtigt, dass die verschiedenen Aspekte, Ausführungsformen, Beispiele und Alternativen, die in den vorhergehenden Absätzen, in den Ansprüchen und/oder in der folgenden Beschreibung und den Zeichnungen dargestellt werden, und insbesondere deren individuellen Merkmale, unabhängig voneinander oder in einer beliebigen Kombination berücksichtigt werden können. Dies bedeutet, dass alle Ausführungsformen und/oder Merkmale einer beliebigen Ausführungsform auf beliebige Weise und/oder Kombination kombiniert werden können, sofern diese Merkmale nicht inkompatibel sind. Der Anmelder behält sich das Recht vor, jeden beliebigen ursprünglich eingereichten Patentanspruch zu ändern oder einen beliebigen neuen Patentanspruch entsprechend einzureichen, einschließlich des Rechts, jeden beliebigen ursprünglich eingereichten Patentanspruch zu verändern, um von einem beliebigen Merkmal eines beliebigen anderen Patentanspruchs abzuhängen und/oder dieses zu integrieren, obwohl es auf diese Art und Weise zuvor nicht beansprucht wurde.
Figurenliste
Eine oder mehrere erfindungsgemäße Ausführungsformen werden nun nur beispielhalber unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben:

1 ist eine schematische Schnittdarstellung eines vorderen Abschnitts einer Fahrzeugkabine mit einer Kamera mit einem Sichtfeld, das dazu angeordnet ist, Bilddaten der Hand eines Fahrzeuginsassen in einem Raumvolumen innerhalb einer Fahrzeugkabine zu erhalten;
2 ist eine schematische Darstellung einer Steuerung, die dazu ausgelegt ist, ein Steuersignal zum Bereitstellen einer benutzerbedienten Steuervorrichtung auszugeben, die in der Fahrzeugkabine von 1 angeordnet ist;
3 ist ein Prozessablaufdiagramm, das ein Verfahren zum Bereitstellen einer benutzerbedienten Steuervorrichtung innerhalb einer Fahrzeugkabine in Abhängigkeit von der Nähe der Hand eines Fahrzeuginsassen zur Steuervorrichtung unter Verwendung der Kamera von 1 veranschaulicht;
ist eine schematische Darstellung des Funktionsprinzips einer Laufzeit-(Time-of-Flight - ToF)-Kamera, mit der die Position der Hand eines Fahrzeuginsassen innerhalb der Fahrzeugkabine von 1 bestimmt werden kann;
die 5a und 5b sind schematische Darstellungen einer dreidimensionalen Punktwolke der Hand eines Fahrzeuginsassen, die unter Verwendung der ToF-Kamera aus 4 erzeugt wurde;
die 6a und 6b sind schematische Darstellungen von zwei benutzerbedienten Steuergeräten in einer verstauten Konfiguration bzw. in einer bereitgestellten Konfiguration in Abhängigkeit von der Nähe der Hand des Fahrzeuginsassen zu den Steuervorrichtungen;
die 7a und 7b sind schematische Darstellungen einer Fahrzeuganzeigeeinheit in einer verstauten Konfiguration bzw. in einer bereitgestellten Konfiguration in Abhängigkeit von der Nähe der Hand des Fahrzeuginsassen zur Anzeigeeinheit;
die 8a und 8b sind schematische Darstellungen einer Lüftungssteuerungsvorrichtung in einer verstauten Konfiguration bzw. in einer bereitgestellten Konfiguration in Abhängigkeit von der Nähe einer Hand zur Lüftungssteuerungsvorrichtung; und
9 ist eine schematische Darstellung eines Fahrzeugs, das die Kamera von 1 und die Steuerung von 2 umfasst.

DETAILLIERTE BESCHREIBUNG
1 ist eine perspektivische Schnittansicht eines Teils der Fahrzeugkabine 1 und zeigt insbesondere den Fahrer 3, der auf dem Fahrersitz 5 sitzt. Eine Bilderfassungsvorrichtung in Form einer Kamera 7 mit einem Sichtfeld 9, das in 1 durch Linien 11 dargestellt ist, ist im Kabinendach angeordnet dargestellt. Gegebenenfalls kann die Kamera 7 eine Laufzeit-(ToF)-Kamera umfassen. Die Kamera 7 ist so angeordnet, dass sie Objekte abbildet, die sich im Sichtfeld 9 der Kamera befinden. Das Sichtfeld definiert ein Raumvolumen innerhalb der Fahrzeugkabine, innerhalb dessen Objekte von der Kamera 7 abgebildet werden. Die Kamera 7 ist so angeordnet, dass ein Karosserieelement 13 des Fahrzeugs 1 im Sichtfeld 9 der Kamera liegt. Das Karosserieelement 13 umfasst eine Vielzahl von verschiedenen benutzerbedienten Steuervorrichtungen 15, die sich - ohne auf diese beschränkt zu sein - beziehen können auf: Belüftungsschalter; Klimaanlagenschalter; Fahrzeug-Infotainmentsystem; Fahrzeuganzeigeeinheiten; Umluftschalter; und jede andere Steuervorrichtung, die zum Bedienen eines Steuersystems des Fahrzeugs ausgelegt ist. Jede benutzerbediente Steuervorrichtung 15 kann so angeordnet sein, dass sie sowohl eine bereitgestellte Konfiguration als auch eine verstaute Konfiguration aufweist. In der bereitgestellten Konfiguration ist die Steuervorrichtung 15 vom Benutzer bedienbar, um mindestens ein zugehöriges Steuersystem des Fahrzeugs 1 zu steuern. In der verstauten Konfiguration ist die Steuervorrichtung nicht betriebsfähig. In bestimmten Ausführungsformen kann die verstaute benutzerbediente Steuervorrichtung 15 im Wesentlichen bündig am Karosserieelement 13 anliegen, und die bereitgestellte Steuervorrichtung 15 ragt aus dem Karosserieelement heraus und ermöglicht so die Bedienung der Steuervorrichtung durch einen Fahrzeuginsassen. Die Fahrzeugkabine 1 kann im Fahrzeug 43 von 9 enthalten sein.
In bestimmten Ausführungsformen kann die Kamera 7 funktionsfähig mit einer Steuerung 19 (siehe 2) gekoppelt und dazu ausgelegt sein, die von der Kamera 7 erhaltenen Bilddaten zu empfangen und ein Steuersignal an einen Bereitstellungs- und/oder Verstaumechanismus (nicht dargestellt) auszugeben, der einer bestimmten benutzerbedienten Steuervorrichtung 15 zugeordnet ist, abhängig von einer Analyse der empfangenen Bilddaten. Dadurch kann die zugehörige benutzerbediente Steuervorrichtung 15 selektiv bereitgestellt und/oder verstaut werden, um die benutzerbediente Steuervorrichtung 15 betriebsfähig bzw. nicht betriebsfähig zu machen. Die Bereitstellungs- und Verstauungsmechanismen können eine oder mehrere Vorrichtungen umfassen, die die benutzerbediente Steuervorrichtung 15 physisch zwischen den beiden Konfigurationen wechseln lassen. So kann sich beispielsweise der Bereitstellungs- und Verstauungsmechanismus auf einen mechanischen Motor beziehen, der zum Bereitstellen oder Verstauen der Steuervorrichtung 15 ausgelegt ist. Eine einzige Vorrichtung kann dazu verwendet werden, sowohl die oben beschriebene Bereitstellungsals auch die Verstauungsfunktionalität zu aktivieren. In der folgenden Beschreibung kann der Begriff „Bereitstellungsmechanismus“ dazu verwendet werden, sich auf jeden Mechanismus zu beziehen, der dazu ausgelegt ist, die oben genannte Bereitstellungs- und/oder Verstauungsfunktionalität bereitzustellen.
2 schafft einen funktionalen Überblick über die Steuervorrichtung 19. Die Steuerung 19 kann funktionell in eine bestehende elektronische Steuervorrichtung des Fahrzeugs 1 eingebettet sein. Die Steuerung 19 kann mit einem Eingang 21 und einem Ausgang 23 versehen sein. Der Eingang 21 kann dazu ausgelegt sein, Bilddaten zu empfangen, die von der Kamera 7 erhalten werden, und der Ausgang 23 kann dazu ausgelegt sein, ein Steuersignal an die benutzerbediente Steuervorrichtung 15 auszugeben, insbesondere an einen Bereitstellungsmechanismus, der der gegebenen benutzerbedienten Steuervorrichtung 15 zugeordnet ist. Für die Zwecke der vorliegenden Beschreibung wird der Bereitstellungsmechanismus als eine inhärente Komponente der benutzerbedienten Steuervorrichtung 15 betrachtet, so dass jeder Bezug zur Ausgabe eines Steuersignals an die benutzerbediente Steuervorrichtung 15 als ein Steuersignal verstanden werden kann, das an den Bereitstellungsmechanismus der benutzerbedienten Steuervorrichtung ausgegeben wird. Die Steuerung 19 kann zusätzlich einen Prozessor 25 umfassen, der dazu angeordnet ist, von der Kamera 7 empfangene Bilddaten zu analysieren, um Bildobjekte wie die Hand 17 eines Fahrzeuginsassen innerhalb der erhaltenen Bilddaten zu identifizieren und Steuersignale zum Bereitstellen und/oder Verstauen der jeweiligen benutzerbedienten Steuervorrichtung 15 in Abhängigkeit von der relativen Position der Hand 17 in Bezug auf die benutzerbediente Steuervorrichtung 15 zu generieren und auszugeben.
Wenn im Gebrauch ein Bild der Hand eines Fahrzeuginsassen von der Kamera 7 erhalten wird und dessen Position in Bezug auf eine gegebene benutzerbediente Steuervorrichtung 15 durch die Steuerung 19 - typischerweise durch den Prozessor 25 der Steuerung 19 - bestimmt wird, kann die gegebene benutzerbediente Steuervorrichtung 15 automatisch durch die Steuerung 19 über ein Steuersignal, das an den der gegebenen benutzerbedienten Steuervorrichtung 15 zugeordneten Bereitstellungsmechanismus ausgegeben wird, bereitgestellt werden, wenn sich die gegebene benutzerbediente Steuervorrichtung in der verstauten Konfiguration befindet. Auf diese Weise kann die benutzerbediente Steuervorrichtung 15, bezüglich derer die abgebildete Hand 17 des Fahrzeuginsassen als am nächsten gelegen bestimmt wird, bereitgestellt werden, ohne dass ein physischer Kontakt zwischen der Hand 17 des Fahrzeuginsassen und der gewünschten benutzerbedienten Steuervorrichtung 15 erforderlich ist. Daraus resultiert, dass die spezifische benutzerbediente Steuervorrichtung 15, an deren Bedienung der Fahrzeuginsasse interessiert ist, selektiv und individuell bedienbar ist.
In bestimmten Ausführungsformen kann die Steuerung 19 dazu ausgelegt sein, dass sie im Gebrauch das Steuersignal ausgibt, vorausgesetzt, dass ein Abstand zwischen mindestens einem Teil der Hand 17 eines Fahrzeuginsassen und der gewünschten benutzerbedienten Steuervorrichtung 15 kleiner oder gleich einem vorgegebenen Schwellwertabstand ist. Wenn die Kamera 7 beispielsweise Bilddaten der Hand eines Fahrzeuginsassen erhält, wie beispielsweise der Hand des Fahrers 17, kann die Steuerung 19 dazu ausgelegt sein, das Bild der Hand innerhalb der empfangenen Bilddaten zu identifizieren. Die relative Position der abgebildeten Hand in Bezug auf eine gewünschte benutzerbediente Steuervorrichtung 15 kann dann aus den erhaltenen Bilddaten bestimmt werden. Um ein Bild einer Hand zu identifizieren, kann/können die Steuerung 19 und insbesondere der Prozessor 25 mit einer Bilderkennungssoftware konfiguriert sein, die dazu ausgelegt ist, die Hand 17 eines Fahrzeuginsassen, die sich im Sichtfeld 9 der Kamera befindet, anhand der erhaltenen Bilddaten zu identifizieren.
3 ist ein Prozessablaufdiagramm, das das Verfahren veranschaulicht, das gemäß bestimmten Ausführungsformen der Erfindung verwendet wird, um die Bereitstellung der benutzerbedienten Steuervorrichtung 15 in Abhängigkeit von der Nähe der Hand eines Fahrzeuginsassen zu der gewünschten benutzerbedienten Steuervorrichtung 15 unter Verwendung der Kamera 7 in operativer Kommunikation mit der Steuerung 19 zu steuern. Das Verfahren wird durch die Kamera 7 eingeleitet, die bei Schritt 301 Bilddaten innerhalb der Fahrzeugkabine 1 erhält. In bestimmten Ausführungsformen kann die Kamera 7 dazu ausgelegt sein, die Bilddaten kontinuierlich zu erhalten oder Bilddaten periodisch mit einer vordefinierten Frequenz zu erhalten. Die erhaltenen Bilddaten können zur Analyse an die Steuerung 19 weitergeleitet werden, wobei bei Schritt 303 die erhaltenen Bilddaten analysiert werden, um die Hand 17 eines Fahrzeuginsassen innerhalb der erhaltenen Bilddaten zu identifizieren. Wie bereits erwähnt, kann dies den Einsatz einer Bilderkennungssoftware umfassen. Sobald die Hand 17 eines Fahrzeuginsassen innerhalb der erhaltenen Bilddaten identifiziert wurde, wird die Position der Hand 17 in Bezug auf die benutzerbediente Steuervorrichtung 15 bei Schritt 305 bestimmt. Wenn das Fahrzeugkarosserieelement 13 eine Vielzahl verschiedener benutzerbedienter Steuervorrichtungen 15 umfasst, kann Schritt 305 das Bestimmen der Position der Hand 17 in Bezug auf die nächste benutzerbediente Steuervorrichtung 15 umfassen. Die Position der Hand 17 in Bezug auf die benutzerbediente Steuervorrichtung 15 kann durch den Prozessor 25 bestimmt werden. Bei Schritt 307 wird bestimmt, ob mindestens ein Teil der Hand 17 in einem Abstand liegt, der kleiner oder gleich einem vorgegebenen Schwellwertabstand von der benutzerbedienten Steuervorrichtung 15 ist. Wenn bestimmt wird, dass kein Teil der Hand innerhalb des vordefinierten Schwellwertabstands liegt, analysiert der Prozessor 25 weiterhin die empfangenen Bilddaten, und das Verfahren kehrt zu Schritt 303 zurück. Wird stattdessen vom Prozessor 25 bestimmt, dass mindestens ein Teil der identifizierten Hand innerhalb des vordefinierten Schwellwertabstands der benutzerbedienten Steuervorrichtung 15 liegt, so erzeugt der Prozessor bei Schritt 308 ein Steuersignal zur Ausgabe an die entsprechende benutzerbediente Steuervorrichtung. Nach Empfang des Steuersignals wird bei Schritt 310 die gewünschte benutzerbediente Steuervorrichtung bereitgestellt. Insbesondere wird der Bereitstellungsmechanismus der benutzerbedienten Steuervorrichtung aktiviert, um die Bereitstellung der gewünschten benutzerbedienten Steuervorrichtung 15 zu ermöglichen.
Die vorstehende Beschreibung von 3 geht davon aus, dass sich die gewünschte benutzerbediente Steuervorrichtung in der verstauten Konfiguration befindet und der Fahrzeuginsasse wünscht, diese in die bereitgestellte Konfiguration zu wechseln. Es kann jedoch das gleiche Verfahren angewendet werden, um eine bereitgestellte benutzerbediente Steuervorrichtung in ihre verstaute Konfiguration zu überführen, mit der Ausnahme, dass die benutzerbediente Steuervorrichtung bei Schritt 310 nicht bereitgestellt, sondern verstaut wird. Dementsprechend kann der Prozess von 3 in bestimmten Ausführungsformen einen zusätzlichen Schritt umfassen, bei dem der Prozessor 25 die aktuelle Konfiguration der benutzerbedienten Steuervorrichtung 15 bestimmt, die der Hand des Fahrzeuginsassen am nächsten liegt. Dies kann nach Schritt 307 stattfinden. Wenn die aktuelle Konfiguration als verstaute Konfiguration bestimmt wird, kann der Steuersignalausgang bei Schritt 308 Befehle zum Bereitstellen der benutzerbedienten Steuervorrichtung 15 umfassen. Wenn stattdessen die aktuelle Konfiguration als eine bereitgestellte Konfiguration bestimmt wird, kann der Steuersignalausgang bei Schritt 308 Befehle zum Verstauen der benutzerbedienten Steuervorrichtung 15 umfassen.
In bestimmten Ausführungsformen kann sich der vordefinierte Schwellwertabstand auf wenige Zentimeter beziehen, z.B. auf jeden Abstand im Bereich von 1 cm bis 10 cm, einschließlich 1 cm und 10 cm. In bestimmten Ausführungsformen kann der vordefinierte Schwellenwert eine Steuerungs-Näherungsgrenze umgrenzen, die die benutzerbediente Steuervorrichtung 15 umgibt und von dieser um den vordefinierten Schwellwertabstand abgesetzt ist, die, wenn sie von mindestens einem Teil der Hand des Fahrzeuginsassen überschritten wird, die Steuerung 19 veranlasst, das Steuersignal für die Ausgabe an die entsprechende Steuervorrichtung zu erzeugen.
Die Steuerungs-Näherungsgrenze kann geometrisch geformt sein. Beispielsweise kann die Steuerungs-Näherungsgrenze kastenförmig oder kugelförmig sein. Tatsächlich bezieht sich die Steuerungs-Näherungsgrenze auf ein Raumvolumen, das um den vorgegebenen Schwellwertabstand von der benutzerbedienten Steuervorrichtung 15 abgesetzt ist. In Abhängigkeit davon, dass ein Teil der Steuerungs-Näherungsgrenze von mindestens einem Teil der Hand des Fahrzeuginsassen überschritten wird, erzeugt die Steuerung das Steuersignal zum Bereitstellen bzw. Verstauen der zugehörigen Steuervorrichtung. Es ist zu beachten, dass nicht alle Abschnitte der Steuerungs-Näherungsgrenze um den vorgegebenen Schwellwertabstand von der benutzerbedienten Steuervorrichtung 15 versetzt werden müssen. Wenn beispielsweise die Steuerungs-Näherungsgrenze kastenförmig (z.B. würfelförmig) ist, ist zu beachten, dass einige Flächen des Würfels möglicherweise nicht um den vorgegebenen Schwellwertabstand von der benutzerbedienten Steuervorrichtung 15 versetzt sind.
Um die Position der Hand 17 in Bezug auf die benutzerbediente Steuervorrichtung 15 bestimmen zu können, kann sich die Kamera 7 in bestimmten Ausführungsformen auf eine Laufzeit-(ToF)-Kamera beziehen, bei der jedem aufgenommenen Bildpunkt eine Entfernung auf der Grundlage einer Rückkehrzeit eines reflektierten Beleuchtungssignals zugeordnet ist. Um dies zu erreichen, kann die ToF-Kamera mit einer Lichtquelle ausgeführt sein, die dazu angeordnet ist, das Sichtfeld der Kamera auszuleuchten. Das einfallende Lichtsignal wird anschließend von Objekten im Sichtfeld der Kamera reflektiert, und die Rückkehrzeit des reflektierten Lichtsignals wird gemessen. Auf diese Weise ist es möglich, jedem abgebildeten Objekt eine Abstandsmessung zuzuordnen. Das Beleuchtungssignal kann sich auf jedes elektromagnetische Signal beziehen und muss nicht im sichtbaren Bereich enthalten sein. So kann beispielsweise in bestimmten Ausführungsformen das Beleuchtungssignal im Infrarotbereich liegen.
In den Ausführungsformen, die eine ToF-Kamera 27 umfassen, können die Steuerung 19 und insbesondere der Eingang 21 dazu ausgelegt sein, sowohl Kamerabilddaten als auch Bildobjektabstandsinformationen von der ToF-Kamera 27 zu empfangen. Dies ermöglicht es der Steuerung 19 und insbesondere dem Prozessor 25, die Position der Hand 17 des Fahrzeuginsassen relativ zu einer benutzerbedienten Steuervorrichtung 15 aus den empfangenen Daten zu bestimmen.
ist ein schematisches Diagramm, das das Funktionsprinzip einer ToF-Kamera 27 veranschaulicht. Eine modulierte Beleuchtungsquelle 29 wird verwendet, um ein gewünschtes Ziel 31 zu beleuchten. Die einfallende Beleuchtung 33 wird vom Ziel 31 reflektiert und auf einem Sensor 35 erfasst, der eine Anordnung von Pixeln umfasst. Während jedoch gleichzeitig das reflektierte modulierte Licht 37 erfasst wird, erfassen die Pixel des Sensors 35 auch das vom Ziel reflektierte sichtbare Licht. Da das Beleuchtungssignal 33 moduliert ist, kann es von dem vom Ziel 31 reflektierten sichtbaren Licht unterschieden werden, wodurch die Laufzeit des modulierten Beleuchtungssignals gemessen werden kann. Die Laufzeit, die benötigt wird, damit das modulierte Beleuchtungssignal auf das Ziel 31 trifft und zum Sensor 35 zurückgeworfen wird, wird gemessen, wenn es auf den Sensor 35 trifft. Auf diese Weise kann jedem erfassten Bildpunkt eine Entfernung des entsprechenden Bildobjekts auf der Grundlage der gemessenen Laufzeit zugeordnet werden, die benötigt wird, damit das reflektierte modulierte Beleuchtungssignals 37 vom Sensor 35 gemessen wird. Spezifischere Details zur Bedienung von ToF-Kameras sind in der Fachwelt weit verbreitet, so dass eine detailliertere Diskussion für die vorliegenden Zwecke nicht erforderlich ist.
Wenn die Kamera 7 der 1 eine ToF-Kamera 27 umfasst, ist es möglich, eine dreidimensionale Punktwolke der Hand des Fahrzeuginsassen zu erzeugen, die sich im Sichtfeld 9 der Kamera befindet. Die 5a und 5b veranschaulichen ein Beispiel für eine dreidimensionale Punktwolke 39 der Hand 17 des Fahrzeuginsassen, die unter Verwendung der ToF-Kamera 27 erzeugt wurde. In bestimmten Ausführungsformen kann die Steuerung 19 dazu ausgelegt sein, unter Verwendung der von der ToF-Kamera 27 empfangenen Bilddaten und Bildobjektabstandsinformationen die dreidimensionale Punktwolke zu erzeugen. 5a zeigt eine Punktwolke 39 der Hand 17 des Fahrzeuginsassen, die sich einer rechteckigen Steuer-Näherungsgrenze 41 nähert. In 5b überschreitet ein Abschnitt der Punktwolke 39 der Hand 17 des Fahrzeuginsassen einen Abschnitt der Steuer-Näherungsgrenze 41. In diesem Fall - und wie oben erwähnt - ist die Steuerung 19 dazu ausgelegt, ein Steuersignal zum Bereitstellen und/oder Verstauen der gewünschten benutzerbedienten Steuervorrichtung zu erzeugen.
Um die Position der Hand 17 des Fahrzeuginsassen relativ zu einer benutzerbedienten Steuervorrichtung 15 bestimmen zu können, kann die Position der benutzerbedienten Steuervorrichtung 15 relativ zur ToF-Kamera bestimmt werden. Auch dies kann mit Hilfe einer Bilderkennungssoftware erfolgen. Da die Position der benutzerbedienten Steuervorrichtung 15 in Bezug auf die ToF-Kamera 27 bekannt ist und die Position der Hand 17 des Fahrzeuginsassen in Bezug auf die ToF-Kamera 27 bekannt ist, kann die Position der Hand 17 des Fahrzeuginsassen in Bezug auf die benutzerbediente Steuervorrichtung 15 mittels grundlegender Trigonometrie bestimmt werden. In bestimmten Ausführungsformen, und um die Berechnung während der Verwendung zu erleichtern, kann die Steuerung 19 im Zuge einer Erstkonfiguration der ToF-Kamera 27 mit Abstandsinformationen jeder benutzerbedienten Steuervorrichtung 15 in Bezug auf die ToF-Kamera 27 versehen werden. Diese Abstandsinformationen können gespeichert und für die spätere Verwendung bei Bedarf abgerufen werden. Dies erleichtert die anschließende Berechnung der Position der Hand in Bezug auf eine gewünschte benutzerbediente Steuervorrichtung 15, da nur der Abstand der Hand 17 des Fahrzeuginsassen in Bezug auf die ToF-Kamera 27 und die Position in Bezug auf die bekannte Position der benutzerbedienten Steuervorrichtung 15 berechnet werden müssen, die beide aus den von der ToF-Kamera 27 erfassten Daten gewonnen werden können.
Die 6a und 6b zeigen ein exemplarisches Anwendungsszenario, bei dem als Reaktion auf mindestens einen Teil der Hand 17 eines Fahrzeuginsassen, der eine Steuer-Näherungsgrenze 601 überschreitet, eine oder mehrere benutzerbediente Steuervorrichtungen 15, die der Steuer-Näherungsgrenze zugeordnet sind, dazu ausgelegt sind, aus ihrer verstauten Konfiguration heraus bereitgestellt zu werden. Im veranschaulichten Beispiel können die benutzerbedienten Steuervorrichtungen Schalter zur Steuerung verschiedener Fahrzeugsteuerungssysteme umfassen. 6a zeigt das Szenario, bei dem sich die Hand 17 eines Fahrzeuginsassen in einem Abstand befindet, der größer als der vorgegebene Schwellwertabstand ist und daher die Steuer-Näherungsgrenze 601 nicht schneidet. Dadurch bleiben die zugehörigen Schalter in ihrer verstauten Konfiguration 605, in der die Schalter im Wesentlichen bündig an einem Karosserieelement in der Fahrzeugkabine anliegen. 6b zeigt das Szenario, bei dem sich die Hand 17 des Fahrzeuginsassen an einer Position befindet, an der mindestens ein Teil der Hand die Steuer-Näherungsgrenze 601 überschreitet. Dadurch werden die Schalter aus ihrer verstauten Konfiguration heraus in ihre bereitgestellte Konfiguration 610 überführt. In der bereitgestellten Konfiguration 610 ragen die Schalter aus dem Karosserieelement heraus und sind vom Fahrzeuginsassen bedienbar. Der Übergang von der verstauten Konfiguration zur bereitgestellten Konfiguration erfolgt gemäß der oben detailliert beschriebenen Methode.
Die 7a und 7b zeigen ein weiteres exemplarisches Anwendungsszenario, in dem sich die benutzerbediente Steuervorrichtung 15 auf eine Fahrzeuganzeigeeinheit 701, 705 bezieht, wie sie beispielsweise in einem Fahrzeug-Infotainmentsystem enthalten ist. In 7a ruht die Anzeigeeinheit 701 in ihrer verstauten Konfiguration, in der die Anzeigeeinheit 701 im Wesentlichen bündig an einem Karosserieelement des Fahrzeugs 1 anliegt. In 7a ist die Hand 17 des Fahrzeuginsassen so positioniert, dass kein Teil der Hand die Steuer-Näherungsgrenze 601 überschreitet. Wenn die Hand 17 des Fahrzeuginsassen die Steuer-Näherungsgrenze überschreitet, wie in 7b dargestellt, kann der Bildschirm in seine bereitgestellte Konfiguration 705 versetzt werden, in der die Anzeigeeinheit vom Karosserieelement vorsteht.
Die 8a und 8b zeigen ein weiteres exemplarisches Nutzungsszenario, bei dem die benutzerbediente Steuervorrichtung 15 eine oder mehrere Lüftungsöffnungen 801, 805 umfasst. Wie oben in Bezug auf die anderen Ausführungsformen beschrieben, können die Lüftungsöffnungen von einer im Wesentlichen verstauten Konfiguration 801, wie in 8a dargestellt, in eine bereitgestellte Konfiguration 805, wie in 8b dargestellt, übergehen, abhängig davon, dass mindestens ein Teil der Hand 17 des Fahrzeuginsassen die Steuer-Näherungsgrenze 601 überschreitet. In dem veranschaulichten Beispiel umfasst die bereitgestellte Konfiguration der Lüftungsöffnungen das Rotieren der Lüftungsöffnungen um eine Achse, um den Luftdurchtritt durch die Lüftungsöffnungen zu ermöglichen. Ebenso kann in bestimmten Ausführungsformen, wenn mindestens ein Teil der Hand des Fahrzeuginsassen die Steuer-Näherungsgrenze 601 überschreitet, eine Lüftungssteuerungsvorrichtung bereitgestellt werden, die eine Regelung des Luftstroms durch die Lüftungsöffnungen ermöglicht.
In bestimmten Ausführungsformen ist vorgesehen, dass die benutzerbediente Steuervorrichtung 15, nachdem sie bereitgestellt oder verstaut wurde, für eine vordefinierte Zeitspanne in dieser Konfiguration verbleibt, unabhängig von der Position der Hand des Fahrzeuginsassen in Bezug zur benutzerbedienten Steuervorrichtung 15. Wenn sich eine benutzerbediente Steuervorrichtung 15 beispielsweise in einer bereitgestellten Position befindet, bleibt die benutzerbediente Steuervorrichtung 15 für den Fall, dass der Fahrzeuginsasse dann seine Hand zurückzieht, so dass diese nicht mehr innerhalb des vorgegebenen Schwellwertabstandes liegt, für die vorgegebene Zeitspanne bereitgestellt, bevor sie in die verstaute Konfiguration wechselt. Der vordefinierte Zeitraum kann sich auf einen beliebigen Zeitraum beziehen und von der jeweiligen benutzerbedienten Steuervorrichtung abhängig sein. So kann beispielsweise ein Radio-Tuning-Schalter nach dem Zurückziehen der Hand mehrere Minuten lang bereitgestellt bleiben, während ein bereitgestellter Lüftungssteuerungsschalter möglicherweise nach dem Zurückziehen der Hand des Fahrzeuginsassen nur einige Sekunden lang bereitgestellt bleibt.
In einer weiteren Ausführungsform kann die Steuerung 19 dazu ausgelegt sein, aus einer Analyse der empfangenen Kamerabilddaten zu bestimmen, ob die Hand 17 des Fahrzeuginsassen die linke oder rechte Hand des Insassen ist. Die Steuerung 19 kann dann so ausgelegt sein, dass sie das Steuersignal in Abhängigkeit davon ausgibt, ob die Hand 17 die linke oder rechte Hand des Insassen ist. Auf diese Weise ist es möglich, das Bereitstellen oder Verstauen einer gewünschten benutzerbedienten Steuervorrichtung 15 in der Fahrzeugkabine einzuschränken, je nachdem, ob die linke oder rechte Hand eines Fahrzeuginsassen versucht, die zugehörige benutzerbediente Steuervorrichtung 15 bereitzustellen bzw. zu verstauen.
In bestimmten Ausführungsformen kann die Steuerung 19 dazu ausgelegt sein, zu bestimmen, ob die Handfläche 17 des Fahrzeuginsassen in Bezug auf die Kamera 7 nach oben oder unten ausgerichtet ist, und abhängig davon, ob die Hand nach oben oder unten ausgerichtet ist, zu bestimmen, ob die Hand 17 die linke oder rechte Hand des Fahrzeuginsassen ist. Dies kann auf der Grundlage des Reflexionssignals der Hand 17 und durch Bildobjektanalyse bestimmt werden. Die Hautstruktur einer Handfläche unterscheidet sich von der Hautstruktur des Handrückens, so dass sich die Menge des von der Handfläche aufgenommenen Lichts von der Menge des vom Handrücken aufgenommenen Lichts unterscheidet. Dementsprechend besteht dadurch, dass die Steuerung dazu ausgelegt ist, die Intensität des reflektierten Signals zu analysieren, die die Menge der von der Hand absorbierten einfallenden Beleuchtung anzeigt, die Möglichkeit, dass die Steuerung bestimmt, ob die Handfläche nach oben oder unten gerichtet ist.
In bestimmten Ausführungsformen kann die Steuerung 19 dazu ausgelegt sein, zu bestimmen, zu welchem Fahrzeuginsassen die abgebildete Hand gehört, z.B. ob die abgebildete Hand 17 zu einem Fahrer des Fahrzeugs oder zu einem Beifahrer gehört. Das Bereitstellen und/oder Verstauen der benutzerbedienten Steuervorrichtung kann dann in Abhängigkeit davon gesteuert werden, zu wem die Hand gehört. So kann beispielsweise das Bereitstellen der benutzerbedienten Steuervorrichtung in Abhängigkeit davon gesteuert werden, ob die Hand 17 zum Fahrer 3 des Fahrzeugs gehört. Dies trägt dazu bei, ein versehentliches Bereitstellen oder Verstauen einer benutzerbedienten Steuervorrichtung 15 durch einen nicht autorisierten Fahrzeuginsassen zu verhindern.
Eine nicht einschränkende Art und Weise, in der die Steuerung 19 bestimmen kann, zu welchem Fahrzeuginsassen die Hand gehört, ist die Überwachung und Bestimmung einer Eintrittsrichtung der Hand in das Sichtfeld 9 der Kamera in Bezug auf die benutzerbediente Steuervorrichtung 15. Dies kann durch eine Analyse der von der Kamera 7 erhaltenen Bilddaten durch die Steuerung 19 erreicht werden. Die Eintrittsrichtung der Hand 17 in das Sichtfeld 9 der Kamera kann anzeigen, wo sich der Fahrzeuginsasse in Bezug auf die benutzerbediente Steuervorrichtung 15 befindet, und bietet daher eine gute Annahme darüber, zu welchem Fahrzeuginsassen die Hand 17 gehört.
Eine weitere nicht einschränkende Art und Weise, in der die Steuerung 19 bestimmen kann, zu welchem Fahrzeuginsassen die Hand gehört, ist das aus einer Analyse der empfangenen Kamerabilddaten abgeleitete Bestimmen, ob die Hand 17 des Fahrzeuginsassen die linke oder rechte Hand eines Insassen ist, wie in einer vorstehenden Ausführungsform beschrieben. Dies kann insbesondere für Steuervorrichtungen nützlich sein, die zwischen zwei Fahrzeuginsassen angeordnet sind, die eine gemeinsame Sitzreihe innerhalb des Fahrzeugs einnehmen und in die gleiche Richtung blicken, z.B. für Steuervorrichtungen, die zwischen den Insassen auf den Vordersitzen angeordnet sind. Zur weiteren Erläuterung wird in diesem Beispiel ein erster Insasse die Steuervorrichtungen höchstwahrscheinlich mit einer linken Hand bedienen, während ein zweiter Insasse die Steuervorrichtungen höchstwahrscheinlich mit einer rechten Hand bedienen wird (oder umgekehrt). Auf diese Weise kann die Steuerung zwischen zwei Fahrzeuginsassen unterscheiden, die innerhalb des Fahrzeugs nebeneinander sitzen.
Die vorstehend beschriebenen nicht einschränkenden Beispiele können unabhängig oder in Kombination verwendet werden, um zwischen mehreren Fahrzeuginsassen zu unterscheiden und das Bereitstellen und/oder das Verstauen der benutzerbedienten Steuervorrichtung in Abhängigkeit davon, zu wem die Hand gehört, zu steuern.
In einer weiteren Ausführungsform kann die Steuerung 19 dazu ausgelegt sein, aus einer Analyse der empfangenen Kamerabilddaten zu bestimmen, ob die Hand 17 des Fahrzeuginsassen eine vordefinierte Geste ausführt. Die Steuerung 19 kann dann dazu ausgelegt sein, das Steuersignal in Abhängigkeit davon auszugeben, ob die Hand 17 die vordefinierte Geste ausführt. Auf diese Weise kann die Steuerung 19 das Bereitstellen oder Verstauen der benutzerbedienten Steuervorrichtung 15 nicht nur in Abhängigkeit von der relativen Position der Hand gegenüber der benutzerbedienten Steuervorrichtung, sondern auch in Abhängigkeit von der vordefinierten Geste einschränken. Dies trägt ferner dazu bei, ein versehentliches Bereitstellen einer benutzerbedienten Steuervorrichtung zu verhindern, und dies kann für bestimmte benutzerbediente Steuervorrichtungen wünschenswert sein, insbesondere wenn das Bereitstellen solcher benutzerbedienten Steuervorrichtungen Sicherheitsfolgen haben kann.
Obwohl die vorhergehenden Ausführungsformen der Erfindung im Zusammenhang mit einer ToF-Kamera beschrieben wurden, ist zu beachten, dass gemäß den hierin beschriebenen Ausführungsformen auch alternative Kamerakonfigurationen verwendet werden können. Es kann jede Konfiguration von Kameras verwendet werden, die es ermöglicht, Bilddaten einer Hand in Bezug auf eine benutzerbediente Steuervorrichtung 15 zu erfassen und die Position der Hand in Bezug auf die benutzerbediente Steuervorrichtung 15 zu bestimmen. So kann beispielsweise auch eine Konfiguration von zwei oder mehr Kameras verwendet werden, die jeweils dazu ausgelegt sind, ein anderes perspektivisches Bild der Hand in Bezug auf die benutzerbediente Steuervorrichtung 15 zu ermöglichen. In einer solchen Anordnung würden es die unterschiedlichen perspektivischen Bilder der Hand in Bezug auf die benutzerbediente Steuervorrichtung 15 der Steuerung ermöglichen, die Position der Hand in Bezug auf die benutzerbediente Steuervorrichtung 15 durch Triangulation zu bestimmen.
Ebenso kann in einer alternativen Ausführungsform die ToF-Kamera der vorhergehenden Ausführungsformen durch eine herkömmliche Kamera in Kombination mit einem optischen Lineal, wie beispielsweise einem LIDAR, ersetzt werden. In einer solchen Ausführungsform liefert der LIDAR die Abstandsinformation des Bildobjekts, während die Kamera Bilddaten liefert. Die Steuerung kann in solchen Ausführungsformen dazu ausgelegt sein, die LIDAR-Daten in Kombination mit den erhaltenen Bilddaten zu analysieren, um die Position der Hand des Fahrzeuginsassen in Bezug auf die benutzerbediente Steuervorrichtung 15 zu bestimmen.
Es ist zu beachten, dass an den obigen Beispielen und Ausführungsformen viele Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Erfindung, wie er in den begleitenden Ansprüchen definiert ist, abzuweichen.

Claims

Verfahren zum Bereitstellen einer benutzerbedienten Steuervorrichtung (15) in einer Fahrzeugkabine (1), wobei das Verfahren umfasst: Erfassen der Hand (17) eines Fahrzeuginsassen in einem Raumvolumen innerhalb der Fahrzeugkabine (1); Bestimmen einer Position der Hand (17) in Bezug auf die benutzerbediente Steuervorrichtung (15); Bestimmen, ob die Hand (17) die linke oder rechte Hand des Fahrzeuginsassen ist; und Bereitstellen der benutzerbedienten Steuervorrichtung (15) in Abhängigkeit davon, dass ein Abstand zwischen mindestens einem Teil der Hand (17) und der benutzerbedienten Steuervorrichtung (15) kleiner oder gleich einem vorbestimmten Schwellwertabstand ist, und in Abhängigkeit davon, ob die Hand (17) die linke oder rechte Hand des Fahrzeuginsassen ist.
Verfahren nach Anspruch 1, Folgendes umfassend: Bestimmen, ob die Handfläche (17) innerhalb des Raumvolumens mit Bezug auf die benutzerbediente Steuervorrichtung (15) nach oben oder unten ausgerichtet ist; und, in Abhängigkeit von der Ausrichtung der Handfläche (17), Bestimmen, ob die Hand (17) die linke oder rechte Hand des Fahrzeuginsassen ist.
Verfahren nach einem vorhergehenden Anspruch, umfassend: Bestimmen, zu welchem Fahrzeuginsassen die Hand (17) gehört; und Bereitstellen der benutzerbedienten Steuervorrichtung (15) in Abhängigkeit davon, zu welchem Fahrzeuginsassen die Hand (17) gehört.
Verfahren nach einem vorhergehenden Anspruch, umfassend: Bestimmen einer Eintrittsrichtung der Hand (17) in das Raumvolumen in Bezug auf die benutzerbediente Steuervorrichtung (15).
Verfahren nach einem vorhergehenden Anspruch, umfassend: Erhalten von Bilddaten der Hand (17) innerhalb des Raumvolumens; Empfangen eines Reflexionssignals, das von der Hand (17) reflektiert wird; Bestimmen eines Abstands der Hand (17) von einem bezeichneten Ursprung in Abhängigkeit vom empfangenen Reflexionssignal; und Bestimmen der Position der Hand (17) in Bezug auf die benutzerbediente Steuervorrichtung (15) in Abhängigkeit von der Entfernung der Hand (17) in Bezug auf den bezeichneten Ursprung, den erhaltenen Bilddaten und einer bekannten Entfernung der benutzerbedienten Steuervorrichtung (15) in Bezug auf den bezeichneten Ursprung; wobei der bezeichnete Ursprung gegebenenfalls mit einer Position einer Bilderfassungsvorrichtung (7) übereinstimmt.
Verfahren nach einem vorhergehenden Anspruch, umfassend: Bestimmen, ob die Hand (17) eine vordefinierte Geste innerhalb des Raumvolumens in Bezug zur benutzerbedienten Steuervorrichtung (15) ausführt; und Bereitstellen der benutzerbedienten Steuervorrichtung (15) in Abhängigkeit davon, ob die Hand (17) die vordefinierte Geste ausführt.
Steuerung (19) zum Bereitstellen einer benutzerbedienten Steuervorrichtung (15), die sich in einer Fahrzeugkabine (1) befindet, wobei die Steuerung (19) umfasst: einen Eingang (21), der dazu ausgelegt ist, Bilddaten zu empfangen, die von einer Bilderfassungsvorrichtung (7) erhalten werden; einen Prozessor (25), der im Gebrauch dazu ausgelegt ist: eine Hand (17) eines Fahrzeuginsassen aus den Bilddaten zu erkennen, wobei sich die Hand (17) in einem Raumvolumen innerhalb der Fahrzeugkabine (1) befindet, innerhalb dessen die Bilddaten durch die Bilderfassungseinrichtung (7) gewonnen werden; eine Position der Hand (17) in Bezug auf die benutzerbediente Steuervorrichtung (15) zu bestimmen; zu bestimmen, ob die Hand (17) die linke oder rechte Hand eines Fahrzeuginsassen ist; und einen Ausgang (23), der im Gebrauch dazu ausgelegt ist, ein Steuersignal an die benutzerbediente Steuervorrichtung (15) auszugeben, um die benutzerbediente Steuervorrichtung (15) in Abhängigkeit davon bereitzustellen, ob ein Abstand zwischen mindestens einem Teil der Hand (17) und der benutzerbedienten Steuervorrichtung (15) kleiner oder gleich einem vorbestimmten Schwellwertabstand ist, und in Abhängigkeit davon, ob die Hand (17) die rechte oder linke Hand des Fahrzeuginsassen ist.
Steuerung (19) nach Anspruch 7, wobei der Prozessor (25) dazu ausgelegt ist, im Gebrauch zu bestimmen, ob die Handfläche (17) innerhalb des Raumvolumens in Bezug auf die benutzerbediente Steuervorrichtung (15) nach oben oder unten ausgerichtet ist; und in Abhängigkeit von der Ausrichtung der Handfläche (17) zu bestimmen, ob die Hand (17) die linke oder rechte Hand des Fahrzeuginsassen ist.
Steuerung (19) nach einem der Ansprüche 7 oder 8, wobei der Prozessor (25) dazu angeordnet ist, im Gebrauch zu bestimmen, zu welchem Fahrzeuginsassen die Hand (17) gehört; und der Ausgang (23) dazu angeordnet ist, im Gebrauch das Steuersignal in Abhängigkeit davon auszugeben, zu welchem Fahrzeuginsassen die Hand (17) gehört.
Steuerung (19) nach einem der Ansprüche 7 bis 9, wobei der Prozessor (25) dazu angeordnet ist, im Gebrauch die Eintrittsrichtung der Hand (17) in das Raumvolumen relativ zu der benutzerbedienten Steuervorrichtung (15) zu bestimmen.
Steuerung (19) nach einem der Ansprüche 7 bis 10, wobei: der Eingang (21) dazu ausgelegt ist, Daten von einer Laufzeit-(ToF)-Bildaufnahmevorrichtung (7) zu empfangen, die einen Sensor (35) umfasst, wobei die ToF-Bildaufnahmevorrichtung (7) dazu angeordnet ist, im Gebrauch Bilddaten der Hand (17) zu erhalten, die Hand (17) innerhalb des Raumvolumens zu beleuchten, und eine Rückkehrzeit eines reflektierten Beleuchtungssignals zu messen, wobei die Rückkehrzeit des reflektierten Beleuchtungssignals proportional zu einem Abstand der Hand (17) vom Sensor (35) ist, wobei die Daten die Bilddaten und die Rückkehrzeit des reflektierten Beleuchtungssignals umfassen; und wobei der Prozessor (25) dazu angeordnet ist, im Gebrauch die relative Position der Hand (17) in Bezug auf die benutzerbediente Steuervorrichtung (15) in Abhängigkeit vom bestimmten Abstand der Hand (17) vom Sensor (35), den erhaltenen Bilddaten und einem bekannten Abstand der benutzerbedienten Steuervorrichtung (15) in Bezug auf den Sensor (35) zu bestimmen, wobei der Abstand der Hand (17) vom Sensor (35) in Abhängigkeit von der Rückkehrzeit des reflektierten Beleuchtungssignals bestimmt wird.
Fahrzeug (43), das die Steuerung (19) nach einem der Ansprüche 7 bis 11 umfasst, wobei das Fahrzeug (43) gegebenenfalls dazu ausgelegt ist, im Gebrauch das Verfahren nach einem der Ansprüche 1 bis 6 auszuführen..
Computerprogrammprodukt, das Befehle zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 6; und/oder einen computerlesbaren Datenträger umfasst, auf dem Befehle zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 6 gespeichert sind.