DE102004022494A1

DE102004022494A1 - Betätigungseingabevorrichtung

Info

Publication number: DE102004022494A1
Application number: DE102004022494A
Authority: DE
Inventors: Masaki Kariya Inomae; Yuji Kariya Tsuchiya; Rieko Kariya Fukushima
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2003-05-08
Filing date: 2004-05-07
Publication date: 2004-12-02
Also published as: US20040254699A1; JP2004334590A; FR2854697A1

Abstract

Eine Betätigungseingabevorrichtung enthält in Kombination eine Flüssigkristallanzeige und eine Fresnel-Linse, um ein dreidimensionales virtuelles Bild in einem virtuellen Raum vor einem Fahrzeugfahrersitz anzuzeigen, um es einem Insassen des Sitzes zu ermöglichen, einen Betätigungsbefehl für eine fahrzeuginterne Einheit einzugeben. Ein Bild des Insassen und das Bild im virtuellen Raum werden durch eine Bildaufnahmeeinrichtung aufgenommen. Eine ECU erkennt eine Bewegung einer Hand des Insassen innerhalb des virtuellen Raumes durch eine hinsichtlich der aufgenommenen Bilder durchgeführte Bildverarbeitung. Wenn die erkannte Bewegung mit einer vorbestimmten Bewegung in Bezug auf das dreidimensionale Bild, das im virtuellen Raum angezeigt wird, übereinstimmt, wird von der ECU bestimmt, dass ein Betätigungsbefehl für die fahrzeuginterne Einheit eingegeben wurde. Die ECU gibt den Betätigungsbefehl an die fahrzeuginterne Einheit aus und ändert das dreidimensionale Bild im virtuellen Raum entsprechend dem Betätigungsbefehl.

Description

Die vorliegende Erfindung betrifft eine Betätigungseingabevorrichtung, die so ausgelegt ist, dass sie anhand einer Bewegung einer Hand eines Nutzers einen durch den Nutzer ausgegebenen Betätigungsbefehl identifiziert und den identifizierten Betätigungsbefehl an eine zu betätigende Vorrichtung ausgibt.
Es sind Eingabevorrichtungen bekannt, die derart aufgebaut sind, dass, um es einem Fahrzeuginsassen zu ermöglichen, eine fahrzeuginterne Einheit ohne direkte Berührung der Einheit zu betätigen, ein Raum bzw. Freiraum, in den bzw. zu dem der Fahrzeuginsasse seine Hand Strecken kann, während er auf einem Sitz sitzt, als ein virtueller Raum vorgesehen ist, ein Bild im virtuellen Raum aufgenommen wird, um eine Bewegung der Hand des Insassen innerhalb des virtuellen Raumes aus dem bzw. anhand des aufgenommenen Bild zu erkennen, und ein Betätigungsbefehl, der vom Insassen ausgegeben wird, auf der Grundlage der erkannten Bewegung der Hand des Insassen bestimmt wird. Ein Beispiel einer derartigen bekannten Eingabevorrichtung ist in der japanischen Patentoffenlegungsschrift (JP-A) Nr. 2000-75991 beschrieben.
Gemäß der beschriebenen Eingabevorrichtung kann der Fahrzeuginsasse verschiedene fahrzeuginterne Einheiten oder Vorrichtungen einschließlich einer Klimaanlage, einer Navigationseinheit usw. ohne direkte Berührung eines Steuerpaneels einer jeweiligen Einheit betätigen. Somit kann eine Betätigungseingabe hinsichtlich der einzelnen fahrzeuginternen Einheiten mit äußerster Leichtigkeit durchgeführt werden.
Außerdem ist die beschriebene Eingabevorrichtung zur Vermeidung einer falschen Eingabe so ausgelegt, dass das Ergebnis einer Bestimmung, die hinsichtlich des Betätigungsbefehls durchgeführt wird, dem Fahrzeuginsassen mittels einer Sprachnachricht mitgeteilt beziehungsweise zurückgegeben wird. Somit kann sogar dann, wenn die Eingabevorrichtung eine falsche Bestimmung für den Betätigungsbefehl trifft, der Insasse, der seine Hand innerhalb des virtuellen Raumes bewegt, das Ergebnis einer derartigen falschen Bestimmung löschen beziehungsweise widerrufen.
Zur Betätigung der fahrzeuginternen Einheiten mittels der herkömmliche Eingabevorrichtung muss der Fahrzeuginsasse jedoch seine Hand innerhalb des virtuellen Raumes bewegen, in dem nichts anderes als die Hand des Insassen vorhanden ist. Diese Anforderung kann zu dem Problem führen, dass die Nutzbarkeit der Eingabevorrichtung insbesondere für einen Fahrzeuginsassen, der mit der Betätigung innerhalb des virtuellen Zwischenraumes unerfahren ist, sehr gering ist. Außerdem besteht ein anderes Problem darin, dass, wenn die Eingabevorrichtung für den Betätigungsbefehl eine falsche Bestimmung trifft, das Ergebnis einer derartigen falschen Bestimmung nicht erfolgreich widerrufen bzw. gelöscht werden kann, obwohl der Fahrzeuginsasse über eine derartige falsche Betätigung durch eine Sprachrückmeldung benachrichtigt wird.
Daher ist es eine Aufgabe der vorliegenden Erfindung, eine Betätigungseingabevorrichtung vom oben beschriebenen Typ anzugeben, die hinsichtlich ihrer Nutzbarkeit derart verbessert ist, dass der Nutzer eine zu betätigende Vorrichtung leicht und zuverlässig betätigen kann.
Die Aufgabe wird mit den Merkmalen des unabhängigen Anspruchs gelöst. Die abhängigen Ansprüche sind auf bevorzugte Ausführungsformen der Erfindung gerichtet.
Erfindungsgemäß wird eine Betätigungseingabevorrichtung angegeben, die aufweist: eine Bildanzeigeeinrichtung zum Anzeigen eines dreidimensionalen Bildes in einem vorbestimmten virtuellen Raum; eine oder mehrere Bildaufnahmeeinrichtungen zum Aufnehmen eines Bildes in einem Bereich einschließlich dem virtuellen Raum; und eine Erkennungseinrichtung zum Erkennen einer Bewegung einer Hand eines Nutzers innerhalb des virtuellen Raumes anhand des von der Bildaufnahmeeinrichtung aufgenommenen Bildes. Die Betätigungseingabevorrichtung enthält außerdem eine Steuereinrichtung, die so ausgelegt ist, dass sie die Bildanzeigevorrichtung veranlasst oder ansteuert, ein dreidimensionales Bild zur Betätigung einer zu betätigenden Vorrichtung anzuzeigen, einen vom Nutzer ausgegebenen Betätigungsbefehl anhand der Bewegung der Hand des Nutzers, die durch die Erkennungseinrichtung erkannt wird, identifiziert, während das dreidimensionale Bild angezeigt wird, das durch die Bildanzeigeeinrichtung angezeigte dreidimensionale Bild entsprechend dem identifizierten Betätigungsbefehl ändert und den Betätigungsbefehl an die zu betätigende Vorrichtung ausgibt.
Mit der derart aufgebauten Betätigungseingabevorrichtung wird es dem Nutzer ermöglicht, einen gewünschten Betätigungsbefehl hinsichtlich der zu betätigenden Vorrichtung durch geeignete Bewegung (Stoßen, Greifen oder Winken) seiner Hand innerhalb des virtuellen Raumes einzugeben, während er das in dem virtuellen Raum zur Betätigung durch den Nutzer angezeigte dreidimensionale Bild visuell bestätigt bzw. bestätigt findet. Somit muss der Nutzer nicht mehr wie bei der herkömmlichen Betätigungseingabevorrichtung seine Hand innerhalb eines Raumes be wegen, in dem sich nichts befindet. Dementsprechend ist die Nutzbarkeit der Betätigungseingabevorrichtung der vorliegenden Erfindung im Vergleich zur herkömmlichen Vorrichtung sehr hoch, und es kann eine falsche Betätigung durch den Nutzer vermieden werden.
Da sich das im virtuellen Raum zur Betätigung durch den Nutzer angezeigte dreidimensionale Bild jedoch entsprechend dem durch die Steuereinrichtung identifizierten Betätigungsbefehl ändert, ermöglicht es die Änderung im dreidimensionalen Bild, dass der Nutzer das Ergebnis der Betätigung zuverlässig bestätigen bzw. bestätigt finden kann. Sogar wenn eine falsche Betätigung durch den Nutzer stattfindet, ist es leicht möglich, die falsche Betätigung durch Wiederholen der Betätigung während der Beobachtung des dreidimensionalen Bildes zu korrigieren. Dieses verbessert die Nutzbarkeit der Betätigungseingabevorrichtung noch weiter.
Es ist wahr, dass die Betätigungseingabevorrichtung der vorliegenden Erfindung durch das Anzeigen eines dreidimensionalen Bildes im virtuellen Raum zur Betätigung durch den Nutzer die Nutzbarkeit verbessern kann, wenn der Nutzer seine Hand innerhalb des virtuellen Bildes bewegt, um einen Betätigungsbefehl einzugeben. In einer Anwendung, in der die Eingabe eines Betätigungsbefehles an eine jeweilige zu betätigende Vorrichtung eine Hauptanforderung darstellt, oder wenn die zu betätigende Vorrichtung verschiedene Arten von zu steuernde Betätigungen aufweist, ist es praktisch unmöglich, alle Gegenstände der Informationen anzuzeigen, die mittels eines einzigen dreidimensionalen Bildes betätigbar sind.
In diesem Fall ist es vorteilhaft, dass die Steuereinrichtung vor der Ansteuerung der dreidimensionalen Bildanzeigeeinrichtung zur Anzeige des dreidimensionalen Bildes zur Betätigung der zu betätigenden Vorrichtung die dreidimensionale Bildanzeigeeinrichtung zur Anzeige eines dreidimensionalen Bildes ansteuert, das es einem Nutzer ermöglicht, die Auswahl einer zu betätigenden Vorrichtung oder einer Art einer Betätigung einer zu betätigenden Vorrichtung durchzuführen, anhand der Bewegung der Hand des Nutzers die zu betätigende Vorrichtung oder die Art der vom Nutzer ausgewählten Betätigung, die von der Erkennungseinrichtung erkannt wird, identifiziert, während das dreidimensionale Bild angezeigt wird, und anschließend entsprechend einem Ergebnis der Erkennung die dreidimensionale Bildanzeigeeinrichtung ansteuert, um ein dreidimensionales Bild zur Betätigung der zu betätigenden Vorrichtung anzuzeigen.
Mit der derart aufgebauten Steuereinrichtung ist der Nutzer in der Lage, durch alleiniges Bewegen seiner Hand innerhalb des virtuellen Raumes eine gewünschte zu betätigende Vorrichtung oder eine gewünschte Art von durchzuführender Betätigung auszuwählen, während er ein zum Zwecke der Auswahl im virtuellen Raum angezeigtes dreidimensionales Bild beobachtet. Auf der Grundlage der somit durchgeführten Auswahl wird ein dreidimensionales Bild zur Betätigung durch den Nutzer im virtuellen Raum angezeigt. Dieses gewährleistet, dass für die Mehrzahl an zu betätigenden Vorrichtungen und für die zahlreichen Arten von durchzuführenden Betätigungen durch eine einfache vom Nutzer durchgeführte Tätigkeit ein Betätigungsbefehl eingegeben werden kann.
In diesem Fall werden die dreidimensionalen Bilder, die für die Auswahl der zu betätigenden Vorrichtung oder die Art der durchzuführenden Betätigung bereitgestellt werden, vorzugsweise im Voraus auf ähnliche Weise wie ein allgemeines hierarchisches Menü geschichtet oder hierarchisiert, so dass der Nutzer die hierarchisch aufgebauten dreidimensionalen Bilder aufeinanderfolgend ändern kann, bis ein gewünschtes dreidimensionales Bild zur Betätigung durch den Nutzer ausgewählt ist.
Das im virtuellen Raum zur Betätigung durch den Nutzer angezeigte dreidimensionale Bild kann die Form von dreidimensional angezeigten Knöpfen oder Ähnlichem (Steuerungen) annehmen. Vorzugsweise werden tatsächliche Betätigungsbedingungen einer zu betätigenden Vorrichtung erfasst und die erfassten Betätigungsbedingungen durch ein dreidimensionales Bild angezeigt. Dieser Aufbau ermöglicht es dem Nutzer, einen gewünschten Betätigungsbefehl unter unmittelbarer Bestätigung der tatsächlichen Betätigungsbedingungen der betätigten Vorrichtung, die anhand des angezeigten Bildes erlangt bzw. ermittelt werden, einzugeben. In diesem Beispiel kann der Nutzer einfach das Ergebnis der Betätigungsbefehlseingabebetätigung bestätigen bzw. bestätigt finden, da das Ergebnis einer Eingabe des Betätigungsbefehls innerhalb des virtuellen Raumes als eine Änderung der Betätigungsbedingungen der betätigten Vorrichtung angezeigt wird.
Die Betätigungseingabevorrichtung kann eine Fahrzeugbetätigungseingabevorrichtung sein, die so ausgelegt ist, dass sie einem Nutzer eines Fahrzeugs ermöglicht, eine fahrzeuginterne Einheit zu betätigen. In der Fahrzeugbetätigungseingabevorrichtung ist die Bildanzeigeeinrichtung für dreidimensionale Bilder vor einem Sitz des Fahrzeugs angeordnet und so aufgebaut, dass der virtuelle Raum durch einen Raum ausgebildet ist, in den der Insasse des Sitzes seine Hand Strecken kann und der auch das dreidimensionale Bild, das einem Insassen, der auf dem Sitz sitzt, angezeigt wird, aufweist. Die Bildaufnahmeeinrichtung ist zusammen mit der Bildanzeigeeinrichtung für dreidimensionale Bilder vor dem Fahrzeugsitz angeord net und so ausgelegt, dass sie von der Seite vor dem Insassen her ein Bild des Insassen des Sitzes aufnimmt.
Mit der derart aufgebauten Fahrzeugbetätigungseingabevorrichtung kann der Insasse des Fahrzeugsitzes die fahrzeuginterne Einheit leicht betätigen, ohne genötigt zu sein, seine Sitzposition auf dem Fahrzeugsitz zu ändern.
Im folgenden wird beispielhaft eine bevorzugte Ausführungsform der vorliegenden Erfindung genauer mit Bezug auf die zugehörigen Zeichnungen beschrieben, in denen identische oder einander entsprechende Teile mit den selben Bezugszeichen bezeichnet sind. Es zeigen:
1 eine schematische Darstellung des allgemeinen Aufbaus einer Betätigungseingabevorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung;
2 ein Blockdiagramm des Aufbaus einer elektrischen Steuereinheit (ECU) zur Betätigungseingabe und andere ECUs für verschiedene fahrzeuginterne Einheiten, die über einen Kommunikationskanal mit der Betätigungseingabe-ECU verbunden sind;
3 ein Flussdiagramm, das eine von der Betätigungseingabe-ECU durchgeführte Steuerungsprozedur zeigt;
4A bis 4D piktographische Darstellungen, die die Art und Weise zeigen, wie die Betätigung einer fahrzeuginternen Einheit unter Verwendung dreidimensionaler Bilder gesteuert wird, die in einem virtuellen Raum der Betätigungseingabevorrichtung der vorliegenden Erfindung angezeigt werden.
1 zeigt schematisch und beispielhaft den allgemeinen Aufbau einer Betätigungseingabevorrichtung gemäß der vorliegenden Erfindung. Wie es in dieser Figur gezeigt ist, ist die Betätigungseingabevorrichtung 1 zum Eingeben von Betätigungsbefehlen durch einen Insassen Pn eines Sitzes Sn eines Navigators eines Fahrzeugs V in dem Fahrzeug V angebracht. Die Betätigungseingabevorrichtung 1 weist im allgemeinen eine Flüssigkristallanzeige 2 und eine Fresnel-Linse 4, die an einem Fahrzeugvorderpaneel FP vor dem Insassensitz SN angeordnet sind, eine Bildaufnahmevorrichtung 6, die auf dem Vorderpaneel FP angeordnet ist, und eine elektronische Steuereinheit 10 für die Betätigungseingabe auf. Die elektronische Steuereinheit 10 wird im folgenden als "Betätigungseingabe-ECU" bezeichnet.
Die Flüssigkristallanzeige 2 und die Fresnel-Linse 4 bilden zusammen eine erfindungsgemäße Bildanzeigeeinrichtung oder -einheit für dreidimensionale Bilder, die so aufgebaut ist, dass sie Lichtinformationen derart aussendet, dass jedes Auge des Insassens Pn des Sitzes Sn ein anderes Bild sieht, mit dem Ergebnis, dass ein virtuelles Bild Iv (dreidimensionales Bild) in einem Raum Sv (virtueller Raum) angezeigt wird, in den der Insasse Pn seine Hand oder Hände strecken kann, während er seine Sitzposition auf dem Sitz Sn beibehält.
Genauer gesagt enthält die Flüssigkristallanzeige 2 ein Flüssigkristallanzeigepaneel, das parallaktisch erste und zweite Bilder (d. h. stereoskopische Bilder) abwechselnd in Zeitteilung anzeigt, und zwei Lichtquellen, die Lichtstrahlen abwechselnd von unterschiedlichen Richtungen auf das Flüssigkristallanzeigepaneel aussenden, so dass die ersten und zweiten Bilder, die auf dem Flüssigkristallanzeigepaneel angezeigt werden, selektiv auf die jeweiligen Augen des Insassen Pn projiziert werden. Die Fresnel-Linse 4, die vor dem Flüssigkristallanzeigepaneel angeordnet ist, wandelt die stereoskopischen Bilder, die auf dem Flüssigkristallanzeigepaneel angezeigt werden, in ein vergrößertes virtuelles Bild (dreidimensionales Bild) um.
Die Struktur der Flüssigkristallanzeige 2 ist bekannt und z. B. in den japanischen Patentoffenlegungsschriften Nr. 9-222584, 2000-50316 und 2001-218231 beschrieben, und es wird deren weitere Beschreibung weggelassen.
Die Bildaufnahmevorrichtung 6 weist eine CCD- (charged coupled device) Kamera auf, die ein Bild (zweidimensionales Bild) in einem Bereich, der vor dem Insassen Pn angeordnet ist und den virtuellen Raum Sv enthält, in dem das dreidimensionale Bild mittels der Flüssigkristallanzeige 2 und der Fresnel-Linse 4 angezeigt wird, aufnehmen kann. Die Bildaufnahmevorrichtung 6 bildet eine erfindungsgemäße Bildaufnahmeeinrichtung.
Zur kontrollierten bzw. gesteuerten Betätigung verschiedener fahrzeuginterner Einheiten einschließlich einer Klimaanlage, einer Navigationseinheit und einer Audioeinheit ist die Betätigungseingabe-ECU 10 so ausgelegt, dass sie die Flüssigkristallanzeige 2 veranlasst oder ansteuert, ein dreidimensionales Bild Iv innerhalb des virtuellen Raumes Sv anzuzeigen, ein von der Bildaufnahmevorrichtung 6 aufgenommenes Bild einliest, während das Bild auf der Flüssigkristallanzeige 2 angezeigt wird, eine Bildverarbeitung für das aufgenommene Bild durchführt, um eine Bewegung einer Hand eines Insassens innerhalb des virtuellen Raumes Sv zur erkennen, und anhand des Ergebnisses der Erkennung einen vom Insassen Pn ausgegebenen Betätigungsbefehl identifiziert.
Wie es in 2 gezeigt ist, besteht die Betätigungseingabe-ECU 10 aus einem an sich bekannten Mikrocomputer, der eine zentrale Verarbeitungseinheit (CPU) 12, einen nur-Lese-Speicher (ROM) 14, einen Speicher mit wahlfreiem Zugriff (RAM) 16 und eine Busleitung, die die CPU 12, den ROM 14 und den RAM 16 miteinander verbindet, enthält.
Die Betätigungseingabe-ECU 10 enthält außerdem einen Anzeigesteuerabschnitt 22 zum Ansteuern der Flüssigkristallanzeige 2 zum Anzeigen von stereoskopischen Bildern, einen Anzeigedatenspeicherabschnitt 24 zum Speichern von Anzeigedaten, die zur Ansteuerung der Flüssigkristallanzeige 2 verwendet werden, um die stereoskopischen Bilder anzuzeigen, einen Bildverarbeitungsabschnitt 26 zum Verarbeiten eines von der Bildaufnahmevorrichtung 6 aufgenommenen Bildes, um eine Position oder Form der Hand des Insassen oder Nutzers zu erkennen, einen Betätigungsmusterspeicherabschnitt 28 zum Speichern von Betätigungsmustern, die zur Identifikation eines vom Insassen ausgegebenen Betätigungsbefehls anhand einer Bewegung der Hand des Insassen verwendet werden, und einen Kommunikationsabschnitt 20, der eine Datenkommunikation zwischen sich selbst und einer Klimaanlagen-ECU 30, einer Navigations-ECU 40 und einer Audio-ECU 50 der fahrzeuginternen Einheiten über die Kommunikationsleitung 8 durchführt.
Durch die CPU 12, die in der Betätigungseingabe-ECU 10 untergebracht ist, wird die Flüssigkristallanzeige 2 angesteuert, um ein dreidimensionales Bild Iv (1) innerhalb des virtuellen Raumes Sv (1) zur Betätigung einer fahrzeuginternen Einheit anzuzeigen, ein vom Insassen ausgegebener Betätigungsbefehl wird anhand eines durch die Bildaufnahmevorrichtung 6 aufgenommenen Bildes identifiziert, und der identifizierte Betätigungsbefehl wird an die Klimaanlagen-ECU 30, Navigations-ECU 40 und Audio-ECU 50 übertragen, so dass eine Betätigung der entsprechenden fahrzeuginternen Einheiten (d. h. der Klimaanlage, Navigationseinheit und Audioeinheit) durch die jeweiligen ECUs 30, 40, 50 gesteuert werden.
Eine Steuerungsprozedur, die von der Betätigungseingabe-ECU 10 durchgeführt wird (genauer gesagt der CPU 12), um eine Eingabe eines Betätigungsbefehls vom Insassen Pn aufzunehmen, wird im Folgenden mit Bezug auf das Flussdiagramm der 3 beschrieben.
Beim Ausführen der Steuerungsprozedur wird angenommen, dass Betätigungseinheitauswahlbilder, die es dem Insassen ermöglichen, eine gewünschte zu betätigende fahrzeuginterne Einheit unter den fahrzeuginternen Einheiten auszuwählen, Betätigungsartauswahlbilder, die es dem Insassen ermöglichen, eine gewünschte Art einer auszuführenden Betätigung aus Betätigungsarten einer jeweiligen fahrzeuginternen Einheit auszuwählen, und Betätigungsbefehleingabebilder, die jeweiligen Betätigungsarten, die vom Insassen auswählbar sind, entsprechen, in dem Anzeigedatenspeicherabschnitt 24 in geschichteter oder hierarchischer Form als Anzeigedaten zum Anzeigen von dreidimensionalen Bildern gespeichert werden.
Auf ähnliche Weise werden verschiedene Betätigungsmuster, die jeweils einem der im Anzeigedatenspeicherabschnitt 24 gespeicherten Bilder entsprechen, im Betätigungsmusterspeicherabschnitt 28 gespeichert, um eine Identifikation eines Auswahlbefehls oder eines vom Insassen ausgegebenen Betätigungsbefehls anhand einer Bewegung der Hand des Insassen zu ermöglichen, während ein jeweiliges Bild innerhalb des virtuellen Raumes Sv (1) angezeigt wird.
Wie es in 3 gezeigt ist, startet die CPU 12 mit der Ausführung der Steuerungsprozedur in einem Schritt 110. Im Schritt 110 werden Anzeigedaten bezüglich Betätigungseinheitauswahlbildern aus dem Anzeigedatenspeicherabschnitt 24 ausgelesen und an den Anzeigesteuerabschnitt 22 geleitet, wobei die Flüssigkristallanzeige 2 angesteuert wird, um ein dreidimensionales Bild im virtuellen Raum zur Auswahl einer gewünschten zu betätigenden fahrzeuginternen Einheit anzuzeigen (im Folgenden der Kürze wegen als "betätigte Einheit" bezeichnet). In der dargestellten Ausführungsform werden, da die Anzahl der betätigten fahrzeuginternen Einheiten drei beträgt (d. h. Klimaanlage, Navigationseinheit und Audioeinheit), drei Auswahlblöcke oder Bälle, die jeweils eine entsprechende betätigte Einheit repräsentierten, innerhalb des virtuellen Raumes angezeigt, als ob sie in der Luft schweben.
Anschließend wird im Schritt 120 ein Erkennungsergebnis, das für die Position und Form einer Hand eines Insassen durch eine Bildverarbeitung hinsichtlich eines aufgenommenen Bildes erhalten wird, von dem Bildverarbeitungsabschnitt 26 ausgelesen. Danach wird im Schritt 130 bestimmt, ob das ausgelesene Erkennungsergebnis (die Position und Form der Hand des Insassen) eine Änderung zeigt, die nach dem sich nach dem letzten oder vorhergehenden Leseprozess im Schritt 120 ergeben hat.
Wenn das Bestimmungsergebnis im Schritt 130 negativ ist (d. h. wenn das Erkennungsergebnis ergibt, dass keine Änderung nach dem letzten Lesen erfolgt ist), kehrt die Steuerungsprozedur zum Schritt 110 zurück. Wenn andererseits das Bestimmungsergebnis im Schritt 130 positiv ist (d. h., wenn das Erkennungsergebnis eine Änderung nach dem letzten Lesen ergibt), schreitet die Steuerungsprozedur im Schritt 140 fort. Im Schritt 140 wird ein Änderungsmuster der Position oder Form der Hand des Insassen anhand der letzten Erkennungsergebnisse, die am Bildverarbeitungsabschnitt 26 erhalten werden, berechnet, und das berechnete Änderungsmuster wird mit einem Betätigungsmuster verglichen, das im Betätigungsmusterspeicherabschnitt 28 gespeichert ist, um dadurch einen vom Insassen durch eine Bewegung der Hand des Insassen innerhalb des virtuellen Raumes eingegebenen Auswahlbefehl zu erkennen.
In der dargestellten Ausführungsform wird das Betätigungsmuster, das während der Anzeige des Betätigungseinheitauswahlbildes verwendet wird, so eingestellt, dass, wenn eine Hand des Insassen, die vor einem gewünschten Auswahlblock, der angezeigt wird, ausgestreckt wurde, wie es in 4A gezeigt ist, bewegt wird, um den gewünschten Auswahlblock zu drücken oder zu greifen, bestimmt wird, dass der gedrückte oder gegriffene Auswahlblock ausgewählt ist.
In einem dem Schritt 140 folgenden Schritt 150 wird bestimmt, ob eine Eingabe des Auswahlbefehls vom Nutzer durch den im Schritt 140 durchgeführten Auswahlbefehlerkennungsprozess erkannt wurde. Wenn das Ergebnis positiv ist (das heißt, wenn eine Eingabe des Auswahlbefehls erkannt wurde), zweigt die Steuerungsprozedur zu einem Schritt 180 ab. Wenn andererseits das Ergebnis negativ ist (d. h. wenn eine Eingabe des Auswahlbefehls nicht erkannt wurde), schreitet die Steuerungsprozedur im Schritt 160 fort. Im Schritt 160 wird bestimmt, ob eine Widerrufsbetätigung bzw. eine Betätigung zum Widerruf durch den Nutzer durch den im Schritt 140 durchgeführten Auswahlbefehlerkennungsprozess erkannt wurde.
Die Widerrufsbetätigung wird durch eine wedelnde Bewegung der Hand des Insassen nach links und rechts über den virtuellen Raum definiert. Der Schritt 140 führt au ßerdem eine Identifikation der somit definierten Widerrufsbetätigung auf der Grundlage einer Bewegung der Hand des Insassen durch.
Wenn das Ergebnis im Schritt 160 zeigt, dass die Widerrufsbetätigung nicht erkannt wurde, kehrt die Steuerungsprozedur zum Schritt 110 zurück. Wenn andererseits das Ergebnis im Schritt 160 zeigt, dass der Widerrufsbetrieb erkannt wurde, bedeutet dieses, dass die Betätigungseingabe, die den virtuellen Raum nutzt, widerrufen wurde. Somit schreitet die Steuerungsprozedur in einem Schritt 170 fort, der die Anzeige des Bildes beendet.
Die CPU 12 ist so ausgelegt, dass sie sogar nach einer Beendigung der Steuerungsprozedur das Erkennungsergebnis vom Bildverarbeitungsabschnitt 26 ausliest oder erhält und einen Aktivierungsbefehlerkennungsprozess durchführt, um einen Aktivierungsbefehl des Insassen auf der Grundlage eines Änderungsmusters, das für die Bewegung der Hand des Insassen erlangt wird, zu erkennen. Bei der Erkennung des Aktivierungsbefehls des Insassen startet die CPU 12 erneut die Steuerungsprozedur, um die Betriebsabläufe vom Schritt 110 an auszuführen.
Der Schritt 180, der ausgeführt wird, wenn das Ergebnis im Schritt 150 zeigt, dass ein Auswahlbefehl vom Insassen erkannt wurde, liest Anzeigedaten über Betätigungsartauswahlbilder aus und leitet die Anzeigedaten an den Anzeigesteuerabschnitt 22 weiter, so dass ein Betätigungsartauswahlbild innerhalb des virtuellen Raumes angezeigt wird, um es dem Insassen zu ermöglichen, eine gewünschte Betätigungsart, die durch den Auswahlbefehl ausgewählt wird, auszuwählen.
Demzufolge werden Auswahlblöcke bzw. -bälle, die jeweils eine Betätigungsart der durch den Insassen auswähl baren betätigten Einheit darstellen, innerhalb des virtuellen Raumes angezeigt. In der dargestellten Ausführungsform wird zum Beispiel im Voraus bestimmt, dass die Betätigungsarten der Klimaanlage umfassen: (a) eine Windrichtungseinstellbetätigung zum Einstellen der Blasrichtung von klimatisierter Luft von jedem von vier Luftöffnungen bzw. -düsen, die jeweils an einem linken Ende, einem rechten Ende und an linken und rechten Seiten in der Nähe der Mitte eines vorderen Abschnitts bzw. Teils eines Fahrzeuginsassenabteils angeordnet sind, (b) eine Temperatureinstellbetätigung zum Einstellen der Temperatur innerhalb des Insassenabteils oder der Temperaturen der klimatisierten Luft, die aus den einzelnen Luftöffnungen ausgelassen wird, und (c) eine Betriebsmoduseinstellbetätigung zum Einstellen eines Betriebsmodus der Klimaanlage (zwischen einem Automatikmodus und einem manuellen Modus sowie zwischen einem Frischlufteinlassmodus und einem Raumluftzirkulationsmodus, wenn der manuelle Betätigungsmodus ausgewählt ist). In dem Fall, in dem der Auswahlblock, der die Klimaanlage repräsentiert, unter drei Auswahlblöcken, die als jeweilige Betätigungseinheitauswahlbilder angezeigt werden, ausgewählt ist, wie es in 4A gezeigt ist, werden drei Auswahlblöcke oder -bälle, die jeweils eine der vorherigen drei Arten der Betätigung (a)–(c) repräsentieren, innerhalb des virtuellen Raumes angezeigt, als ob sie in der Luft schweben, wie es in 4B gezeigt ist.
Anschließend wird in einem Schritt 190 das Ergebnis der Erkennung der Position und Form einer Hand eines Insassen, das durch eine Bildverarbeitung erhalten wird, die hinsichtlich eines aufgenommen Bildes durchgeführt wird, auf die selbe Weise wie im Schritt 120 aus dem Bildverarbeitungsabschnitt 26 ausgelesen. Danach wird in einem Schritt 200 bestimmt, ob das ausgelesene Erkennungsergebnis (die Position und Form einer Hand des In sassen) eine Änderung nach dem letzten oder vorhergehenden Leseprozess im Schritt 190 ergibt.
Wenn das Ergebnis im Schritt 200 negativ ist (d. h. wenn das Erkennungsergebnis keine Änderung nach dem letzten Lesen ergibt), kehrt die Steuerungsprozedur zum Schritt 180 zurück. Wenn andererseits das Ergebnis im Schritt 200 positiv ist (d. h. wenn das Erkennungsergebnis eine Änderung nach dem letzten Lesen ergibt), schreitet die Steuerungsprozedur im Schritt 210 fort. Im Schritt 210 wird ein Änderungsmuster der Position oder Form der Hand des Insassen anhand der letzten Erkennungsergebnisse, die am Bildverarbeitungsabschnitt 26 erhalten werden, berechnet, und das berechnete Änderungsmuster wird mit einem Betätigungsmuster verglichen, das im Betätigungsmusterspeicherabschnitt 28 gespeichert ist, um dadurch einen vom Insassen durch eine Bewegung seiner Hand innerhalb des virtuellen Raumes eingegebenen Auswahlbefehl zu erkennen.
Das in Kombination mit dem Betätigungsartauswahlbild zum Erkennen eines Auswahlbefehls verwendete Betätigungsmuster ist dasselbe wie das in Kombination mit dem Betätigungseinheitauswahlbild zur Erkennung eines Auswahlbefehls verwendete Betätigungsmuster. Genauer gesagt wird, wie es in 4B gezeigt ist, das Betätigungsmuster so eingestellt, dass, wenn eine Hand des Insassen, die vor einem gewünschten angezeigten Auswahlblock gestreckt wurde, so bewegt wird, als ob sie den gewünschten Auswahlblock drückt oder greift, bestimmt wird, dass der gedrückte oder gegriffene Auswahlblock ausgewählt ist.
In einem dem Schritt 210 folgenden Schritt 220 wird bestimmt, ob eine Eingabe des Auswahlbefehl vom Insassen durch den im Schritt 210 durchgeführten Auswahlbefehlerkennungsprozess erkannt wurde. Wenn das Ergebnis positiv ist (d. h. wenn eine Eingabe des Auswahlbefehls erkannt wurde), zweigt die Steuerungsprozedur zu einem Schritt 240 ab. Wenn andererseits das Ergebnis negativ ist (d. h. wenn eine Eingabe des Auswahlbefehls nicht erkannt wurde), schreitet die Steuerungsprozedur in einem Schritt 230 fort, in dem weiterhin bestimmt wird, ob eine Widerrufsbetätigung durch den Insassen durch den im Schritt 210 durchgeführten Auswahlbefehlerkennungsprozess erkannt wurde.
Wenn das Ergebnis im Schritt 230 zeigt, dass die Widerrufsbetätigung nicht erkannt wurde, kehrt die Steuerungsprozedur zum Schritt 180 zurück. Wenn andererseits das Ergebnis im Schritt 230 zeigt, dass die Widerrufsbetätigung erkannt wurde, bedeutet dieses, dass die Betätigung hinsichtlich der betätigten Einheit, die durch den Nutzer ausgewählt wurde, widerrufen wurde. Die Steuerungsprozedur kehrt dann zum Schritt 110 zurück.
Der Schritt 240 wird ausgeführt, wenn das Ergebnis im Schritt 220 zeigt, dass ein Auswahlbefehl des Insassen erkannt wurde. In diesem Schritt 240 werden Betätigungsbedingungen der betätigten Einheit, die den Betätigungsarten, die durch den Auswahlbefehl ausgewählt werden, entsprechen, durch eine Datenkommunikation von der der betätigten Einheit zugeordneten ECU ausgelesen (d. h. der Klimaanlagen-ECU 30, Navigations-ECU 40 oder Audio-ECU 50).
Anschließend werden in einem Schritt 250 Anzeigedaten über den Betätigungsarten entsprechende Betätigungsbefehleingabebilder vom Anzeigedatenspeicherabschnitt 24 ausgelesen, und es wird auf der Grundlage der Anzeigedaten und der Betätigungsbedingungen der betätigten Einheit, die im Schritt 240 erhalten werden, ein Betätigungsbefehleingabebild mit den darin reflektierten Betä tigungsbedingungen erzeugt und als endgültige Anzeigedaten an den Anzeigesteuerabschnitt 22 ausgegeben. Anschließend wird ein Betätigungsbefehleingabebild, das die Betätigungsbedingungen der betätigten Einheit darstellt, im virtuellen Raum dreidimensional angezeigt.
Wenn zum Beispiel als eine Betätigungsart die Windrichtungseinstellbetätigung ausgewählt wird, während das Betätigungsartauswahlbild für die Klimaanlage wie in 4B angezeigt wird, erzeugt der Schritt 250 ein im virtuellen Raum als ein dreidimensionales Bild anzuzeigendes Bild. Wie es in 4C gezeigt ist, enthält das erzeugte Bild ein Betätigungsbefehleingabebild, das von dem Anzeigedatenspeicherabschnitt 24 ausgelesen wird und das vier Luftöffnungen in einem Vorderteil eines Fahrzeuginsassenabteils zeigt, und ein Bild (das in der dargestellten Ausführungsform die Form eines Pfeiles annimmt), das die Blasrichtung klimatisierter Luft von einer jeweiligen Luftöffnung der Klimaanlage als derzeitige Betätigungsbedingungen zeigt, wobei die beiden Bilder einander überlappend angeordnet sind.
Anschließend wird im Schritt 260 das Ergebnis der Erkennung der Position und Form einer Hand eines Insassen, das durch eine Bildverarbeitung, die hinsichtlich eines aufgenommenen Bildes durchgeführt wird, erhalten wird, auf dieselbe Weise, wie es im Schritt 120 oder im Schritt 190 durchgeführt wird, von dem Bildverarbeitungsabschnitt 26 ausgelesen. Danach bestimmt ein Schritt 270, ob das ausgelesene Erkennungsergebnis (die Position und Form der Hand des Insassen) eine Änderung nach dem letzten oder vorhergehenden Leseprozess des Schritts 260 zeigt.
Wenn das Ergebnis der Bestimmung im Schritt 270 zeigt, dass das Erkennungsergebnis keine Änderung nach dem letzten Lesen anzeigt, kehrt die Steuerungsprozedur zum Schritt 240 zurück. Wenn andererseits das Bestimmungsergebnis im Schritt 270 zeigt, dass das Erkennungsergebnis eine Änderung nach dem letzten Lesen anzeigt, schreitet die Steuerungsprozedur in einem Schritt 280 fort. Im Schritt 280 wird ein Änderungsmuster der Position oder Form der Hand des Insassen aus dem letzten Erkennungsergebnissen, die am Bildverarbeitungsabschnitt 26 erhalten werden, berechnet, und das berechnete Änderungsmuster wird mit einem Betätigungsmuster verglichen, das in dem Betätigungsmusterspeicherabschnitt 28 gespeichert ist, um dadurch einen durch einen Insassen durch eine Bewegung seiner Hand innerhalb des virtuellen Raumes eingegebenen Betätigungsbefehl zu erkennen.
Das in Kombination mit dem Betätigungsbefehleingabebild zur Erkennung eines Betätigungsbefehls verwendete Betätigungsmuster wird, obwohl es sich mit der Form des Betätigungsbefehleingabebildes ändert, im Allgemeinen auf eine Änderung von Betätigungsbedingungen einer Einheit, die im Betätigungsbefehleingabebild angezeigt werden, eingestellt. Das Betätigungsmuster wird zum Beispiel im Falle des in 4C gezeigten Betätigungsbefehleingabebildes so eingestellt, dass, wenn eine Hand des Insassen, die vor einer der Luftöffnungen ausgestreckt ist, für die sich der Insasse eine Änderung der Blasrichtung der klimatisierten Luft wünscht, in einer gewünschten Richtung bewegt wird, erkannt wird, dass die Blasrichtung klimatisierter Luft von dem gewünschten Luftzug in der Richtung der Bewegung der Hand des Insassen zu ändern ist.
In einem dem Schritt 280 folgenden Schritt 290 wird bestimmt, ob der Betätigungsbefehl vom Insassen durch den im Schritt 280 durchgeführten Betätigungsbefehlerkennungsprozess erkannt wurde. Wenn das Ergebnis positiv ist (d. h. wenn der Betätigungsbefehl erkannt wurde), schreitet die Steuerungsprozedur im Schritt 300 fort. Im Schritt 300 wird der im Schritt 280 erkannte Betätigungsbefehl an die ECU der betätigten Einheit (d. h. der Klimaanlagen-ECU 30, Navigations-ECU 40 oder Audio-ECU 50) zur dem Betätigungsbefehl entsprechenden Steuerung einer Betätigung der betätigten Einheit übertragen. Danach kehrt die Steuerungsprozedur zum Schritt 240 zurück.
Da Betätigungsbedingungen der betätigten Einheit, die nach der Übertragung des Betätigungsbefehles erlangt werden, im Schritt 240 ausgelesen oder erhalten werden, wird in diesem Beispiel ein Betätigungsbefehleingabebild, das über eine im folgenden Schritt 250 durchgeführte Anzeige angezeigt wird, die Betätigungsbedingungen der betätigten Einheit, die nach der Eingabe des Betätigungsbefehls erlangt werden, reflektieren, wie es in 4D gezeigt ist. Durch Beobachtung des Betätigungsbefehlseingabebildes ist der Insasse in der Lage, ein Steuerungsergebnis, das nach der Eingabe des Betätigungsbefehls eintritt, zu bestätigen bzw. bestätigt zu finden.
Wenn andererseits das Ergebnis im Schritt 290 negativ ist, (d. h. wenn der Betätigungsbefehl nicht erkannt wurde), zweigt die Steuerungsprozedur zu einem Schritt 310 ab, in dem weiterhin bestimmt wird, ob eine Widerrufsbetätigung durch den Insassen durch den im Schritt 280 erzielten Betätigungsbefehlerkennungsprozess erkannt wurde.
Wenn das Ergebnis im Schritt 310 zeigt, dass die Widerrufsbetätigung im Schritt 280 nicht erkannt wurde, kehrt die Steuerungsprozedur zum Schritt 240 zurück. Wenn andererseits das Ergebnis im Schritt 310 zeigt, dass die Widerrufsbetätigung im Schritt 280 erkannt wurde, bedeutet dieses, dass die Betätigung, die hinsichtlich der Art der Betätigung, die durch den Insassen ausgewählt wurde, eingegeben wurde, widerrufen wurde. Die Steuerungsprozedur kehrt dann zum Schritt 180 zurück.
Wie es oben beschrieben ist, wird gemäß der Betätigungseingabevorrichtung der vorliegenden Erfindung ein dreidimensionales Bild zum Eingeben eines Betätigungsbefehls in einem virtuellen Raum vor einem Sitz eines Navigators oder Fahrers eines Fahrzeugs angezeigt. Wenn ein Insasse, der auf dem Sitz sitzt, seine Hand innerhalb des virtuellen Raumes bewegt, wird ein Betätigungsbefehl anhand einer Bewegung der Hand des Insassen erkannt, und der erkannte Betätigungsbefehl wird an eine zu betätigende fahrzeuginterne Einheit übertragen.
Mit der derart aufgebauten Betätigungseingabevorrichtung ist der Insasse in der Lage, einen gewünschten Betätigungsbefehl in Bezug auf die betätigte Einheit durch die Bewegung seiner Hand innerhalb des virtuellen Raumes einzugeben, während er visuell das im virtuellen Raum für die Eingabe des Betätigungsbefehls angezeigte dreidimensionale Bild bestätigt. Diese Prozedur verbessert die Nutzbarkeit der Betätigungseingabevorrichtung und schließt wirksam das Auftreten einer falschen Betätigung durch den Nutzer aus.
Das im virtuellen Raum angezeigte Betätigungsbefehleingabebild stellt derzeitige Betätigungsbedingungen der betätigten Einheit dar. Dementsprechend wird, wenn die betätigte Einheit entsprechend einem durch den Insassen eingegebenen Betätigungsbefehl gesteuert wird, das Betätigungsbefehleingabebild entsprechend dem Ergebnis der Steuerung erneuert. Dieser Aufbau ermöglicht es dem Insassen, Betätigungsbedingungen, die bei der betätigten Einheit anschließend an die Eingabe des Betätigungsbefehls auftreten, zu bestätigen. Außerdem kann sogar dann, wenn eine falsche Betätigung erfolgte, der Insasse gewünschte Betätigungsbedingungen der betätigten Einheit durch Wiederholen der Eingabe des Bestätigungsbefehls während der Beobachtung des Betätigungsbefehlseingabebildes leicht wiederherstellen. Dieses verbessert die Nutzbarkeit der Betätigungseingabevorrichtung noch weiter.
Um eine detaillierte Betätigung mehrerer fahrzeuginterner Einheiten (d. h. eine Klimaanlage, eine Navigationseinheit und eine Audioeinheit) zu ermöglichen, ist die Betätigungseingabevorrichtung mit drei unterschiedlichen Arten von Bildern, die im virtuellem Raum als dreidimensionale Bilder angezeigt werden, versehen. Die drei unterschiedlichen Arten von Bildern enthalten ein Bild zur Auswahl einer zu betätigenden Einheit, ein Bild zur Auswahl einer durchzuführenden Art der Betätigung hinsichtlich der betätigten Einheit und ein Bild für die Eingabe eines der ausgewählten Art von Betätigung entsprechenden Betätigungsbefehls. Diese Bilder werden als dreidimensionale Bilder innerhalb des virtuellen Raumes angezeigt. Durch schrittweise Änderung der Bilder kann der Insasse leicht eine gewünschte betätigte Einheit unter mehreren fahrzeuginternen Einheiten oder eine gewünscht Art der Betätigung unter vielen Arten der Betätigung auswählen.
In der dargestellten Ausführungsform bildet die durch die Betätigungseingabe-ECU 10 durchgeführte Steuerungsprozedur eine erfindungsgemäße Steuereinrichtung. Insbesondere bilden die Schritte 120, 130, 190, 200, 260 und 270, die zur Erkennung einer Bewegung und/oder Form der Hand des Insassen ausgeführt werden, und der Bildverarbeitungsabschnitt 26 in der Betätigungseingabe-ECU 10 eine erfindungsgemäße Erkennungseinrichtung.
Obwohl nur eine Ausführungsform der Erfindung beschrieben wurde, ist es selbstverständlich, dass andere Ausführungsformen und Modifikationen der Erfindung möglich sind.
In der dargestellten Ausführungsform ist die Erfindung zum Beispiel als eine Fahrzeugbetätigungseingabevorrichtung zur Betätigung mehrerer fahrzeuginterner Einheiten ausgeführt. Dieselben oben beschriebenen Wirkungen bzw. Vorteile können auch erzielt werden, wenn die Erfindung als eine Betätigungseingabevorrichtung ausgeführt ist, die ausgelegt ist, eine einzige fahrzeuginterne Einheit oder eine oder mehrere andere Einheiten als die fahrzeuginternen Einheiten zu betätigen.
Im letzteren Fall ist die Erfindung insbesondere vorteilhaft, wenn sie als ein Bahnfahrscheinverkaufsgerät ausgeführt ist, wobei der Nutzer Knöpfe auf einem Betätigungspaneel betätigen muss, während er auf andere Anzeigeeinrichtungen wie zum Beispiel eine Fahrpreistabelle guckt. Bei einer derartigen Anwendung ist es ersichtlich, dass das Bahnfahrscheinverkaufsgerät ausgelegt ist, eine als ein dreidimensionales Bild innerhalb eines virtuellen Raumes angezeigte Bahnkarte bereitzustellen, die Bahnkarte auf eine durch den Nutzer zur Bewegung der Bahnkarte unter Verwendung des dreidimensionalen Bildes durchgeführte Tätigkeit hin zu ändern und einen Fahrpreis anzuzeigen, wenn der Nutzer ein Endziel auf der angezeigten Bahnkarte identifiziert. Durch einen derartigen Aufbau des Bahnfahrkartenverkaufsgeräts kann der Nutzer eine gewünschte Bahnfahrkarte mit größerer Leichtigkeit im Vergleich zu herkömmlichen Bahnfahrkartenverkaufsgeräten kaufen.
Obwohl in der oben erläuterten Ausführungsform eine Beschreibung einer Steuerungsprozedur, die zur Betätigung der Navigationseinheit dient, weggelassen wurde, ist es ersichtlich, dass, wenn eine Karte auf einem Anzeigeschirm der Navigationseinheit zu ändern ist, eine Karte als ein dreidimensionales Bild im virtuellen Raum angezeigt und auf eine Tätigkeit des Insassen hin, die zur Bewegung der Karte auf dem dreidimensionalen Bild dient, geändert wird, wobei sich die Karte auf dem Anzeigeschirm der Navigationseinheit entsprechend ändert. Somit ändert sich, wenn der Insasse eine Betätigung zur Bezeichnung einer Ansicht auf dem dreidimensionalen Bild durchführt, die Karte auf der Navigationseinheit entsprechend der gewünschten Ansicht.
In der dargestellten Ausführungsform ist die Bildaufnahmevorrichtung 6 als eine einzige Bildaufnahmevorrichtung beschrieben. Dieses kommt daher, dass die Position eines Insassen, der z.B. auf einem Fahrersitz des Fahrzeugs sitzt, im Allgemeinen festgelegt ist und sich nicht großartig ändert, so dass nur die Verwendung eines Bildes, das von einer einzigen Richtung aufgenommen wird, Bewegungen einer Hand des Insassen identifizieren kann. Wenn die Erfindung für eine Vorrichtung angewendet wird, bei der die Position eines Nutzers nicht festgelegt ist, werden mehrere Bildaufnahmevorrichtungen verwendet, um eine entsprechende Anzahl von Bildern des Nutzers aufzunehmen, so dass eine Bewegung einer Hand eines Nutzers auf der Grundlage der aufgenommenen Bilder erkannt wird.
Auf ähnliche Weise ist es im Falle einer Betätigungseingabevorrichtung, bei der die Position des Nutzers nicht festgelegt ist und sich die Position der Augen des Nutzers stark verändern, schwierig, ein dreidimensionales Bild innerhalb eines virtuellen Raumes zur Betätigung durch den Nutzer genau anzuzeigen. In diesem Fall ist es vorteilhaft, die Position des Nutzers (noch genauer die Position der Augen des Nutzers) zu erfassen und eine Parallaxe von stereoskopischen Bildern, die auf dem Flüssigkristallanzeigenpaneel einer Flüssigkristallanzeige anzuzeigen sind, auf der Grundlage eines Erfassungsergebnisses einzustellen.
Die in der dargestellten Ausführungsform beschriebene Flüssigkristallanzeige 2, die einen notwendigen Teil der dreidimensionalen Bildanzeigeeinrichtung bildet, dient nur zum Zwecke der Erläuterung und ist nicht als einschränkend zu betrachten. Die dreidimensionale Bildanzeigeeinrichtung kann andere Arten von Anzeigen beinhalten, solange sie dem Nutzer ein dreidimensionales Bild anzeigen können. Gemäß einem Beispiel derartiger Anzeigen werden ein Bild für ein linkes Auge und ein Bild für ein rechtes Auge Seite an Seite auf einem einzigen Flüssigkristallanzeigepaneel angezeigt, und die Richtung der Anzeige der Bilder wird durch einen Schalter wie zum Beispiel eine Flüssigkristallblende gewechselt, so dass die jeweiligen Bilder durch die entsprechenden Augen des Nutzers gesehen werden. In einem anderen Beispiel wird ein besonderes Okular (eyeglass) verwendet, um ein dreidimensionales Bild zu beobachten.
Es sind verschiedene kleinere Änderungen und Modifikationen innerhalb der obigen Lehre denkbar. Selbstverständlich kann die vorliegende Erfindung innerhalb des Bereiches der zugehörigen Ansprüche anders als wie es oben speziell beschrieben ist ausgeführt sein.

Claims

Betätigungseingabevorrichtung, die aufweist: eine Bildanzeigeeinrichtung zum Anzeigen eines dreidimensionalen Bildes in einem vorbestimmten virtuellen Raum; eine oder mehrere Bildaufnahmeeinrichtungen zum Aufnehmen eines Bildes in einem Bereich einschließlich dem virtuellen Raum; eine Erkennungseinrichtung zum Erkennen einer Bewegung einer Hand eines Nutzers innerhalb des virtuellen Raumes anhand des von der Bildaufnahmeeinrichtung aufgenommenen Bildes; und eine Steuereinrichtung zum Ansteuern der Bildanzeigeeinrichtung, um ein dreidimensionales Bild zur Betätigung einer zu betätigenden Vorrichtung anzuzeigen, zum Identifizieren eines durch den Nutzer ausgegebenen Betätigungsbefehls anhand der Bewegung der Hand des Nutzers, die durch die Erkennungseinrichtung erkannt wird, während das dreidimensionale Bild angezeigt wird, zum Veranlassen, dass sich das dreidimensionale Bild, das durch die Bildanzeigeeinrichtung angezeigt wird, entsprechend dem identifizierten Betätigungsbefehl ändert, und zum Ausgeben des Betätigungsbefehls an die zu betätigende Vorrichtung.
Betätigungseingabevorrichtung nach Anspruch 1, wobei die Steuereinrichtung vor der Ansteuerung der Bildanzeigeeinrichtung zum Anzeigen des dreidimensionalen Bildes zur Betätigung der zu betätigenden Vorrichtung die Bildanzeigeeinrichtung zum Anzeigen eines dreidimensionales Bildes ansteuert, um es einem Nutzer zu ermöglichen, eine Auswahl einer zu betätigenden Vorrichtung oder einer Art einer Betätigung einer zu betätigenden Vorrichtung durchzuführen, die zu betätigende Vorrichtung oder die Art der Betätigung, die durch den Nutzer ausgewählt wird, anhand der Bewegung der Hand des Nutzers, die durch die Erkennungseinrichtung erkannt wird, identifiziert, während das dreidimensionale Bild angezeigt wird, und anschließend entsprechend einem Ergebnis der Erkennung die Bildanzeigeeinrichtung ansteuert, um ein dreidimensionales Bild zur Betätigung der zu betätigenden Vorrichtung anzuzeigen.
Betätigungseingabevorrichtung nach Anspruch 1 oder 2, wobei die Betätigungseingabevorrichtung eine Vorrichtung ist, die durch einen Insassen eines Fahrzeugs zur Betätigung einer fahrzeuginternen Einheit betätigbar ist, wobei die Bildanzeigeeinrichtung vor einem Sitz des Fahrzeugs angeordnet und ausgelegt ist, das dreidimensionale Bild einem Insassen, der auf dem Sitz sitzt, anzuzeigen, wobei der virtuelle Raum durch einen Raum ausgebildet ist, in den der Insasse des Sitzes seine Hand Strecken kann, und wobei die Bildaufnahmeeinrichtung zusammen mit der dreidimensionalen Bildanzeigeeinrichtung vor dem Sitz des Fahrzeugs angeordnet und ausgelegt ist, ein Bild des Insassen des Sitzes von vorne vor dem Insassen aus aufzunehmen.