DE112014006380T5

DE112014006380T5 - Gestenführungsvorrichtung für eine bewegliche Plattform, Gestenführungssystem für eine bewegliche Plattform und Gestenführungsverfahren für eine bewegliche Plattform

Info

Publication number: DE112014006380T5
Application number: DE112014006380.0T
Authority: DE
Inventors: Shuhei OTA; Takashi Hirano; Taro Kumagai
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2014-02-18
Filing date: 2014-02-18
Publication date: 2016-11-24
Also published as: JPWO2015125213A1; CN106030460B; JP5968573B2; US10168786B2; WO2015125213A1; CN106030460A; US20160334879A1

Abstract

Ein Hervorhebungsniveau (R) wird in Übereinstimmung mit einer Differenz zwischen einer Position einer Hand eines Operators (A), die auf Grundlage eines Erfassungssignals einer 3D-Kamera (6) spezifiziert worden ist, und einer vorbestimmten Position einer Hand zum Durchführen einer Gestenoperation berechnet. Eine Benachrichtigung einer Präsenz eines für die Gestenoperation beabsichtigten Operationsobjekts wird mit dem berechneten Hervorhebungsniveau (R) bereitgestellt, um dadurch die Hand des Operators (A) zu einer vorbestimmten Position einer Hand zu führen, jedes Mal wenn das Hervorhebungsniveau (R) berechnet wird in Ansprechen auf die Erfassung der Hand des Operators (A) durch die 3D-Kamera (6).

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft eine Gestenführungsvorrichtung für eine bewegliche Plattform, ein Gestenführungssystem für eine bewegliche Plattform und ein Gestenführungsverfahren für eine bewegliche Plattform, die Gesten eines Operators innerhalb einer beweglichen Plattform erkennen.
HINTERGRUND DER ERFINDUNG
Systeme sind vorgeschlagen worden zum Erkennen einer Geste, die durch einen Operator zum Bedienen bzw. Betreiben einer weg von dem Operator innerhalb einer beweglichen Plattform positionierten Vorrichtung getätigt wird. In dieser Art von Systemen ist es wichtig, den Operator eine Raumposition ergreifen zu lassen, in dem eine Geste getätigt werden soll, weil es erforderlich ist, die Geste für eine Operation korrekt zu erkennen.
Beispielsweise offenbart Patentreferenz 1 ein System, in dem ein virtuelles Bild eines Operationssystems, so wie ein Operationsschalter und/oder eine Taste, in einem Raum durch Verwendung einer Hologrammtechnologie oder dergleichen angezeigt wird, und eine gegenüber dem virtuellen Bild getätigte Geste als eine Operation bzw. Bedienung an die Vorrichtung erkannt wird. In diesem System kann eine Geste in der Situation getätigt werden, als ob das in dem Raum angezeigte virtuelle Bild als ein reales Operationssystem einer zu betreibenden bzw. bedienenden Vorrichtung erscheint. Deshalb kann ein Operator einfach begreifen, dass die Position, wo das virtuelle Bild angezeigt wird, die Raumposition ist, in der eine Geste getätigt werden soll.
Weiterhin wird in einer in Patentreferenz 2 offenbarten Erfindung, wenn ein Finger eines Operators in einem Raum auf der Geraden, die eine Blickpunktposition eines Operators und ein Operationsobjekt verbindet, erfasst wird, es erkannt, dass das Operationsobjekt bedient bzw. betrieben wird. Dies befähigt den Operator zum Ergreifen einer Raumposition, in der eine Geste getätigt werden soll, auf Grundlage einer dreidimensionalen Positionsbeziehung zwischen dem Blickpunkt und dem Operationsobjekt.
PATENTREFERENZEN

Patentreferenz 1: Veröffentlichung der japanischen Patentanmeldung Nr. 2005-234676 .
Patentreferenz 2: Veröffentlichung der japanischen Patentanmeldung Nr. 2005-280396 .

ZUSAMMENFASSUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
In Patentreferenz 1 ist eine spezifische Vorrichtung zum Anzeigen des virtuellen Bildes des Operationssystems, so wie ein Operationsschalter und/oder eine Taste, durch Verwendung der Hologrammtechnologie oder dergleichen erforderlich. Deshalb kann es dort das Problem geben, dass die Systemausgestaltung kompliziert ist und ihre Kosten erhöht sind.
Da in Patentreferenz 2 ferner ein Operator die Raumposition, in der eine Geste getätigt werden soll, auf Grundlage des Blickpunkts des Operators ergreift, variiert die Raumposition, in der eine Geste getätigt werden soll, in Abhängigkeit von der Bewegung des Kopfes des Operators. Wenn der Blickpunkt des Operators aufgrund der Bewegung des Kopfes fehlerhaft erfasst wird, kann deshalb der Operator die Position nicht ergreifen, in der eine Geste getätigt werden soll, wodurch das Durchführen einer korrekten Operation möglicherweise fehlschlägt.
Die vorliegende Erfindung ist zum Lösen der oben beschriebenen Probleme gemacht worden, und es ist eine Aufgabe der vorliegenden Erfindung, eine Gestenführungsvorrichtung für eine bewegliche Plattform, ein Gestenführungssystem für eine bewegliche Plattform und ein Gestenführungsverfahren für eine bewegliche Plattform bereitzustellen, die durch eine einfache Ausgestaltung implementiert werden können und eine Führung zu einem zweckgemäßen Zustand durchführen können, in dem eine Gestenoperation durchgeführt werden soll.
MITTEL ZUM LÖSEN DES PROBLEMS
Gemäß der Erfindung wird eine Gestenführungsvorrichtung für eine bewegliche Plattform bereitgestellt, die enthält: einen Hervorhebungsniveaukalkulator zum Spezifizieren einer Position einer Hand eines Operators auf Grundlage einer Information, die durch einen Sensor erfasst worden ist, der die Hand des Operators erfasst, und zum Berechnen eines Hervorhebungsniveaus in Übereinstimmung mit einer Differenz zwischen der Position der Hand des Operators und einer vorbestimmten Position zum Durchführen einer Gestenoperation; und eine Benachrichtigungssteuereinheit zum, jedes Mal wenn der Hervorhebungsniveaukalkulator das Hervorhebungsniveau berechnet in Ansprechen auf eine Erfassung der Hand des Operators durch den Sensor, Veranlassen einer Benachrichtigungsvorrichtung, eine Benachrichtigung einer Präsenz eines für die Gestenoperation beabsichtigten Operationsobjekts bereitzustellen, mit dem berechneten Hervorhebungsniveau, um dadurch die Hand des Operators zu der vorbestimmten Position zu führen.
VORTEILHAFTE WIRKUNG DER ERFINDUNG
Gemäß der vorliegenden Erfindung gibt es die Wirkung, dass die Erfindung durch eine einfache Ausgestaltung implementiert werden kann und eine Führung zu einem zweckgemäßen Zustand durchführen kann, in dem eine Gestenoperation durchgeführt werden soll.
KURZE BESCHREIBUNG DER FIGUREN
1 ist ein Blockdiagramm, das eine Ausgestaltung einer Gestenführungsvorrichtung für eine bewegliche Plattform gemäß einer ersten Ausführungsform veranschaulicht.
2 ist ein Flussdiagramm, das eine Operation der Gestenführungsvorrichtung für eine bewegliche Plattform gemäß der ersten Ausführungsform veranschaulicht.
3 ist ein Diagramm, das Positionsbeziehungen zwischen einer Hand eines Operators, einem Operationsobjekt und einer Gestendurchführungsregion veranschaulicht.
4(a) bis 4(c) sind Diagramme, die Formen der Hand des Operators veranschaulichen.
5 ist ein Diagramm, das Benachrichtigungsmodi für das Operationsobjekt gemäß der ersten Ausführungsform veranschaulicht.
6 ist ein Diagramm, das eine Beziehung zwischen einem Operationsobjekt und einer Gestendurchführungsregion gemäß einer zweiten Ausführungsform veranschaulicht.
7(a) und 7(b) sind Diagramme, die beispielhafte Benachrichtigungsmodi veranschaulichen, die Abweichungsrichtungen einer Hand eines Operators bezüglich einer Zentrumsposition der Gestendurchführungsregion entsprechen.
8 ist ein Diagramm, das ein Operationsobjekt und eine Mehrzahl dazu entsprechender Gestendurchführungsregionen gemäß einer dritten Ausführungsform veranschaulicht.
9 ist ein Diagramm, das eine Beziehung zwischen einem Operationsobjekt und jeder Gestendurchführungsregion gemäß der dritten Ausführungsform veranschaulicht.
10 ist ein Diagramm, das eine Beziehung zwischen dem Operationsobjekt und der Gestendurchführungsregion in jeder Benachrichtigungsvorrichtung gemäß der dritten Ausführungsform veranschaulicht.
11 ist ein Blockdiagramm, das eine Ausgestaltung einer Gestenführungsvorrichtung für eine bewegliche Plattform gemäß einer vierten Ausführungsform veranschaulicht.
12 ist ein Diagramm, das einen beispielhaften Konfigurationsschirm einer Gestendurchführungsregion veranschaulicht.
AUSFÜHRUNGSFORMEN DER ERFINDUNG
Im Folgenden werden Ausführungsformen zum Ausführen der vorliegenden Erfindung in Übereinstimmung mit den angefügten Zeichnungen beschrieben werden, um die vorliegende Erfindung im Detail zu beschreiben.
ERSTE AUSFÜHRUNGSFORM
1 ist ein Blockdiagramm, das eine Ausgestaltung einer Gestenführungsvorrichtung für eine bewegliche Plattform gemäß einer ersten Ausführungsform veranschaulicht. Wenn ein Operator, der eine bewegliche Plattform, so wie ein Fahrzeug, besteigt bzw. in diese einsteigt, eine Gestenoperation gegenüber einem Operationsobjekt durchführt, führt eine Gestenführungsvorrichtung 1 für eine bewegliche Plattform eine Hand des Operators zu einer vorbestimmten Gestendurchführungsregion und führt die Hand zu einer vorbestimmten Form einer Hand.
In 1 enthält die Gestenführungsvorrichtung 1 für eine bewegliche Plattform einen Kalkulator 2, eine Schnittstelle (I/F) 3 und einen Ereignisdetektor 4, und diese Komponenten sind miteinander via einen Bus 5 verbunden.
Weiterhin ist die Gestenführungsvorrichtung 1 für eine bewegliche Plattform mit einer 3D-Kamera 6, einem Lautsprecher 7, einem Head-up-Display (HUD) 8 und einer Zentrumsanzeige 9 via die I/F 3 verbunden.
Der Kalkulator 2 ist äquivalent zu einer CPU, die auf der Gestenführungsvorrichtung 1 für eine bewegliche Plattform montiert ist, und führt eine Berechnungsverarbeitung in vielfältigen Steuerungsarten durch. Wie in 1 veranschaulicht, enthält der Kalkulator 2 weiterhin eine Benachrichtigungssteuereinheit 20, einen Hervorhebungsniveaukalkulator 21 und eine Gestenerkennungseinheit 22. Beispielsweise sind die Benachrichtigungssteuereinheit 20, der Hervorhebungsniveaukalkulator 21 und die Gestenerkennungseinheit 22 durch eine CPU implementiert und mittels Software programmiert.
Jedes Mal wenn der Hervorhebungsniveaukalkulator 21 ein Hervorhebungsniveau berechnet in Ansprechen auf eine Erfassung einer Hand des Operators durch die 3D-Kamera 6, veranlasst die Benachrichtigungssteuereinheit 20 die Benachrichtigungsvorrichtung, eine Benachrichtigung einer Präsenz eines für eine Gestenoperation beabsichtigten Operationsobjekts bereitzustellen, mit dem berechneten Hervorhebungsniveau, um dadurch die Hand des Operators zu einer vorbestimmten Position und zu einer vorbestimmten Form einer Hand für die Gestenoperation zu führen. Hier ist beispielsweise das Operationsobjekt eine Vorrichtung oder eine Anwendung, welche ein für eine Gestenoperation beabsichtigtes Objekt sein soll.
Weiterhin ist die Benachrichtigungsvorrichtung eine Vorrichtung zum Benachrichtigen des Operators des Operationsobjekts und ist äquivalent zu dem Lautsprecher 7, dem HUD 8 und der Zentrumsanzeige 9 in 1. Genauer genommen enthalten Benachrichtigungsmodi für das Operationsobjekt eine Benachrichtigung mit Verwendung einer Soundausgabe von dem Lautsprecher 7 und eine Benachrichtigung mit Verwendung eines Anzeigeelements, das durch das HUD 8 oder durch die Zentrumsanzeige 9 angezeigt werden soll.
In diesem Fall werden in dem Fall der Benachrichtigung mit Verwendung des Sounds die Soundlautstärke, der Soundtyp und dergleichen eines Benachrichtigungssounds in Übereinstimmung mit dem Hervorhebungsniveau geändert. In dem Fall der Benachrichtigung mit Verwendung des Anzeigeelements werden die Transparenz, Farbe, Größe, Form und dergleichen des Anzeigeelements in Übereinstimmung mit dem Hervorhebungsniveau geändert.
Der Hervorhebungsniveaukalkulator 21 spezifiziert die Position und Form der Hand des Operators auf Grundlage einer erfassten Information der Hand des Operators und berechnet ein Hervorhebungsniveau in Übereinstimmung mit einer Differenz zwischen einer Kombination der Position und Form der Hand des Operators und einer anderen Kombination einer Position und einer vorbestimmten Form einer Hand zum Durchführen einer Gestenoperation.
Beispielsweise wird ein Hervorhebungsniveau berechnet mit Verwendung einer quantifizierten Differenz zwischen der Position der Hand des Operators und der Position der Gestendurchführungsregion und mit Verwendung einer Unähnlichkeit, die erhalten worden ist durch Quantifizieren einer Differenz zwischen der Form der Hand des Operators und der vorbestimmten Form einer Hand für eine Gestenoperation des Operationsobjekts. An dieser Stelle berechnet der Hervorhebungsniveaukalkulator 21 das Hervorhebungsniveau so, dass, je näher die Hand des Operators zu der Gestendurchführungsregion ist und je ähnlicher die Hand des Operators zu einer vorbestimmten Hand des Operators ist, desto größer ein Wert des Hervorhebungsniveaus wird.
Je näher die Hand des Operators sich der für das Operationsobjekt vorbestimmten Gestendurchführungsregion nähert, desto mehr wird folglich die Benachrichtigung der Präsenz des Operationsobjekts hervorgehoben. Wenn der Operator die Hand in einer Richtung bewegt, in der die Präsenz des Operationsobjekts hervorgehoben werden wird, wird deshalb die Hand des Operators zu der vorbestimmten Position einer Hand (Gestendurchführungsregion) zum Durchführen der Gestenoperation geführt und wird zu der vorbestimmten Form einer Hand für die Gestenoperation geführt.
Die I/F 3 ist eine Schnittstelle für eine Weiterübertragung zum Senden/Empfangen einer Information zwischen der Gestenführungsvorrichtung 1 für eine bewegliche Plattform und der 3D-Kamera 6, dem Lautsprecher 7, dem HUD 8 und der Zentrumsanzeige 9. In dieser Hinsicht ist ein Gestenführungssystem zum Führen der Hand des Operators zu der Gestenführungsregion und zu der vorbestimmten Form einer Hand aus der Gestenführungsvorrichtung 1 für eine bewegliche Plattform, der 3D-Kamera 6, dem Lautsprecher 7, dem HUD 8 und der Zentrumsanzeige 9 gebildet.
Der Ereignisdetektor 4 erfasst ein Ereignis von außerhalb via eine Antenne 4a und den Bus 5. Das Ereignis bedeutet eine Erzeugung einer Information, die einem Benutzer durch eine Benachrichtigung bereitzustellen ist, die beispielsweise einen Email-Empfang von einer Quelle außerhalb eines Fahrzeugs angibt, erfasst durch Verwendung der Antenne 4a, und/oder eine Engpassinformation über Kraftstoff, die von einem Im-Fahrzeug-Sensor (nicht veranschaulicht) akquiriert worden ist.
Die 3D-(dreidimensional)Kamera 6 ist ein Sensor zum Erfassen einer Hand des Operators. Aus der erfassten Information der 3D-Kamera 6 wird beispielsweise die Bildinformation zum Spezifizieren einer Raumposition der Hand des Operators (Tiefeninformation) und einer Form der Hand innerhalb eines Fotografiersehfeldes erhalten. Der Hervorhebungsniveaukalkulator 21 empfängt eine derartige Information als erfasste Information der 3D-Kamera 6 und spezifiziert die Position und Form der Hand des Operators.
Die 3D-Kamera 6 kann beispielsweise durch Verwendung einer Stereokamera oder einer Laufzeit-(TOF, Time of Flight)Kamera implementiert sein.
Der Lautsprecher 7 ist eine Benachrichtigungsvorrichtung zum Bereitstellen einer akustischen Benachrichtigung über eine Präsenz des Operationsobjekts mittels einer Soundausgabe. Außerdem sind das HUD 8 und die Zentrumsanzeige 9 Benachrichtigungsvorrichtungen zum Bereitstellen einer visuellen Benachrichtigung durch Anzeigen eines dem Operationsobjekt entsprechenden Anzeigeelements. In dieser Hinsicht ist das HUD 8 eine Anzeige zum Projizieren und Anzeigen einer Information auf einer Projektionsplatte oder dergleichen, die auf einer Frontscheibe auf einer Frontseite eines Fahrersitzes bereitgestellt ist oder zwischen einem Griff und der Frontscheibe bereitgestellt ist. Die Zentrumsanzeige 9 ist eine Anzeige, die nah zu einem Zentrumsabschnitt eines Armaturenbretts auf einer Vorderseite eines Fahrzeuginterieurs angeordnet ist.
Unterdessen enthält in dem in 1 veranschaulichten Beispiel die Gestenführungsvorrichtung 1 für eine bewegliche Plattform die Gestenerkennungseinheit 22, und die Gestenerkennungseinheit 22 ist ausgebildet zum Erkennen einer Gestenoperation des Operators in der Gestendurchführungsregion, aber ist nicht darauf beschränkt.
Genauer genommen kann eine Komponente zum Erkennen einer Gestenoperation auch als eine Vorrichtung separat von der Gestenführungsvorrichtung 1 für eine bewegliche Plattform bereitgestellt sein und kann die Gestenoperation durch kooperatives Arbeiten mit der Benachrichtigungssteuereinheit 20 und dem Hervorhebungsniveaukalkulator 21 erkennen.
Weiterhin ist das Beispiel, in dem die Gestenführungsvorrichtung 1 für eine bewegliche Plattform die Hand des Operators zu der vorbestimmten Handposition zum Durchführen einer Gestenoperation (Gestendurchführungsregion) führt und auch die Hand zu der vorbestimmten Form einer Hand für die Gestenoperation führt, beschrieben worden, aber ist nicht darauf beschränkt.
Beispielsweise spezifiziert der Hervorhebungsniveaukalkulator 21 nur die Position der Hand des Operators auf Grundlage der erfassen Information des Sensors und berechnet das Hervorhebungsniveau in Übereinstimmung mit der Differenz zwischen der Position der Hand des Operators und der Gestendurchführungsregion.
Dann, jedes Mal wenn der Hervorhebungsniveaukalkulator 21 ein Hervorhebungsniveau berechnet in Ansprechen auf eine Erfassung der Hand des Operators durch den Sensor, veranlasst die Benachrichtigungssteuereinheit 20 die Benachrichtigungsvorrichtung, eine Benachrichtigung der Präsenz des für die Gestenoperation beabsichtigten Operationsobjekts bereitzustellen, mit dem berechneten Hervorhebungsniveau, um dadurch die Hand des Operators zu der vorbestimmten Position zu führen.
Als Nächstes wird die Operation beschrieben werden.
2 ist ein Flussdiagramm, das die Operation der Gestenführungsvorrichtung für eine bewegliche Plattform gemäß der ersten Ausführungsform veranschaulicht, und eine Beschreibung wird in Übereinstimmung mit einer Prozedur des in 2 veranschaulichten Flussdiagramms bereitgestellt werden.
Zuerst erfasst der Ereignisdetektor 4 ein Ereignis (Schritt ST1). Beim Empfangen der Information des von dem Ereignisdetektor 4 erfassten Ereignisses gibt der Hervorhebungsniveaukalkulator 21 einen Anfangswert, der als ein Hervorhebungsniveau R vorbestimmt ist, an die Benachrichtigungssteuereinheit 20 aus. In dieser Hinsicht ist der Anfangswert des Hervorhebungsniveaus R das höchste Hervorhebungsniveau oder ein dazu äquivalenter Wert, damit ein Benutzer einfach ein Operationsobjekt erkennen kann, das diesem Ereignis entspricht, zu der Zeit der Ereigniserzeugung.
Die Benachrichtigungssteuereinheit 20 steuert die Benachrichtigungsvorrichtung, eine Benachrichtigung der Präsenz des Operationsobjekts entsprechend dem Ereignis mit dem Anfangswert des Hervorhebungsniveaus R bereitzustellen. Genauer beschrieben spezifiziert, auf Grundlage einer Information bezüglich des durch den Ereignisdetektor 4 erfassten Ereignisses und des Anfangswertes des Hervorhebungsniveaus R, der von dem Hervorhebungsniveaukalkulator 21 empfangen worden ist, die Benachrichtigungssteuereinheit 20 das dem Ereignis entsprechende Operationsobjekt und gibt einen Benachrichtigungsbefehl zum Bereitstellen der Benachrichtigung einer Präsenz des spezifizierten Operationsobjekts mit dem Anfangswert des Hervorhebungsniveaus R aus. Der Benachrichtigungsbefehl wird an die Benachrichtigungsvorrichtung (Lautsprecher 7, HUD 8 und/oder Zentrumsanzeige 9) via die I/F 3 ausgegeben. In Übereinstimmung mit dem Benachrichtigungsbefehl stellt der Lautsprecher 7, HUD 8 und/oder Zentrumsanzeige 9 die Benachrichtigung der Präsenz des Operationsobjekts entsprechend dem Ereignis mit dem Anfangswert des Hervorhebungsniveaus R bereit (Schritt ST2).
3 ist ein Diagramm, das Positionsbeziehungen zwischen der Hand des Operators, einem Operationsobjekt und einer Gestendurchführungsregion veranschaulicht. In 3 ist ein Operator A ein Fahrer, der mit einem Griff 12 fährt. Beispielsweise wird in dem Fall, wo das Ereignis ein Email-Empfang ist, ein diesem Email-Empfang entsprechendes Piktogramm 10 auf einem Projektionsbauteil 8a (Frontscheibe oder Projektionsplatte) des HUD 8 angegeben. Hier ist das Piktogramm 10 das Operationsobjekt, das ein für eine Gestenbedienung beabsichtigtes Objekt sein soll. Da der Anfangswert des Hervorhebungsniveaus R unmittelbar nach dem Email-Empfang gesetzt wird, wird das Piktogramm 10 klar angegeben, so dass der Operator A einfach visuell das Piktogramm erkennen kann. Beispielsweise wird das Piktogramm 10 mit niedrigster Transparenz angegeben.
Wenn das Ereignis bezüglich des Operationsobjekts erzeugt wird, und die Benachrichtigungsvorrichtung die Benachrichtigung der Präsenz des Operationsobjekts mit dem Anfangswert des Hervorhebungsniveaus R wie oben beschrieben bereitstellt, falls eine gesetzte Periode ab/von der Ereigniserzeugung vergangen ist, berechnet der Hervorhebungsniveaukalkulator 21 sequenziell das Hervorhebungsniveau R, welches schrittweise von dem Anfangswert des Hervorhebungsniveaus R abgesenkt wird. Die Benachrichtigungssteuereinheit 20 steuert die Benachrichtigungsvorrichtung, eine Benachrichtigung der Präsenz des Operationsobjekts mit dem Hervorhebungsniveau R bereitzustellen, welches sequenziell durch den Hervorhebungsniveaukalkulator 21 berechnet wird. Mit dieser Ausgestaltung stellt die Benachrichtigungsvorrichtung die Benachrichtigung der Präsenz des Operationsobjekts mit dem Hervorhebungsniveau R bereit, welches schrittweise abgesenkt wird (Schritt ST3).
Wenn die Hand des Operators A, der eine Gestenoperation gegenüber dem Operationsobjekt durchführt, nicht erfasst wird, selbst nachdem die gesetzte Periode vergangen ist, nachdem das Ereignis erzeugt wird und die Benachrichtigung der Präsenz des Operationsobjekts wie oben beschrieben bereitgestellt wird, wird die Benachrichtigung der Präsenz des Operationsobjekts mit dem Hervorhebungsniveau R bereitgestellt, welches schrittweise abgesenkt wird. Dies kann verhindern, dass die Benachrichtigung der Präsenz des Operationsobjekts unnötig mit dem höchsten Hervorhebungsniveau R bereitgestellt beibehalten wird.
In dem beispielhaften Fall, wo das Piktogramm 10 auf dem Projektionsbauteil 8a des HUD 8 angezeigt wird, wird das Piktogramm 10 in einer auf eine Frontsehkraft des Operators überlagerten Weise angezeigt und blockiert die Sehkraft des Operators.
Zum Adressieren dieser Situation, wenn die Hand des Operators A nicht erfasst wird, selbst nachdem die gesetzte Periode vergangen ist, wird das Hervorhebungsniveau R schrittweise abgesenkt, und das Piktogramm 10 wird mit zunehmender Transparenz in Übereinstimmung damit angezeigt. Somit wird das Piktogramm 10 schrittweise unsichtbar, und es kann verhindert werden, dass die Sehkraft bzw. das Sehvermögen des Fahrers blockiert wird.
In dem Fall, wo die Hand des Operators A nicht erfasst wird, selbst nachdem eine vorbestimmte gesetzte Periode zusätzlich vergangen ist nach der obigen Passage der obigen gesetzten Periode, kann es unterdessen bestimmt werden, dass der Operator A keine Absicht zum Bedienen hat, und eine Benachrichtigung der Präsenz des Operationsobjekts kann gestoppt werden.
Bevor die obige gesetzte Periode ab/von der Ereigniserzeugung passiert, oder während die Benachrichtigungsvorrichtung die Benachrichtigung der Präsenz des Operationsobjekt mit dem Hervorhebungsniveau R, welches schrittweise abgesenkt wird nach der Passage der obigen gesetzten Periode, bereitstellt, ist der Hervorhebungsniveaukalkulator 21 in einem Zustand eines Wartens auf eine Erfassung der Hand des Operators A durch die 3D-Kamera 6. Wenn die Hand des Operators A nicht erfasst wird (Schritt ST4: NEIN), besteht dieser Zustand des Wartens auf eine Erfassung fort.
Wenn die Hand des Operators A durch die 3D-Kamera 6 erfasst wird (Schritt ST4: JA), spezifiziert der Hervorhebungsniveaukalkulator 21 die Position und die Form der Hand des Operators A auf Grundlage der erfassten Information der 3D-Kamera 6. Die erfasste Information der 3D-Kamera 6 ist ein durch die 3D-Kamera 6 erhaltenes 3D-Bild, und ein zweidimensionales Bild der Hand des Operators A und Tiefenkoordinaten von jedem der Pixel des Bildes können aus diesem 3D-Bild erhalten werden. Die Position der Hand (Raumposition) und die Form der Hand des Operators A werden auf Grundlage der Information spezifiziert.
Als Nächstes berechnet der Hervorhebungsniveaukalkulator 21 das Hervorhebungsniveau R in Übereinstimmung mit einer Differenz zwischen der spezifizierten Position der Hand des Operators A und einer Position der vorbestimmten Gestendurchführungsregion 11 und eine Unähnlichkeit zwischen der spezifizierten Form der Hand des Operators A und einer vorbestimmten Form einer Hand für die Gestenoperation des Operationsobjekts (Schritt ST5). Hier ist die Gestendurchführungsregion 11 zwischen dem Operator A und dem Piktogramm 10 angeordnet, das das Operationsobjekt ist, wie in 3 veranschaulicht. Dies ermöglicht es dem Operator A, intuitiv die Gestenoperation während eines visuellen Erkennens des Operationsobjekts durchzuführen.
Weiterhin wird das Hervorhebungsniveau R in Übereinstimmung mit der unten beschriebenen Formel (1) berechnet. In der folgenden Formel (1) repräsentiert d eine Distanz von den Koordinaten eines Zentrums O der Gestendurchführungsregion 11 zu den Koordinaten der Position der Hand des Operators A, wie in 3 veranschaulicht. Man beachte, dass die Distanz d ein Wert von null oder größer ist, wenn die Hand des Operators A sich bei dem Zentrum O befindet. Außerdem repräsentiert s die Unähnlichkeit zwischen der Form der Hand des Operators A und der vorbestimmten Form einer Hand für die Gestenoperation des Operationsobjekts. Je unterschiedlicher die gegenseitigen Formen sind, umso einen größeren positiven Wert soll die Unähnlichkeit s haben. Weiterhin sind α und β positive Koeffizienten, und die Distanz d des Hervorhebungsniveaus R und ein Beitragsgrad der Unähnlichkeit s sind durch α und β festgelegt.
In dem Fall, wo die Form der Hand des Operators A nicht zu der vorbestimmten Form einer Hand für die Gestenoperation geführt wird, obwohl die Hand des Operators A zu der Gestendurchführungsregion 11 geführt wird, genauer genommen in dem Fall einer Nicht-Berücksichtigung der Unähnlichkeit s beim Berechnen des Hervorhebungsniveaus R, kann der Koeffizient β beispielsweise auf null gesetzt sein. R = 1/(α·d + β·s) (1)
4(a) bis 4(c) sind Diagramme, die die Formen der Hand des Operators veranschaulichen. In dem beispielhaften Fall, wo die vorbestimmte Form einer Hand für die Gestenoperation des Operationsobjekts eine in 4(a) veranschaulichte Form a ist, und in dem Fall, wo die Form der Hand des Operators A ähnlich zu der Form a ist, wird die Unähnlichkeit s ein kleiner Wert. In dem Fall, wo die Form der Hand des Operators A eine in 4(b) veranschaulichte Form b oder eine in 4(c) veranschaulichte Form c ist, wird andererseits die Unähnlichkeit s ein großer Wert. In dem Fall, wo die Hand des Operators A sich außerhalb der Gestendurchführungsregion 11 befindet, oder die Form der Hand unterschiedlich von der vorbestimmten Form einer Hand ist, wird folglich das in Übereinstimmung mit der obigen Formel (1) berechnete Hervorhebungsniveau R ein kleiner Wert. Genauer genommen wird gemäß der Formel (1) das Hervorhebungsniveau R ein umso größerer Wert je näher zu dem Inneren der Gestendurchführungsregion 11 die Hand des Operators A sich nähert und umso ähnlicher sie zu der vorbestimmten Form einer Hand des Operators A ist.
Die Benachrichtigungssteuereinheit 20 steuert die Benachrichtigungsvorrichtung, die Benachrichtigung der Präsenz des Operationsobjekts bereitzustellen, mit dem Hervorhebungsniveau R, das durch den Hervorhebungsniveaukalkulator 21 im Schritt ST5 berechnet worden ist. Folglich stellt die Benachrichtigungsvorrichtung die Benachrichtigung der Präsenz des Operationsobjekts mit dem Hervorhebungsniveau R bereit (Schritt ST6). Die Verarbeitung von Schritt ST4 bis zum Schritt ST6 wird wiederholt, bis die Hand des Operators A in die Gestendurchführungsregion 11 eintritt (bis die Distanz d null wird). Wenn die Hand des Operators A sequenziell durch die 3D-Kamera 6 während einer Periode zum Wiederholen der oben beschriebenen Verarbeitung erfasst wird, steuert genauer genommen jedes Mal, wenn der Hervorhebungsniveaukalkulator 21 ein Hervorhebungsniveau R in Ansprechen auf die sequenzielle Erfassung berechnet, die Benachrichtigungssteuereinheit 20 die Benachrichtigungsvorrichtung, eine Benachrichtigung der Präsenz des Operationsobjekts mit dem berechneten Hervorhebungsniveau R bereitzustellen. In Übereinstimmung mit der Steuerung der Benachrichtigungssteuereinheit 20 stellt die Benachrichtigungsvorrichtung die Benachrichtigung einer Präsenz des Operationsobjekts mit dem Hervorhebungsniveau R bereit, welches sequenziell durch den Hervorhebungsniveaukalkulator 21 berechnet worden ist.
5 ist ein Diagramm, das Benachrichtigungsmodi für das Operationsobjekt in der ersten Ausführungsform veranschaulicht und einen Fall einer Bereitstellung einer Benachrichtigung der Präsenz des Operationsobjekts entsprechend einem Email-Empfang veranschaulicht. Wie in 5 veranschaulicht, wird in dem Fall, wo das Hervorhebungsniveau R maximal ist, ein dem Email-Empfang entsprechendes Piktogramm mit minimaler Transparenz angezeigt. Die Lautstärke eines Benachrichtigungssounds zum Bereitstellen der Benachrichtigung des Email-Empfangs wird auch maximal gesetzt. Im Gegensatz dazu wird in dem Fall, wo das Hervorhebungsniveau R minimal ist, das dem Email-Empfang entsprechende Piktogramm mit maximaler Transparenz angezeigt, und die Lautstärke des Benachrichtigungssounds zum Bereitstellen der Benachrichtigung des Email-Empfangs wird minimal gesetzt. Die Benachrichtigungsvorrichtung gibt die Piktogrammanzeige und den Benachrichtigungssound mit dem Hervorhebungsniveau R aus, welches sequenziell durch den Hervorhebungsniveaukalkulator 21 in Übereinstimmung mit der Position und der Form der Hand des Operators A berechnet worden ist. Die Hand des Operators A wird zu der Gestendurchführungsregion 11 geführt, indem die Hand des Operators A in eine Richtung bewegt wird, in der das Piktogramm klarer angezeigt wird und der Benachrichtigungssound lauter wird.
Auf ein Berechnen des Hervorhebungsniveaus R auf Grundlage der erfassten Information der 3D-Kamera 6 hin bestimmt der Hervorhebungsniveaukalkulator 21 auf Grundlage der Distanz d, ob die Hand des Operators A innerhalb der Gestendurchführungsregion 11 existiert (Schritt ST7). Wenn die Hand des Operators A nicht in die Gestendurchführungsregion 11 eingetreten ist (Schritt ST7: NEIN), schreitet hier die Verarbeitung zum Schritt ST4.
In dem Fall, wo ein Eintritt der Hand des Operators A in die Gestendurchführungsregion 11 nicht erfasst wird, selbst nachdem die gesetzte Periode ab/von der Ereigniserzeugung vergangen ist, berechnet unterdessen der Hervorhebungsniveaukalkulator 21 sequenziell das Hervorhebungsniveau R so, dass das Hervorhebungsniveau R schrittweise abgesenkt wird, und die Benachrichtigungssteuereinheit 20 kann die Benachrichtigungsvorrichtung steuern, eine Benachrichtigung einer Präsenz des Operationsobjekts mit dem Hervorhebungsniveau R bereitzustellen, welches sequenziell durch den Hervorhebungsniveaukalkulator 21 berechnet wird.
Dies kann auch fortlaufende Benachrichtigungen der Präsenz des unnötigen Operationsobjekts vermeiden.
In dem Fall, wo die Hand des Operators A innerhalb der Gestendurchführungsregion 11 ist (Schritt ST7: JA), benachrichtigt andererseits der Hervorhebungsniveaukalkulator 21 die Benachrichtigungssteuereinheit 20 über diese Tatsache.
Zu der Zeit eines Empfangens der obigen Benachrichtigung von dem Hervorhebungsniveaukalkulator 21 steuert und veranlasst die Benachrichtigungssteuereinheit 20 die Benachrichtigungsvorrichtung zum Bereitstellen der Benachrichtigung einer Präsenz der Hand des Operators A, die innerhalb der Gestendurchführungsregion 11 ist (Schritt ST8). Beispielsweise wird ein spezieller Sound von dem Lautsprecher 7 ausgegeben, oder eine spezielle Anzeige wird bei dem Operationsobjekt bereitgestellt. Folglich kann der Operator A erkennen, dass die Gestenoperation in der Gestenführungsvorrichtung 1 für eine bewegliche Plattform erkennbar geworden ist.
Danach erkennt die Gestenerkennungseinheit 22 eine Gestenoperation, so wie ein Fingerspitzendrehen, ein Handschwenken und eine spezielle Form der Hand, durchgeführt durch die Hand des Operators A innerhalb der Gestendurchführungsregion 11 (Schritt ST9). Somit wird die Verarbeitung in Übereinstimmung mit einem Erkennungsergebnis der Gestenoperation durchgeführt.
In dem beispielhaften Fall, wo das Ereignis ein Email-Empfang ist, wird die Verarbeitung, so wie "Auswahl", welches einen Befehl zum Lesen der Email bereitstellt, oder "Aufhebung", welches ein Öffnen der Email aussetzt und die Benachrichtigung beendet, durchgeführt.
In dem Fall, wo die Gestenoperation, so wie "Handbewegen in einer Rechts-Richtung", was angibt, dass das Operationsobjekt nicht nötig ist, durch die Gestenerkennungseinheit 22 erkannt wird, steuert und veranlasst unterdessen die Benachrichtigungssteuereinheit 20 die Benachrichtigungsvorrichtung zum Beenden der Benachrichtigung der Präsenz des Operationsobjekts. Genauer genommen wird eine Anzeige des Operationsobjekts gelöscht oder eine Ausgabe des Benachrichtigungssounds wird gestoppt. Dies kann auch fortlaufende Benachrichtigungen der Präsenz des unnötigen Operationsobjekts vermeiden. Beispielsweise kann in dem HUD 8 ein unnötiges Operationsobjekt, das die Sehkraft des Fahrers blockiert, gelöscht werden.
In dem Fall, wo die Gestenerkennungseinheit 22 die Gestenoperation nicht erkennen kann, und auch die Hand des Operators A sich aus der Gestendurchführungsregion 11 bewegt, steuert und veranlasst die Benachrichtigungssteuereinheit 20 die Benachrichtigungsvorrichtung zum Ausgeben eines speziellen Sounds oder einer speziellen Anzeige, um dadurch den Operator A über einen Zustand zu benachrichtigen, dass die Gestenoperation nicht erkennbar geworden ist. Dies befähigt den Operator A zum intuitiven Ergreifen bzw. Begreifen der Tatsache, dass die Hand sich aus der Gestendurchführungsregion 11 bewegt hat, und die Verarbeitung kann unmittelbar zu der Verarbeitung von dem Schritt ST4 schreiten.
Weiterhin erkennt in der Gestenführungsvorrichtung 1 für eine bewegliche Plattform gemäß der ersten Ausführungsform die Gestenerkennungseinheit 22 die in der Gestendurchführungsregion 11 durchgeführte Gestenoperation mit einer Eines-zu-Eins-Zuordnung zwischen dem Operationsobjekt und der Gestendurchführungsregion 11, wie in 3 veranschaulicht. Falls beispielsweise unterschiedliche Operationsobjekte einer gemeinsamen Gestendurchführungsregion entsprechen, muss die Gestenoperation für jedes der Operationsobjekte in der gemeinsamen Gestendurchführungsregion durchgeführt werden. In diesem Fall, falls eine unterschiedliche Gestenoperation jedem der Operationsobjekte entspricht, tritt wahrscheinlich eine Operationsverwechslung auf. Mit einer Eins-zu-Eins-Zuordnung zwischen dem Operationsobjekt und der Gestendurchführungsregion 11 braucht deshalb der Operator A nur die dem Operationsobjekt entsprechende Gestenoperation in der Gestendurchführungsregion für jedes bzw. ein jeweiliges der Operationsobjekte durchführen. Dies kann einen Auftritt einer Operationsverwechslung reduzieren.
Wie oben beschrieben, spezifiziert gemäß der ersten Ausführungsform der Hervorhebungsniveaukalkulator 21 die Position der Hand des Operators A auf Grundlage eines Erfassungssignals der 3D-Kamera 6 und berechnet das Hervorhebungsniveau R in Übereinstimmung mit der Differenz zwischen der Position der Hand des Operators A und der vorbestimmten Position einer Hand zum Durchführen der Gestenoperation. Jedes Mal, wenn der Hervorhebungsniveaukalkulator 21 das Hervorhebungsniveau R in Ansprechen auf eine Erfassung der Hand des Operators A durch die 3D-Kamera 6 berechnet, veranlasst die Benachrichtigungssteuereinheit 20 die Benachrichtigungsvorrichtung, die Benachrichtigung der Präsenz des für die Gestenoperation beabsichtigten Operationsobjekts mit dem berechneten Hervorhebungsniveau R bereitzustellen, um dadurch die Hand des Operators A zu der vorbestimmten Position zu führen.
Im Besonderen berechnet der Hervorhebungsniveaukalkulator 21 das Hervorhebungsniveau R in Übereinstimmung mit der Distanz d zwischen der Position der Hand des Operators A und der Zentrumsposition der Gestendurchführungsregion 11, die vorbestimmt ist zum Durchführen der Gestenoperation.
Mit dieser Ausgestaltung gibt es keinen Bedarf zum Anzeigen eines virtuellen Bildes des Operationsobjekts durch Verwendung eines Hologramms oder dergleichen, um die Gestenoperation bzw. Gestenbedienung des Operationsobjekts zu erkennen, und die Gestenführungsvorrichtung 1 für eine bewegliche Plattform kann durch eine einfache Ausgestaltung implementiert werden. Weiterhin bewegt der Operator A die Hand in der Richtung, in der eine Benachrichtigung der Präsenz des Operationsobjekts hervorgehoben wird, wodurch die Hand des Operators A zu der vorbestimmten Handposition zum Durchführen der Gestenoperation (Gestendurchführungsregion) geführt wird. Als ein Ergebnis wird die Hand des Operators A zu einer passenden Position geführt, in der die Gestenoperation durchgeführt werden soll, und eine Erkennungsgenauigkeit der Gestenoperation kann verbessert werden.
Weiterhin spezifiziert gemäß der ersten Ausführungsform der Hervorhebungsniveaukalkulator 21 ferner die Form der Hand des Operators A auf Grundlage der erfassten Information der 3D-Kamera 6 und berechnet das Hervorhebungsniveau R in Übereinstimmung mit der Differenz zwischen der Position und Form der Hand des Operators A und der vorbestimmten Position zum Durchführen der Gestenoperation und der vorbestimmten Form einer Hand für die Gestenoperation. Die Benachrichtigungssteuereinheit 20 veranlasst die Benachrichtigungsvorrichtung, die Benachrichtigung einer Präsenz des für die Gestenoperation beabsichtigten Operationsobjekts mit dem Hervorhebungsniveau R bereitzustellen, welches durch den Hervorhebungsniveaukalkulator 21 berechnet worden ist, um dadurch die Hand des Operators A zu der vorbestimmten Position und zu der vorbestimmten Form einer Hand für die Gestenoperation zu führen.
Im Besonderen berechnet der Hervorhebungsniveaukalkulator 21 das Hervorhebungsniveau R in Übereinstimmung mit: der Distanz d zwischen der Position der Hand des Operators A und der Zentrumsposition der Gestendurchführungsregion 11; und der Unähnlichkeit s zwischen der Form der Hand des Operators A und der vorbestimmten Form einer Hand für die Gestenoperation des Operationsobjekts.
Mit dieser Ausgestaltung kann die Hand des Operators A zu der Gestendurchführungsregion 11 geführt werden, in der die Gestenoperation durchgeführt werden soll, und weiter zu der vorbestimmten Form einer Hand für die Gestenoperation geführt werden. Dies kann die Hand des Operators A zu einem passenden Zustand führen, in dem die Gestenoperation durchgeführt werden soll, und kann die Erkennungsgenauigkeit der Gestenoperation verbessern.
Wenn ein Ereignis bezüglich des Operationsobjekts erzeugt wird, was eine Benachrichtigungsvorrichtung zum Bereitstellen einer Benachrichtigung einer Präsenz des Operationsobjekts veranlasst, berechnet weiterhin gemäß der ersten Ausführungsform der Hervorhebungsniveaukalkulator 21 sequenziell ein Hervorhebungsniveau R, das schrittweise absenkt wird, nachdem eine gesetzte Periode passiert bzw. vergangen ist ab/von der Erzeugung des Ereignisses. Die Benachrichtigungssteuereinheit 20 steuert die Benachrichtigungsvorrichtung, eine Benachrichtigung der Präsenz des Operationsobjekts mit dem Hervorhebungsniveau R bereitzustellen, welches sequenziell durch den Hervorhebungsniveaukalkulator 21 berechnet wird. Dies kann fortlaufende Benachrichtigungen der Präsenz des unnötigen Operationsobjekts vermeiden.
Darüber hinaus erkennt gemäß der ersten Ausführungsform die Gestenerkennungseinheit 22 die Gestenoperation, die durch die Hand des Operators A innerhalb der Gestendurchführungsregion 11 durchgeführt worden ist, mit einer Eins-zu-Eins-Zuordnung zwischen dem Operationsobjekt und der Gestendurchführungsregion 11. Dann braucht der Operator A nur die Gestenoperation entsprechend dem Operationsobjekt in der Gestendurchführungsregion von jedem Operationsobjekt durchzuführen. Dies kann einen Auftritt einer Operationsverwechslung reduzieren.
Weiterhin steuert gemäß der ersten Ausführungsform in dem Fall, wo eine Gestenoperation, die angibt, dass das Operationsobjekt unnötig ist, durch die Gestenerkennungseinheit 22 erkannt wird, die Benachrichtigungssteuereinheit 20 die Benachrichtigungsvorrichtung, eine Benachrichtigung einer Präsenz des Operationsobjekts nicht bereitzustellen. Dies kann fortlaufende Benachrichtigungen der Präsenz des unnötigen Operationsobjekts vermeiden.
Außerdem steuert gemäß der ersten Ausführungsform die Benachrichtigungssteuereinheit 20 die Benachrichtigungsvorrichtung, eine Benachrichtigung einer Präsenz der Hand des Operators A, die in die Gestendurchführungsregion 11 eingetreten ist oder sich aus dieser herausbewegt hat, bereitzustellen. Dies befähigt den Operator A zum intuitiven Ergreifen bzw. Begreifen der Tatsache, dass die Hand in die Gestendurchführungsregion 11 eingetreten ist oder sich aus dieser herausbewegt hat.
Weiterhin ist gemäß der ersten Ausführungsform die Gestendurchführungsregion 11 zwischen dem Operator A und dem Operationsobjekt angeordnet. Dies befähigt den Operator A zum intuitiven Durchführen der Gestenoperation während eines visuellen Erkennens des Operationsobjekts.
ZWEITE AUSFÜHRUNGSFORM
Gemäß einer ersten Ausführungsform koppelt ein Hervorhebungsniveaukalkulator 21 eine Differenz zwischen einer Position einer Hand eines Operators A und einer Zentrumsposition einer Gestendurchführungsregion 11 an den Operator A zurück mittels Verwendung, beim Berechnen eines Hervorhebungsniveaus R, einer Distanz d von der Position der Hand des Operators A zu der Zentrumsposition der Gestendurchführungsregion 11. Gemäß diesem Verfahren kann jedoch der Operator A nicht fähig sein zum Ergreifen bzw. Begreifen, in welcher Richtung die Hand abweicht, und es kann eine Zeit dauern, die Hand zu der Gestendurchführungsregion 11 zu führen.
Deshalb wird gemäß einer zweiten Ausführungsform eine Abweichungsrichtung der Hand des Operators A von der Zentrumsposition der Gestendurchführungsregion 11, erfasst innerhalb oder außerhalb der Gestendurchführungsregion 11, berechnet. Eine Benachrichtigung einer Präsenz eines Operationsobjekts in einem der Abweichungsrichtung entsprechenden Benachrichtigungsmodus wird bereitgestellt, um dadurch die Hand des Operators A zu der Zentrumsposition der Gestendurchführungsregion 11 zu führen. Dies befähigt den Operator A zum Ergreifen bzw. Begreifen, in welcher Richtung, aufwärts, abwärts, nach rechts oder nach links, die Hand bewegt werden soll, auf Grundlage der Benachrichtigung der Präsenz des Operationsobjekts durch die Benachrichtigungsvorrichtung.
Eine Gestenführungsvorrichtung 1 für eine bewegliche Plattform gemäß der zweiten Ausführungsform hat eine Ausgestaltung, die grundsätzlich dieselbe wie die oben beschriebene erste Ausführungsform ist, aber eine interne Verarbeitung einer Benachrichtigungssteuereinheit 20 und des Hervorhebungsniveaukalkulators 21 unterscheidet sich von dem oben beschriebenen. Deshalb wird in dem Folgenden die Ausgestaltung der Gestenführungsvorrichtung 1 für eine bewegliche Plattform gemäß der zweiten Ausführungsform mit Verweis auf 1 beschrieben werden.
6 ist ein Diagramm, das eine Beziehung zwischen dem Operationsobjekt und der Gestendurchführungsregion gemäß der zweiten Ausführungsform veranschaulicht. 7(a) und 7(b) sind Diagramme, die beispielhafte Benachrichtigungsmodi veranschaulichen, die den Abweichungsrichtungen der Hand des Operators bezüglich der Zentrumsposition der Gestendurchführungsregion entsprechen. In 6 ist der Operator A ein Fahrer, der mit einem Griff 12 fährt, und ein Piktogramm 10, das ein für eine Gestenoperation beabsichtigtes Objekt sein soll, wird auf einem Projektionsbauteil 8a des HUD 8 angezeigt. Die Gestendurchführungsregion 11 ist beispielsweise ein Quaderraumbereich, wie in 6 veranschaulicht. Ein xyz-Koordinatensystem mit einer xy-Ebene, die der Seite des Operators A zugewandt ist, ist definiert, wobei ein Zentrum O der Gestendurchführungsregion 11 als ein Ursprung bzw. Nullpunkt festgelegt wird.
In der zweiten Ausführungsform werden ein Wert dx, der eine horizontale Abweichung der Hand des Operators A angibt, und ein Wert dy, der eine vertikale Abweichung der Hand von der Position des Zentrums O der xy-Ebene innerhalb der Gestendurchführungsregion 11 angibt, berechnet, und die Abweichungsrichtung der Hand des Operators A von dem Zentrum O wird von den Werten dx und dy spezifiziert.
Wie in 7(a) veranschaulicht, wird ferner die obige xy-Ebene innerhalb der Gestendurchführungsregion 11 auf die Seite des Operators A projiziert, und der Wert dx, der die horizontale Abweichung der Hand des Operators A angibt, und der Wert dy, der die vertikale Abweichung der selbigen von einer Zentrumsposition der Projektionsebene der xy-Ebene in der Position der Hand des Operators A (Kreuzungsposition zwischen der Projektionsebene und einer Erstreckungslinie (z-Achse), die sich von dem Zentrum O zu der Seite des Operators A erstreckt) angibt, werden berechnet, und die Abweichungsrichtung der Hand des Operators A von der Zentrumsposition der Projektionsebene wird auf Grundlage von dx und dy spezifiziert.
Der Hervorhebungsniveaukalkulator 21 benachrichtigt die Benachrichtigungssteuereinheit 20 über: das berechnete Hervorhebungsniveau R bezüglich der Hand des Operators A, die durch die 3D-Kamera 6 innerhalb oder außerhalb der Gestendurchführungsregion 11 erfasst worden ist; und die Abweichungsrichtung der Hand des Operators A von der Zentrumsposition der Gestendurchführungsregion 11, die wie oben beschrieben spezifiziert ist.
Die Benachrichtigungssteuereinheit 20 steuert die Benachrichtigungsvorrichtung, eine Benachrichtigung einer Präsenz des Operationsobjekts mit dem Hervorhebungsniveau R, welches durch den Hervorhebungsniveaukalkulator 21 berechnet wird, und in einem Benachrichtigungsmodus, der der Abweichungsrichtung entspricht, bereitzustellen.
In dem beispielhaften Fall, wo das Operationsobjekt das dem Email-Empfang entsprechende Piktogramm 10 ist, sind dx und dy beide positive Werte in dem Piktogramm 10a, wie in 7(b) veranschaulicht, und die Hand des Operators A weicht in einer Oben-Rechts-Richtung von dem Zentrum O oder einem Punkt auf der Erstreckungslinie (z-Achse), die sich von dem Zentrum O zu der Seite des Operators A (Zentrum der Projektionsebene der xy-Ebene) erstreckt, ab.
In dem Piktogramm 10a, um visuell anzugeben, dass die Hand des Operators A in der Oben-Rechts-Richtung von dem Zentrum O oder dem Punkt auf der Erstreckungslinie (z-Achse), die sich von dem Zentrum O zu der Seite des Operators A erstreckt (Zentrum der Proejektionsebene der xy-Ebene) abweicht, wird deshalb der Oben-Rechts-Abschnitt mit dem Hervorhebungsniveau R in Übereinstimmung mit einer Position und einer Form (Distanz d und Unähnlichkeit s) der Hand des Operators A angezeigt. Genauer genommen wird der Oben-Rechts-Abschnitt mit einer dem Hervorhebungsniveau R entsprechenden Transparenz angezeigt, und andere Abschnitte werden mit einer höheren Transparenz als der Oben-Rechts-Abschnitt angezeigt.
Weiterhin sind in einem Piktogramm 10b dx und dy beide null, und die Hand des Operators A befindet sich bei dem Zentrum O oder der Zentrumsposition der Projektionsebene. In dem Piktogramm 10b wird das gesamte Piktogramm mit einer Transparenz entsprechend dem Hervorhebungsniveau R in Übereinstimmung mit der Position und Form (Distanz d und Unähnlichkeit s) der Hand des Operators A angezeigt, wie in 7(b) veranschaulicht.
Auf dieselbe Weise sind in einem Piktogramm 10c dx und dy beide negative Werte, und die Hand des Operators A weicht in einer Unten-Links-Richtung von dem Zentrum O oder dem Zentrum der Projektionsebene ab.
Deshalb wird in dem Piktogramm 10c, um visuell zu zeigen, dass die Hand des Operators A in der Unten-Links-Richtung von dem Zentrum O oder dem Zentrum der Projektionsebene abweicht, der Unten-Links-Abschnitt mit einer Transparenz des Hervorhebungsniveaus R in Übereinstimmung mit der Position und der Form (Distanz d und Unähnlichkeit s) der Hand des Operators A angezeigt, und andere Abschnitte werden mit einer höheren Transparenz als der Unten-Links-Abschnitt angezeigt.
In einem Piktogramm 10d ist dx ein positiver Wert, während dy ein negativer Wert ist, und die Hand des Operators A weicht in einer Unten-Rechts-Richtung von dem Zentrum O oder dem Zentrum der Projektionsebene ab.
Deshalb wird in dem Piktogramm 10d, um visuell anzugeben, dass die Hand des Operators A in der Unten-Rechts-Richtung von dem Zentrum O oder dem Zentrum der Projektionsebene abweicht, der Unten-Rechts-Abschnitt mit einer Transparenz des Hervorhebungsniveaus R in Übereinstimmung mit der Position und Form (Distanz d und Unähnlichkeit s) der Hand des Operators A angezeigt, und andere Abschnitte werden mit einer höheren Transparenz als der Unten-Rechts-Abschnitt angezeigt.
Da wie oben beschrieben das Piktogramm 10a so angezeigt wird, dass nur der Oben-Rechts-Abschnitt dunkel wird, kann der Operator A visuell ergreifen bzw. begreifen, dass die Hand in der Oben-Rechts-Richtung von dem Zentrum O der Gestendurchführungsregion 11 oder dem Zentrum der Projektionsebene abweicht.
Andererseits hat das Piktogramm 10b keinen Abschnitt einer ungleichmäßigen Dunkelheit. Deshalb kann der Operator A visuell ergreifen, dass die Hand sich bei dem Zentrum O der Gestendurchführungsregion 11 oder dem Zentrum der Projektionsebene befindet. Dies befähigt den Operator A zum intuitiven Ergreifen bzw. Begreifen, in welcher Richtung, aufwärts, abwärts, nach rechts oder nach links, die eigene Hand von der Position der Gestendurchführungsregion 11 abweicht, und er kann einfacher eine korrekte Gestenoperation durchführen.
Außerdem ist der Fall zum Ändern eines Anzeigemodus entsprechend der Abweichungsrichtung der Hand des Operators A beschrieben worden, aber ein akustischer Modus mit Verwendung eines Sounds kann ebenso geändert werden. Beispielsweise sind unterschiedliche Typen von Sounds vorbereitend jeweils für eine Abweichung in Aufwärts-, Abwärts-, Nach-Links- und Nach-Rechts-Richtungen von dem Zentrum O der Gestendurchführungsregion 11 oder dem Zentrum der Projektionsebene gesetzt.
In dem Fall, wo die Hand des Operators A in der Oben-Rechts-Richtung von dem Zentrum O oder dem Punkt auf der Erstreckungslinie (z-Achse), die sich von dem Zentrum O zu der Seite des Operators A (Zentrum der Projektionsebene) erstreckt, abweicht, wird ein der Abweichung in der Oben-Rechts-Richtung entsprechender Soundtyp von einem Lautsprecher 7 ausgegeben.
Andererseits wird in einem Fall, wo die Hand des Operators A sich bei dem Zentrum O oder dem Zentrum der Projektionsebene befindet, ein Soundtyp, der der sich bei dem Zentrum befindenden Hand entspricht, von dem Lautsprecher 7 ausgegeben. Unterdessen hat die Soundausgabe von dem Lautsprecher 7 eine dem Hervorhebungsniveau R entsprechende Lautstärke.
Wie oben beschrieben, wird gemäß der zweiten Ausführungsform die Hand des Operators A innerhalb oder außerhalb der Gestendurchführungsregion 11 durch die 3D-Kamera 6 erfasst, und der Hervorhebungsniveaukalkulator 21 berechnet die Abweichungsrichtung der Hand des Operators A von dem Zentrum O der Gestendurchführungsregion 11 oder dem Punkt auf der Erstreckungslinie (z-Achse), die sich von dem Zentrum O zu der Seite des Operators A erstreckt (Kreuzung zwischen der Projektionsebene der xy-Ebene und der z-Achse). Dann veranlasst die Benachrichtigungssteuereinheit 20 die Benachrichtigungsvorrichtung, die Benachrichtigung einer Präsenz des Operationsobjekts mit dem Hervorhebungsniveau R, welches durch den Hervorhebungsniveaukalkulator 21 berechnet worden ist, und in dem der Abweichungsrichtung entsprechenden Benachrichtigungsmodus bereitzustellen, und führt die Hand des Operators A zu der Zentrumsposition der Gestendurchführungsregion 11.
Dies befähigt den Operator A zum intuitiven Ergreifen bzw. Begreifen, in welcher Richtung, aufwärts, abwärts, nach links oder nach rechts, die Hand von der Position der Gestendurchführungsregion 11 abweicht, und er kann einfacher die korrekte Gestenoperation durchführen.
DRITTE AUSFÜHRUNGSFORM
In einer dritten Ausführungsform wird ein Fall beschrieben werden, wo eine Mehrzahl von Gestendurchführungsregionen existiert. Durch Bereitstellung der Mehrzahl von Gestendurchführungsregionen können Stellen bzw. Plätze zum Durchführen einer Gestenoperation und eine Vielfalt von Arten von Gestenoperationen verbreitert werden.
Eine Gestenführungsvorrichtung 1 für eine bewegliche Plattform gemäß der dritten Ausführungsform hat eine Ausgestaltung, die grundsätzlich dieselbe wie eine oben beschriebene erste Ausführungsform ist, aber eine interne Verarbeitung ist unterschiedlich beim Handhaben der Mehrzahl von Gestendurchführungsregionen, wie oben beschrieben. Deshalb wird in dem Folgenden die Ausgestaltung der Gestenführungsvorrichtung 1 für eine bewegliche Plattform gemäß der dritten Ausführungsform mit Verweis auf 1 beschrieben werden.
8 ist ein Diagramm, das ein Operationsobjekt und die Mehrzahl von Gestendurchführungsregionen entsprechend dazu gemäß der dritten Ausführungsform veranschaulicht. In 8 ist ein Operator A ein Fahrer, der mit einem Griff 12 fährt, und ein Piktogramm 10, das ein für eine Gestenoperation beabsichtigtes Objekt sein soll, wird auf einem Projektionsbauteil 8a eines HUD 8 angezeigt. Die Gestendurchführungsregionen 13, 14 sind die Gestendurchführungsregionen für eine linke Hand und eine rechte Hand des Operators A gegenüber dem Piktogramm 10.
In einer Gestenerkennungseinheit 22 wird eine durch die Hand des Operators A durchgeführte Gestenoperation mit einer Eins-zu-Eins-Zuordnung zwischen dem Piktogramm 10 und der Gestendurchführungsregion 13 oder zwischen dem Piktogramm 10 und der Gestendurchführungsregion 14 erkannt. Genauer genommen kann der Operator A die Gestenoperation gegenüber dem Piktogramm 10 in einer der Gestendurchführungsregionen durchführen. In dem in 8 veranschaulichten Fall befähigt dies den Operator A zum Durchführen der Gestenoperation mit irgendeiner Hand, die einfach von dem Griff 12 gelöst werden kann, ungeachtet einer dominanten Hand des Operators.
Auf dieselbe Weise kann auch die Gestendurchführungsregion für einen Mitinsassen in einem Beifahrersitz des Fahrers oder einem Rücksitz gegenüber dem Piktogramm 10 bereitgestellt werden. Dies befähigt den Mitinsassen zum Durchführen der Gestenoperation gegenüber dem Piktogramm 10.
9 ist ein Diagramm, das eine Beziehung zwischen einem Operationsobjekt und jeder der Gestendurchführungsregionen gemäß der dritten Ausführungsform veranschaulicht. In 9 ist der Operator A ein Fahrer, der mit dem Griff 12 fährt, und Piktogramme 10, 15, die für eine Gestenoperation beabsichtigte Objekte sein sollen, werden auf dem Projektionsbauteil 8a des HUD 8 angezeigt. Das Piktogramm 10 ist das einer Gestendurchführungsregion 16 entsprechende Piktogramm, und das Piktogramm 15 ist das der Gestendurchführungsregion 17 entsprechende Piktogramm.
Der Operator A führt eine Gestenoperation relativ zu dem Piktogramm 10 innerhalb der Gestendurchführungsregion 16 durch, wodurch eine Leseverarbeitung für eine empfangene Email durchgeführt wird. Ferner führt der Operator eine Gestenoperation für das Piktogramm 15 innerhalb der Gestendurchführungsregion 17 durch, wodurch eine Navigationsverarbeitung zu einer Tankstelle durchgeführt wird.
Da die Gestenoperation eines unterschiedlichen Operationsobjekts in jeder der Gestendurchführungsregionen erkannt wird, kann die Verarbeitung entsprechend der Vielzahl von Operationsobjekten durchgeführt werden. Weiterhin kann die Vielfalt von Arten der Gestenoperation verbreitert werden durch Setzen der Gestenoperation wie "Handschwenken" als eine unterschiedliche Bedeutung in jeder der Gestendurchführungsregionen.
10 ist ein Diagramm, das eine Beziehung zwischen dem Operationsobjekt und der Gestendurchführungsregion in jeder Benachrichtigungsvorrichtung gemäß der dritten Ausführungsform veranschaulicht. In 10 ist der Operator A ein Fahrer, der mit dem Griff 12 fährt, und ein Piktogramm 10, das ein für eine Gestenoperation beabsichtigtes Objekt sein soll, wird auf dem Projektionsbauteil 8a des HUD 8 angezeigt, und auf dieselbe Weise wird ein Piktogramm 15, das ein Objekt der Gestenoperation sein soll, auf einem Schirm 9a der Zentrumsanzeige 9 angezeigt. Weiterhin ist eine Gestendurchführungsregion 18 die dem Piktogramm 10 entsprechende Gestendurchführungsregion, und eine Gestendurchführungsregion 19 ist die dem Piktogramm 15 entsprechende Gestendurchführungsregion.
In dem Fall eines Erkennens der durch den Operator A durchgeführten Gestenoperation in der Gestendurchführungsregion 18 gibt die Benachrichtigungssteuereinheit 20 an das mit der Gestendurchführungsregion 18 verknüpfte HUD 8 einen Benachrichtigungsbefehl für ein Verarbeitungsergebnis der Gestenoperation aus. In dem Fall, wo der Operator A die Gestenoperation in der Gestendurchführungsregion 19 durchführt, gibt auf dieselbe Weise die Benachrichtigungssteuereinheit 20 an die der Gestendurchführungsregion 19 entsprechende Zentrumsanzeige 9 einen Benachrichtigungsbefehl für ein Verarbeitungsergebnis der Gestenoperation aus.
Genauer genommen führt die Benachrichtigungssteuereinheit 20 eine Steuerung so durch, dass die Benachrichtigungsvorrichtung, die der Gestendurchführungsregion entspricht, wo die Gestenerkennungseinheit 22 die Gestenoperation erkannt hat, das Verarbeitungsergebnis der Gestenoperation ausgibt. Dies befähigt den Operator A zum Auswählen der Benachrichtigungsvorrichtung, von welcher der Operator A das Ausgeben des Verarbeitungsergebnisses der Gestenoperation wünscht, in Übereinstimmung mit der Gestendurchführungsregion.
Wie oben beschrieben, werden gemäß der dritten Ausführungsform die Gestendurchführungsregionen bei einer Mehrzahl von Stellen bereitgestellt. Deshalb können die Stellen zum Durchführen einer Gestenoperation und die Vielfalt von Arten von Gestenoperationen verbreitert werden.
Beispielsweise durch Bereitstellung der Gestendurchführungsregionen 13, 14 für die linke Hand und die rechte Hand kann der Operator A die Gestenoperation mit irgendeiner Hand durchführen, die einfach von dem Griff 12 gelöst werden kann, ungeachtet der dominanten Hand des Operators. Durch Bereitstellung der Gestendurchführungsregion für einen Mitinsassen neben dem Fahrer kann ferner der Mitinsasse auch die Gestenoperation für das Operationsobjekt durchführen.
Gemäß der dritten Ausführungsform erkennt darüber hinaus die Gestenerkennungseinheit 22 die Gestenoperation für das unterschiedliche Operationsobjekt in jeder der Gestendurchführungsregionen. Folglich kann die Verarbeitung entsprechend der Mehrzahl der Operationsobjekte durchgeführt werden. Außerdem kann eine unterschiedliche Bedeutung für die Gestenoperation wie "Handschwenken" in jeder der Gestendurchführungsregionen festgelegt werden.
Gemäß der dritten Ausführungsform führt ferner die Benachrichtigungssteuereinheit 20 eine Steuerung so durch, dass die Benachrichtigungsvorrichtung, die der Gestendurchführungsregion entspricht, wo die Gestenerkennungseinheit 22 die Gestenoperation erkannt hat, das Verarbeitungsergebnis der Gestenoperation ausgibt. Dies befähigt den Operator A zum Auswählen der Benachrichtigungsvorrichtung, von welcher der Operator das Ausgeben des Verarbeitungsergebnisses der Gestenoperation wünscht, in Übereinstimmung mit der Gestendurchführungsregion.
VIERTE AUSFÜHRUNGSFORM
11 ist ein Blockdiagramm, das eine Ausgestaltung einer Gestenführungsvorrichtung für eine bewegliche Plattform gemäß einer vierten Ausführungsform veranschaulicht. In 11 enthält eine Gestenführungsvorrichtung 1A für eine bewegliche Plattform gemäß der vierten Ausführungsform einen von einer Ausgestaltung einer ersten Ausführungsform unterschiedlichen Kalkulator 2A, und der Kalkulator 2A enthält eine Durchführungsregion-Setzeinheit 23. Die Durchführungsregion-Setzeinheit 23 ist eine Positionsänderungseinheit zum Ändern einer Position einer Gestendurchführungsregion 11. Außerdem enthält die Durchführungsregion-Setzeinheit 23 eine Einstellungseinheit 23A zum Einstellen der Position der Gestendurchführungsregion 11 in Übereinstimmung mit einem Befehl von außerhalb. Man beachte, dass in 11 eine Komponente, die dieselbe wie in 1 ist, durch dieselben Bezugszeichen bezeichnet werden wird, und eine Beschreibung dafür wird weggelassen werden.
Beispielsweise kann ein Nutzer oder eine Person, die mit einer Wartung betraut ist, die Position der Gestendurchführungsregion 11 zu einem optionalen Zeitpunkt durch Verwendung der Durchführungsregion-Setzeinheit 23 ändern.
12 ist ein Diagramm, das einen beispielhaften Konfigurationsschirm der Gestendurchführungsregion veranschaulicht. Zuerst tätigt der Benutzer oder die Person, die mit der Wartung betraut ist, eine Auswahl aus einem Menüschirm, der auf einer Anzeigevorrichtung, so wie eine Zentrumsanzeige 9, angezeigt wird, und startet die Durchführungsregion-Setzeinheit 23.
Nachdem die Durchführungsregion-Setzeinheit 23 gestartet wird, zeigt die Einstellungseinheit 23a einen Konfigurationsschirm 9b, wie in 12 veranschaulicht, auf der Zentrumsanzeige 9 an. Unterdessen kann der Konfigurationsschirm auch auf einem HUD 8 angezeigt werden.
Der Konfigurationsschirm 9b enthält die Positionskoordinaten eines Zentrums O der Gestendurchführungsregion 11 (Zentrumskoordinaten) und ein Setzfeld 9c zum Setzen einer Breite und einer Höhe, die eine Größe davon repräsentieren. Wenn der Benutzer die Zentrumskoordinaten, Breite und Höhe in dem Setzfeld 9c durch Verwendung einer Eingabevorrichtung, so wie ein Touch-Panel oder eine Hardwaretaste, setzt, setzt die Einstellungseinheit 23a die Gestendurchführungsregion 11 in einer Position auf Grundlage des Setzwertes. Dies befähigt den Benutzer zum Ändern der Position der Gestendurchführungsregion 11 zu einer Stelle, wo der Benutzer einfach die Gestenoperation durchführen kann.
Beispielsweise wird in 12 10 cm für eine Normalenrichtung (z-Achse) einer Anzeigeoberfläche des HUD 8 von einem Operationsobjekt gesetzt, welches auf dem HUD 8 angezeigt wird, das eine Benachrichtigungsvorrichtung ist, zu einer Seite des Operators A. Unter der Bedingung, dass das Zentrum O eine Position 10 cm entfernt von der Anzeigeoberfläche ist, und das Zentrum O als ein Ursprung gesetzt wird, wird außerdem 20 cm gesetzt für eine x-Achse-Richtung (–10 cm in einer –x-Achse-Richtung und +10 cm in einer +x-Achse-Richtung via das Zentrum O), und 20 cm wird gesetzt für eine Y-Achse-Richtung (–10 cm in einer –y-Achse-Richtung und +10 cm in einer +y-Achse-Richtung via das Zentrum O). Weiterhin wird 20 cm für die z-Achse-Richtung gesetzt (–10 cm in der –z-Achse-Richtung und +10 cm in der +z-Achse-Richtung via das Zentrum O) durch Setzen der Breite auf 20 cm, und ein Quaderraumbereich wird als die Gestendurchführungsregion definiert durch Setzen der Höhe auf 20 cm. Der Quaderraumbereich wird definiert von einer Ebene, wo eine xy-Oberfläche einschließlich des Zentrums O projiziert wird bei der Position von –10 cm in der z-Richtung zu einer Ebene, wo die selbige projiziert wird bei der Position von +10 cm.
Unterdessen kann in dem Setzfeld 9c irgendeine Raumposition zwischen der Position des Operators A und dem Operationsobjekt auch vorbereitend als eine Anfangsposition der Gestendurchführungsregion 11 gesetzt sein. Da der Operator A einfach die Gestenoperation bei der Anfangsposition durchführen kann, gibt es folglich keinen Bedarf zum Ändern der Position. Deshalb kann ein Setzen für die Position der Gestendurchführungsregion 11 vereinfacht werden.
Außerdem ist in 12 der Fall zum Ändern der Position der Gestendurchführungsregion 11 durch Setzen der Position des Operationsobjekts als eine Referenzposition beschrieben worden, aber in dem Fall, wo der Operator A ein Fahrer ist, der mit einem Griff 12 fährt, kann eine Position des Griffs 12 als die Referenzposition (beispielsweise Position des linken Endes des Griffs 12) gesetzt sein.
Darüber hinaus kann die Durchführungsregion-Setzeinheit 23 eine Position einer Hand des Operators A lernen, wo die Gestenoperation durch die Gestenerkennungseinheit 22 erkannt wird, und kann die Position der Gestendurchführungsregion 11 auf Grundlage des Lernergebnisses ändern.
Beispielsweise speichert die Durchführungsregion-Setzeinheit 23 vorbereitend sequenziell Positionen der Hand, wo die Gestenoperation durch den Operator A durchgeführt wird, und berechnet: eine Position, wo die Gestenoperation durchgeführt wird in derselben Position mit der Häufigkeit einer Schwelle oder mehr aus Positionen, wo die Gestenoperation durchgeführt worden ist für eine vorbestimmte Häufigkeit in der Vergangenheit; oder eine Durchschnittsposition der Gestenoperation, in der die Gestenoperation mit einer vorbestimmten Häufigkeit in der Vergangenheit durchgeführt worden ist. Dann ändert die Durchführungsregion-Setzeinheit 23 die Position der Gestendurchführungsregion 11 durch Setzen der berechneten Position als das Zentrum O oder durch Setzen der selbigen als eine Apexposition oder dergleichen.
Folglich kann die Position der Gestendurchführungsregion 11 zu einer für den Operator A geeigneten Position geändert werden.
In dieser Hinsicht kann in dem Fall, wo die Gestendurchführungsregion 11 sich zu nah zu dem Griff 12 befindet, eine Operation des Griffs 12 durch den Operator A fehlerhaft als die Gestenoperation bestimmt werden.
Deshalb kann auch eine Grenze für einen Positionsbereich der Gestendurchführungsregion 11 bereitgestellt werden, die durch die Durchführungsregion-Setzeinheit 23 geändert werden kann. Beispielsweise wird eine Raumposition, die sich in einer vorbestimmten Distanz von dem Griff 12 befindet, vorbereitend als eine gesperrte Position in der Durchführungsregion-Setzeinheit 23 gesetzt, und es wird verhindert, dass die Position der Gestendurchführungsregion 11 zu der gesperrten Position geändert wird. Folglich kann eine Fehlerkennung der Gestenoperation reduziert werden.
Wie oben beschrieben, wird gemäß der vierten Ausführungsform, da die Durchführungsregion-Setzeinheit 23 zum Ändern der Position der Gestendurchführungsregion 11 bereitgestellt wird, die Gestendurchführungsregion nicht als eine feste Position gesetzt und kann bewegt werden. Da die Einstellungseinheit 23a zum Einstellen der Position der Gestendurchführungsregion 11 in Übereinstimmung mit der von außerhalb gesetzten Information bereitgestellt wird, kann außerdem die Gestendurchführungsregion 11 bei einer erwünschten Stelle des Operators A gesetzt werden.
Darüber hinaus (er)lernt gemäß der vierten Ausführungsform die Durchführungsregion-Setzeinheit 23 die Position der Hand des Operators A, wo die Gestenoperation erkannt wird, und ändert die Position der Gestendurchführungsregion 11 auf Grundlage des Lernergebnisses. Folglich kann die Gestendurchführungsregion 11 festgelegt werden, wo der Operator A einfach die Gestenoperation durchführen kann. An dieser Stelle wird die Grenze in dem Positionsbereich der Gestendurchführungsregion 11 änderbar durch die Durchführungsregion-Setzeinheit 23 bereitgestellt. Dies kann verhindern, dass die Gestendurchführungsregion bei der Stelle festgelegt wird, wo eine Fehlerkennung wahrscheinlich auftritt, und eine Fehlerkennung der Gestenoperation kann reduziert werden.
Unterdessen können in der folgenden Erfindung die jeweiligen Ausführungsformen frei kombiniert werden, oder irgendeine Komponente in den jeweiligen Ausführungsformen kann modifiziert werden, oder irgendeine Komponente in den jeweiligen Ausführungsformen kann weggelassen werden innerhalb des Schutzbereichs der vorliegenden Erfindung.
GEWERBLICHE ANWENDBARKEIT
Eine Gestenführungsvorrichtung für eine bewegliche Plattform gemäß der vorliegenden Erfindung ist beispielsweise auf eine Operationsvorrichtung eines Im-Fahrzeug-Informationsapparats anwendbar, weil die Vorrichtung durch eine einfache Ausgestaltung implementiert werden kann und auch eine Führung zu einem Zustand durchführen kann, in dem die Gestenoperation durchgeführt werden soll.
ERLÄUTERUNGEN DER BEZUGSZEICHEN

1, 1A Gestenführungsvorrichtung für eine bewegliche Plattform; 2, 2A Prozessor; 3 I/F; 4 Ereignisdetektor; 4a Antenne; 5 Bus; 6 3D-Kamera; 7 Lautsprecher; 8 HUD; 8a Projektionsbauteil; 9 Zentrumsanzeige; 9a Schirm; 9b Konfigurationsschirm; 9c Setzfeld; 10, 10a bis 10d, 15 Piktogramm; 11, 13, 14, 16 bis 19 Gestendurchführungsregion; 12 Griff; 20 Benachrichtigungssteuereinheit; 21 Hervorhebungsniveaukalkulator; 22 Gestenerkennungseinheit; 23 Durchführungsregion-Setzeinheit; und 23a Einstellungseinheit.

Claims

Gestenführungsvorrichtung für eine bewegliche Plattform, umfassend: einen Hervorhebungsniveaukalkulator zum Spezifizieren einer Position einer Hand eines Operators auf Grundlage einer Information, die durch einen Sensor erfasst worden ist, der die Hand des Operators erfasst, und zum Berechnen eines Hervorhebungsniveaus in Übereinstimmung mit einer Differenz zwischen der Position der Hand des Operators und einer vorbestimmten Position zum Durchführen einer Gestenoperation; und eine Benachrichtigungssteuereinheit zum, jedes Mal wenn der Hervorhebungsniveaukalkulator das Hervorhebungsniveau berechnet in Ansprechen auf eine Erfassung der Hand des Operators durch den Sensor, Veranlassen einer Benachrichtigungsvorrichtung, eine Benachrichtigung einer Präsenz eines für die Gestenoperation beabsichtigten Operationsobjekts bereitzustellen, mit dem berechneten Hervorhebungsniveau, um dadurch die Hand des Operators zu der vorbestimmten Position zu führen.
Gestenführungsvorrichtung für eine bewegliche Plattform gemäß Anspruch 1, wobei: der Hervorhebungsniveaukalkulator ferner eine Form der Hand des Operators auf Grundlage der erfassten Information des Sensor spezifiziert und ein Hervorhebungsniveau in Übereinstimmung mit einer Differenz zwischen einer Kombination einer Hand und einer Form der Hand des Operators und einer anderen Kombination der vorbestimmten Position zum Durchführen einer Gestenoperation und einer vorbestimmten Form einer Hand für die Gestenoperation berechnet; und die Benachrichtigungssteuereinheit die Benachrichtigungsvorrichtung veranlasst, eine Benachrichtigung einer Präsenz eines für die Gestenoperation beabsichtigten Operationsobjekts bereitzustellen, mit einem durch den Hervorhebungsniveaukalkulator berechneten Hervorhebungsniveau, um dadurch die Hand des Operators zu der vorbestimmten Position und der vorbestimmten Form einer Hand für die Gestenoperation zu führen.
Gestenführungsvorrichtung für eine bewegliche Plattform gemäß Anspruch 1, wobei der Hervorhebungsniveaukalkulator das Hervorhebungsniveau berechnet in Übereinstimmung mit einer Distanz zwischen der Position der Hand des Operators und einer Zentrumsposition einer Gestendurchführungsregion, die zum Durchführen der Gestenoperation vorbestimmt ist.
Gestenführungsvorrichtung für eine bewegliche Plattform gemäß Anspruch 2, wobei der Hervorhebungsniveaukalkulator das Hervorhebungsniveau berechnet in Übereinstimmung mit: einer Distanz zwischen der Position der Hand des Operators und einer Zentrumsposition der Gestendurchführungsregion; und einer Unähnlichkeit zwischen der Form der Hand des Operators und der vorbestimmten Form einer Hand für die Gestenoperation.
Gestenführungsvorrichtung für eine bewegliche Plattform gemäß Anspruch 1, wobei: wenn ein auf das Operationsobjekt bezogenes Ereignis erzeugt wird, welches die Benachrichtigungsvorrichtung zum Bereitstellen einer Benachrichtigung der Präsenz des Operationsobjekts veranlasst, der Hervorhebungsniveaukalkulator sequenziell ein Hervorhebungsniveau berechnet, das schrittweise abgesenkt wird, nachdem eine gesetzte Periode vergangen ist ab der Erzeugung des Ereignisses; und die Benachrichtigungssteuereinheit die Benachrichtigungsvorrichtung steuert, eine Benachrichtigung der Präsenz des Operationsobjekts bereitzustellen, mit dem sequenziell durch den Hervorhebungsniveaukalkulator berechneten Hervorhebungsniveau.
Gestenführungsvorrichtung für eine bewegliche Plattform gemäß Anspruch 3, wobei: bezüglich der Hand des Operators, die durch den Sensor innerhalb oder außerhalb der Gestendurchführungsregion erfasst worden ist, der Hervorhebungsniveaukalkulator ferner eine Abweichungsrichtung der erfassten Hand des Operators von einem Zentrum der Gestendurchführungsregion oder einem Punkt auf einer Erstreckungslinie berechnet, die sich von dem Zentrum der Gestendurchführungsregion zu einem Operator erstreckt; und die Benachrichtigungssteuereinheit die Benachrichtigungsvorrichtung veranlasst, eine Benachrichtigung einer Präsenz des Operationsobjekts bereitzustellen, mit dem durch den Hervorhebungsniveaukalkulator berechneten Hervorhebungsniveau und in einem der Abweichungsrichtung entsprechenden Benachrichtigungsmodus, um dadurch die Hand des Operators zu einer Zentrumsposition der Gestendurchführungsregion zu führen.
Gestenführungsvorrichtung für eine bewegliche Plattform gemäß Anspruch 3, mit ferner einer Gestenerkennungseinheit zum Erkennen der Gestenoperation, die durch die Hand des Operators in der Gestendurchführungsregion durchgeführt worden ist, mit einer Eins-zu-Eins-Zuordnung zwischen dem Operationsobjekt und der Gestendurchführungsregion.
Gestenführungsvorrichtung für eine bewegliche Plattform gemäß Anspruch 7, wobei, wenn eine Gestenoperation, die eine Unnötigkeit des Operationsobjekts angibt, durch die Gestenerkennungseinheit erkannt wird, die Benachrichtigungssteuereinheit die Benachrichtigungsvorrichtung veranlasst, eine Benachrichtigung einer Präsenz des Operationsobjekts nicht bereitzustellen.
Gestenführungsvorrichtung für eine bewegliche Plattform gemäß Anspruch 7, wobei die Gestendurchführungsregion eine Mehrzahl von Gestendurchführungsregionen enthält, die bei einer Mehrzahl von Stellen bereitgestellt werden.
Gestenführungsvorrichtung für eine bewegliche Plattform gemäß Anspruch 9, wobei die Gestenerkennungseinheit eine Gestenoperation eines unterschiedlichen Operationsobjekts erkennt, welches in jeder der Gestendurchführungsregionen ist.
Gestenführungsvorrichtung für eine bewegliche Plattform gemäß Anspruch 9, wobei die Benachrichtigungssteuereinheit eine Steuerung durchführt zum Veranlassen der Benachrichtigungsvorrichtung, verknüpft mit einer Gestendurchführungsregion, wo die Gestenoperation durch die Gestenerkennungseinheit erkannt wird, ein Verarbeitungsergebnis der Gestenoperation auszugeben.
Gestenführungsvorrichtung für eine bewegliche Plattform gemäß Anspruch 9, wobei die Mehrzahl von Gestendurchführungsregionen eine Gestendurchführungsregion für eine rechte Hand oder eine linke Hand eines Fahrers in der beweglichen Plattform oder eine Gestendurchführungsregion für einen Insassen neben dem Fahrer enthält.
Gestenführungsvorrichtung für eine bewegliche Plattform gemäß Anspruch 9, wobei die Gestendurchführungsregion zwischen dem Operator und dem Operationsobjekt angeordnet ist.
Gestenführungsvorrichtung für eine bewegliche Plattform gemäß Anspruch 3, mit ferner einer Positionsänderungseinheit zum Ändern einer Position der Gestendurchführungsregion.
Gestenführungsvorrichtung für eine bewegliche Plattform gemäß Anspruch 14, wobei die Positionsänderungseinheit eine Einstellungseinheit enthält, die eine Position der Gestendurchführungsregion in Übereinstimmung mit einer von außerhalb gesetzten Information einstellt.
Gestenführungsvorrichtung für eine bewegliche Plattform gemäß Anspruch 14, wobei die Positionsänderungseinheit eine Position der Hand des Operators, wo eine Gestenoperation erkannt worden ist, lernt und eine Position der Gestendurchführungsregion auf Grundlage eines Ergebnisses des Lernens ändert.
Gestenführungsvorrichtung für eine bewegliche Plattform gemäß Anspruch 16, wobei eine Grenze in einem Positionsbereich der Gestendurchführungsregion bereitgestellt wird, die durch die Positionsänderungseinheit änderbar ist.
Gestenführungsvorrichtung für eine bewegliche Plattform gemäß Anspruch 3, wobei die Benachrichtigungssteuereinheit die Benachrichtigungsvorrichtung steuert, eine Benachrichtigung einer Präsenz der Hand des Operators bereitzustellen, die in die Gestendurchführungsregion eingetreten oder sich aus dieser herausbewegt hat.
Gestenführungssystem für eine bewegliche Plattform, umfassend: einen Sensor zum Erfassen einer Hand eines Operators; eine Benachrichtigungsvorrichtung zum Bereitstellen einer Benachrichtigung einer Präsenz eines Operationsobjekts; einen Hervorhebungsniveaukalkulator zum Spezifizieren einer Position der Hand des Operators auf Grundlage einer durch den Sensor erfassten Information und zum Berechnen eines Hervorhebungsniveaus in Übereinstimmung mit einer Differenz zwischen der Position der Hand des Operators und einer vorbestimmten Position einer Hand zum Durchführen einer Gestenoperation; und eine Benachrichtigungssteuereinheit zum, jedes Mal wenn der Hervorhebungsniveaukalkulator das Hervorhebungsniveau in Ansprechen auf eine Erfassung der Hand des Operators durch den Sensor berechnet, Veranlassen der Benachrichtigungsvorrichtung, eine Benachrichtigung einer Präsenz eines für die Gestenoperation beabsichtigten Operationsobjekts bereitzustellen, mit dem berechneten Hervorhebungsniveau, um dadurch die Hand des Operators zu der vorbestimmten Position zu führen.
Gestenführungsverfahren für eine bewegliche Plattform umfassend: Spezifizieren, in einem Hervorhebungsniveaukalkulator, einer Position einer Hand eines Operators auf Grundlage einer Information, die durch einen Sensor erfasst worden ist, der die Hand des Operators erfasst, und Berechnen eines Hervorhebungsniveaus in Übereinstimmung mit einer Differenz zwischen der Position der Hand des Operators und einer vorbestimmten Position einer Hand zum Durchführen einer Gestenoperation; und jedes Mal wenn der Hervorhebungsniveaukalkulator das Hervorhebungsniveau berechnet in Ansprechen auf eine Erfassung der Hand des Operators durch den Sensor, Veranlassen, in einer Benachrichtigungssteuereinheit, der Benachrichtigungsvorrichtung, eine Benachrichtigung einer Präsenz eines für die Gestenoperation beabsichtigten Operationsobjekts bereitzustellen, mit dem berechneten Hervorhebungsniveau, um dadurch die Hand des Operators zu der vorbestimmten Position zu führen.