-
Die Erfindung betrifft ein Verfahren zum Bereitstellen einer Bedienungseingabe unter Verwendung eines Head-mounted Displays, eine entsprechende Vorrichtung und ein Computerprogramm.
-
Heutzutage sind Head-mounted Displays bekannt, die durch einen Benutzer getragen werden und vor einem oder beiden Augen des Benutzers angeordnete Anzeigen umfassen. Diese Anzeigen können halbdurchsichtig sein, so dass der Benutzer sowohl die Darstellung auf der Anzeige wahrnehmen kann als auch die ihn umgebende Umwelt.
-
Es ist ebenfalls bekannt, durch Kameraaufnahmen die Position der Hände eines Benutzers oder allgmeiner Gesten des Benutzers zu erfassen und auszuwerten.
-
Die Druckschrift
WO 01/56007 A1 erwähnt ein System umfassend ein Head-mounted Display und einen an einer Hand des Benutzers getragenen Tracker. Ein Menü wird abhängig von der Position des Trackers im Head-mounted Display angezeigt. Die Druckschrift
WO 01/56007 A1 geht allerdings nicht auf die Interaktion mit dem Menü ein.
-
Aufgabe an den Fachmann ist die Bereitstellung von Bedienungseingaben für ein Menü unter Verwendung eines Head-mounted Displays.
-
Die Aufgabe wird durch ein Verfahren nach Anspruch 1, eine Vorrichtung nach Anspruch 10 und ein Computerprogramm nach Anspruch 11 gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert.
-
In einem Aspekt umfasst ein Verfahren zum Bereitstellen einer Bedienungseingabe unter Verwendung eines Head-mounted Displays, das von einem Benutzer getragen wird: Erfassen der Position eines Objektes, insbesondere einer Hand des Benutzers; Anzeigen eines Menüs mit insbesondere graphisch dargestellten Auswahlmöglichkeiten basierend auf der erfassten Position des Objektes; Erfassen einer Geste zumindest eines Teils einer Hand, insbesondere der Hand, deren Position erfasst wurde, falls die Position der Hand erfasst wird; Erkennen, dass die erfasste Geste einer Geste entspricht, der eine Auswahlmöglichkeit des Menüs zugeordnet ist; In Antwort auf das Erkennen, dass die erfasste Geste der Geste entspricht, Auswählen der zugeordneten Auswahlmöglichkeit.
-
Auf diese Weise wird dem Benutzer eine komfortable Menüsteuerung ermöglicht. Dadurch, dass das Menü an Objekten orientiert angezeigt wird, ergibt sich für den Benutzer bei Verwendung eines halbdurchsichtigen Head-mounted Displays ein Zusammenhang zwischen der wirklichen Welt und den Auswahlmöglichkeiten des Menüs, dies wird von manchen auch als augmented reality bezeichnet. Dies vereinfacht für den Benutzer die Interaktion, da ihm so Referenzpunkte der wirklichen Welt zur Verfügung stehen. Das Objekt kann ein Lenkrad oder ein Controller sein und das Menü kann auch eine Liste umfassen, wobei die Auswahlmöglichkeiten Elemente der Liste sind. Mithilfe des Verfahrens können auch Listen durchblättert (gescrollt) werden, weitere Untermenüs aufgerufen werden, je jeweils einzelnen angezeigten Auswahlmöglichkeiten zugeordnet sind.
-
Vorteilhaft ist es insbesondere, wenn das Objekt die Hand des Benutzers ist. Das Menü wird dann basierend auf der erfassten Position einer Hand des Benutzers, angezeigt und orientiert sich damit am „Aktionsradius” des Benutzers beziehungsweise knüpft an den Körper des Benutzers an. Diese Art der Platzierung des Menüs führt zu einer intuitiven Eingabesituation, da der Benutzer seine Hände gewohnheitsmäßig zur Manipulation von Objekten einsetzt. Durch eine Anordnung in Abhängigkeit der Position der Hand, die der Benutzer gewohnheitsmäßig für Eingaben beispielsweise in Computer verwendet, wird eine für den Benutzer gewohnte Situation geschaffen und das Menü leicht mit der Möglichkeit Eingaben vorzunehmen in Verbindung gebracht. Des Weiteren ist diese Platzierung insofern vorteilhaft, als dass die Gesten derart entwickelt werden können, dass sie mit stets denselben definierten Bewegungen zum selben Ergebnis führen. Dies erleichtert dem Benutzer das Erlernen oder Verstehen der Bedieneingabe.
-
Auf vergleichsweise aufwändige Sensorik kann verzichtet werden, es wird lediglich eine Kamera benötigt. Es muss kein Handschuh, kein Marker oder sonstiger Gegenstand (bis auf das Head-mounted Display) getragen werden. Außer dem Head-mounted Display (ggf. inklusive Kamera) muss kein weiterer Gegenstand vom Benutzer getragen werden. Eine Interaktion, also Bedieneingabe, gemäß dem vorgestellten Verfahren kann spontan erfolgen und ohne großen Zeitaufwand.
-
Es kann vorgesehen sein, dass auch die Orientierung der Hand erfasst wird, und dass das Menü mit Auswahlmöglichkeiten auch basierend auf der Orientierung der Hand angezeigt wird. Eine Geste kann eine Bewegung zumindest eines Teils der Hand und das Zeigen einer Zahl mithilfe der Finger der Hand umfassen. Die durch die Finger gezeigte Zahl kann einer Auswahlmöglichkeit zugeordnet sein, der dieselbe Zahl zugewiesen ist. Weiterhin ist offensichtlich, dass das Verfahren Fälle umfasst, in denen die Eingabe von der Hand ausgeführt wird, anhand deren Position die Eingabemöglichkeiten angezeigt werden, als auch Fälle, in denen die Eingabe von der anderen Hand ausgeführt wird. Die Position der Hand und das Erfassen der Geste kann mithilfe einer oder mehrerer Kameraaufnahmen und entsprechender an sich bekannter Bildverarbeitung ausgeführt werden. Bei der Kamera kann es sich um eine Kamera handeln, die Aufnahmen im sichtbaren Lichtbereich macht oder im Infrarotbereich macht. Auch kann die Kamera zusätzlich Tiefeninformationen bereitstellen. Die Kamera kann insbesondere in dem Head-mounted Display selbst umfasst sein, aber auch beispielsweise auf dem Armaturenbrett oder im vorderen Bereich des Dachhimmels eines Kraftfahrzeugs angeordnet sein.
-
In einer vorteilhaften Weiterbildung sind die Auswahlmöglichkeiten entlang eines Kreises angrenzend an die Position des Objektes angeordnet. Alternativ können die Auswahlmöglichkeiten auch entlang eines Kreises ausgerichtet angezeigt werden mit dem Objekt im Wesentlichen im Mittelpunkt des Kreises. Auf diese Weise wird der Bezug des Eingabemenüs zum „Eingabemedium” für den Nutzer besonders deutlich. In dem Fall, dass das Objekt die Hand des Benutzers ist, werden mithilfe dieser Anordnung der Auswahlmöglichkeiten Handbewegungen in Richtung einer Auswahlmöglichkeit vorteilhaft ermöglicht. Die Strecke, die von der Hand bei einer Bewegungsgeste durchlaufen wird, wird bei einer so ermöglichten nahen Platzierung der Eingabeelemente möglichst klein gehalten, was die Eingabegeschwindigkeit erhöht.
-
Alternativ können die Auswahlmöglichkeiten auf dem Objekt beziehungsweise der erfassten Hand, insbesondere dem Handrücken, angezeigt werden. Dies verstärkt den Bezug der Auswahlmöglichkeiten zum „Eingabemedium” sogar noch weiter.
-
In einer besonders vorteilhaften Weiterbildung umfasst die Geste, der eine Auswahlmöglichkeit zugeordnet ist, eine Bewegung der Hand in Richtung der Auswahlmöglichkeit; und der Geste ist insbesondere die Auswahlmöglichkeit zugeordnet, die in der Richtung der Bewegung der Hand ausgehend von der erfassten Position des Objektes, insbesondere der erfassten Hand, angezeigt wird. Der Benutzer bewegt also seine Hand in die Richtung, in der sich für ihn auch die Auswahlmöglichkeit befindet. Da die Auswahlmöglichkeiten, in dem Fall, dass das Objekt eine Hand ist, anhand der Position der Hand ausgerichtet sein können, kann jeweils dieselbe Bewegung der Hand zur Auswahl derselben Auswahlmöglichkeit führen, unabhängig von der absoluten Position der Hand. Auch bei der Verwendung der Hand des Benutzers, die nicht zur Positionierung der Auswahlmöglichkeiten dient, besteht relativ zur positionsbestimmenden Hand stets die gleiche Bewegung. Da der Benutzer für die relative Position seiner Hände ein relativ gutes Raumgefühl hat, ist auch dieser Fall für den Benutzer intuitiv und gut erlernbar.
-
Alternativ oder zusätzlich umfasst die Geste, der eine Auswahlmöglichkeit zugeordnet ist, das Deuten einer Zahl mithilfe ausgestreckter Finger der Hand. Der Zahl ist dann eine Auswahlmöglichkeit zugeordnet. Dies ist beispielsweise bei einer großen Anzahl von Auswahlmöglichkeiten vorteilhaft, wenn beispielsweise kleine Abweichungen in der Bewegung der Hand zu einer Eingabemöglichkeit hin zu einer ungewollten Auswahl führen können. Trotzdem kann diese Eingabemethode auch als Standardeingabe vorgesehen sein.
-
In einer vorteilhaften Ausgestaltung umfasst das Head-mounted Display eine Kamera und das Verfahren umfasst ferner folgende Schritte: Erfassen, dass die Kamera des Head-mounted Displays für eine vorbestimmte Zeit im Wesentlichen auf das Objekt, insbesondere die Hand, ausgerichtet ist, insbesondere auf den Handrücken; wobei das Menü in Antwort auf das Erfassen, dass die Kamera ausgerichtet ist, angezeigt wird. Die vorbestimmte Zeit wird vorteilhafterweise so gewählt, dass eine unbeabsichtigte Aktivierung, also das Anzeigen des Menüs, vermieden wird. Auf diese Weise wird dem Benutzer eine komfortable Möglichkeit geboten, das Menü anzeigen zu lassen und die Möglichkeit zur Eingabe zu eröffnen. In dem besonders vorteilhaften Fall, dass die Kamera des Head-mounted Displays derart angeordnet ist, dass sie in dieselbe Richtung aufnimmt, wie die Ausrichtung des Head-mounted Displays ist, bedeutet eine Ausrichtung der Kamera auf die Hand, dass der Benutzer auch seine Blickrichtung auf die Hand fokussiert. Dies stellt eine intuitive Aktivierung der Menüeingabe dar.
-
Alternativ kann auch die Anzahl der ausgestreckten Finger erkannt werden und in Antwort darauf, das Menü angezeigt werden.
-
In einer weiteren Ausgestaltung umfasst das Verfahren: Erfassen des Schließens der Hand zu einer Faust, In Antwort auf das Erfassens des Schließends der Hand zu einer Faust, Schließen des Menüs. Ebenso kann durch ein Öffnen der Hand das Menü wieder geöffnet werden. Auch dies stellt für den Benutzer wieder eine intuitive und sowohl leicht als auch schnell ausführbare Geste bereit mit der Menüeingabemöglichkeit zu interagieren.
-
In einer anderen Weiterbildung ist das Objekt ein Lenkrad eines Fahrzeugs oder ein Controller, also eine spezielle zur Eingabe vorgesehene physikalische Struktur. Durch eine Veränderung der Handposition auf dem Lenkrad oder dem Controller, an dem entlang vorteilhafterweise die Auswahlmöglichkeiten angeordnet sind, kann dann eine Auswahlmöglichkeit ausgewählt werden. Eine Anordnung entlang dem Lenkrad oder Controller kann den Ort und die Form der graphisch dargestellten Auswahlmöglichkeiten bestimmen.
-
In einem anderen Aspekt umfasst eine Vorrichtung: Ein Head-mounted Display; Eine Kamera, die insbesondere vom Head-mounted Display umfasst ist; Eine elektronische Verarbeitungseinheit, wobei die Vorrichtung dazu eingerichtet ist eines der oben vorgestellten Verfahren auszuführen. Die elektronische Verarbeitungseinheit kann ein programmtechnisch einrichtbarer Mikrocontroller oder universaler Prozessor sein.
-
In wieder einem anderen Aspekt umfasst ein Computerprogramm Anweisungen zum Ausführen eines der oben dargestellten Verfahren. Das Computerprogramm kann einen Computer dazu veranlassen eines der oben dargestellten Verfahren auszuführen, wenn dieser die Anweisungen ausführt.
-
Die Erfindung basiert auch auf folgenden Überlegungen:
Der Nutzer blickt auf seine nach vorne ausgestreckte Hand (Handrücken ist zu ihm gekehrt). Es kann vorgesehen sein, dass nach einer gewissen Zeit oder anhand der Anzahl der ausgestreckten Finger das System den Interaktionswunsch erkennt und in dem Head-mounted Display ein (beispielsweise) kreisförmig angeordnetes Menu einblendet. Das Öffnen und Schließen des Menus kann beispielsweise durch das Öffnen bzw. Schließen einer Faust geschehen. Da das System in der Lage ist die Position der Hand zu bestimmen, kann das Menu um die ausgestreckte Hand des Benutzers angeordnet werden. Der Nutzer kann nun durch Gesten der Hand (oder Hände) wie das Ausstrecken einer definierten Anzahl von Fingern, durch eine Handbewegung auf den entsprechenden Menüeintrag oder durch Hinzunahme der zweiten Hand einen Listeneintrag auswählen.
-
Es kann vorgesehen sein, dass nicht die Hand des Benutzers erkannt wird sondern ein beliebiger Gegenstand beispielsweise in einem Kraftfahrzeug. Hier wäre denkbar, dass beispielsweise das Lenkrad den Ort beispielsweise des Menus vorgibt. Hier kann beispielsweise durch eine Veränderung der Handposition(en) auf dem Lenkrad oder einen physikalischen Controller ein Menüeintrag selektiert werden um im Menü zu navigieren.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
1 zeigt eine Vorrichtung gemäß einem Ausführungsbeispiel.
-
2 zeigt die Anordnung von Auswahlmöglichkeiten des Menüs entsprechend einem Ausführungsbeispiel.
-
3 zeigt eine beispielhafte Bewegungsgeste zur Auswahl einer Auswahlmöglichkeit gemäß einem Ausführungsbeispiel.
-
4 zeigt eine beispielhafte Geste zum Deuten einer Zahl zur Auswahl einer Auswahlmöglichkeit gemäß einem Ausführungsbeispiel.
-
Gleiche Bezugszeichen beziehen sich auf sich entsprechende Elemente über die Figuren hinweg.
-
DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
-
1 zeigt eine Vorrichtung gemäß einem Ausführungsbeispiel. Die Vorrichtung umfasst eine Kamera 2, eine elektronische Verarbeitungseinheit 3 und ein Head-mounted Display 4, wobei die Kamera 2 am Head-mounted Display 4 angeordnet ist und in dieselbe Richtung aufnimmt, wie die Blickrichtung des Benutzers ist bei aufgesetztem Head-mounted Display 4. Die Kamera 2 nimmt den vor ihr liegenden Bereich und damit auch die dort gehaltene Hand 1 auf. Die Aufnahme der Kamera 2 wird an die Verarbeitungseinheit 3 weitergeleitet, die dazu eingerichtet ist, die Position der Hand 1, die Orientierung der Hand 1 (hier den Winkel α), eine Geste der Hand 1 und die Anzahl, die Richtung und den Typ der ausgestreckten Finger zu erkennen. Gegebenenfalls verwendet die Verarbeitungseinheit 3 dazu das in 1 eingezeichnete Koordinatensystem (x- und y-Achse). Auch ist die Verarbeitungseinheit 3 dazu eingerichtet ein Menü mit Auswahlmöglichkeiten und die Position, an der das Menü anzuzeigen ist, zu bestimmen. Dabei wird die Position des anzuzeigenden Menüs anhand der Position der Hand 1 bestimmt. Ein Beispiel der Position und Anordnung des Menüs ist in der 2 gezeigt. Das anzuzeigende Menü wird von der Verarbeitungseinheit 3 an das Head-mounted Display 4 weitergeleitet und das Head-mounted Display 4 zeigt das Menü schließlich an. Darüber hinaus ist die Verarbeitungseinheit 3 dazu eingerichtet, eine Geste der erfassten Hand in Kameraaufnahmen zu erfassen und zu erkennen, dass diese Geste einer Geste entspricht, der eine Auswahlmöglichkeit zugeordnet ist. Sobald dies geschieht wird eine Auswahlmöglichkeit ausgewählt.
-
2 zeigt die Anordnung von Auswahlmöglichkeiten 5 des Menüs, wie sie für den Benutzer des Head-mounted Displays 4 erscheinen und durch die Verarbeitungseinheit 3 bestimmt sein können. Die Auswahlmöglichkeiten 5 sind entlang eines Kreises angeordnet, der wiederum an die Hand 1 des Benutzers grenzt. Die einzelnen Auswahlmöglichkeiten sind mit 1 bis 5 durchnummeriert.
-
Ein Benutzer kann eine der Auswahlmöglichkeiten 5 auswählen, in dem er als Geste eine Bewegung seiner Hand in Richtung des Auswahlelements ausführt. Führt der Benutzer seine Hand 1 beispielsweise in Richtung der Auswahlmöglichkeit Nr. 3, wie in 3 durch die gestrichelte Linie angedeutet, so wird diese Geste erfasst und es wird erkannt, dass diese Geste zu der Auswahl der Auswahlmöglichkeit Nr. 3 korrespondiert. Folglich wird die Möglichkeit Nr. 3 aktiviert.
-
Als Alternative oder auch zusätzlich zu der Bewegungsgeste kann vorgesehen sein, dass auch das Deuten der Zahl, die einer der Auswahlmöglichkeiten 5 zugewiesen ist, zur Auswahl dieser Möglichkeit führt. Beispielsweise zeigt 4 den Fall, dass der Benutzer die dritte Auswahlmöglichkeit wählen will und folglich als Geste drei Finger ausstreckt, was als Zahl „3” interpretiert wird.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- WO 01/56007 A1 [0004, 0004]
