-
Die Erfindung betrifft ein Verfahren und System zum Auswählen eines Listeneintrags aus einer Liste.
-
Mit dem Aufkommen von Systemen zur Darstellung von erweiterter Realität (auch Augmented Reality genannt) ergeben sich neue Anzeigemöglichkeiten im Vergleich zu bisherigen graphischen Benutzerschnittstellen, deren Bedienung mit der Computermaus erfolgt. Die Systeme zur erweiterten Realität stellen Inhalte für einen Benutzer so dar, dass der angezeigte Inhalt dem Benutzer dreidimensional eingebettet erscheint. Dabei können verschiedene Technologien zum Einsatz kommen. Bei der Verwendung einer Datenbrille (auch Head-mounted Display genannt) mit einer im Wesentlichen durchsichtigen Anzeige kann der Benutzer das Umfeld direkt wahrnehmen. Die Anzeige zeigt Inhalte derart an, dass sie dem Benutzer in einer bestimmten dreidimensionalen Position im Umfeld erscheinen. Weiterhin sind auch Datenbrillen bekannt, die das Umfeld mit einer Videokamera aufnehmen und undurchsichtige Anzeigen aufweisen. Dem Benutzer wird die Aufnahme der Videokamera angezeigt, in die die anzuzeigenden Inhalte dreidimensional eingebettet werden. Weiter sind Projektionssysteme bekannt, bei denen ein Projektor Inhalte auf Oberflächen projiziert, und die gleichzeitig auch Sensorsysteme umfassen, die die dreidimensionale Position von Objekten oder Körperteilen wie Händen im Raum erfassen können.
-
Aus der
US 2015/0248170 A1 , insbesondere
52c, ist ein System bekannt, in dem mithilfe von erweiterter Realität und der Verwendung von zwei Händen eine Auswahl aus einer Liste getroffen wird.
-
Dem Fachmann stellt sich die Aufgabe ein weiteres Verfahren zur Listenauswahl auf Systemen zur Anzeige von erweiterter Realität bereit zu stellen.
-
Die Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert.
-
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Auswählen eines Listeneintrags aus einer Liste, wobei die Liste eine Auswahlrichtung aufweist, also eine Richtung, in der die Listenelemente nacheinander aufgereiht sind, wobei das Verfahren umfasst: Anzeigen zumindest eines Teils der Liste (oder die ganze Liste) mithilfe einer Anzeige als erweiterte Realität an einer Position im Raum; wobei die Position der Liste abhängig von der Position einer Hand eines Benutzers angezeigt wird; Hervorheben eines Listeneintrags abhängig von der Position derselben Hand; Erkennen der Auswahl eines hervorgehobenen Listeneintrags durch eine Geste derselben Hand; dadurch gekennzeichnet, dass die Position der Liste in der Auswahlrichtung unveränderlich ist; und die Position der Liste in zumindest einer zu der Auswahlrichtung orthogonalen Richtung entsprechend der Position der Hand des Benutzers fortlaufend angepasst wird. Eine Liste kann auch ein Menü mit Auswahloptionen sein.
-
Hierin wird also vorgeschlagen, dass dem Benutzer die Liste als erweiterte Realität angezeigt wird mit einer Position abhängig von der Hand des Benutzers. Mithilfe derselben Hand kann der Benutzer dann die Auswahl des Listeneintrags treffen. Das Verfahren ermöglicht so die einhändige Listenauswahl. Das Auswählen aus der Liste wird dadurch ermöglicht, dass die Liste in der Richtung, in der die Listenelemente aufgereiht sind, also der Auswahlrichtung, sobald das Auswahlprozedere einmal initiiert ist, nicht mehr verschoben wird. Der Benutzer kann seine Hand in der Auswahlrichtung bewegen und dadurch verschiedene Listeneinträge hervorheben und schließlich auswählen.
-
Gleichzeitig wird es ermöglicht, dass die Liste entsprechend den Vorlieben des Benutzers verschoben werden kann, nämlich in Richtungen, die nicht mit der Auswahl zusammenhängen. So kann der Benutzer eine für ihn vorteilhafte Positionierung der Liste im Raum erreichen.
-
Die Liste kann zweidimensional sein und beispielsweise in der ersten Auswahlrichtung das Alphabet darstellen und in der anderen Auswahlrichtung Kontakteinträge mit Nachnamen entsprechend dem jeweiligen Alphabetbuchstaben auflisten.
-
Die Auswahlrichtung kann auch einen Teilkreis beschreiben. Die Auflistung ist damit in einem Bogen um den Benutzer herum angeordnet und im Endeffekt zwar weiterhin eindimensional mit nur einer Auswahlrichtung, allerdings können Listeneinträge auf einfachere Art mit der Hand erreicht werden.
-
Die Auswahl eines Listeneintrages erfolgt typischerweise über eine Geste, beispielsweise ein Schließen der Hand, oder ein Schnipsen mit den Fingern.
-
In einem besonderen Ausführungsbeispiel wird der Teil der Liste auf der Hand oder dem Arm angezeigt wird. Diese Variante kommt vor allem dann zur Anwendung, wenn ein Projektor und keine Datenbrille als Darstellungsmittel verwendet wird.
-
In einem Ausführungsbeispiel wird ein Teil der Liste frei schwebend im Raum angezeigt. Ein Unterteil der Liste, umfassend den auswählbaren Eintrag, kann dabei auf der Hand angezeigt werden während der verbleibende Rest im Raum schwebt.
-
Ein anderer Aspekt der Erfindung betrifft eine Datenbrille, umfassend elektronische Rechenmittel (beispielsweise einen Computer), eine Anzeige und Mittel zum Erfassen der Position der Hand im Raum, wobei die Datenbrille dazu eingerichtet ist, eines der vorstehenden Verfahren auszuführen. Die Mittel zum Erfassen der Position der Hand im Raum können eine Time-of-Flight (TOF) Kamera sein, oder Systeme, die mithilfe von sogenanntem „Structured Light“ Körperteile und deren Position im Raum erkennen können.
-
Ein wieder anderer Aspekt der Erfindung betrifft ein Anzeige- und Auswahlsystem, umfassend elektronische Verarbeitungsmittel, einen Projektor und Mittel zum Erfassen der Position der Hand im Raum, wobei das Anzeige- und Auswahlsystem dazu eingerichtet ist, eines der vorstehenden Verfahren auszuführen, wobei der Teil der Liste auf der Hand oder dem Arm angezeigt wird.
-
Figurenliste
-
- 1 zeigt eine Datenbrille gemäß einem Ausführungsbeispiel.
- 2 zeigt ein Anzeige- und Auswahlsystem gemäß einem Ausführungsbeispiel.
- 3 bis 7 zeigen beispielhafte Ansichten für einen Benutzer gemäß einem Ausführungsbeispiel.
-
Gleiche Bezugszeichen bezeichnen sich entsprechende Elemente über die Figuren hinweg.
-
DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
-
1 zeigt eine Datenbrille 1 gemäß einem Ausführungsbeispiel. Die Datenbrille 1 umfasst einen Prozessor, Speicher, Mittel zur drahtlosen Kommunikation wie WiFi oder Bluetooth, ferner einen Sensor, um die Hand 2 und ihre Position im Raum zu erfassen. Sensoren hierfür sind im Stand der Technik bekannt (TOF Kamera, Verfahren mittels structued light).
-
2 zeigt ein Anzeige- und Auswahlsystem 3 gemäß einem Ausführungsbeispiel. Das System umfasst einen Computer, der mit einem Projektor zur Projektion der Liste verbunden ist. Ferner umfasst das System einen Sensor zur Handerfassung. Der Sensor arbeitet mit einer Kamera zur Erkennung sichtbaren Lichts und einer TOF Kamera, die Infrarotlicht verwendet, das ausgesandt und empfangen wird.
-
3 zeigt eine Ansicht, wie sie sich dem Benutzer einer Datenbrille bietet. Die Datenbrille hat die Position der Hand 2 erkannt und blendet dem Benutzer die Liste 4 zur Auswahl eines Eintrags 5 ein. Die Liste 4 ist dabei an der Position der Hand 2 orientiert, nämlich derart, dass ungefähr der mittlere Eintrag 5 der Liste 4 auf der Hand 2 zu liegen kommt. Die anderen Einträge 5 erstrecken sich aus Sicht des Benutzers links und rechts der Hand 2. Im Beispiel der 3 ist die Auswahlrichtung die x-Richtung gemäß dem Koordinatensystem der 3. In dieser Richtung ist die Liste unverschiebbar. Ansonsten kann der Benutzer durch Verändern der Handposition im Raum auch die Position der Liste 4 verändern. Bewegt der Benutzer die Hand 2 beispielsweise nach oben (z-Richtung), so wird die ganze Liste 4 entsprechend um den gleichen Betrag in z-Richtung verschoben. Bewegt der Benutzer die Hand 2 nach vorne oder hinten, also in Richtung der Längsrichtung des Armes (y-Richtung), so wird die Liste 4 um diesen Betrag in y-Richtung verschoben. Auf diese Weise bleibt immer ein Listeneintrag 5 auf der Hand 2 „liegen“.
-
Auch beim Verschieben der Hand 2 in x-Richtung liegen die Listeneinträge 5 auf der Hand 2, jedoch immer ein anderer Listeneintrag 5. Auf diese Weise wird die Auswahl eines Listeneintrags 5 ermöglicht.
-
Der Benutzer erhält als visuelle Hilfe eine Hervorhebung des aktuell selektierten, d.h. mit einer Geste auswählbaren, Listeneintrags 5. Die Hervorhebung kann durch Umrandungen, Hinterlegungen, Farbänderungen des Listeneintrags, oder ähnlichem geschehen.
-
Zum Auswählen des selektierten Listeneintrags 5 führt der Benutzer eine Geste mit der Hand 2 aus. Die Geste kann ein Schließen der Hand, ein Fingerschnippen, ein Zusammenführen von Daumen und Zeigefinger, ein Umdrehen der Hand oder Ähnliches sein.
-
4 ist die Ansicht, die sich einem Benutzer darstellt, wenn er für die Listenauswahl statt einer Datenbrille ein erfindungsgemäßes Anzeige- und Auswahlsystem verwendet. Grundsätzlich wird auch hier das für 3 beschriebene Verfahren angewandt, nur das die Projektion darauf angewiesen ist, eine „Leinwand“ zu treffen, hier die Hand 2.
-
Dementsprechend werden nur soviele Listeneinträge 5 angezeigt, wie auf der Hand 2 Platz finden. Mit dem Bewegen der Hand 2 entlang der Auswahlrichtung x-Achse in 4), werden nacheinander die durchlaufenden Listeneinträge 5 angezeigt und der auswählbare hervorgehoben. Die Auswahl geschieht wieder über die Handgeste.
-
5 zeigt den Fall einer zweidimensionalen Liste, die über eine Datenbrille dargestellt wird. In der ersten Auswahlrichtung (x-Richtung) wird das Alphabet dargestellt. In der zweiten Auswahlrichtung (y-Richtung) werden Telefonbucheinträge dargestellt. Der Benutzer kann seine Hand 2 nach oben bewegen und die Liste wird dieser Bewegung folgen. Bewegt der Benutzer seine Hand 2 in x- oder y-Richtung selektiert er andere Listeneinträge 5. Die Auswahl geschieht wieder über die Handgeste.
-
6 zeigt den Fall der zweidimensionalen Liste wie in der 5, wobei als Vorrichtung hier das Anzeige- und Auswahlsystem verwendet wird. Das Verhalten der Liste und die Auswahl sind identisch wie im Beispiel zu 5.
-
7 zeigt ein Beispiel, in dem der Arm des Benutzers die Projektionsfläche für die Liste ist. Durch Verschieben der Hand 2 des Benutzers in y-Richtung, also in Richtung des Arms, können durch die Hand 2 andere Listeneinträge 5 ausgewählt werden. Wenn der Benutzer die Hand und den Arm in x- oder z-Richtung bewegt, wird die Liste entsprechend mitbewegt. Um eventuelle radiale Änderungen der Orientierung des Armes (Arm beschreibt einen Kreis bei der Bewegung) auszugleichen, wird auch die Orientierung der Liste angepasst, damit der Arm weiter als Projektionsfläche dienen kann. Die Auswahl eines Listeneintrags 5 geschieht über eine Handgeste. Dieses Beispiel ist vorteilhaft bei der Verwendung eines Anzeige- und Auswahlsystems mit Projektor.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2015/0248170 A1 [0003]
