-
Die
Erfindung betrifft ein Verfahren und eine Anordnung zur berührungslosen
Navigation in einem Dokument. Bei dem Dokument kann es sich um einen
Text, ein Bild, eine Grafik, einen Videofilm, ein Videospiel, eine
3D-Szene, ein 3D-Modell, eine Tabelle, eine HTML-Seite, sowie vergleichbare
Inhalte und beliebige Kombinationen der vorgenannten Dokumenttypen
handeln. Das Dokument ist in der Regel in elektronischer Form auf
einem Rechner gespeichert, und wird mit Hilfe eines Bildschirms
oder eines Videobeamers dargestellt. Da das Dokument im Regelfall nicht
als Ganzes auf der sichtbaren Bildfläche dargestellt werden kann,
müssen
dem Benutzer Möglichkeiten
eingeräumt
werden, um im Dokument zu navigieren. Unter Navigation wird eine
Interaktion des Benutzers mit der Bilddarstellung verstanden, bei
der der Benutzer den gewünschten
Bildausschnitt frei wählen
kann. Typischerweise kann der Benutzer das Dokument im sichtbaren
Ausschnitt durch Scrollen verschieben, oder die Darstellung des
Dokuments vergrößern oder
verkleinern. Die Erfindung betrifft den Fall, dass diese Interaktionen
berührungslos, d.h.
ohne den Einsatz der Hände
des Benutzers, erfolgen.
-
Bekannt
sind Vorrichtungen wie Tastatur oder Maus, mit denen der Benutzer
manuell im Dokument navigieren kann. Weitere Beispiele sind Touchscreen,
Graphiktablett oder Trackpad.
-
Ein
weiterer bekannter Ansatz ist das Bewegen oder Kippen eines mobilen
Endgerätes,
um die gewünschte
Interaktion vorzunehmen. Der Benutzer muss hierzu das Gerät jedoch
auch in die Hand nehmen, hat die Hände also nicht frei.
-
Ein
weiterer bekannter Ansatz besteht darin, es dem Benutzer zu ermöglichen,
durch Handgesten zu interagieren. Bei dieser Herangehensweise muss der
Benutzer zwar nichts mehr in die Hand nehmen, die Interaktion erfolgt
jedoch hier auch wieder über die
Hände.
Der Benutzer kann die Handgesten als umständlich und in der Öffentlichkeit
als peinlich und auffällig
empfinden.
-
Ein
weiterer bekannter Ansatz besteht darin, Kopf oder Körper des
Benutzers mit Sensoren, Sendern, Markern oder Reflektoren auszustatten,
um Bewegungen zu registrieren und dem Benutzer so eine Interaktion
mit der Bilddarstellung zu ermöglichen. Hierzu
muss der Benutzer jedoch Kabel, Elektroden oder andere Gerätschaften
an Kopf oder Körper
tragen, die Interaktion erfolgt also in diesem Sinn nicht berührungslos.
-
Weitere
Beispiele gibt es bei Head-mounted Displays, wobei es sich um Helme
handelt, die von einem Benutzer getragen werden, und in die vor
den Augen des Benutzers ein Bildschirm eingebaut ist. Hierbei sind
Verfahren bekannt, bei denen die Darstellung auf dem Bildschirm
durch Augen- oder Kopfbewegungen gesteuert wird. Hierzu muss der
Benutzer jedoch den Bildschirm am Kopf tragen. Die Navigation erfolgt
also nicht berührungslos.
Dies gilt auch für
Systeme, die die Augenbewegungen des Benutzers mittels Elektroden
nach dem Prinzip des Elektrookulogramms ermitteln, da hierzu Elektroden
am Kopf befestigt werden müssen.
-
Im
Rahmen von 3D-Anwendungen ist bekannt, die Perspektive der räumlichen
Darstellung auf Bildschirm oder Videoleinwand entsprechend der veränderlichen
Kopfposition des Benutzers anzupassen. Der Bildhintergrund bleibt
hierbei jedoch fest, weshalb diese Funktion im Rahmen der vorliegenden Erfindung
nicht als Navigation, sondern lediglich als Perspektivanpassung
verstanden wird.
-
Zusammenfassend
lässt sich
sagen, dass der Benutzer zur Navigation im Dokument entweder die
Hände zu
Hilfe nehmen oder Gerätschaften
am Körper
tragen (d.h. berühren)
muss. Die In teraktion erfolgt also nicht berührungslos bzw. nicht ohne den Einsatz
der Hände.
-
Aus
US-Patent 6,707,933 B1 [1] ist ein Verfahren bekannt, mit dem aus
einem Kamerabild die Ausrichtung des Kopfes eines Benutzers gegenüber dem
Bildschirm ermittelt werden kann. Aus Spalte 3, Zeile 66,
bis Spalte 4, Zeile 2 der vorgenannten Publikation
geht hervor, dass auf Grundlage der Kopfausrichtung eine "visuelle Maus" betrieben werden kann,
mit der der Benutzer mit einer Benutzerschnittstelle, z.B. der eines
interaktiven Spieles, interagieren kann. Der Fachmann versteht dies
so, dass der Benutzer mit Kopfbewegungen einen Mauszeiger über den
Bildschirm führen
kann, um Schalter oder Menüs
anzuwählen.
-
Aus
der Schrift
DE 199 83 513 T1 [2]
ist die Verwendung eines Blickpunktes zur Steuerung einer Benutzerschnittstelle
bekannt. Der Blickpunkt ist demnach der Punkt, den der Benutzer
auf der Schnittstelle ansieht. Indem der Benutzer ein bestimmtes
Element der Benutzerschnittstelle mit den Augen fixiert, kann er
dieses nach dem Point-and-Click-Prinzip anwählen. In diesem Zusammenhang
macht es keinen Unterschied, ob die Elemente der Benutzerschnittstelle
physikalisch ausgeführt
sind (z.B. als Tastatur) oder auf einem Bildschirm dargestellt werden
(z.B. als Menü).
-
Aus
den beiden genannten Schriften sind demnach Verfahren bekannt, mit
denen der Benutzer berührungslos
mit einer Benutzerschnittstelle interagieren kann. Hierbei ist jedoch
lediglich vorgesehen, dass der Benutzer eine Art Mauszeiger über den
Bildschirm bewegen und bestimmte Elemente anwählen kann. Die Navigation in
einem Dokument kann hierbei also nur indirekt über Auswahl von Elementen der Benutzerschnittstelle
erfolgen, beispielsweise durch Anwahl der Pfeile einer Bildlaufleiste.
Da die Kopfausrichtung bzw. der Blickpunkt auf dem Bildschirm in
der Regel nur ungenau bestimmt werden können, ist die gezielte Auswahl
und Aktivierung der oft sehr kleinen Navigationsschaltflächen (in
der Regel Bildlaufleisten, Zoomschaltflächen oder Menüeinträge) der
Benutzerschnittstelle schwierig bis unmöglich und in jedem Falle sehr
umständlich.
Insbesondere bei mobilen Endgeräten
möchte
man weiterhin den Platz für
Bildlaufleisten oder Zoom-Schaltflächen in der Bilddarstellung
bzw. für
Tasten auf dem Gehäuse einsparen,
da diese die ohnehin sehr kleine Arbeitsfläche des Displays zusätzlich einschränken. Bei
mobilen Endgeräten
ist weiterhin wegen des kleinen Displays eine Scroll-Funktion besonders
nötig,
und eine berührungslose
Interaktion aufgrund der zu kleinen, zu spärlichen oder fehlenden Eingabemodalitäten besonders
wünschenswert.
-
Aus
der
DE 697 03 955
T2 ist eine Vorrichtung bekannt, welche es erlaubt, Bildinformationen auf
einer Anzeige in Abhängigkeit
von Augenbewegungen zu verschieben.
-
Aus
Rekimoto Jun, A Vision-Based Head Tracker for Fish Tank Virtual
Reality – VR
without Head Gear-, IEEE Virtual Reality Annual International Symposium,
Feb. 1995, S. 94-100, online im Internet: URL:
http://ieeexplore.ieee.org/iel3/3868/11286/00512484.pdf?isNum ber=11286&prod=CNF&arnumber=512484&arSt=94&ared=100&arAutor=R ekimoto%2C+J
ist ein Kamera-basiertes Kopf-Tracking bekannt, welches es erlaubt,
in VR-Anwendungen die Ansicht eines dreidimensionalen Objektes perspektivisch
an die Position eines Benutzers anzupassen.
-
Aus
der
DE 198 36 861
A1 ist ein stereoskopisches Aufnahme- und Wiedergabesystem bekannt, welches
je nach Beobachtungsabstand eines Betrachters entweder die nahen
oder die fernen Bildinhalte einer aufgenommenen Szene stereoskopisch darstellt.
-
Aus
der
DE 697 15 816
T2 ist ein Videoanzeigesystem bekannt, welches Kopfbewegungen
eines Betrachters verfolgt und einen Paralaxeneffekt bei der Darstellung
eines dreidimensionalen Objektes auf einer Anzeige berücksichtigt.
-
Aus
der WO 00/54134 A1 ist eine Eingabe-/Ausgabevorrichtung für ein Benutzerendgerät bekannt,
welche eine Steuerung des Benutzerendgerätes über Augenbewegungen erlaubt.
-
Der
Erfindung liegt somit die Aufgabe zugrunde, ein Verfahren und eine
Anordnung zur unauffälligen,
intuitiven und berührungslosen
Navigation in einem Dokument bereitzustellen, das ohne die umständliche
Anwahl von Elementen einer Benutzerschnittstelle auskommt.
-
Diese
Aufgabe wird erfindungsgemäß durch ein
Verfahren gemäß Anspruch
1 und eine Anordnung gemäß Anspruch
15 gelöst.
Weitere Ausgestaltungen der Erfindung gehen aus den übrigen Ansprüchen hervor.
-
Bei
dem erfindungsgemäßen Verfahren
zur berührungslosen
Navigation in einem Dokument wird auf einer Bildfläche ein
Ausschnitt des Dokuments dargestellt. Weiterhin erfasst ein Sensor,
der auf einen Benutzer ausgerichtet ist, eine Sensorinformation.
Die Sensorinformation wird verarbeitet, wobei eine Bewegung im Bereich
des Kopfes des Benutzers erkannt wird. Diese Bewegung wird in eine
Bewegungsinformation aufgenommen, welche die Bewegung beschreibt.
Anschließend
wird die Bewegungsinformation ausgewertet, wobei eine Navigationsaktion
abgeleitet wird. Die Navigationsaktion bewirkt eine Änderung
des auf der Bildfläche
sichtbaren Ausschnitts des Dokuments.
-
Vorzugsweise
werden das erfindungsgemäße Verfahren
und die erfindungsgemäße Anordnung zur
berührungslosen
Navigation eines Benutzers in einem Dokument eingesetzt. Durch Kopf-
oder Augenbewegungen kann der Benutzer intuitiv und unauffällig im
Dokument navigieren. Hierzu sind keine umständlichen Handgriffe oder auffälligen Gesten
erforderlich. Kopf- und Augenbewegungen sind im Vergleich zu Handgesten
unauffällig
und werden daher in der Öffentlichkeit
leichter akzeptiert. Weiterhin erfolgt die Interaktion berührungslos.
Der Benutzer muss also weder etwas in die Hand nehmen, noch lästige Gerätschaften
am Körper
tragen. Schließlich erfolgt
die Navigation unmittelbar, d. h. die Bewegungen des Benutzers werden
sofort z.B. in Scroll- oder Zoom-Aktionen umgesetzt. Die herkömmliche
umständliche
und indirekte Anwahl von Elementen einer Benutzerschnittstelle zur Änderung
des Ausschnitts entfällt.
Da die Hände
frei bleiben, kann sich der Benutzer während der Navigation entspannt
zurücklehnen
oder liegen.
-
Gemäß einer
Ausführungsform
der Erfindung wird bei der Verarbeitung der Sensorinformation eine
Position, eine Ausrichtung, oder sowohl eine Position als auch eine
Ausrichtung von mindestens einem der Elemente Kopf, Gesicht, Mund,
Nase oder Augen des Benutzers erkannt. Die erkannte Position bzw.
Ausrichtung wird in die Bewegungsinformation aufgenommen.
-
Gemäß einer
besonderen Ausführungsform wird
bei der Verarbeitung der Sensorinformation eine Position, eine Bewegung,
oder sowohl eine Position als auch eine Bewegung eines Blickbereichs
auf der Ebene der Bildfläche
erkannt. Hierbei ist der Blickbereich ein Bereich auf der Ebene
der Bildfläche,
in den der Blick des Benutzers fällt.
Der Blickbereich wird in mindestens einer Dimension bestimmt. Weiterhin wird
die erkannte Position bzw. Bewegung des Blickbereichs in die Bewegungsinformation
aufgenommen.
-
Die
Erkennung des Blickbereichs ermöglicht es
dem Benutzer, mit Augenbewegungen im Dokument zu navigieren. Dies
ermög licht
eine genauere Steuerung gegenüber
dem Fall, dass die Navigation im Dokument nur über Kopfbewegungen gesteuert wird.
Weiterhin sind Augenbewegungen intuitiver als Kopfbewegungen, da
sie häufiger
ausgeführt
werden.
-
In
einer Weiterbildung der Erfindung wird bei der Verarbeitung der
Sensorinformation eine Translation, eine Rotation, oder sowohl eine
Translation als auch eine Rotation des Kopfes des Benutzers erkannt.
Die Translation bzw. Rotation wird in die Bewegungsinformation aufgenommen.
Bei der Auswertung der Bewegungsinformation wird eine Navigationsaktion
abgeleitet, welche bewirkt, dass der auf der Bildfläche sichtbare
Ausschnitt des Dokuments gescrollt wird.
-
Diese
Weiterbildung der Erfindung ermöglicht
es dem Benutzer, den sichtbaren Bildausschnitt intuitiv durch Kopfbewegungen
nachzuführen.
-
In
einer anderen Weiterbildung wird bei der Verarbeitung der Sensorinformation
eine Änderung des
Abstandes des Kopfes des Benutzers von der Bildfläche erkannt.
Die Änderung
wird anschließend in
die Bewegungsinformation aufgenommen. Anschließend wird bei der Auswertung
der Bewegungsinformation eine Navigationsaktion abgeleitet, welche
bewirkt, dass der Darstellungsmaßstab des Dokuments auf der
Bildfläche
verändert
wird.
-
Diese
Weiterbildung der Erfindung erlaubt es dem Benutzer, das Dokument
auf dem Bildschirm durch Kopfbewegungen zu vergrößern oder zu verkleinern.
-
Gemäß einer
Ausführungsform
der Erfindung ist der auf der Bildfläche sichtbare Ausschnitt des
Dokuments in einem Bildflächenausschnitt
dargestellt. Bei der Auswertung der Bewegungsinformation wird eine Überschneidung
der Fläche
des Blickbereichs mit einem Randbereich des Bildflächenausschnitts
erkannt. Daraufhin wird eine Navigationsaktion abge leitet, welche
bewirkt, dass der im Bildflächenausschnitt
auf der Bildfläche
sichtbare Ausschnitt des Dokuments gescrollt wird.
-
Diese
Ausführungsform
der Erfindung erlaubt dem Benutzer, den sichtbaren Ausschnitt des Dokuments
intuitiv mit Augenbewegungen zu führen.
-
In
einer vorteilhaften Weiterbildung wird bei der Verarbeitung der
Sensorinformation oder bei der Auswertung der Bewegungsinformation
ein Abwenden des Kopfes des Benutzers von der Bildfläche erkannt.
In diesem Fall wird keine Navigationsaktion abgeleitet.
-
In
einer anderen Weiterbildung der Erfindung wird der auf der Bildfläche sichtbare
Ausschnitt des Dokuments in einem Bildflächenausschnitt dargestellt.
Bei der Auswertung der Bewegungsinformation wird erkannt, wenn die
Fläche
des Blickbereichs außerhalb
des Bildflächenausschnitts
auf der Ebene der Bildfläche
liegt. In diesem Fall wird keine Navigationsaktion abgeleitet.
-
In
einer besonderen Ausführungsform
ist das Dokument eine 3D-Szene.
-
Diese
Ausführungsform
erlaubt die Navigation in dreidimensionalen Szenen.
-
Gemäß einer
weiteren Ausführungsform
wird auf Basis des erkannten Blickbereichs ein repräsentativer
Blickpunkt auf der Bildfläche
bestimmt, den der Benutzer in etwa ansieht. Weiterhin wird ein Zeiger
in der Bilddarstellung auf der Bildfläche erzeugt, welcher den Blickpunkt
für den
Benutzer sichtbar markiert.
-
Der
besondere Vorteil dieser Ausführungsform
liegt darin, dass der Benutzer eine visuelle Rückmeldung über seinen Blickpunkt erhält, die
ihn bei der Navigation unterstützt.
-
Gemäß einer
weiteren Ausführungsform werden
mehrere Bewegungen des Benutzers in die Bewegungsinformation aufgenommen,
bevor die Navigationsaktion abgeleitet wird. Die Bewegungsinformation
kann nun bei der Auswertung durch einen Algorithmus so geglättet werden,
dass aus flüchtigen Bewegungen
keine Navigation abgeleitet wird.
-
Der
besondere Vorteil dieser Ausführungsform
liegt darin, dass der Benutzer seinen Blick kurzzeitig zum Beispiel
auf ein Menü richten
kann, ohne dass dadurch eine Navigation im Dokument ausgelöst wird.
-
Gemäß einer
Ausführungsform
der Erfindung ist der Sensor eine Kamera.
-
In
einer besonderen Ausführungsform
ist die Bildfläche
eine Projektionsfläche,
die mit einem Projektor beleuchtet wird.
-
In
einer besonders vorteilhaften Ausführungsform ist die Bildfläche die
Bildfläche
eines Displays eines mobilen Endgerätes.
-
In
einer anderen vorteilhaften Ausführungsform
ist die Bildfläche
die Bildfläche
eines Bildschirms eines Personal-Computers.
-
In
einer anderen Weiterbildung sind mehrere Sensoren auf den Benutzer
ausgerichtet, wobei die Sensorinformation aus Informationen erzeugt
wird, die die unterschiedlichen Sensoren erfassen.
-
Im
folgenden werden Ausführungsbeispiele der
Erfindung anhand von Zeichnungen näher erläutert. Es zeigen:
-
1 ein
Dokument sowie dessen sichtbaren Ausschnitt auf einer Bildfläche,
-
2 einen
Benutzer, der eine Bildfläche
ansieht und durch einen Sensor erfasst wird,
-
3 eine
Aufsicht auf den sichtbaren Ausschnitt des Dokuments, der auf einer
Bildfläche
angezeigt wird, auf einen Zeiger sowie auf unterschiedliche Fälle von
Blickbereichen.
-
1 zeigt
ein Dokument 4. Ein sichtbarer Dokumentausschnitt 41 (schraffiert
dargestellt) des Dokuments 4 ist auf einer Bildfläche 1 in
einem Bildflächenausschnitt 3 sichtbar.
Bei dem Dokument 4 kann es sich um ein Textdokument, ein
Bilddokument, eine Graphik, einen Videofilm, eine Videospiel-Szene, eine 3D-Szene,
ein 3D-Modell, eine Tabelle, eine HTML-Seite sowie vergleichbare Inhalte oder
beliebige Kombinationen der vorgenannten Dokumenttypen handeln.
-
Auf
der Bildfläche 1 wird
der sichtbare Dokumentausschnitt 41 in einem Bildflächenausschnitt 3 dargestellt.
Der Bildflächenausschnitt 3 kann
z.B. zu einem Fenster gehören,
in dem der sichtbare Dokumentausschnitt 41 dargestellt
wird. Die Abmessungen des Bildflächenausschnitts 3 bleiben
im Rahmen der Erfindung unverändert.
Im Gegensatz zu 1 kann der Bildflächenausschnitt 3 die
Bildfläche 1 auch
ganz ausfüllen,
also mit der Bildfläche 1 identisch
sein. Die Darstellung des sichtbaren Dokumentausschnitts 41 füllt dann
die Bildfläche 1 vollständig aus.
-
Der
Bildflächenausschnitt 3 ist üblicherweise rechteckförmig. Es
sind aber auch beliebig anders geformte Bildflächenausschnitte 3 denkbar,
z.B. ein kreisförmiger
Bildflächenausschnitt 3.
-
Die
Form des sichtbaren Dokumentausschnitts 41 richtet sich
in der Regel nach der Form des Bildflächenausschnitts 3.
Da der Bildflächenausschnitt 3 meist
rechteckförmig
ist, gilt dies zumeist auch für
den sichtbaren Dokumentausschnitt 41, d.h. es wird ein
rechteckförmiger
Ausschnitt aus dem Dokument 4 gezeigt. Es ist aber auch
möglich,
z.B. einen kreisförmigen
sichtbaren Dokumentausschnitt 41 in einem rechteckförmigen Bildflächenausschnitt 3 darzustellen.
Der sichtbare Dokumentausschnitt 41 muss den Bildflächenausschnitt 3 nicht
ganz ausfüllen.
Für die
Dokumentdarstellung ungenutzte Teile des Bildflächenausschnitts 3 können zum
Beispiel als graue oder schwarze Fläche ausgeführt sein.
-
Der
Bildflächenausschnitts 3 kann
ein einfaches Abbild eines Ausschnitts des Dokuments 4 zeigen,
etwa im Fall eines Bildes. Wenn das Dokument 4 nicht als
zweidimensionale Bildinformation vorliegt oder nicht 1:1 dargestellt
werden soll, erfolgt oft eine graphische Aufbereitung – oder eine
Projektion des Dokuments 4 auf den Bildflächenausschnitt 3 mithilfe einer
speziellen Abbildung. Bei einem Textdokument kann der sichtbare
Ausschnitt lediglich als Zeichenkette repräsentiert sein; diese wird graphisch
entsprechend eines bestimmten Layouts, einer bestimmten Gliederung
oder einer bestimmten Ansicht aufbereitet und im Bildflächenausschnitt 3 angezeigt. Solche
unterschiedlichen Ansichten sind aus den gängigen Office-Anwendungen bekannt.
Eine spezielle Abbildung kommt zum Beispiel auch dann zum Einsatz,
wenn eine Bildinformation, die in sphärischen Koordinaten vorliegt,
durch Verzerrung auf einen rechteckförmigen Bildflächenausschnitt 3 abgebildet
wird.
-
Der
sichtbare Dokumentausschnitt 41 hängt von der Art des Dokuments 4 ab.
-
Der
sichtbare Dokumentausschnitt 41 kann bei einem Textdokument
beispielsweise einen Textausschnitt, eine oder mehrere Seiten oder
einen Teil einer Seite umfassen; bei einem Bild wird vorzugsweise
ein rechteckförmiger
Bildausschnitt als sichtbarer Dokumentausschnitt 41 angezeigt.
Beim Abspielen eines Videofilms kann es möglich sein, nur einen rechteckförmigen sichtbaren
Dokumentausschnitt 41 des Bildes zu betrachten. Eine Tabelle weist
oft wesentlich mehr Zeilen und Spalten auf, als auf der Bildfläche 1 angezeigt
werden können.
Auch hier wird dann nur der sichtbare Dokumentausschnitt 41 der
Tabelle angezeigt. Eine HTML-Seite, wie sie im Fenster eines Internet-Browsers
angezeigt wird, wird zwar vorzugsweise in ihrer vollen Breite im
Bildflächenausschnitt 3 dargestellt,
wenn die Bildfläche 1 genügend Platz
hierfür
bereitstellt, erstreckt sich aber in der Regel in der Vertikalen
weit über
den sichtbaren Dokumentausschnitt 41 hinaus. Ältere Computerspiele
zeigen als sichtbaren Dokumentausschnitt 41 einer zweidimensionalen
Spielwelt meist einen Bildausschnitt der Spielwelt.
-
Bei
der Navigation in einem der genannten zweidimensionalen Dokumente 4 wird
die Darstellung des sichtbaren Dokumentausschnitts 41 im
Bildflächenausschnitt 3 so
verändert,
als ob das Dokument 4 gegenüber der Bildfläche 1 in
der Horizontalen und/oder Vertikalen verschoben, vergrößert oder verkleinert
würde.
Diese Darstellungsänderungen werden
im Rahmen der Erfindung als Scrollen (Verschieben) und Skalieren
(Vergrößern/Verkleinern) bezeichnet.
Alle Änderungen
können
kontinuierlich oder in einzelnen Sprüngen erfolgen. Ein langsames kontinuierliches
Scrollen erlaubt das Lesen eines Textes wie in einem Abspann. Das
Scrollen kann hierbei auch in unterschiedlichen Geschwindigkeiten erfolgen.
Bei der Skalierunq wird der Maßstab
der Darstellung des Dokuments 4 im Bildausschnitt 3 verändert. Dieser
Vorgang des Hinein- oder Hinaus-Zoomens
in ein Text- oder Bilddokument ist dem Computerbenutzer ebenso wie
das Scrollen aus Office-Anwendungen bekannt.
-
Das
Dokument 4 kann dreidimensional ausgebildet sein, z.B.
als eine 3D-Szene im Rahmen eines Computerspiels oder eines Architekturmodells, oder
ein 3D-Objektmodell, etwa ein Produktmodell. In einer 3D-Computerspiel-Szene
oder einer anderen 3D-Szene als Dokument 4 ist der sichtbare
Dokumentaus schnitt 41 als Szenenausschnitt der 3D-(Spiel-)Szene
ausgeführt.
Der sichtbare Dokumentausschnitt 41 wird durch einen virtuellen
Blickvektor (view point) bestimmt. Dieser Blickvektor besteht aus
einer Position im virtuellen Raum, an dem sich ein Kopf 5 eines
Betrachters 9 zu befinden scheint, sowie aus der Richtung,
in die der Betrachter 9 in das Dokument 4 blickt.
-
Navigation
in der virtuellen 3D-Szene bedeutet hierbei, dass Position und Ausrichtung
des Blickvektors verändert
werden, woraufhin der sichtbare Dokumentausschnitt 41 die
3D-Szene von einem neuen Standpunkt aus zeigt.
-
2 zeigt
eine seitliche Ansicht der Anordnung, wie sie im Rahmen der Erfindung
zum Einsatz kommt. Der Benutzer 9 betrachtet eine Bildfläche 1. Ein
Sensor 6 ist auf den Benutzer 9 ausgerichtet,
und erfasst insbesondere Bewegungen des Kopfes 5 oder der
Augen des Benutzers 9. Ein Bereich 2 deutet einen
Bereich auf der Bildfläche 1 an,
in den der Blick des Benutzers 9 fällt.
-
Bei
dem Sensor 6 kann es sich um eine Kamera, ein Radargerät, einen
Lasersensor oder jede beliebige andere Art von Sensor handeln, welcher
Informationen über
Bewegungen des Benutzers zu ermitteln vermag.
-
Im
Rahmen des erfindungsgemäßen Verfahrens
wird durch den Sensor 6, der auf den Benutzer 9,
insbesondere dessen Kopf 5, ausgerichtet ist, eine Sensorinformation
erfasst. Diese Sensorinformation besteht in der Regel aus einem
Abbild des Benutzers 9, das vorzugsweise in digitaler Form
gespeichert wird. Falls als Sensor 6 eine Kamera oder ein
lichtempfindlicher Chip zum Einsatz kommt, so wird eine Folge von
Bildern oder ein Film aufgezeichnet. Aus diesen Bildinformationen
können
nun mit Methoden der Bildverarbeitung Rückschlüsse auf die Bewegungen des
Benutzers 9 gezogen werden. So entnimmt der Fachmann dem
Dokument [1] ein technisches Verfahren, mit dem aus dem Kamerabild
die Ausrichtung des Kopfes 5 des Benutzers 9 ermittelt
werden kann. Dieser Schrift entnimmt der Fachmann auch eine Lehre,
wie aus dem Kamerabild ermittelt werden kann, welchen Ort der Benutzer 9 auf
der Bildfläche 1 ansieht.
Dem Dokument [3] entnimmt der Fachmann weiterhin eine konkrete technische
Lehre, wie in einem Kamerabild die Merkmale eines Gesichtes sowie
das Gesicht als Ganzes erkannt werden können. Auf Basis der Sensorinformation,
die mit Hilfe des Sensors 6 gewonnen wird, ist es dem Fachmann ausgehend
vom Stand der Technik somit möglich,
ein Verfahren zu implementieren, bei dem eine Bewegung im Bereich
des Kopfes 5 des Benutzers 9 erkannt wird.
-
Gemäß einer
Ausführungsform
der Erfindung wird hierzu auf Basis der Sensorinformation die Position
oder Ausrichtung von Kopf 5, Gesicht, Mund, Nase oder Augen
des Benutzers 9 erkannt. Mittel hierzu entnimmt der Fachmann
dem genannten Stand der Technik. Die erkannte Position oder Ausrichtung
wird anschließend
in die Bewegungsinformation aufgenommen. Die Bewegungsinformation kann
beispielsweise als fortlaufend und näherungsweise in Echtzeit geführtes Protokoll
von Position und/oder Ausrichtung des Kopfes 5 oder der
Augen des Benutzers ausgeführt
sein. In diesem Protokoll sind somit die Bewegungen im Bereich des
Kopfes 5 des Benutzers 9 beschrieben.
-
Aus
der Bewegungsinformation, die die Bewegungen des Benutzers 9 beschreibt,
wird nun erfindungsgemäß eine Navigationsaktion
abgeleitet. Diese Navigationsaktion dient zur berührungslosen Navigation
in dem Dokument 4. Sie bewirkt eine Änderung des Ausschnitts des
Dokuments 4, der auf der Bildfläche 1 dargestellt
wird.
-
Das
Dokument 4 in eine Richtung scrollen bedeutet, dass die
Darstellung des sichtbaren Dokumentausschnitts 41 so verändert wird,
als ob sich das Dokument 4 gegenüber der Bildfläche 1 in
der entsprechenden Richtung verschieben würde.
-
Gemäß einer
Ausführungsform
der Erfindung kann der Benutzer 9 das Dokument 4 nach
links oder nach rechts scrollen, wenn er den Kopf 5 nach rechts
oder nach links bewegt. Ebenso kann er das Dokument 4 nach
oben oder nach unten scrollen, wenn er den Kopf 5 nach
unten oder nach oben bewegt.
-
In
einer anderen Variante der Erfindung wird das Scrollen des Dokuments 4 durch
Drehungen des Kopfes 5 ausgelöst. So kann der Benutzer 9 das
Dokument 4 nach links oder nach rechts scrollen, indem er
den Kopf 5 nach rechts oder nach links dreht. Weiterhin
kann er das Dokument 4 nach oben scrollen, wenn er nickt,
also den Kopf 5 nach unten neigt. Umgekehrt wird das Dokument 4 nach
unten gescrollt, wenn der Benutzer 9 den Kopf 5 nach
oben dreht, also das Kinn hebt.
-
In
einer weiteren Ausführungsform
der Erfindung wird die Darstellung des Dokuments 4 vergrößert, also
herangezoomt, wenn der Benutzer 9 seinen Kopf 5 an
die Bildfläche 1 annähert. Umgekehrt wird
die Darstellung verkleinert, was einem Zurück-Zoomen entspricht, wenn sich der Benutzer 9 mit
seinem Kopf 5 von der Bildfläche 1 entfernt. Der Abstand
des Kopfes 5 des Benutzers 9 von der Bildfläche 1 kann
auf Basis der Sensorinformation bestimmt werden. Zur Abstandsmessung
kommen unterschiedlichste Sensorarten in Frage. Der Abstand des
Kopfes 5 von der Bildfläche 1 kann
aber auch aus dem Kamerabild bestimmt werden, wenn als Sensor 6 eine
Kamera zum Einsatz kommt. Hierbei wird zunächst, wie im Stand der Technik
beschrieben, eine Gesichtserkennung durchgeführt. Aus der Größe der Fläche des
Gesichts des Benutzers 9 kann anschließend auf den Abstand seines
Kopfes 5 von der Bildfläche 1 geschlossen
werden.
-
Dem
Stand der Technik kann der Fachmann weiterhin Verfahren entnehmen,
um zu erkennen, wenn der Benutzer 9 seinen Kopf 5 von
der Bildfläche 1 abwendet.
In diesem Fall ist erfindungsgemäß gewünscht, dass
die Darstellung des Dokuments 4 auf der Bildfläche 1 unverändert bleibt,
da vorausgesetzt werden kann, dass der Benutzer 9 durch
diese Bewegung nicht im Dokument 4 navigieren möchte.
-
In
einer weiteren Ausführungsform
der Erfindung werden zunächst
mehrere Bewegungen des Benutzers 9 in die Bewegungsinformation
aufgenommen, also beispielsweise durch das System mitprotokolliert,
bevor eine Navigationsaktion aus der Bewegungsinformation abgeleitet
wird. Dies ermöglicht
es, einen Algorithmus zwischenzuschalten, welcher die protokollierten
Bewegungen so glättet,
dass flüchtige Bewegungen
keine Auswirkungen auf die Bilddarstellung haben. Ein Beispiel hierfür sind flüchtige Bewegungen
des Benutzers 9, die auftreten, wenn er z.B. kurz den Blick
auf eine Menüzeile
richtet. In diesem Fall wird keine Änderung des auf der Bildfläche 1 sichtbaren
Ausschnitts des Dokuments 4 vorgenommen, da davon ausgegangen
werden kann, dass der Benutzer 9 mit diesen Bewegungen
nicht im Dokument 4 navigieren wollte. Entsprechend einer
Weiterbildung der Erfindung führt
erst ein längeres
Verweilen von Augen oder Kopf des Benutzers in einer bestimmten
Position zu einer Änderung
des auf der Bildfläche 1 sichtbaren
Ausschnitts des Dokuments 4. Dies ist beispielsweise dann
der Fall, wenn der Blick beim Lesen eines Textes langsam nach unten wandert.
-
3 zeigt
den Bildflächenausschnitt 3 der Bildfläche 1,
in dem ein Ausschnitt des Dokuments 4 dargestellt wird.
Gemäß einer
Ausführungsform
der Erfindung wird auf Basis der Sensorinformation ein Blickbereich 2 ermittelt,
der auf der Ebene der Bildfläche 1 liegt.
Unterschiedliche Fälle
solcher Blickbereiche sind mit den Bezugszeichen 21, 22, 23, 24 und 25 angezeigt.
Der Blickbereich 2 auf der Bildfläche 1 wird so ermittelt,
dass er den Punkt enthält,
den der Benutzer 9 auf der Bildfläche 1 vermutlich ansieht. Da
es technologisch schwer ist, diesen Punkt genau zu bestimmen, wird
er durch den Blickbereich 2 repräsentiert und angenähert, wobei
der Blickbereich 2 je nach Ungenauigkeit des Systems entsprechend groß gewählt werden
muss. Methoden, um einen Blickpunkt 25 oder Blickbereich 2,
den der Benutzer 9 auf der Bildfläche 1 ansieht, zu
bestimmen, entnimmt der Fachmann dem Stand der Technik, insbesondere
den vorgenannten Schriften. Erfindungsgemäß kann der Blickbereich 2 in
einer oder zwei Dimensionen bestimmt werden. 3 zeigt
mit dem Blickbereich 21 den Fall, dass der Blickbereich 21 nur in
der Vertikalen bestimmt wird. Dies genügt bereits, um festzustellen,
wenn der Blick des Benutzers 9 im Dokument 4 nach
unten wandert, um dieses erfindungsgemäß dann durch Scrollen automatisch
nachzuführen.
Die Blickbereiche 22, 23 und 24 zeigen
den Fall, dass der Blickbereich 2 in zwei Dimensionen bestimmt
wird. Wie gezeigt kann der Blickbereich 2 etwa mit Kreis,
Ellipse oder Rechteck eingegrenzt werden. Der Blickpunkt 25 zeigt
den Fall, dass technologische Mittel vorhanden sind, um den Blickbereich 2 punktgenau
zu bestimmen. In diesem Fall ist der Blickbereich 2 identisch
mit dem Punkt, den der Benutzer 9 auf der Bildfläche 1 ansieht.
-
In
einer besonders vorteilhaften Ausführungsform umrahmt der Blickbereich 2 die
Blickpunkte des Benutzers 9 über einen bestimmten Zeitraum, sodass
ermittelt werden kann, wenn der Blick des Benutzers 9 über einen
gewissen Zeitraum in einem Bereich, dem Blickbereich 2,
verweilt. Der Blickbereich 2 kann auch mithilfe einer statistischen
Analyse bestimmt werden, welche Ausreißer zulässt, sodass als Blickbereich 2 der
Bereich ermittelt wird, in dem sich der Blick des Benutzers 9 überwiegend
aufgehalten hat.
-
Der
Blickbereich 2 kann im Rahmen der Erfindung auch generell
durch einen Blickpunkt 25 auf der Bildfläche 1 ersetzt
werden, welcher in diesem Fall den Punkt bezeichnet, den der Benutzer 9 näherungsweise
ansieht. Entsprechend ist es möglich, den
nur in einer Dimension bestimmten Blickbereich 21 im Rahmen
der Erfindung durch eine Gerade zu ersetzen, welche eine Gerade
auf der Bildfläche 1 beschreibt,
auf der der Blick des Benutzers 9 liegt.
-
Erfindungsgemäß wird die
Position oder Bewegung des Blickbereichs 2 oder des Blickpunkts 25 in
die Bewegungsinformation mit aufgenommen. Die Bewegungsinformation
kann beispielsweise als fortlaufend und näherungsweise in Echtzeit geführtes Protokoll
ausgeführt
sein, das die zeitliche Abfolge der Blickbereiche 2 enthält. Es ist
im Rahmen der Erfindung auch möglich,
nur Blickpunkte 25, die der Benutzer 9 auf der
Bildfläche 1 ansieht,
(ggf. näherungsweise)
zu bestimmen und mitzuprotokollieren. Entscheidend ist, dass eine
Information darüber
ermittelt wird, wo sich der Blick des Benutzers 9 auf der Bildfläche 1 aufhält, um daraus
gegebenenfalls Navigationsaktionen abzuleiten.
-
Die
Blickbereiche 21, 22 und 23 zeigen Fälle, in
denen sich der Blickbereich 2 mit einem Randbereich des
Bildflächenausschnitts 3,
in dem der sichtbare Dokumentausschnitt 41 des Dokuments 4 dargestellt
wird, überschneidet.
Gleiches gilt für
den Fall, dass der anstelle eines Bereichs ermittelte Blickpunkt 25 in
einem Randbereich des Bildflächenausschnitts 3 liegt.
In diesem Fall wird ein Scrollen der Darstellung im Bildflächenausschnitt 3 eingeleitet,
so dass die angrenzenden Teile des Dokuments 4 sichtbar werden.
Aus dem Blickverhalten des Benutzers 9 wird also implizit
auf dessen Navigationswunsch im Dokument 4 geschlossen.
Ein Beispiel hierfür
ist der bereits erwähnte
Fall, dass der Blick des Benutzers 9 beim Lesen eines Textes
langsam nach unten wandert, und der Text durch Scrollen dynamisch
nachgeführt
wird.
-
Der
Blickbereich 24 zeigt den Fall, dass der Blickbereich 2 auf
der Bildfläche 1 komplett
außerhalb
des Bildflächenausschnitts 3,
in dem der Dokumentausschnitt 41 des Dokuments 4 dargestellt
wird, liegt. In diesem Fall wird der sichtbare Ausschnitt des Dokuments 4 nicht
verändert,
da davon ausgegangen werden kann, dass der Benutzer 9 zu
diesem Zeitpunkt keine Navigation durchführen möchte. Das Gleiche gilt für den Fall,
dass der Blickbereich 2 ganz außerhalb der Bildfläche 1 liegt.
-
Wenn
der Blickbereich 2 punktgenau bestimmt oder angenähert wird,
so sieht die Erfindung vor, dass an der Stelle des Blickpunktes 25 ein
Zeiger 7 erzeugt und auf der Bildfläche 1 dargestellt
werden kann. Auf diese Art erhält
der Benutzer 9 eine visuelle Rückmeldung zur Unterstützung seiner
Interaktion.
-
Ein
typischer Anwendungsfall für
die Erfindung wäre
das Lesen einer SMS oder einer Email auf einem Videohandy. In diesem
Szenario wird der Benutzer 9 durch die integrierte oder
klappbare Kamera des Videohandys als Sensor 6 permanent
erfasst. Da die Bildfläche 1 des
Bildschirms des Vidoehandys relativ klein ist, lässt sich der Blickbereich 2/Blickpunkt 25 auf
dem Display vermutlich nicht genau genug bestimmen, um eine Interaktion
daraus abzuleiten. Darum wird in diesem Fall auf Bewegungen oder
Drehungen des Kopfes 5 zurückgegriffen. So kann der Benutzer 9 durch
Nicken beim Lesen der Email 4 nach unten scrollen.
-
Ein
anderes denkbares Szenario ist die Arbeit an einem PC-Arbeitsplatz. Hier
kann der Benutzer 9 durch eine Kamera 6 als Sensor 6 erfasst
werden, die beispielsweise auf dem Bildschirm angebracht und als
Webcam ausgeführt
ist. In diesem Fall kann sich der Benutzer 9 während des
Lesens eines längeren
Textdokuments oder einer Webseite bequem zurücklehnen, während der Text entsprechend der
Kopf- oder Augenbewegungen des Benutzers 9 dynamisch auf
dem Bildschirm nachgeführt
wird. Je nach Größe des Bildschirms
und Genauigkeit der Erkennung werden hierzu nur die Kopfbewegungen
als solche oder auch der Blickbereich 2/Blickpunkt 25 auf dem
Bildschirm herangezogen.
-
In
einem dritten Szenario befindet sich der Benutzer 9 vor
einer großen
Leinwand als Bildfläche 1,
auf die die Bilddar stellung des sichtbaren Dokumentausschnitts 41 mit
einem Projektor projiziert wird. Aufgrund der Größenverhältnisse kann in diesem Fall
der Blickbereich 2 auf der Bildfläche 1 bereits aus
der Kopfausrichtung ziemlich genau bestimmt werden. In diesem Fall
sind also alle Navigationsformen, sowohl über Kopfbewegungen als auch über den
Blickbereich 2 oder Blickpunkt 25 realisierbar.
-
Falls
eine hinreichend genaue Bestimmung der Ausrichtung des Kopfes 5 bzw.
der Augen des Benutzers 9 möglich ist, so ist die Navigation über den
Blickbereich 2/Blickpunkt 25 jedoch auch im Kontext
des PCs oder des mobilen Endgerätes
implementierbar.
-
Wenn
als Dokument 4 auf der Bildfläche 1 eine 3D-Szene
dargestellt wird, kann der Benutzer 9 über Kopfbewegungen in der 3D-Szene
navigieren. Wenn der Benutzer 9 seinen Kopf 5 auf
die Bildfläche 1 zu
bewegt, so wird der sichtbare Dokumentausschnitt 41 so
verändert,
als ob der Benutzer 9 in der 3D-Szene nach vorne gehen würde. Wenn
der Benutzer 9 seinen Kopf 5 von der Bildfläche 1 entfernt, so
wird die Darstellung des sichtbaren Dokumentausschnitts 41 so
verändert,
als ob der Benutzer 9 in der 3D-Szene zurückgehen
würde.
Wenn der Benutzer 9 seinen Kopf 5 nach links oder
nach rechts dreht, so wird die Darstellung des sichtbaren Dokumentausschnitts 41 so
verändert,
als ob sich der Benutzer 9 in der 3D-Szene zur Seite drehen
würde.
Entsprechend diesen Beispielen können
Kopf- oder Augenbewegungen des Benutzers 9 auch anderen
Navigationsaktionen zur Navigation in 3D-Szenen oder zweidimensionalen
Dokumenten zugeordnet werden.
-
In
diesem Dokument wurden folgende Veröffentlichungen zitiert: