DE102004027289A1

DE102004027289A1 - Verfahren und Anordnung zur berührungslosen Navigation in einem Dokument

Info

Publication number: DE102004027289A1
Application number: DE200410027289
Authority: DE
Inventors: Jesús Fernando Guitarte Perez; Robert Dr. Kutka; Carlos Lucas Verdoy; Klaus Lukas
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2004-06-04
Filing date: 2004-06-04
Publication date: 2005-12-29
Anticipated expiration: 2024-06-05
Also published as: DE102004027289B4

Abstract

Die Erfindung erlaubt eine berührungslose Navigation in einem Dokument über Kopf- und Augenbewegungen. Auf einer Bildfläche 1 wird ein Ausschnitt des Dokuments gezeigt. Ein Benutzer 9 wird durch einen Sensor 6, vorzugsweise eine Kamera, erfasst. Der Benutzer 9 kann durch Bewegungen seines Kopfes 5 oder durch seine Blickrichtung den sichtbaren Ausschnitt des Dokuments steuern. Die Blickrichtung wird hierbei durch einen Blickbereich 2 auf der Bildfläche 1 repräsentiert. Die Erfindung ermöglicht eine intuitive und berührungslose Navigation in Text- und Bilddokumenten sowie in 3-D-Szenen.

Description

Die Erfindung betrifft ein Verfahren und eine Anordnung zur berührungslosen Navigation in einem Dokument. Bei dem Dokument kann es sich um einen Text, ein Bild, eine Grafik, einen Videofilm, ein Videospiel, eine 3D-Szene, ein 3D-Modell, eine Tabelle, eine HTML-Seite, sowie vergleichbare Inhalte und beliebige Kombinationen der vorgenannten Dokumenttypen handeln. Das Dokument ist in der Regel in elektronischer Form auf einem Rechner gespeichert, und wird mit Hilfe eines Bildschirms oder eines Videobeamers dargestellt. Da das Dokument im Regelfall nicht als Ganzes auf der sichtbaren Bildfläche dargestellt werden kann, müssen dem Benutzer Möglichkeiten eingeräumt werden, um im Dokument zu navigieren. Unter Navigation wird eine Interaktion des Benutzers mit der Bilddarstellung verstanden, bei der der Benutzer den gewünschten Bildausschnitt frei wählen kann. Typischerweise kann der Benutzer das Dokument im sichtbaren Ausschnitt durch Scrollen verschieben, oder die Darstellung des Dokuments vergrößern oder verkleinern. Die Erfindung betrifft den Fall, dass diese Interaktionen berührungslos, d.h. ohne den Einsatz der Hände des Benutzers, erfolgen.

Bekannt sind Vorrichtungen wie Tastatur oder Maus, mit denen der Benutzer manuell im Dokument navigieren kann. Weitere Beispiele sind Touchscreen, Graphiktablett oder Trackpad.

Ein weiterer bekannter Ansatz ist das Bewegen oder Kippen eines mobilen Endgerätes, um die gewünschte Interaktion vorzunehmen. Der Benutzer muss hierzu das Gerät jedoch auch in die Hand nehmen, hat die Hände also nicht frei.

Ein weiterer bekannter Ansatz besteht darin, es dem Benutzer zu ermöglichen, durch Handgesten zu interagieren. Bei dieser Herangehensweise muss der Benutzer zwar nichts mehr in die Hand nehmen, die Interaktion erfolgt jedoch hier auch wieder über die Hände. Der Benutzer kann die Handgesten als umständlich und in der Öffentlichkeit als peinlich und auffällig empfinden.

Ein weiterer bekannter Ansatz besteht darin, Kopf oder Körper des Benutzers mit Sensoren, Sendern, Markern oder Reflektoren auszustatten, um Bewegungen zu registrieren und dem Benutzer so eine Interaktion mit der Bilddarstellung zu ermöglichen. Hierzu muss der Benutzer jedoch Kabel, Elektroden oder andere Gerätschaften an Kopf oder Körper tragen, die Interaktion erfolgt also in diesem Sinn nicht berührungslos.

Weitere Beispiele gibt es bei Head-mounted Displays, wobei es sich um Helme handelt, die von einem Benutzer getragen werden, und in die vor den Augen des Benutzers ein Bildschirm eingebaut ist. Hierbei sind Verfahren bekannt, bei denen die Darstellung auf dem Bildschirm durch Augen- oder Kopfbewegungen gesteuert wird. Hierzu muss der Benutzer jedoch den Bildschirm am Kopf tragen. Die Navigation erfolgt also nicht berührungslos. Dies gilt auch für Systeme, die die Augenbewegungen des Benutzers mittels Elektroden nach dem Prinzip des Elektrookulogramms ermitteln, da hierzu Elektroden am Kopf befestigt werden müssen.

Im Rahmen von 3D-Anwendungen ist bekannt, die Perspektive der räumlichen Darstellung auf Bildschirm oder Videoleinwand entsprechend der veränderlichen Kopfposition des Benutzers anzupassen. Der Bildhintergrund bleibt hierbei jedoch fest, weshalb diese Funktion im Rahmen der vorliegenden Erfindung nicht als Navigation, sondern lediglich als Perspektivanpassung verstanden wird.

Zusammenfassend lässt sich sagen, dass der Benutzer zur Navigation im Dokument entweder die Hände zu Hilfe nehmen oder Gerätschaften am Körper tragen (d.h. berühren) muss. Die In teraktion erfolgt also nicht berührungslos bzw. nicht ohne den Einsatz der Hände.

Aus US-Patent 6,707,933 B1 [1] ist ein Verfahren bekannt, mit dem aus einem Kamerabild die Ausrichtung des Kopfes eines Benutzers gegenüber dem Bildschirm ermittelt werden kann. Aus Spalte 3, Zeile 66, bis Spalte 4, Zeile 2 der vorgenannten Publikation geht hervor, dass auf Grundlage der Kopfausrichtung eine "visuelle Maus" betrieben werden kann, mit der der Benutzer mit einer Benutzerschnittstelle, z.B. der eines interaktiven Spieles, interagieren kann. Der Fachmann versteht dies so, dass der Benutzer mit Kopfbewegungen einen Mauszeiger über den Bildschirm führen kann, um Schalter oder Menüs anzuwählen.

Aus der Schrift DE 199 83 513 T1 [2] ist die Verwendung eines Blickpunktes zur Steuerung einer Benutzerschnittstelle bekannt. Der Blickpunkt ist demnach der Punkt, den der Benutzer auf der Schnittstelle ansieht. Indem der Benutzer ein bestimmtes Element der Benutzerschnittstelle mit den Augen fixiert, kann er dieses nach dem Point-and-Click-Prinzip anwählen. In diesem Zusammenhang macht es keinen Unterschied, ob die Elemente der Benutzerschnittstelle physikalisch ausgeführt sind (z.B. als Tastatur) oder auf einem Bildschirm dargestellt werden (z.B. als Menü).

Aus den beiden genannten Schriften sind demnach Verfahren bekannt, mit denen der Benutzer berührungslos mit einer Benutzerschnittstelle interagieren kann. Hierbei ist jedoch lediglich vorgesehen, dass der Benutzer eine Art Mauszeiger über den Bildschirm bewegen und bestimmte Elemente anwählen kann. Die Navigation in einem Dokument kann hierbei also nur indirekt über Auswahl von Elementen der Benutzerschnittstelle erfolgen, beispielsweise durch Anwahl der Pfeile einer Bildlaufleiste. Da die Kopfausrichtung bzw. der Blickpunkt auf dem Bildschirm in der Regel nur ungenau bestimmt werden können, ist die gezielte Auswahl und Aktivierung der oft sehr kleinen Navigationsschaltflächen (in der Regel Bildlaufleisten, Zoomschaltflächen oder Menüeinträge) der Benutzerschnittstelle schwierig bis unmöglich und in jedem Falle sehr umständlich. Insbesondere bei mobilen Endgeräten möchte man weiterhin den Platz für Bildlaufleisten oder Zoom-Schaltflächen in der Bilddarstellung bzw. für Tasten auf dem Gehäuse einsparen, da diese die ohnehin sehr kleine Arbeitsfläche des Displays zusätzlich einschränken. Bei mobilen Endgeräten ist weiterhin wegen des kleinen Displays eine Scroll-Funktion besonders nötig, und eine berührungslose Interaktion aufgrund der zu kleinen, zu spärlichen oder fehlenden Eingabemodalitäten besonders wünschenswert.

Der Erfindung liegt somit die Aufgabe zugrunde, ein Verfahren und eine Anordnung zur unauffälligen, intuitiven und berührungslosen Navigation in einem Dokument bereitzustellen, das ohne die umständliche Anwahl von Elementen einer Benutzerschnittstelle auskommt.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren gemäß Anspruch 1 und eine Anordnung gemäß Anspruch 17 gelöst. Weitere Ausgestaltungen der Erfindung gehen aus den übrigen Ansprüchen hervor.

Bei dem erfindungsgemäßen Verfahren zur berührungslosen Navigation in einem Dokument wird auf einer Bildfläche ein Ausschnitt des Dokuments dargestellt. Weiterhin erfasst ein Sensor, der auf einen Benutzer ausgerichtet ist, eine Sensorinformation. Die Sensorinformation wird verarbeitet, wobei eine Bewegung im Bereich des Kopfes des Benutzers erkannt wird. Diese Bewegung wird in eine Bewegungsinformation aufgenommen, welche die Bewegung beschreibt. Anschließend wird die Bewegungsinformation ausgewertet, wobei eine Navigationsaktion abgeleitet wird. Die Navigationsaktion bewirkt eine Änderung des auf der Bildfläche sichtbaren Ausschnitts des Dokuments.

Vorzugsweise werden das erfindungsgemäße Verfahren und die erfindungsgemäße Anordnung zur berührungslosen Navigation eines Benutzers in einem Dokument eingesetzt. Durch Kopf- oder Augenbewegungen kann der Benutzer intuitiv und unauffällig im Dokument navigieren. Hierzu sind keine umständlichen Handgriffe oder auffälligen Gesten erforderlich. Kopf- und Augenbewegungen sind im Vergleich zu Handgesten unauffällig und werden daher in der Öffentlichkeit leichter akzeptiert. Weiterhin erfolgt die Interaktion berührungslos. Der Benutzer muss also weder etwas in die Hand nehmen, noch lästige Gerätschaften am Körper tragen. Schließlich erfolgt die Navigation unmittelbar, d. h. die Bewegungen des Benutzers werden sofort z.B. in Scroll- oder Zoom-Aktionen umgesetzt. Die herkömmliche umständliche und indirekte Anwahl von Elementen einer Benutzerschnittstelle zur Änderung des Ausschnitts entfällt. Da die Hände frei bleiben, kann sich der Benutzer während der Navigation entspannt zurücklehnen oder liegen.

Gemäß einer Ausführungsform der Erfindung wird bei der Verarbeitung der Sensorinformation eine Position, eine Ausrichtung, oder sowohl eine Position als auch eine Ausrichtung von mindestens einem der Elemente Kopf, Gesicht, Mund, Nase oder Augen des Benutzers erkannt. Die erkannte Position bzw. Ausrichtung wird in die Bewegungsinformation aufgenommen.

Gemäß einer besonderen Ausführungsform wird bei der Verarbeitung der Sensorinformation eine Position, eine Bewegung, oder sowohl eine Position als auch eine Bewegung eines Blickbereichs auf der Ebene der Bildfläche erkannt. Hierbei ist der Blickbereich ein Bereich auf der Ebene der Bildfläche, in den der Blick des Benutzers fällt. Der Blickbereich wird in mindestens einer Dimension bestimmt. Weiterhin wird die erkannte Position bzw. Bewegung des Blickbereichs in die Bewegungsinformation aufgenommen.

Die Erkennung des Blickbereichs ermöglicht es dem Benutzer, mit Augenbewegungen im Dokument zu navigieren. Dies ermög licht eine genauere Steuerung gegenüber dem Fall, dass die Navigation im Dokument nur über Kopfbewegungen gesteuert wird. Weiterhin sind Augenbewegungen intuitiver als Kopfbewegungen, da sie häufiger ausgeführt werden.

In einer Weiterbildung der Erfindung wird bei der Verarbeitung der Sensorinformation eine Translation, eine Rotation, oder sowohl eine Translation als auch eine Rotation des Kopfes des Benutzers erkannt. Die Translation bzw. Rotation wird in die Bewegungsinformation aufgenommen. Bei der Auswertung der Bewegungsinformation wird eine Navigationsaktion abgeleitet, welche bewirkt, dass der auf der Bildfläche sichtbare Ausschnitt des Dokuments gescrollt wird.

Diese Weiterbildung der Erfindung ermöglicht es dem Benutzer, den sichtbaren Bildausschnitt intuitiv durch Kopfbewegungen nachzuführen.

In einer anderen Weiterbildung wird bei der Verarbeitung der Sensorinformation eine Änderung des Abstandes des Kopfes des Benutzers von der Bildfläche erkannt. Die Änderung wird anschließend in die Bewegungsinformation aufgenommen. Anschließend wird bei der Auswertung der Bewegungsinformation eine Navigationsaktion abgeleitet, welche bewirkt, dass der Darstellungsmaßstab des Dokuments auf der Bildfläche verändert wird.

Diese Weiterbildung der Erfindung erlaubt es dem Benutzer, das Dokument auf dem Bildschirm durch Kopfbewegungen zu vergrößern oder zu verkleinern.

Gemäß einer Ausführungsform der Erfindung ist der auf der Bildfläche sichtbare Ausschnitt des Dokuments in einem Bildflächenausschnitt dargestellt. Bei der Auswertung der Bewegungsinformation wird eine Überschneidung der Fläche des Blickbereichs mit einem Randbereich des Bildflächenausschnitts erkannt. Daraufhin wird eine Navigationsaktion abge leitet, welche bewirkt, dass der im Bildflächenausschnitt auf der Bildfläche sichtbare Ausschnitt des Dokuments gescrollt wird.

Diese Ausführungsform der Erfindung erlaubt dem Benutzer, den sichtbaren Ausschnitt des Dokuments intuitiv mit Augenbewegungen zu führen.

In einer vorteilhaften Weiterbildung wird bei der Verarbeitung der Sensorinformation oder bei der Auswertung der Bewegungsinformation ein Abwenden des Kopfes des Benutzers von der Bildfläche erkannt. In diesem Fall wird keine Navigationsaktion abgeleitet.

In einer anderen Weiterbildung der Erfindung wird der auf der Bildfläche sichtbare Ausschnitt des Dokuments in einem Bildflächenausschnitt dargestellt. Bei der Auswertung der Bewegungsinformation wird erkannt, wenn die Fläche des Blickbereichs außerhalb des Bildflächenausschnitts auf der Ebene der Bildfläche liegt. In diesem Fall wird keine Navigationsaktion abgeleitet.

In einer besonderen Ausführungsform ist das Dokument eine 3D-Szene.

Diese Ausführungsform erlaubt die Navigation in dreidimensionalen Szenen.

Gemäß einer weiteren Ausführungsform wird auf Basis des erkannten Blickbereichs ein repräsentativer Blickpunkt auf der Bildfläche bestimmt, den der Benutzer in etwa ansieht. Weiterhin wird ein Zeiger in der Bilddarstellung auf der Bildfläche erzeugt, welcher den Blickpunkt für den Benutzer sichtbar markiert.

Der besondere Vorteil dieser Ausführungsform liegt darin, dass der Benutzer eine visuelle Rückmeldung über seinen Blickpunkt erhält, die ihn bei der Navigation unterstützt.

Gemäß einer weiteren Ausführungsform werden mehrere Bewegungen des Benutzers in die Bewegungsinformation aufgenommen, bevor die Navigationsaktion abgeleitet wird. Die Bewegungsinformation kann nun bei der Auswertung durch einen Algorithmus so geglättet werden, dass aus flüchtigen Bewegungen keine Navigation abgeleitet wird.

Der besondere Vorteil dieser Ausführungsform liegt darin, dass der Benutzer seinen Blick kurzzeitig zum Beispiel auf ein Menü richten kann, ohne dass dadurch eine Navigation im Dokument ausgelöst wird.

Gemäß einer Ausführungsform der Erfindung ist der Sensor eine Kamera.

In einer besonderen Ausführungsform ist die Bildfläche eine Projektionsfläche, die mit einem Projektor beleuchtet wird.

In einer besonders vorteilhaften Ausführungsform ist die Bildfläche die Bildfläche eines Displays eines mobilen Endgerätes.

In einer anderen vorteilhaften Ausführungsform ist die Bildfläche die Bildfläche eines Bildschirms eines Personal-Computers.

In einer anderen Weiterbildung sind mehrere Sensoren auf den Benutzer ausgerichtet, wobei die Sensorinformation aus Informationen erzeugt wird, die die unterschiedlichen Sensoren erfassen.

Im folgenden werden Ausführungsbeispiele der Erfindung anhand von Zeichnungen näher erläutert. Es zeigen:
1 ein Dokument sowie dessen sichtbaren Ausschnitt auf einer Bildfläche,
2 einen Benutzer, der eine Bildfläche ansieht und durch einen Sensor erfasst wird,
3 eine Aufsicht auf den sichtbaren Ausschnitt des Dokuments, der auf einer Bildfläche angezeigt wird, auf einen Zeiger sowie auf unterschiedliche Fälle von Blickbereichen.
1 zeigt ein Dokument 4. Ein sichtbarer Dokumentausschnitt 41 (schraffiert dargestellt) des Dokuments 4 ist auf einer Bildfläche 1 in einem Bildflächenausschnitt 3 sichtbar. Bei dem Dokument 4 kann es sich um ein Textdokument, ein Bilddokument, eine Graphik, einen Videofilm, eine Videospiel-Szene, eine 3D-Szene, ein 3D-Modell, eine Tabelle, eine HTML-Seite sowie vergleichbare Inhalte oder beliebige Kombinationen der vorgenannten Dokumenttypen handeln.
Auf der Bildfläche 1 wird der sichtbare Dokumentausschnitt 41 in einem Bildflächenausschnitt 3 dargestellt. Der Bildflächenausschnitt 3 kann z.B. zu einem Fenster gehören, in dem der sichtbare Dokumentausschnitt 41 dargestellt wird. Die Abmessungen des Bildflächenausschnitts 3 bleiben im Rahmen der Erfindung unverändert. Im Gegensatz zu 1 kann der Bildflächenausschnitt 3 die Bildfläche 1 auch ganz ausfüllen, also mit der Bildfläche 1 identisch sein. Die Darstellung des sichtbaren Dokumentausschnitts 41 füllt dann die Bildfläche 1 vollständig aus.
Der Bildflächenausschnitt 3 ist üblicherweise rechteckförmig. Es sind aber auch beliebig anders geformte Bildflächenausschnitte 3 denkbar, z.B. ein kreisförmiger Bildflächenausschnitt 3.
Die Form des sichtbaren Dokumentausschnitts 41 richtet sich in der Regel nach der Form des Bildflächenausschnitts 3. Da der Bildflächenausschnitt 3 meist rechteckförmig ist, gilt dies zumeist auch für den sichtbaren Dokumentausschnitt 41, d.h. es wird ein rechteckförmiger Ausschnitt aus dem Dokument 4 gezeigt. Es ist aber auch möglich, z.B. einen kreisförmigen sichtbaren Dokumentausschnitt 41 in einem rechteckförmigen Bildflächenausschnitt 3 darzustellen. Der sichtbare Dokumentausschnitt 41 muss den Bildflächenausschnitt 3 nicht ganz ausfüllen. Für die Dokumentdarstellung ungenutzte Teile des Bildflächenausschnitts 3 können zum Beispiel als graue oder schwarze Fläche ausgeführt sein.
Der Bildflächenausschnitts 3 kann ein einfaches Abbild eines Ausschnitts des Dokuments 4 zeigen, etwa im Fall eines Bildes. Wenn das Dokument 4 nicht als zweidimensionale Bildinformation vorliegt oder nicht 1:1 dargestellt werden soll, erfolgt oft eine graphische Aufbereitung – oder eine Projektion des Dokuments 4 auf den Bildflächenausschnitt 3 mithilfe einer speziellen Abbildung. Bei einem Textdokument kann der sichtbare Ausschnitt lediglich als Zeichenkette repräsentiert sein; diese wird graphisch entsprechend eines bestimmten Layouts, einer bestimmten Gliederung oder einer bestimmten Ansicht aufbereitet und im Bildflächenausschnitt 3 angezeigt. Solche unterschiedlichen Ansichten sind aus den gängigen Office-Anwendungen bekannt. Eine spezielle Abbildung kommt zum Beispiel auch dann zum Einsatz, wenn eine Bildinformation, die in sphärischen Koordinaten vorliegt, durch Verzerrung auf einen rechteckförmigen Bildflächenausschnitt 3 abgebildet wird.
Der sichtbare Dokumentausschnitt 41 hängt von der Art des Dokuments 4 ab.
Der sichtbare Dokumentausschnitt 41 kann bei einem Textdokument beispielsweise einen Textausschnitt, eine oder mehrere Seiten oder einen Teil einer Seite umfassen; bei einem Bild wird vorzugsweise ein rechteckförmiger Bildausschnitt als sichtbarer Dokumentausschnitt 41 angezeigt. Beim Abspielen eines Videofilms kann es möglich sein, nur einen rechteckförmigen sichtbaren Dokumentausschnitt 41 des Bildes zu betrachten. Eine Tabelle weist oft wesentlich mehr Zeilen und Spalten auf, als auf der Bildfläche 1 angezeigt werden können. Auch hier wird dann nur der sichtbare Dokumentausschnitt 41 der Tabelle angezeigt. Eine HTML-Seite, wie sie im Fenster eines Internet-Browsers angezeigt wird, wird zwar vorzugsweise in ihrer vollen Breite im Bildflächenausschnitt 3 dargestellt, wenn die Bildfläche 1 genügend Platz hierfür bereitstellt, erstreckt sich aber in der Regel in der Vertikalen weit über den sichtbaren Dokumentausschnitt 41 hinaus. Ältere Computerspiele zeigen als sichtbaren Dokumentausschnitt 41 einer zweidimensionalen Spielwelt meist einen Bildausschnitt der Spielwelt.
Bei der Navigation in einem der genannten zweidimensionalen Dokumente 4 wird die Darstellung des sichtbaren Dokumentausschnitts 41 im Bildflächenausschnitt 3 so verändert, als ob das Dokument 4 gegenüber der Bildfläche 1 in der Horizontalen und/oder Vertikalen verschoben, vergrößert oder verkleinert würde. Diese Darstellungsänderungen werden im Rahmen der Erfindung als Scrollen (Verschieben) und Skalieren (Vergrößern/Verkleinern) bezeichnet. Alle Änderungen können kontinuierlich oder in einzelnen Sprüngen erfolgen. Ein langsames kontinuierliches Scrollen erlaubt das Lesen eines Textes wie in einem Abspann. Das Scrollen kann hierbei auch in unterschiedlichen Geschwindigkeiten erfolgen. Bei der Skalierung wird der Maßstab der Darstellung des Dokuments 4 im Bildausschnitt 3 verändert. Dieser Vorgang des Hinein- oder Hinaus-Zoomens in ein Text- oder Bilddokument ist dem Computerbenutzer ebenso wie das Scrollen aus Office-Anwendungen bekannt.
Das Dokument 4 kann dreidimensional ausgebildet sein, z.B. als eine 3D-Szene im Rahmen eines Computerspiels oder eines Architekturmodells, oder ein 3D-Objektmodell, etwa ein Produktmodell. In einer 3D-Computerspiel-Szene oder einer anderen 3D-Szene als Dokument 4 ist der sichtbare Dokumentaus schnitt 41 als Szenenausschnitt der 3D-(Spiel-)Szene ausgeführt. Der sichtbare Dokumentausschnitt 41 wird durch einen virtuellen Blickvektor (view point) bestimmt. Dieser Blickvektor besteht aus einer Position im virtuellen Raum, an dem sich ein Kopf 5 eines Betrachters 9 zu befinden scheint, sowie aus der Richtung, in die der Betrachter 9 in das Dokument 4 blickt.
Navigation in der virtuellen 3D-Szene bedeutet hierbei, dass Position und Ausrichtung des Blickvektors verändert werden, woraufhin der sichtbare Dokumentausschnitt 41 die 3D-Szene von einem neuen Standpunkt aus zeigt.
2 zeigt eine seitliche Ansicht der Anordnung, wie sie im Rahmen der Erfindung zum Einsatz kommt. Der Benutzer 9 betrachtet eine Bildfläche 1. Ein Sensor 6 ist auf den Benutzer 9 ausgerichtet, und erfasst insbesondere Bewegungen des Kopfes 5 oder der Augen des Benutzers 9. Ein Bereich 2 deutet einen Bereich auf der Bildfläche 1 an, in den der Blick des Benutzers 9 fällt.
Bei dem Sensor 6 kann es sich um eine Kamera, ein Radargerät, einen Lasersensor oder jede beliebige andere Art von Sensor handeln, welcher Informationen über Bewegungen des Benutzers zu ermitteln vermag.
Im Rahmen des erfindungsgemäßen Verfahrens wird durch den Sensor 6, der auf den Benutzer 9, insbesondere dessen Kopf 5, ausgerichtet ist, eine Sensorinformation erfasst. Diese Sensorinformation besteht in der Regel aus einem Abbild des Benutzers 9, das vorzugsweise in digitaler Form gespeichert wird. Falls als Sensor 6 eine Kamera oder ein lichtempfindlicher Chip zum Einsatz kommt, so wird eine Folge von Bildern oder ein Film aufgezeichnet. Aus diesen Bildinformationen können nun mit Methoden der Bildverarbeitung Rückschlüsse auf die Bewegungen des Benutzers 9 gezogen werden. So entnimmt der Fachmann dem Dokument [1] ein technisches Verfahren, mit dem aus dem Kamerabild die Ausrichtung des Kopfes 5 des Benutzers 9 ermittelt werden kann. Dieser Schrift entnimmt der Fachmann auch eine Lehre, wie aus dem Kamerabild ermittelt werden kann, welchen Ort der Benutzer 9 auf der Bildfläche 1 ansieht. Dem Dokument [3] entnimmt der Fachmann weiterhin eine konkrete technische Lehre, wie in einem Kamerabild die Merkmale eines Gesichtes sowie das Gesicht als Ganzes erkannt werden können. Auf Basis der Sensorinformation, die mit Hilfe des Sensors 6 gewonnen wird, ist es dem Fachmann ausgehend vom Stand der Technik somit möglich, ein Verfahren zu implementieren, bei dem eine Bewegung im Bereich des Kopfes 5 des Benutzers 9 erkannt wird.
Gemäß einer Ausführungsform der Erfindung wird hierzu auf Basis der Sensorinformation die Position oder Ausrichtung von Kopf 5, Gesicht, Mund, Nase oder Augen des Benutzers 9 erkannt. Mittel hierzu entnimmt der Fachmann dem genannten Stand der Technik. Die erkannte Position oder Ausrichtung wird anschließend in die Bewegungsinformation aufgenommen. Die Bewegungsinformation kann beispielsweise als fortlaufend und näherungsweise in Echtzeit geführtes Protokoll von Position und/oder Ausrichtung des Kopfes 5 oder der Augen des Benutzers ausgeführt sein. In diesem Protokoll sind somit die Bewegungen im Bereich des Kopfes 5 des Benutzers 9 beschrieben.
Aus der Bewegungsinformation, die die Bewegungen des Benutzers 9 beschreibt, wird nun erfindungsgemäß eine Navigationsaktion abgeleitet. Diese Navigationsaktion dient zur berührungslosen Navigation in dem Dokument 4. Sie bewirkt eine Änderung des Ausschnitts des Dokuments 4, der auf der Bildfläche 1 dargestellt wird.
Das Dokument 4 in eine Richtung scrollen bedeutet, dass die Darstellung des sichtbaren Dokumentausschnitts 41 so verändert wird, als ob sich das Dokument 4 gegenüber der Bildfläche 1 in der entsprechenden Richtung verschieben würde.
Gemäß einer Ausführungsform der Erfindung kann der Benutzer 9 das Dokument 4 nach links oder nach rechts scrollen, wenn er den Kopf 5 nach rechts oder nach links bewegt. Ebenso kann er das Dokument 4 nach oben oder nach unten scrollen, wenn er den Kopf 5 nach unten oder nach oben bewegt.
In einer anderen Variante der Erfindung wird das Scrollen des Dokuments 4 durch Drehungen des Kopfes 5 ausgelöst. So kann der Benutzer 9 das Dokument 4 nach links oder nach rechts scrollen, indem er den Kopf 5 nach rechts oder nach links dreht. Weiterhin kann er das Dokument 4 nach oben scrollen, wenn er nickt, also den Kopf 5 nach unten neigt. Umgekehrt wird das Dokument 4 nach unten gescrollt, wenn der Benutzer 9 den Kopf 5 nach oben dreht, also das Kinn hebt.
In einer weiteren Ausführungsform der Erfindung wird die Darstellung des Dokuments 4 vergrößert, also herangezoomt, wenn der Benutzer 9 seinen Kopf 5 an die Bildfläche 1 annähert. Umgekehrt wird die Darstellung verkleinert, was einem Zurück-Zoomen entspricht, wenn sich der Benutzer 9 mit seinem Kopf 5 von der Bildfläche 1 entfernt. Der Abstand des Kopfes 5 des Benutzers 9 von der Bildfläche 1 kann auf Basis der Sensorinformation bestimmt werden. Zur Abstandsmessung kommen unterschiedlichste Sensorarten in Frage. Der Abstand des Kopfes 5 von der Bildfläche 1 kann aber auch aus dem Kamerabild bestimmt werden, wenn als Sensor 6 eine Kamera zum Einsatz kommt. Hierbei wird zunächst, wie im Stand der Technik beschrieben, eine Gesichtserkennung durchgeführt. Aus der Größe der Fläche des Gesichts des Benutzers 9 kann anschließend auf den Abstand seines Kopfes 5 von der Bildfläche 1 geschlossen werden.
Dem Stand der Technik kann der Fachmann weiterhin Verfahren entnehmen, um zu erkennen, wenn der Benutzer 9 seinen Kopf 5 von der Bildfläche 1 abwendet. In diesem Fall ist erfindungsgemäß gewünscht, dass die Darstellung des Dokuments 4 auf der Bildfläche 1 unverändert bleibt, da vorausgesetzt werden kann, dass der Benutzer 9 durch diese Bewegung nicht im Dokument 4 navigieren möchte.
In einer weiteren Ausführungsform der Erfindung werden zunächst mehrere Bewegungen des Benutzers 9 in die Bewegungsinformation aufgenommen, also beispielsweise durch das System mitprotokolliert, bevor eine Navigationsaktion aus der Bewegungsinformation abgeleitet wird. Dies ermöglicht es, einen Algorithmus zwischenzuschalten, welcher die protokollierten Bewegungen so glättet, dass flüchtige Bewegungen keine Auswirkungen auf die Bilddarstellung haben. Ein Beispiel hierfür sind flüchtige Bewegungen des Benutzers 9, die auftreten, wenn er z.B. kurz den Blick auf eine Menüzeile richtet. In diesem Fall wird keine Änderung des auf der Bildfläche 1 sichtbaren Ausschnitts des Dokuments 4 vorgenommen, da davon ausgegangen werden kann, dass der Benutzer 9 mit diesen Bewegungen nicht im Dokument 4 navigieren wollte. Entsprechend einer Weiterbildung der Erfindung führt erst ein längeres Verweilen von Augen oder Kopf des Benutzers in einer bestimmten Position zu einer Änderung des auf der Bildfläche 1 sichtbaren Ausschnitts des Dokuments 4. Dies ist beispielsweise dann der Fall, wenn der Blick beim Lesen eines Textes langsam nach unten wandert.
3 zeigt den Bildflächenausschnitt 3 der Bildfläche 1, in dem ein Ausschnitt des Dokuments 4 dargestellt wird. Gemäß einer Ausführungsform der Erfindung wird auf Basis der Sensorinformation ein Blickbereich 2 ermittelt, der auf der Ebene der Bildfläche 1 liegt. Unterschiedliche Fälle solcher Blickbereiche sind mit den Bezugszeichen 21, 22, 23, 24 und 25 angezeigt. Der Blickbereich 2 auf der Bildfläche 1 wird so ermittelt, dass er den Punkt enthält, den der Benutzer 9 auf der Bildfläche 1 vermutlich ansieht. Da es technologisch schwer ist, diesen Punkt genau zu bestimmen, wird er durch den Blickbereich 2 repräsentiert und angenähert, wobei der Blickbereich 2 je nach Ungenauigkeit des Systems entsprechend groß gewählt werden muss. Methoden, um einen Blickpunkt 25 oder Blickbereich 2, den der Benutzer 9 auf der Bildfläche 1 ansieht, zu bestimmen, entnimmt der Fachmann dem Stand der Technik, insbesondere den vorgenannten Schriften. Erfindungsgemäß kann der Blickbereich 2 in einer oder zwei Dimensionen bestimmt werden. 3 zeigt mit dem Blickbereich 21 den Fall, dass der Blickbereich 21 nur in der Vertikalen bestimmt wird. Dies genügt bereits, um festzustellen, wenn der Blick des Benutzers 9 im Dokument 4 nach unten wandert, um dieses erfindungsgemäß dann durch Scrollen automatisch nachzuführen. Die Blickbereiche 22, 23 und 24 zeigen den Fall, dass der Blickbereich 2 in zwei Dimensionen bestimmt wird. Wie gezeigt kann der Blickbereich 2 etwa mit Kreis, Ellipse oder Rechteck eingegrenzt werden. Der Blickpunkt 25 zeigt den Fall, dass technologische Mittel vorhanden sind, um den Blickbereich 2 punktgenau zu bestimmen. In diesem Fall ist der Blickbereich 2 identisch mit dem Punkt, den der Benutzer 9 auf der Bildfläche 1 ansieht.
In einer besonders vorteilhaften Ausführungsform umrahmt der Blickbereich 2 die Blickpunkte des Benutzers 9 über einen bestimmten Zeitraum, sodass ermittelt werden kann, wenn der Blick des Benutzers 9 über einen gewissen Zeitraum in einem Bereich, dem Blickbereich 2, verweilt. Der Blickbereich 2 kann auch mithilfe einer statistischen Analyse bestimmt werden, welche Ausreißer zulässt, sodass als Blickbereich 2 der Bereich ermittelt wird, in dem sich der Blick des Benutzers 9 überwiegend aufgehalten hat.
Der Blickbereich 2 kann im Rahmen der Erfindung auch generell durch einen Blickpunkt 25 auf der Bildfläche 1 ersetzt werden, welcher in diesem Fall den Punkt bezeichnet, den der Benutzer 9 näherungsweise ansieht. Entsprechend ist es möglich, den nur in einer Dimension bestimmten Blickbereich 21 im Rahmen der Erfindung durch eine Gerade zu ersetzen, welche eine Gerade auf der Bildfläche 1 beschreibt, auf der der Blick des Benutzers 9 liegt.
Erfindungsgemäß wird die Position oder Bewegung des Blickbereichs 2 oder des Blickpunkts 25 in die Bewegungsinformation mit aufgenommen. Die Bewegungsinformation kann beispielsweise als fortlaufend und näherungsweise in Echtzeit geführtes Protokoll ausgeführt sein, das die zeitliche Abfolge der Blickbereiche 2 enthält. Es ist im Rahmen der Erfindung auch möglich, nur Blickpunkte 25, die der Benutzer 9 auf der Bildfläche 1 ansieht, (ggf. näherungsweise) zu bestimmen und mitzuprotokollieren. Entscheidend ist, dass eine Information darüber ermittelt wird, wo sich der Blick des Benutzers 9 auf der Bildfläche 1 aufhält, um daraus gegebenenfalls Navigationsaktionen abzuleiten.
Die Blickbereiche 21, 22 und 23 zeigen Fälle, in denen sich der Blickbereich 2 mit einem Randbereich des Bildflächenausschnitts 3, in dem der sichtbare Dokumentausschnitt 41 des Dokuments 4 dargestellt wird, überschneidet. Gleiches gilt für den Fall, dass der anstelle eines Bereichs ermittelte Blickpunkt 25 in einem Randbereich des Bildflächenausschnitts 3 liegt. In diesem Fall wird ein Scrollen der Darstellung im Bildflächenausschnitt 3 eingeleitet, so dass die angrenzenden Teile des Dokuments 4 sichtbar werden. Aus dem Blickverhalten des Benutzers 9 wird also implizit auf dessen Navigationswunsch im Dokument 4 geschlossen. Ein Beispiel hierfür ist der bereits erwähnte Fall, dass der Blick des Benutzers 9 beim Lesen eines Textes langsam nach unten wandert, und der Text durch Scrollen dynamisch nachgeführt wird.
Der Blickbereich 24 zeigt den Fall, dass der Blickbereich 2 auf der Bildfläche 1 komplett außerhalb des Bildflächenausschnitts 3, in dem der Dokumentausschnitt 41 des Dokuments 4 dargestellt wird, liegt. In diesem Fall wird der sichtbare Ausschnitt des Dokuments 4 nicht verändert, da davon ausgegangen werden kann, dass der Benutzer 9 zu diesem Zeitpunkt keine Navigation durchführen möchte. Das Gleiche gilt für den Fall, dass der Blickbereich 2 ganz außerhalb der Bildfläche 1 liegt.
Wenn der Blickbereich 2 punktgenau bestimmt oder angenähert wird, so sieht die Erfindung vor, dass an der Stelle des Blickpunktes 25 ein Zeiger 7 erzeugt und auf der Bildfläche 1 dargestellt werden kann. Auf diese Art erhält der Benutzer 9 eine visuelle Rückmeldung zur Unterstützung seiner Interaktion.
Ein typischer Anwendungsfall für die Erfindung wäre das Lesen einer SMS oder einer Email auf einem Videohandy. In diesem Szenario wird der Benutzer 9 durch die integrierte oder klappbare Kamera des Videohandys als Sensor 6 permanent erfasst. Da die Bildfläche 1 des Bildschirms des Vidoehandys relativ klein ist, lässt sich der Blickbereich 2/Blickpunkt 25 auf dem Display vermutlich nicht genau genug bestimmen, um eine Interaktion daraus abzuleiten. Darum wird in diesem Fall auf Bewegungen oder Drehungen des Kopfes 5 zurückgegriffen. So kann der Benutzer 9 durch Nicken beim Lesen der Email 4 nach unten scrollen.
Ein anderes denkbares Szenario ist die Arbeit an einem PC-Arbeitsplatz. Hier kann der Benutzer 9 durch eine Kamera 6 als Sensor 6 erfasst werden, die beispielsweise auf dem Bildschirm angebracht und als Webcam ausgeführt ist. In diesem Fall kann sich der Benutzer 9 während des Lesens eines längeren Textdokuments oder einer Webseite bequem zurücklehnen, während der Text entsprechend der Kopf- oder Augenbewegungen des Benutzers 9 dynamisch auf dem Bildschirm nachgeführt wird. Je nach Größe des Bildschirms und Genauigkeit der Erkennung werden hierzu nur die Kopfbewegungen als solche oder auch der Blickbereich 2/Blickpunkt 25 auf dem Bildschirm herangezogen.
In einem dritten Szenario befindet sich der Benutzer 9 vor einer großen Leinwand als Bildfläche 1, auf die die Bilddar stellung des sichtbaren Dokumentausschnitts 41 mit einem Projektor projiziert wird. Aufgrund der Größenverhältnisse kann in diesem Fall der Blickbereich 2 auf der Bildfläche 1 bereits aus der Kopfausrichtung ziemlich genau bestimmt werden. In diesem Fall sind also alle Navigationsformen, sowohl über Kopfbewegungen als auch über den Blickbereich 2 oder Blickpunkt 25 realisierbar.
Falls eine hinreichend genaue Bestimmung der Ausrichtung des Kopfes 5 bzw. der Augen des Benutzers 9 möglich ist, so ist die Navigation über den Blickbereich 2/Blickpunkt 25 jedoch auch im Kontext des PCs oder des mobilen Endgerätes implementierbar.
Wenn als Dokument 4 auf der Bildfläche 1 eine 3D-Szene dargestellt wird, kann der Benutzer 9 über Kopfbewegungen in der 3D-Szene navigieren. Wenn der Benutzer 9 seinen Kopf 5 auf die Bildfläche 1 zu bewegt, so wird der sichtbare Dokumentausschnitt 41 so verändert, als ob der Benutzer 9 in der 3D-Szene nach vorne gehen würde. Wenn der Benutzer 9 seinen Kopf 5 von der Bildfläche 1 entfernt, so wird die Darstellung des sichtbaren Dokumentausschnitts 41 so verändert, als ob der Benutzer 9 in der 3D-Szene zurückgehen würde. Wenn der Benutzer 9 seinen Kopf 5 nach links oder nach rechts dreht, so wird die Darstellung des sichtbaren Dokumentausschnitts 41 so verändert, als ob sich der Benutzer 9 in der 3D-Szene zur Seite drehen würde. Entsprechend diesen Beispielen können Kopf- oder Augenbewegungen des Benutzers 9 auch anderen Navigationsaktionen zur Navigation in 3D-Szenen oder zweidimensionalen Dokumenten zugeordnet werden.
In diesem Dokument wurden folgende Veröffentlichungen zitiert:

[1] US-Patent 6,707,933 B1
[2] DE 199 83 513 T1
[3] DE 102 21 391 A1

Claims

Verfahren zur berührungslosen Navigation in einem Dokument (4), – bei dem auf einer Bildfläche (1) ein Ausschnitt des Dokuments (4) dargestellt wird, – bei dem ein Sensor (6) auf einen Benutzer (9) ausgerichtet ist und eine Sensorinformation erfasst, – bei dem die Sensorinformation verarbeitet und dabei eine Bewegung im Bereich des Kopfes (5) des Benutzers (9) erkannt wird, – bei dem die Bewegung in eine Bewegungsinformation aufgenommen wird, die die Bewegung beschreibt, – bei dem die Bewegungsinformation ausgewertet und dabei eine Navigationsaktion abgeleitet wird, und – bei dem die Navigationsaktion eine Änderung des auf der Bildfläche (1) sichtbaren Ausschnitts des Dokuments (4) bewirkt.
Verfahren nach Anspruch 1, – bei dem bei der Verarbeitung der Sensorinformation eine Position und/oder Ausrichtung von mindestens einem der Elemente Kopf (5), Gesicht, Mund, Nase oder Augen des Benutzers (9) erkannt wird, und – bei dem die erkannte Position und/oder Ausrichtung in die Bewegungsinformation aufgenommen wird.
Verfahren nach einem der vorhergehenden Ansprüche, – bei dem bei der Verarbeitung der Sensorinformation eine Position und/oder Bewegung eines Blickbereichs (2) auf der Ebene der Bildfläche (1) erkannt wird, in den der Blick des Benutzers (9) fällt, wobei der Blickbereich in mindestens einer Dimension bestimmt wird, und – bei dem die erkannte Position und/oder Bewegung des Blickbereichs (2) in die Bewegungsinformation aufgenommen wird.
Verfahren nach Anspruch 1 oder 2, – bei dem bei der Verarbeitung der Sensorinformation eine Translation und/oder Rotation des Kopfes (5) des Benutzers (9) erkannt wird, – bei dem diese Translation und/oder Rotation in die Bewegungsinformation aufgenommen wird, und – bei dem bei der Auswertung der Bewegungsinformation eine Navigationsaktion abgeleitet wird, die bewirkt, dass der auf der Bildfläche (1) sichtbare Ausschnitt des Dokuments (4) gescrollt wird.
Verfahren nach Anspruch 1 oder 2, – bei dem bei der Verarbeitung der Sensorinformation eine Änderung des Abstands des Kopfes (5) des Benutzers (9) von der Bildfläche (1) erkannt wird, – bei dem diese Änderung des Abstands in die Bewegungsinformation aufgenommen wird, und – bei dem bei der Auswertung der Bewegungsinformation eine Navigationsaktion abgeleitet wird, die bewirkt, dass der Darstellungsmaßstab des Dokuments (4) auf der Bildfläche (1) verändert wird.
Verfahren nach Anspruch 3, – bei dem der auf der Bildfläche (1) sichtbare Ausschnitt des Dokuments (4) in einem Bildflächenausschnitt (3) dargestellt wird, und – bei dem bei der Auswertung der Bewegungsinformation eine Überschneidung der Fläche des Blickbereichs (2) mit einem Randbereich des Bildflächenausschnitts (3) erkannt wird, woraufhin – eine Navigationsaktion abgeleitet wird, die bewirkt, dass der im Bildflächenausschnitt (3) auf der Bildfläche (1) sichtbare Ausschnitt des Dokuments (4) gescrollt wird.
Verfahren nach einem der vorangegangenen Ansprüche, – bei dem bei der Verarbeitung der Sensorinformation oder bei der Auswertung der Bewegungsinformation ein Abwenden des Kopfes (5) des Benutzers (9) von der Bildfläche (1) erkannt wird, – bei dem in diesem Fall keine Navigationsaktion abgeleitet wird.
Verfahren nach Anspruch 3, – bei dem der auf der Bildfläche (1) sichtbare Ausschnitt des Dokuments (4) in einem Bildflächenausschnitt (3) dargestellt wird, – bei dem bei der Auswertung der Bewegungsinformation erkannt wird, wenn die Fläche des Blickbereichs (2) außerhalb des Bildflächenausschnitts (3) auf der Ebene der Bildfläche (1) liegt, und – bei dem in diesem Fall keine Navigationsaktion abgeleitet wird.
Verfahren nach einem der vorangegangenen Ansprüche, bei dem das Dokument (4) eine 3D-Szene ist.
Verfahren nach Anspruch 3, – bei dem auf Basis des erkannten Blickbereichs (2) ein repräsentativer Blickpunkt (25) auf der Bildfläche (1) bestimmt wird, den der Benutzer (9) in etwa ansieht, und – bei dem ein Zeiger (7) in der Bilddarstellung auf der Bildfläche (1) erzeugt wird, der den Blickpunkt (25) für den Benutzer sichtbar markiert.
Verfahren nach einem der vorangegangenen Ansprüche, – bei dem mehrere Bewegungen des Benutzers (9) in die Bewegungsinformation aufgenommen werden, bevor die Navigationsaktion abgeleitet wird, und – bei dem die Bewegungsinformation bei der Auswertung durch einen Algorithmus so geglättet wird, dass aus flüchtigen Bewegungen keine Navigationsaktion abgeleitet wird.
Verfahren nach einem der vorangegangenen Ansprüche, bei dem der Sensor (6) eine Kamera ist.
Verfahren nach einem der vorangegangenen Ansprüche, bei dem die Bildfläche (1) eine Projektionsfläche ist, die mit einem Projektor beleuchtet wird.
Verfahren nach einem der vorangegangenen Ansprüche, bei dem die Bildfläche (1) die Bildfläche eines Displays eines mobilen Endgerätes ist.
Verfahren nach einem der vorangegangenen Ansprüche, bei dem die Bildfläche (1) die Bildfläche eines Bildschirms eines Personalcomputers ist.
Verfahren nach einem der vorangegangenen Ansprüche, – bei dem mehrere Sensoren auf den Benutzer (9) ausgerichtet sind, und – bei dem die Sensorinformation aus Informationen erzeugt wird, die die unterschiedlichen Sensoren erfassen.
Anordnung, die dazu eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 16 auszuführen.