DE4201934A1

DE4201934A1 - Gestik computer

Info

Publication number: DE4201934A1
Application number: DE19924201934
Authority: DE
Inventors: Christoph Maggioni; Brigitte Wirtz
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 1992-01-24
Filing date: 1992-01-24
Publication date: 1993-07-29

Description

Die Verbesserung der Kommunikation zwischen Mensch und Ma schine und die Suche nach neuen Eingabetechniken gewinnt be dingt durch immer komplexer werdende Computeranwendungen immer mehr an Bedeutung. Aus diesem Grunde ist es ein Ziel vieler technischer Entwicklungen, neben den klassischen Eingabegerä ten eines Computers, wie z. B. Tastatur, Graphik-Tablett, Maus etc. und in Entwicklung befindlichen Eingabemethoden, wie Sprach- und Handschrifterkennung, neue, der natürlichen räum lichen menschlichen Kommunikation angepaßte Interaktionsmög lichkeiten mit der Maschine zu entwickeln. Hierfür bieten sich die Gestik und Mimik des Menschen auf natürliche Weise an, da diese Ausdrucksformen in der natürlichen Kommunikation zwi schen Menschen von großer Bedeutung sind. Um diese Ausdrucks formen des Menschen als Eingabemethode für Computer nutzbar zu machen, müssen Kopf- und Körperbewegungen erkannt und inter pretiert werden.

Das bisher einzige am Markt tatsächlich etablierte benutzer freundliche Eingabemedium für Computer ist die Maus. Betrach tet man den Einfluß dieses Eingabemediums auf die gesamte Ent wicklung von Computern bzw. deren Benutzerschnittstellen, so stellt man eine sehr große Steigerung der Benutzerfreundlich keit und der Effektivität von damit ausgerüsteten Computern fest. Fensteroberflächen, in denen graphische Objekte (Icons) mit der Maus manipuliert werden können, stellen im Vergleich zu den alten, an der Tastatur orientierten Bedienweisen eine völlig neue Art dar, Computer zu benutzen. Dieser qualitative Sprung in der Bedienung ermöglichte eine wesentliche Steige rung der Arbeitsproduktivität, eine deutliche Verringerung der Anlernzeiten und machte viele Computeranwendungen erst mög lich.

Die Maus ist ein zweidimensionales Eingabemedium. Im Gegensatz dazu denkt und bewegt sich der Mensch in dreidimensionalen Um gebungen. Seine Gesten und Wahrnehmungen sind räumlich ge prägt. Diese Umstände sollten konsequenter Weise in einem dreidimensionalen Eingabemedium und in entsprechenden dreidi mensionalen Benutzeroberflächen ihre Entsprechung finden.

Neben der Maus wurde in den letzten Jahren ein weiteres Einga bemedium, welches als Data Glove (Datenhandschuh) bezeichnet wird, bekannt. Diese Date Glove wurde in den Jahren 1984 bis 1987 von der Firma VPL-Research von Thomas G. Zimmermann und L. Young Harvill entwickelt. Der Data Glove übersetzt Bewegun gen der Hand und der Finger in elektrische Signale. Zwischen zwei Stofflagen verlaufen fieberoptische Kabel entlang aller Finger und des Daumens. Beide Enden jedes Kabels münden in ein Interface-Board nahe des Handgelenks. Eine lichtemittierende Diode an einem Ende sendet Licht entlang des Kabels zu einem Phototransistor am anderen Ende, der das Licht in ein elektri sches Signal umwandelt. Das Signal gelant vom Handgelenk zum angeschlossenen Rechner durch ein angeschlossenes Kabel. Je stärker die Finger gekrümmt werden, desto größer ist der Lichtverlust im fieberoptischen Kabel, und desto kleiner damit das entsprechende elektrische Signal. Die Lage und Orientie rung der Hand im Raum wird mit Hilfe eines sog. Pollhemus-Sen sors (Mc Donnel Douglas Corporation), der auf dem Handrücken montiert wird, bestimmt. Dieser Sensor mißt die Stärke und Orientierung dreier aufeinander senkrecht stehender künstlich erzeugter Magnetfelder im Raum.

Die Nachteile des Data Glove sind in erster Linie in seinem hohen Preis und in seiner relativ hohen Anfälligkeit gegenüber mechanischen Einflüssen zu sehen. Ferner bestehen erhebliche Akzeptanzprobleme, da der Data Glove nicht immer angenehm zu tragen ist. Ferner schränkt der Data Glove die Beweglichkeit des Anwenders durch Zuführungskabel und sein Gewicht ein. Der Benutzer ist durch den Data Glove allgemein in seiner Aktions fähigkeit eingeschränkt, da er die Hand nicht für weitere Ar beiten, wie z. B. Schreiben, verwenden kann.

Die Firma Xerox Palo Alto Research Center, der Erfinder der Schreibtischbenutzeroberflächen von Computersystemen, stellte vor kurzem einen Prototyp einer dreidimensionalen Benutze roberfläche vor. Die Idee ist hierbei, daß sich auf dem Bild schirm Strukturen befinden, welche sich in Echtzeit im dreidi mensionalen Raum bewegen, und vom menschlichen visuellen Sy stem in ihrer räumlichen Struktur wahrgenommen und interpre tiert werden (Mark A. Clarkson, Xerox PARC: "An Easier Inter face, Byte Magazine", February 1991, pp. 277-282; George G. Ro bertson, Stuart K. Card and Jock D. Mackinlay, Xerox PARC: "The Cognitive Coprocessor Architecture for Interactive User Interfaces", Proceedings of the ACM SIGGRAPH Symposium on User Interface Software and Technology, New York 1989, pp. 10-18).

Für eine sinnvolle Arbeit mit derartigen dreidimensionalen Be nutzeroberflächen wird ein dreidimensionales Eingabegerät für Computer benötigt. Wünschenswert ist ein dreidimensionales Eingabemedium, welches den Benutzer nicht behindert, so daß er frei arbeiten kann, das vom Benutzer möglichst wenig Anpassung an seinen Rechnerarbeitsplatz fordert, das in der Lage ist, menschliche Metaphern zu erkennen und zu interpretieren und das relativ unabhängig gegenüber Umwelteinflüssen ist.

Der Erfindung liegt die Aufgabe zugrunde, ein Datenverarbei tungssystem anzugeben, welches in der Lage ist, die Ausdrucks formen der menschlichen Gestik direkt in Befehle zu seiner Steuerung umzusetzen. Diese Aufgabe wird durch ein Datenverar beitungssystem mit Merkmalen nach Anspruch 1 gelöst.

Bei diesem Datenverarbeitungssystem, welches durch Ausdrucks formen der menschlichen Gestik gesteuert wird, sind Mittel vorgesehen, zur Aufnahme von Bildern des menschlichen Körpers oder von Körperteilen, zur Extraktion solcher Ausdrucksformen aus solchen Bildern, und zur Übersetzung solcher Ausdrucksfor men in Befehle zur Steuerung des Datenverarbeitungssystems.

Ein derartiges Datenverarbeitungssystem macht die Verwendung technischer Eingabemedien, wie z. B. einer Maus oder einer Ta statur, weitgehend, wenn nicht völlig, entbehrlich. In einer bevorzugten Ausführungsform der Erfindung ist bei dem Daten verarbeitungssystem eine graphische Benutzeroberfläche vorge sehen, deren Bedienungselemente mit Hilfe von Objekten manipu liert werden können, welche extrahierte Ausdrucksformen der menschlichen Gestik darstellen, wodurch das Datenverarbei tungssystem gesteuert wird. Die graphische Benutzeroberfläche kann dabei sowohl zweidimensional als auch dreidimensional sein. Eine Weiterbildung der Erfindung sieht vor, daß extra hierte Ausdrucksformen der menschlichen Gestik durch Objekte auf dieser graphischen Benutzeroberfläche dargestellt werden, welche geeignet sind, Bewegungen und Stellungen der menschli chen Hand oder beider Hände eines Menschen zu visualisieren. Dabei ist es besonders vorteilhaft, wenn die graphische Benut zeroberfläche des Datenverarbeitungssystems Strukturmerkmale der realen Arbeitsumgebung eines typischen Anwenders des Da tenverarbeitungssystems oder Strukturmerkmale von Gegenständen aus dieser Arbeitsumgebung aufweist, wobei Bedienungselemente dieser Benutzeroberfläche mit Hilfe graphischer Darstellungen von Gegenständen aus dieser Arbeitsumgebung oder Teilen sol cher Gegenstände visualisiert werden. Je nach Anwendungsart kann die graphische Benutzeroberfläche dabei z. B. Struktur merkmale eines Schreibtisches aufweisen. Zusätzlich oder al ternativ dazu kann die graphische Benutzeroberfläche auch Strukturmerkmale eines Karteikastens oder mehrerer Karteikä sten aufweisen. Für viele Anwendungen ist es vorteilhaft, wenn die graphische Benutzeroberfläche außerdem Strukturmerkmale eines Schriftstücks oder mehrerer Schriftstücke aufweist. Schließlich gibt es eine Reihe von Anwendungen, für welche die graphische Benutzeroberfläche vorteilhaft Strukturmerkmale ei nes Aktenschranks oder mehrerer Aktenschränke aufweist. Für eine Reihe von Anwendungen ist es vorteilhaft, wenn die Benut zeroberfläche gleichzeitig Strukturmerkmale von mehreren der genannten Arbeitsumgebungen bzw. von mehreren Gegenständen aus einer Arbeitsumgebung aufweist.

In anderen Anwendungen sind graphische Benutzeroberflächen be sonders geeignet, welche Strukturmerkmale einer technischen Leitwarte aufweisen. Schließlich ist es in einer Reihe von me dizintechnischen Anwendungen vorteilhaft, wenn die graphische Benutzeroberfläche Strukturmerkmale bestimmter medizintechni scher Geräte aufweist.

Die Extraktion von Ausdrucksformen der menschlichen Gestik ge lingt besonders zuverlässig und effizient, wenn zu diesem Zweck die Lage von Markierungen auf der Oberfläche des men schlichen Körpers ausgewertet wird. Bei vielen Anwendungen kommt hierfür bevorzugt die Auswertung der Lage von Markierun gen auf der Handoberfläche in Betracht. In anderen Anwendungen ist es vorteilhaft, die Blickrichtung eines Anwenders, seine Augenbewegungen, seine Kopfbewegungen, seine Mundbewegungen, seine Mimik oder die Bewegung des Körpers insgesamt auszuwer ten. Mit Hilfe eines derartigen Datenverarbeitungssystems ist die intuitive Bedienung eines Computers in verschiedensten An wendungen möglich. Im Ergebnis wird hierdurch quasi ein neues dreidimensionales Eingabegerät für Computer geschaffen, wel ches Handgesten und Bewegungen der menschlichen Hand erkennt, verfolgt, interpretiert und dann zur Steuerung von Rechnerak tionen verwendet.

Gegenüber bestehenden Eingabemedien wie z. B. einer Maus oder einem Trackball, besitzt die erfindungsgemäße Lösung folgende Vorteile: Sie gewährleistet eine noch intuitivere Bedienbar keit des Rechners, welche vom Benutzer ein Minimum an Anpas sung an seinen Rechnerarbeitsplatz fordert. Die Freiheit des Benutzers wird weitgehend erhalten, da er kein zusätzliches Eingabegerät bedienen muß und deshalb in seiner gewohnten Ar beitsumgebung frei weiterarbeiten kann. Beide Hände des Be nutzers können gleichzeitig zur Steuerung des Datenverarbei tungssystems verwendet werden. Die räumliche Welt des Benut zers wird bei Verwendung einer dreidimensionalen Benutzerober fläche in eine räumliche Interaktionswelt mit dem Rechner ab gebildet.

Claims

1. Datenverarbeitungssystem, welches durch Ausdrucksformen der menschlichen Gestik gesteuert wird, mit Mitteln

- zur Aufnahme von Bildern des menschlichen Körpers oder Teilen davon,
- zur Extraktion solcher Ausdrucksformen aus solchen Bil dern, und
- zur Übersetzung solcher Ausdrucksformen in Befehle zur Steuerung des Datenverarbeitungssystems.

2. Datenverarbeitungssystem nach Anspruch 1 mit einer graphi schen Benutzeroberfläche, auf der erste Objekte sichtbar sind, welche Bedienungselemente der Benutzeroberfläche dar stellen, und auf der zweite Objekte sichtbar sind, welche extrahierte Ausdrucksformen der menschlichen Gestik dar stellen, wobei erste Objekte mit Hilfe von zweiten Objekten manipuliert werden können, wodurch das Datenverarbeitungs system gesteuert wird.

3. Datenverarbeitungssystem nach Anspruch 2 mit einer zweidi mensionalen graphischen Benutzeroberfläche.

4. Datenverarbeitungssystem nach Anspruch 2 mit einer dreidi mensionalen graphischen Benutzeroberfläche.

5. Datenverarbeitungssystem nach einem der Ansprüche 2 bis 4, bei dem extrahierte Ausdrucksformen der menschlichen Gestik durch Objekte dargestellt werden, welche geeignet sind, Be wegungen und Stellungen der menschlichen Hand oder beider Hände eines Menschen zu visualisieren.

6. Datenverarbeitungssystem nach einem der Ansprüche 2 bis 5, dessen graphische Benutzeroberfläche Strukturmerkmale der realen Arbeitsumgebung eines typischen Anwenders des Daten verarbeitungssystems oder Strukturmerkmale von Gegenständen aus dieser Arbeitsumgebung aufweist, wobei Bedienungsele mente dieser Benutzeroberfläche mit Hilfe graphischer Dar stellungen von Gegenständen aus diese Arbeitsumgebung oder Teilen solcher Gegenstände visualisiert werden.

7. Datenverarbeitungssystem nach einem der Ansprüche 2 bis 6, dessen graphische Benutzeroberfläche Strukturmerkmale ei nes Schreibtisches aufweist.

8. Datenverarbeitungssystem nach einem der Ansprüche 2 bis 7, dessen graphische Benutzeroberfläche Strukturmerkmale ei nes Karteikastens oder mehrerer Karteikästen aufweist.

9. Datenverarbeitungssystem nach einem der Ansprüche 2 bis 8, dessen graphische Benutzeroberfläche Strukturmerkmale ei nes Schriftstücks oder mehrerer Schriftstücke aufweist.

10. Datenverarbeitungssystem nach einem der Ansprüche 2 bis 9, dessen graphische Benutzeroberfläche Strukturmerkmale ei nes Aktenschranks oder mehrerer Aktenschränke aufweist.

11. Datenverarbeitungssystem nach einem der Ansprüche 2 bis 10, dessen graphische Benutzeroberfläche Strukturmerkmale einer technischen Leitwarte aufweist.

12. Datenverarbeitungssystem nach einem der Ansprüche 1 bis 11, dessen graphische Benutzeroberfläche Strukturmerkmale medizintechnischer Geräte aufweist.

13. Datenverarbeitungssystem nach einem der vorhergehenden An sprüche, welches die Lage von Markierungen auf der Ober fläche des menschlichen Körpers zur Extraktion von Aus drucksformen der menschlichen Gestik auswertet.

14. Datenverarbeitungssystem nach einem der vorhergehenden An sprüche, welches die Lage von Markierungen auf der Hand oberfläche zur Extraktion von Ausdrucksformen der men schlichen Gestik auswertet.

15. Datenverarbeitungssystem nach einem der vorhergehenden An sprüche, welches die Blickrichtung eines Anwenders auswer tet.

16. Datenverarbeitungssystem nach einem der vorhergehenden An sprüche, welches die Augenbewegungen eines Anwenders aus wertet.

17. Datenverarbeitungssystem nach einem der vorhergehenden An sprüche, welches die Kopfbewegung eines Anwenders auswer tet.

18. Datenverarbeitungssystem nach einem der vorhergehenden An sprüche, welches die Mundbewegungen eines Anwenders aus wertet.

19. Datenverarbeitungssystem nach einem der vorhergehenden An sprüche, welches die Mimik eines Anwenders auswertet.

20. Datenverarbeitungssystem nach einem der vorhergehenden An sprüche, welches die Körperbewegung eines Anwenders aus wertet.