DE69032645T2 - Datenverarbeitungssystem mit auf Gesten basierenden Eingabedaten - Google Patents

Datenverarbeitungssystem mit auf Gesten basierenden Eingabedaten

Info

Publication number
DE69032645T2
DE69032645T2 DE69032645T DE69032645T DE69032645T2 DE 69032645 T2 DE69032645 T2 DE 69032645T2 DE 69032645 T DE69032645 T DE 69032645T DE 69032645 T DE69032645 T DE 69032645T DE 69032645 T2 DE69032645 T2 DE 69032645T2
Authority
DE
Germany
Prior art keywords
hand
movement
images
selecting
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE69032645T
Other languages
English (en)
Other versions
DE69032645D1 (de
Inventor
Johannes Romanus Hugo Daamen
Boer Jaap Jeroen De
Jacques Frederik Gerrissen
Itegem Jozeph Prudent Mari Van
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Application granted granted Critical
Publication of DE69032645D1 publication Critical patent/DE69032645D1/de
Publication of DE69032645T2 publication Critical patent/DE69032645T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Digital Computer Display Output (AREA)
  • Processing Or Creating Images (AREA)

Description

    Datenverarbeitungssystem mit auf Gesten basierenden Eingabedaten.
  • Die Erfindung betrifft ein Datenverarbeitungssystem mit
  • - Anzeigemitteln zum Visualisieren eines visuell zugänglichen virtuellen Arbeitsraumes;
  • - betreibbaren Muster erzeugenden Mitteln zum Erzeugen eines Bildes einer schematisch dargestellten menschlichen Hand.
  • Derartige Systeme sind allgemein bekannt und finden allgemeine Verwendung. Die System-Anzeige funktioniert zum Benutzer hin als Schnittstelle. Die Anzeige kann beispielsweise die Rolle eines Rückkoppelmittels zum Visualisieren des Systemzustandes spielen, wonach der Benutzer zum Steuern des Systembetriebs auf der Basis der angezeigten Information aktiv werden kann. Ebenso kann die Anzeige als Glied in einem Kommunikationskanal zwischen zwei oder mehreren im System kommunizierenden Benutzern dienen.
  • Gegenseitige Beeinflussung und Kommunikation über das System mit Hilfe einer Anzeige umfaßt den Informationsaustausch zwischen dem System und dem Benutzer in einer Darstellung, die der Wahrnehmung des Benutzers angepaßt ist und außerdem in ein Format umtauschbar ist, das Bearbeitung im System ermöglicht.
  • Es sind mehrer Verfahren zum Darstellen und Visualisieren von Information an einer Anzeige zum Durchführen eines Dialogs mit oder über das System bekannt. Ein Beispiel davon ist die Darstellung von Text in der Erzeugung als Ergebnis des Systembetriebs und als Lesetext für den Benutzer sowie die Eingabe von Text (z. B. Instruktionen) in das System über ein Tastenfeld oder durch die Wahl eines angezeigten Feldes mit einem Text, wobei damit verknüpfte Daten mittels der Führung einer Schreibmarke zu diesem Feld durch Betätigung einer Maus und durch Klicken einer geeigneten Taste eingegeben werden.
  • Ein anderes Beispiel ist die Bedienung eines Joysticks oder einer anderen Steuereinrichtung, wobei ihre darauf ausgeübte Kräfte in damit zusammenhängende Aktionen einer angezeigten Schreibmarke oder eines anderen Objekts übersetzt werden.
  • Ein weiteres Beispiel bezieht sich auf die Eingabe von Daten über eine digitalisierte Tafel oder einen Berührungsschirm, der mit der Anzeige gekoppelt ist beispielsweise zum Eingeben von handgeschriebenem Text oder von Hand gezeichneten Mustern, wobei die Anzeige teilweise als visuelles Rückkoppelmittel dient. Der Artikel "The Alternate Reality KIT", IEEE Proceedings of workshop on visual languages, Dallas, Texas, Juni 25-27, 1986, S. 99 ... 106, gibt eine Beschreibung eines Datenverarbeitungssystems zum Unterstützen eines Studenten zum interaktiven Erwerben einer Einsicht in die Physik. Das System enthält Anzeigemittel zum Visualisieren eines virtuellen Arbeitsraumes sowie ein Mustererzeugungsmittel, das zum Erzeugen einer Abbildung einer schematisch dargestellten menschlichen Hand am Anzeigemittel betreibbar ist. Das mausbetätigte Handpiktogramm kann Objekte ergreifen und verarbeiten, und das Handpiktogramm ist das Medium des Benutzers zum Zusammenwirken mit dem System (S. 99, linke Spalte, 2. Paragraph; S. 102, 1. Paragraph; S. 103, Kapitel 3, linke Spalte, erste und zweite Paragraphen).
  • In der US-Patentschrift 4 414 537 ist ein Handschuh zum Übersetzen alphanumerische Zeichen darstellender Handgesten in elektrische Signale beschrieben (Spalte 1, Zeilen 11 ... 15). Die elektrischen Signale entsprechen die Zeichen und werden als solche beim Empfang in einer Datenempfangsanordnung übersetzt (Spalte 2, Zeilen 20 ... 22). Dieses Patent gibt keine Beschreibung von Kommunikation über Handgestenabbildungen in einem virtuellen Arbeitsraum.
  • Für mehrere Anwendungen könnte die Kommunikation über das System und das Zusammenwirken mit dem System durch Anpassung des Verfahren verbessert werden, mit dem die Daten auf der Anzeige erscheinen. Daher liegt der Erfindung die Aufgabe zugrunde, ein Datenverarbeitungssystem nach dem Oberbegriff zu schaffen, mit dem die Bandbreite der Signalübertragung eingeschränkt wird, die den Dialog mit dem System oder über das System darstellen, und zu einer schnelleren und weniger mühsamen Wechselwirkung zwischen dem Benutzer und dem System und der Kommunikation über das System führt.
  • Zur Lösung dieser Aufgabe ist ein erfindungsgemäßes Datenverarbeitungssystem dadurch gekennzeichnet, daß
  • - das Mustererzeugungsmittel zum Erzeugen wenigstens einer weiteren Abbildung einer schematisch dargestellten Hand betreibbar ist; und
  • - das Mustererzeugungsmittel Steuermittel zum Ermöglichen der Beteiligung bestimmter Benutzer einer Anzahl von Benutzern an dem visuell zugngen virtuellen Arbeitsraum zur Steuerung einer Geste bestimmter Gesten der schematisch dargestellten Handabbildungen für die Kommunikation mit einem anderen der Anzahl von Benutzern über das Anzeigemittel mittels einer Handgestensprache enthält.
  • Die Kommunikation und die Wechselwirkung mittels eines Handgestencodes zum Ausdrücken von Information oder zusätzlicher Information bietet besondere Vorteile für die auf dem Sichtweg erzielbare Bereicherung von Audiokommunikation durch natürlichen Gesten der Handabbildung oder zum Visualisieren der vorgesehenen Zusammenarbeit mit oder der Beifügung einer besonderen Bedeutung zu einem angezeigten Objekt mittels einer zugeordneten Geste der Handabbildung. Außerdem ist eine auf natürlichen Gesten basierende Sprache leicht erlernbar. Dabei kann eine Gestensprachen bei der Durchführung von Operationen an angezeigten Mustern sowohl im interaktiven Verfahren als auch im Kommunikationsverfahren ein Kommunikationswerkzeug mit geringer Bandbreite sein. Beispielsweise kann eine schematisch dargestellte Handabbildung mit einem anzeigenden Zeigefinger zum Hinweisen auf ein angezeigtes Datenfeld oder ein angezeigtes Objekt benutzt werden, z. B. zum Wählen eines besonderen Felds oder eines angezeigten Objekts oder zum Richten der Aufmerksamkeit darauf. Weitere Beispiele imitierter Gesten können das künstliche Äquivalent - des Umschaltens einer schematisch dargestelten Hand zwischen dargestellten Datenelementen zum Angeben eines Zusammenhangs,
  • - der Absicht zum Entfernen eines besonderen dargestellten Objekts durch Winken mit der schematisch dargestellten Hand (in der Nähe des Objekts oder über das Objekt),
  • - der Angabe der verlangten Änderung der Abmessung eines besonderen Objekts durch Zeigen einer schematisch dargestellten Hand, deren Zeigefinger und Daumen bei der Bitte um eine Verringerung bzw. Vergrößerung sich nähern oder sich auseinander bewegen,
  • - der Angabe der gesuchten Verschiebung eines Objekts durch Ergreifen des Imaginärobjektes mit der schematisch dargestellten Hand und seine Verschiebung über ein kurze Strecke angeben.
  • Es sei bemerkt, daß neben getrennten und statisch schematisch dargestellten Handabbildungen zur Darstellung jeweiliger Zeichen Sequenzen schematisch dargestellter Handabbildungen sich insbesondere zum Ausdruck zusammengesetzter Zeichen eignen. Beispielsweise kann eine besondere durchzuführende Operation mit einem Wählzeichen angegeben werden, dem ein Zeichen oder eine Zeichensequenz entsprechend den besonderen Operationen folgt.
  • Da die Bedeutung derartiger Gesten gut aufgenommen wird und da die Information in einem schmalen Format vorgeführt wird, erfolgt Wechselwirkung mit und Kommunikation über das System schnell und auf eine natürliche Art, sogar wenn das Gesten-Vokabular sich auf nur wenige, d. h. 6, verschiedene Zeichen unter Berücksichtigung mehrerer Gesten-Kombinationen zum Erzeugen zusammengesetzter Zeichen beschränkt.
  • Ein beschränktes Vokabular bietet die Vorteile einer ziemlich schnellen Angewöhnung an diese Art von Datenkommunikation beim Benutzer und der Aufrechterhaltung einmal erlernter Kunstfertigkeit. Außerdem können die Bandbreite der Systemkommunikationskanäle sowie die Systemspeicherkapazität zum Speichern des Vokabulars, sofern sie mit dem dem Handgebärdencode zusammenhängen, beschränkt gehalten werden und so Kosten ersparen und Geschwindigkeit vergrößern.
  • Es sei bemerkt, daß sowohl die Kommunikation in als auch die Wechselwirkung mit dem System abwechselnd erfolgen kann, wobei beide dieselbe Handbewegungssprache benutzen. Mit anderen Worten entsprechen die von den Benutzern erfaßten Handbewegungszeichen den im System durchgeführten Operationen beim Aktivieren von Handbewegungszeicheninstruktionen.
  • Die Erfindung wird beispielsweise in rechnergestützter Zusammenarbeit angewandt, wobei mehrere Benutzer sich einen virtuellen gemeinsamen Arbeitsraum teilen, der für jeden über getrennte Klemmen zum kollektiven Durchführen einer Aufgabe zugänglich und sichtbar ist. In diesen virtuellen Arbeitsspeicher können Informationselemente zum Visualisieren eingeführt werden, die beim Anlegen der geeigneten Handabbildungsbewegungszeichen neugeordnet, neuskaliert und ersetzt werden. Außerdem funktionieren die für die geplante Operation zuständigen Handabbildungszeichen vor dem Start der Durchführung der verschiedenen Operationen an die verschobenen Informationselemente als ein Mittel zum Vorbereiten der Beteiligten in der folgenden Durchführungsstufe. Also wird ein kollektiver Entwurf oder eine kollektive Schematisierung auf eine klare und natürliche Weise vervollständigt.
  • Vorzugsweise werden die schematisch dargestellten Handabbildungen bei der Kontrolle eines besonderen Beteiligten an dieser Kollaborationsarbeit beispielsweise auf der Basis der Farbe, der Abmessung oder der Form der Handabbildung personifiziert. Dieser Zusatz ermöglicht jedem Beteiligten seine Identifikation im virtuellen Arbeitsspeicher auf eine einfache Weise.
  • Eine andere Anwendung ist die Wechselwirkung zwischen einem Benutzer und einem rechnergestützten Entwurfssystem (CAD). Skalierungs-, Beseitigungs- und Neuordnungsinstruktionen können zum Beispiel auf ergonomische Weise durch Betätigen einer geeigneten Taste in Verknüpfung mit dem betreffenden Handbewegungszeichen bei der Anzeige der zu bearbeitenden Elemente in das System eingeführt werden. Schaltbewegungen zwischen dem visualisierten Arbeitsspeicher und einem Menü zum Wählen besonderer Operationen wie bei herkömmlichen Systemen wird so vermieden.
  • Vorzugsweise wird eine Schreibmarke als eine schematisch dargestellten Handabbildung vorgeführt, deren Bewegung abhängig vom gewünschten auszudrückenden Zeichen steuerbar ist. Es sei erwähnt, daß, obgleich die Erfindung die Verwendung einer schematisch dargestellten Handabbildung als Schreibmarke ermöglicht, die Vielzahl verfügbarer Handabbildungen weit über die Anwendung zur Mehrzeichenkommunikation hinausgeht.
  • Ein Ausführungsbeispiel eines erfindungsgemäßen Datenverarbeitungssystems ist ein System mit
  • - einem Speicher zum Einschreiben einer Anzahl der Handbewegungsabbildungen,
  • - Wählmitteln, gekoppelt mit dem Speicher zum Wählen einer besonderen Handbewegungsabbildung oder einer besonderen Sequenz der Handbewegungsabbildungen.
  • Die Kommunikation oder Wechselwirkung kann sowohl auf statischen Handzeichen oder auf beweglichen Handzeichen basieren. Im letztgenannten Fall führt die Bearbeitung des Wählmittels zu einer besonderen Sequenz gespeicherter Handabbildungen zum Darstellen, die den Eindruck einer Bewegung gibt.
  • Ein weiteres Ausführungsbeispiel eines erfindungsgemäßen Datenverarbeitungssystem ist ein System, in dem das Wählmittel wenigstens eine der folgenden Einrichtungen enthält
  • - eine Tastatur mit einer besonderen vom Benutzer steuerbaren Taste zum Wählen einer besonderen Bewegung durch Betätigung der besonderen Taste,
  • - eine Mehrtasten-Mauseinrichtung zum Wählen einer besonderen Handabbildungsbewegung oder einer Folge von Handbewegungsabbildungen durch Betätigung einer besonderen Taste.
  • Vorzugsweise werden die Tasten oder Knöpfe zueinander derart angeordnet, daß tatsächliches Bedienen der Tasten oder Knöpfe wenigstens einigermaßen erfordert, daß die Hand des Benutzers eine Bewegung macht, die den mit den Tasten gewählten Handabbildungsbewegungen entspricht, und damit auf eine ergonomisch gerechtfertigte Weise den Zugang zum System gibt. Vorzugsweise soll das Wählmittel sowohl in einer Rechts- als auch in einer Linksausführung hergestellt werden.
  • Vorzugsweise sind kulturelle Unterschiede hinsichtlich der Handbewegungssprache zu berücksichtigen (siehe beispielsweise Desmond Morris: "Manwatching", 1977). Dazu können mehrere Vokabulare in den Systemspeicher eingeschrieben werden.
  • Der Handbewegungscode braucht sich nicht auf Zeichen im Zusammenhang mit einer besonderen Position oder Bewegung einer einzelnen Hand zu beschränken. Beispielsweise wird das Zeichen < bring die Objekte näher beieinander > von einem Paar ausgestreckter Hände gegeben, die sich nähern, während sie mehr oder weniger parallel zueinander gehalten werden.
  • Ausführungsbeispiele der Erfindung werden nachstehend anhand der Zeichnung näher erläutert. Es zeigen
  • Fig. 1 ein Beispiel eines erfindungsgemäßen Datenverarbeitungssystems zur Verwendung in einer rechnergestützten Kollaborationsarbeit,
  • Fig. 2 ein Beispiel eines erfindungsgemäßen Datenverarbeitungssystems, das sich zur gegenseitigen Beeinflussung zwischen Benutzer und dem System eignet,
  • Fig. 3A ..... 3H einige Beispiele schematisch dargestellter Handbewegungszeichen zur Verwendung in einem erfindungsgemäßen Datenverarbeitungssytem,
  • Fig. 4 ein Beispiel einer Mehrtastenmaus zur Verwendung in einem erfindungsgemäßen Datenverarbeitungssystem.
  • In Fig. 1 ist schematisch ein Beispiel eines erfindungsgemäßen Datenverarbeitungssystems dargestellt, das zur Mehrbenutzerkommunikation im System benutzt wird. Das Datenverarbeitungssystem 10 enthält eine Anzahl von Stationen 12, die über ein Koppelnetz 14 miteinander gekoppelt sind. Über jede Station 12 ist ein virtueller allen Stationen 12 gemeinsamer Arbeitsspeicher zugänglich und von jeder Station 12 können Daten in diesen virtuellen Arbeitsspeicher eingeführt werden. Der virtuelle Arbeitsspeicher wird in jeder Station 12 über eine Anzeige 16 visualisiert. Programmschritte an angezeigten Daten müssen mit einem Handbewegungscode vorgeschlagen oder ausgeführt werden. Dazu enthält jede Station 12 neben einer (nicht dargestellten) herkömmlichen Dateneingangseinrichtung, wie z. B. eines alphanumerischen Tastenfelds oder eines Digitalisiertabletts, ein Wählmittel 18 zum Wählen einer besonderen Handbewegungsabbildung aus einer Mehrzahl im Speicher 20 gespeicherter Handbewegungsabbildungen. Diese besondere Handbewegungsabbildung bringt zum Visualisieren besondere in den gemeinsamen virtuellen Arbeitsspeicher einzuführende Information zum Ausdruck. Beispielsweise können zum kollektiven Lösen von Ordnungs-, Entwurfs- oder Schematisierproblemen in informationselementen wie Kennwörtern oder Symbolen, diese Elemente auf herkömmliche Weise in den virtuellen Arbeitsspeicher eingegeben werden, wonach die gewünschten Programmschritte an diesen Elementen mittels besonderen Handbewegungsabbildungen nach Eingabe in denselben virtuellen Arbeitsspeicher visualisierbar und für sämtliche Benutzer sichtbar sind. Außerdem lassen sich die gewünschten Programmschritte mit denselben Handbewegungsabbildungen durchführen, die damit sowohl für die Benutzer als auch für das System bedeutungsvoll sind. Beispielsweise wird nach der Eingabe eines besonderen Handbewegungszeichens oder zusammengesetzten Zeichens in ein spezielles Gebiet als visuell mit einem angezeigten Informationselement verknüpft, und nach dem Erreichen von Übereinstimmung über die Durchführung eines vom Handbewegungszeichen oder zusammengesetzten Zeichens dargestellten besonderen Programmschritts die Durchführung gestartet, zum Beispiel durch Anklicken einer Aktiviertaste oder eines Aktivierknopfes.
  • Es sei bemerkt, daß die Benutzer sich nicht im selben echten Arbeitsraum befinden müssen, wie z. B. in einem Versammlungsort oder einem Konferenzsaal. Faktisch können sie auf verschiedene Räumlichkeiten, Gebäuden oder gar Länder verstreut sein.
  • In Fig. 2 ist ein Beispiel eines erfindungsgemäßen Datenverarbeitungssystems zur Verwendung für gegenseitige Beeinflussung zwischen dem Benutzer und dem System dargestellt.
  • Das Datenverarbeitungssystem 10 enthält nunmehr eine Anzeige 16 als Rückkoppelmittel zum Benutzer hin, und außerdem die obigen (nicht dargestellten) herkömmlichen Dateneingabeeinrichtungen, ein Wählmittel zum Wählen vorgegebener Programmschritte auf der Basis eines im Speicher 20 gespeicherten Handbewegungscodes. Beim Eingeben eines ausgewählten Handbewegungszeichens in das System 10 führt ein Bearbeitungsgerät 22 an den an der Anzeige 16 dargestellten Daten einen damit verknüpften Programmschritt aus. Zum Beispiel kann eine Programmieraufgabe unter Verwendung von Handbewegungscode-Programmschritten durchgeführt werden, wie z. B. verringere die Abmessungen einer ausgewählten ein Objekt darstellenden Abbildung, vergrößere den horizontalen Abstand zwischen zwei ausgewählten Objekten, lösche ein spezielles Merkmal. Dies läßt sich beispielsweise durch Ersteingabe eines Handanzeigeprogrammschritts erfüllen, der eine angezeigte Entität angibt, an der ein folgender Programmschritt durchgeführt wird, wonach der bezweckte Programmschritt in Übereinstimmung mit dem verfügbaren Handbewegungscode ausgewählt wird.
  • In Fig. 3A ..... 3H sind schematisch dargestellte Beispiele schematisierter Handabbildungsbewegungen zur Darstellung von Programmschritten wiedergegeben.
  • In Fig. 3A ist ein Zeichen dargestellt, das zum Wiedergeben des Programmschritts < open file > benutzt werden kann, während sein Gegenstück < close file > in Fig. 3B dargestellt ist. Dasselbe Zeichenpaar ist brauchbar zum Festhalten eines besonderen gezeigten Objekts (Fig. 3B) zum Befördern über das angezeigte Feld, bis es freigegeben wird (Fig. 3A), und dabei eine Verschiebung vollzieht.
  • Die Zeichen der Fig. 3C und 3D sind verwendbar für die Programmschritte < increase a selected (or all) dimension(s) > bzw. < decrease a selected (or all) linear dimension(s) > . In Fig. 3E ist das Zeichen zum Angeben einer besonderen angezeigten Eigenschaft dargestellt und kann zum Auswählen nach der Angabe benutzt werden. In Fig. 3F ist das Zeichen dargestellt, das zum Löschen oder Entfernen einer besonderen angezeigten Eigenschaft durch Anbringen oder Bewegen des Zeichens über diese besondere Eigenschaft. Eine andere Anwendung kann die Unterbrechungsangabe für eine Sequenz von Programmschritten sein, die den Eindruck eines < Stopp > -Zeichens gibt. Das Zeichen nach Fig. 3G kann zum Angeben einer bezweckten Abstandsänderung zwischen zwei angezeigten Objekten hinsichtlich einer vorgegebenen Abmessung verwendet werden. Das Zeichen in Fig. 3H kann zum Angeben eines Fensters verwendet werden, wobei die Aufmerksamkeit auf das Angezeigte im Fenster gelenkt wird, beispielsweise zum Begrenzen der Anzahl zu bearbeitender Objekte.
  • Auf diese Weise können abhängig vom Kontext Handabbildungsbewegungen und ihre Sequenzen als künstliches Äquivalent einer natürlichen Gestensprache zum Ausdrücken von Information in einem vollständigen Format verwendet werden, die von den Benutzern verstanden oder vom System bearbeitet wird.
  • Die Handbewegungszeichen können als statisch wiedergegeben werden oder gleichsam als Bewegungen wie in wirklicher Gestensprache. Beispielsweise kann das in Fig. 3C angegebene Zeichen mit den Zeigefinger- und Daumenpositionen dargestellt werden, die zwischen den betreffenden Stellen hin- und hergehen, wobei die Spitzen des Zeigefingers und des Daumens im Abstand voneinander liegen. Auf andere Weise kann die Farbe der Graustufe periodisch wechseln.
  • In Bezug auf die Bewegungen in Fig. 3C, 3D und 3G kann die Linearabmessung im Zusammenhang mit den betreffenden angezeigten Programmschritten dadurch gewählt werden, daß das Wählmittel mit Tasten und Knöpfen versehen wird, mit denen aus je einer oder mehrerer möglichen Richtungen gewählt werden kann, oder mit einem Knopf zum Drehen der Abbildung der angezeigten Handabbildungsbewegung, wobei die besondere Abmessung gewählt wird. Wie bereits erwähnt, können Handabbildungen zum Ausdrücken zusammengesetzter Bedeutungen kombiniert werden. Zum Beispiel drückt die Wahl oder die Anzeige eines besonderen dargestellten Objekts (Fig. 3E) und darauf das Winken mit einer flachen Hand (Fig. 3F) über das Objekt oder in der Nähe des Objekts das Ziel zum Entfernen des Objekts oder bei der Aktivierung aus, oder es wird damit das Objekt entfernt. Eine andere Zusammensetzung ist zum Beispiel die Verwendung des Fensterzeichens nach Fig. 3H, das die Aufmerksamkeit auf einen beschränkten Teil des virtuellen Arbeitsraumes lenkt, beispielsweise auf eine Objektgruppe, gefolgt vom Zeichen nach Fig. 3G, mit dem die flachen Hände näher beieinander gebracht werden und damit 1 angeben, daß der Programmschritt zum Einschränken der Gruppe oder zum einheitliche Reduzieren der Abmessung durchgeführt wird.
  • In Fig. 4 ist ein schematische Beispiel einer Mehrtasten-Maueinrichtung zur Verwendung mit einem erfindungsgemäßen Datenverarbeitungssystem dargestellt.
  • Die Maus 40 enthält ein Gehäuse 42, dessen Form der Hand des Benutzers angepaßt ist. Die Position der Tasten 44, 46, 48, 50, 54 und 56 ist derart gewählt, daß eine ergonomisch gerechtfertigte Bedienung der Maus 40 geboten wird. Die Stelle der Taste 46 ist einigermaßen mit einer geschlossenen Hand verknüpft, entsprechend einem Zeichen wie das nach Fig. 3B. Die Stelle der Taste 8 ist zum Anzeigen oder Auswählen eines angezeigten Elements auf der Anzeige, wobei die Hand des Benutzers entsprechend der Position der Handabbildung nach Fig. 3E positioniert wird. Die Tasten 50 und 52 zwingen der Hand des Benutzers zum Ausführen von Bewegungen, die denen nach Fig. 3C bzw. 3D entsprechen, und eignen sich also zum Auslösen von Programmschritten, die mit diesen Bewegungen verknüpft werden können. Die Taste 54 ist auf dieselbe ergonomische Weise zum Auslösen einer < open file> -Instruktion oder einer < let loose the indicated object> -Instruktion verwendbar, wie vom Zeichen nach Fig. 3 A bezeichnet. Die mit einer gestrichelten Linie gezogene Taste 56 kann zum Wählen des < Unterbrechungs)-Programmschritts oder der < löschen> -Instruktion verwendet werden.

Claims (7)

1. Datenverarbeitungssystem (10) mit
- Anzeigemitteln (16) zum Visualisieren eines visuell zugänglichen virtuellen Arbeitsraumes,
- Muster erzeugenden Mitteln zum Erzeugen einer Abbildung einer schematisch dargestellten menschlichen Hand,
dadurch gekennzeichnet, dass
- das Muster erzeugende Mittel Steuermittel (18, 20) enthält, die es ermöglichen, daß mehrere der Benutzer sich den visuell zugänglichen virtuellen Arbeitsraum zur Steuerung einer Bewegung der mehreren einzelnen schematisch dargestellten Handabbildungen zum Kommunizieren mit einem anderen der mehreren Benutzer über das Anzeigemittel mittels einer Handgestensprache teilen.
2. System nach Anspruch 1, worin das Anzeigemittel mehrere Einzelanzeigen zur Verwendung der mehreren einzelnen Benutzer umfaßt.
3. System nach Anspruch 1, worin das Steuermittel folgende Elemente enthält:
- einen Speicher (20) zum Einschreiben einer Anzahl von Handbewegungsabbildungen,
- mit dem Speicher gekoppelte Wählmittel (18) zum Auswählen einer besonderen Handbewegungsabbildung oder einer besonderen Sequenz von Handbewegungsabbildungen.
4. System nach Anspruch 3, worin das Wählmittel wenigstens eine der folgenden Einrichtungen enthält:
- ein Tastenfeld mit einer besonderen vom Benutzer steuerbaren Taste zum Auswählen einer besonderen Bewegung durch Betätigung dieser besonderen Taste,
- eine Mehrtasten-Mauseinrichtung (40) zum Auswählen einer besonderen Handabbilungsbewegung oder einer Sequenz von Handabbildungsbewegungen durch Betätigen einer besonderen Taste (44, 46, 48, 50, 52, 54, 56).
5. System nach Anspruch 4, worin das Wählmittel die Mehrtasten- Mauseinrichtung (40) enthält, in der Positionen der Tasten (44 ... 56) den besonderen Handbewegungen der Hand des Benutzers zum Wählen eines besonderen Mausprogrammschritts entsprechen, wobei jede besondere Handbewegung des Benutzers mit einer besonderen Abbildung der Handbewegungsabbildungen zur Darstellung des besonderen Programmschritts übereinstimmt.
6. System nach Anspruch 1, worin das Steuermittel Identifikationsmittel zum Zuordnen einer Stationskennung zu jeder einzelnen der schematisch dargestellten Handabbildungen zum Identifizieren des betreffenden Benutzers enthält, der die betreffende schematisch dargestellte Handabbildung steuert.
7. Verfahren zum Ermöglichen der Kommunikation mehrerer Benutzer miteinander mittels einer Handbewegungssprache über Anzeigemittel, die visuellen Zugang zu einem virtuellen Arbeitsraum geben, und dieses Verfahren umfaßt
- die Erzeugung mehrfacher schematisch dargestellter Handabbildungen am Anzeigemittel,
- die Ermöglichung der individuellen Steuerung einer Bewegung einer jeden einzelnen der schematisch dargestellten Handbewegungen von jedem einzelnen der mehreren Benutzer.
DE69032645T 1990-04-02 1990-04-02 Datenverarbeitungssystem mit auf Gesten basierenden Eingabedaten Expired - Fee Related DE69032645T2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP90200780A EP0450196B1 (de) 1990-04-02 1990-04-02 Datenverarbeitungssystem mit auf Gesten basierenden Eingabedaten

Publications (2)

Publication Number Publication Date
DE69032645D1 DE69032645D1 (de) 1998-10-15
DE69032645T2 true DE69032645T2 (de) 1999-04-08

Family

ID=8204983

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69032645T Expired - Fee Related DE69032645T2 (de) 1990-04-02 1990-04-02 Datenverarbeitungssystem mit auf Gesten basierenden Eingabedaten

Country Status (5)

Country Link
US (1) US5319747A (de)
EP (1) EP0450196B1 (de)
JP (1) JPH04260919A (de)
KR (1) KR100209867B1 (de)
DE (1) DE69032645T2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013207528A1 (de) * 2013-04-25 2014-10-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Interagieren mit einem auf einer Datenbrille angezeigten Objekt

Families Citing this family (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9025286D0 (en) * 1990-11-21 1991-01-02 Smiths Industries Plc Radar apparatus
JP3161725B2 (ja) * 1990-11-21 2001-04-25 株式会社日立製作所 ワークステーションおよび共同情報処理システム
WO1992009948A1 (en) * 1990-11-30 1992-06-11 Vpl Research, Inc. Improved method and apparatus for creating virtual worlds
US5262777A (en) * 1991-11-16 1993-11-16 Sri International Device for generating multidimensional input signals to a computer
US5398310A (en) * 1992-04-13 1995-03-14 Apple Computer, Incorporated Pointing gesture based computer note pad paging and scrolling interface
US5563996A (en) * 1992-04-13 1996-10-08 Apple Computer, Inc. Computer note pad including gesture based note division tools and method
FR2695745B1 (fr) * 1992-09-15 1994-10-28 Sextant Avionique Procédé de dialogue gestuel multimode dans un environnement virtuel.
FR2696574B1 (fr) * 1992-10-06 1994-11-18 Sextant Avionique Procédé et dispositif d'analyse d'un message fourni par des moyens d'interaction à un système de dialogue homme-machine.
US5561811A (en) * 1992-11-10 1996-10-01 Xerox Corporation Method and apparatus for per-user customization of applications shared by a plurality of users on a single display
US5659764A (en) * 1993-02-25 1997-08-19 Hitachi, Ltd. Sign language generation apparatus and sign language translation apparatus
JPH0773190A (ja) * 1993-04-29 1995-03-17 Matsushita Electric Ind Co Ltd ペンベースコンピューターシステム用絵文字ネーミング
JP3630712B2 (ja) * 1994-02-03 2005-03-23 キヤノン株式会社 ジェスチャー入力方法及びその装置
US5732227A (en) * 1994-07-05 1998-03-24 Hitachi, Ltd. Interactive information processing system responsive to user manipulation of physical objects and displayed images
US6266057B1 (en) * 1995-07-05 2001-07-24 Hitachi, Ltd. Information processing system
JPH0822370A (ja) * 1994-07-06 1996-01-23 Minolta Co Ltd 情報処理装置
US5563988A (en) * 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
CN1183151A (zh) * 1995-04-28 1998-05-27 松下电器产业株式会社 接口装置
US5831584A (en) * 1995-07-28 1998-11-03 Chrysler Corporation Hand calibration system and virtual display selection for vehicle simulator
US5784056A (en) * 1995-12-29 1998-07-21 Sun Microsystems, Inc. System and method for temporally varying pointer icons
US5796395A (en) * 1996-04-02 1998-08-18 Wegener Internet Projects Bv System for publishing and searching interests of individuals
US5874948A (en) * 1996-05-28 1999-02-23 International Business Machines Corporation Virtual pointing device for touchscreens
US5748184A (en) * 1996-05-28 1998-05-05 International Business Machines Corporation Virtual pointing device for touchscreens
US5764222A (en) * 1996-05-28 1998-06-09 International Business Machines Corporation Virtual pointing device for touchscreens
US6067079A (en) * 1996-06-13 2000-05-23 International Business Machines Corporation Virtual pointing device for touchscreens
US5835079A (en) * 1996-06-13 1998-11-10 International Business Machines Corporation Virtual pointing device for touchscreens
US5808605A (en) * 1996-06-13 1998-09-15 International Business Machines Corporation Virtual pointing device for touchscreens
US5864635A (en) * 1996-06-14 1999-01-26 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by stroke analysis
US5862256A (en) * 1996-06-14 1999-01-19 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by size discrimination
US5933134A (en) * 1996-06-25 1999-08-03 International Business Machines Corporation Touch screen virtual pointing device which goes into a translucent hibernation state when not in use
US5812118A (en) * 1996-06-25 1998-09-22 International Business Machines Corporation Method, apparatus, and memory for creating at least two virtual pointing devices
US5856824A (en) * 1996-06-25 1999-01-05 International Business Machines Corp. Reshapable pointing device for touchscreens
US5790104A (en) * 1996-06-25 1998-08-04 International Business Machines Corporation Multiple, moveable, customizable virtual pointing devices
US5801707A (en) * 1996-07-19 1998-09-01 Motorola, Inc. Method and apparatus for displaying hierarchical data associated with components of a system
US6002808A (en) * 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
US5872559A (en) * 1996-10-04 1999-02-16 International Business Machines Corporation Breakaway and re-grow touchscreen pointing device
US5870083A (en) * 1996-10-04 1999-02-09 International Business Machines Corporation Breakaway touchscreen pointing device
KR19990011180A (ko) 1997-07-22 1999-02-18 구자홍 화상인식을 이용한 메뉴 선택 방법
GB9722766D0 (en) 1997-10-28 1997-12-24 British Telecomm Portable computers
US6215498B1 (en) 1998-09-10 2001-04-10 Lionhearth Technologies, Inc. Virtual command post
US6222465B1 (en) * 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
US7148879B2 (en) 2000-07-06 2006-12-12 At&T Corp. Bioacoustic control system, method and apparatus
AU2001286450A1 (en) * 2000-08-12 2002-02-25 Georgia Tech Research Corporation A system and method for capturing an image
US20030001908A1 (en) * 2001-06-29 2003-01-02 Koninklijke Philips Electronics N.V. Picture-in-picture repositioning and/or resizing based on speech and gesture control
US20030048260A1 (en) * 2001-08-17 2003-03-13 Alec Matusis System and method for selecting actions based on the identification of user's fingers
US7379053B2 (en) * 2001-10-27 2008-05-27 Vortant Technologies, Llc Computer interface for navigating graphical user interface by touch
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
US20050052427A1 (en) * 2003-09-10 2005-03-10 Wu Michael Chi Hung Hand gesture interaction with touch surface
US7667700B1 (en) 2004-03-05 2010-02-23 Hrl Laboratories, Llc System and method for navigating operating in a virtual environment
US20050273201A1 (en) * 2004-06-06 2005-12-08 Zukowski Deborra J Method and system for deployment of sensors
US7743348B2 (en) * 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
US7925996B2 (en) * 2004-11-18 2011-04-12 Microsoft Corporation Method and system for providing multiple input connecting user interface
JP2006172439A (ja) * 2004-11-26 2006-06-29 Oce Technologies Bv 手操作を用いたデスクトップスキャン
US8659546B2 (en) 2005-04-21 2014-02-25 Oracle America, Inc. Method and apparatus for transferring digital content
US8209620B2 (en) * 2006-01-31 2012-06-26 Accenture Global Services Limited System for storage and navigation of application states and interactions
US7599520B2 (en) * 2005-11-18 2009-10-06 Accenture Global Services Gmbh Detection of multiple targets on a plane of interest
US7983451B2 (en) * 2006-06-30 2011-07-19 Motorola Mobility, Inc. Recognition method using hand biometrics with anti-counterfeiting
US10915242B1 (en) * 2006-12-19 2021-02-09 Philip R. Schaefer Interface to computer and other display information
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
US9134904B2 (en) 2007-10-06 2015-09-15 International Business Machines Corporation Displaying documents to a plurality of users of a surface computer
US8139036B2 (en) 2007-10-07 2012-03-20 International Business Machines Corporation Non-intrusive capture and display of objects based on contact locality
US8024185B2 (en) 2007-10-10 2011-09-20 International Business Machines Corporation Vocal command directives to compose dynamic display text
US9203833B2 (en) 2007-12-05 2015-12-01 International Business Machines Corporation User authorization using an automated Turing Test
CN102112945B (zh) * 2008-06-18 2016-08-10 奥布隆工业有限公司 用于交通工具接口的基于姿态的控制系统
US8650634B2 (en) 2009-01-14 2014-02-11 International Business Machines Corporation Enabling access to a subset of data
JP5168161B2 (ja) * 2009-01-16 2013-03-21 ブラザー工業株式会社 ヘッドマウントディスプレイ
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US20100257462A1 (en) * 2009-04-01 2010-10-07 Avaya Inc Interpretation of gestures to provide visual queues
US8441702B2 (en) 2009-11-24 2013-05-14 International Business Machines Corporation Scanning and capturing digital images using residue detection
US8610924B2 (en) 2009-11-24 2013-12-17 International Business Machines Corporation Scanning and capturing digital images using layer detection
US20120016641A1 (en) * 2010-07-13 2012-01-19 Giuseppe Raffa Efficient gesture processing
USD667419S1 (en) * 2011-03-09 2012-09-18 Microsoft Corporation Display screen with user interface
US8601380B2 (en) * 2011-03-16 2013-12-03 Nokia Corporation Method and apparatus for displaying interactive preview information in a location-based user interface
EP2686254B1 (de) * 2011-03-17 2018-08-15 SSI Schäfer Automation GmbH Steuerung und überwachung einer lager- und kommissionieranlage durch bewegung und sprache
US8908894B2 (en) 2011-12-01 2014-12-09 At&T Intellectual Property I, L.P. Devices and methods for transferring data through a human body
US9025111B2 (en) 2012-04-20 2015-05-05 Google Inc. Seamless display panel using fiber optic carpet
US8782549B2 (en) 2012-10-05 2014-07-15 Google Inc. Incremental feature-based gesture-keyboard decoding
US9021380B2 (en) * 2012-10-05 2015-04-28 Google Inc. Incremental multi-touch gesture recognition
US8843845B2 (en) 2012-10-16 2014-09-23 Google Inc. Multi-gesture text input prediction
US8701032B1 (en) 2012-10-16 2014-04-15 Google Inc. Incremental multi-word recognition
US8850350B2 (en) 2012-10-16 2014-09-30 Google Inc. Partial gesture text entry
US9195320B1 (en) 2012-10-22 2015-11-24 Google Inc. Method and apparatus for dynamic signage using a painted surface display system
US9164596B1 (en) 2012-10-22 2015-10-20 Google Inc. Method and apparatus for gesture interaction with a photo-active painted surface
US8819574B2 (en) 2012-10-22 2014-08-26 Google Inc. Space prediction for text input
US9014417B1 (en) 2012-10-22 2015-04-21 Google Inc. Method and apparatus for themes using photo-active surface paint
US8832589B2 (en) 2013-01-15 2014-09-09 Google Inc. Touch keyboard using language and spatial models
US9081500B2 (en) 2013-05-03 2015-07-14 Google Inc. Alternative hypothesis error correction for gesture typing
US20150058774A1 (en) * 2013-08-22 2015-02-26 Intuit Inc. Gesture-based visualization of financial data
US10108984B2 (en) 2013-10-29 2018-10-23 At&T Intellectual Property I, L.P. Detecting body language via bone conduction
US9594433B2 (en) 2013-11-05 2017-03-14 At&T Intellectual Property I, L.P. Gesture-based controls via bone conduction
US9349280B2 (en) 2013-11-18 2016-05-24 At&T Intellectual Property I, L.P. Disrupting bone conduction signals
US10678322B2 (en) 2013-11-18 2020-06-09 At&T Intellectual Property I, L.P. Pressure sensing via bone conduction
US9715774B2 (en) 2013-11-19 2017-07-25 At&T Intellectual Property I, L.P. Authenticating a user on behalf of another user based upon a unique body signature determined through bone conduction signals
US9405892B2 (en) 2013-11-26 2016-08-02 At&T Intellectual Property I, L.P. Preventing spoofing attacks for bone conduction applications
USD757114S1 (en) * 2014-02-21 2016-05-24 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
US9582071B2 (en) 2014-09-10 2017-02-28 At&T Intellectual Property I, L.P. Device hold determination using bone conduction
US9589482B2 (en) 2014-09-10 2017-03-07 At&T Intellectual Property I, L.P. Bone conduction tags
US10045732B2 (en) 2014-09-10 2018-08-14 At&T Intellectual Property I, L.P. Measuring muscle exertion using bone conduction
US9882992B2 (en) 2014-09-10 2018-01-30 At&T Intellectual Property I, L.P. Data session handoff using bone conduction
US9600079B2 (en) 2014-10-15 2017-03-21 At&T Intellectual Property I, L.P. Surface determination via bone conduction
US10477328B2 (en) * 2016-08-01 2019-11-12 Qualcomm Incorporated Audio-based device control
US10831316B2 (en) 2018-07-26 2020-11-10 At&T Intellectual Property I, L.P. Surface interface
JP7330507B2 (ja) * 2019-12-13 2023-08-22 株式会社Agama-X 情報処理装置、プログラム、及び、方法
CN111228793B (zh) * 2020-01-21 2021-11-19 腾讯科技（深圳）有限公司 交互界面的显示方法和装置、存储介质及电子装置
USD999776S1 (en) * 2020-04-29 2023-09-26 Toontrack Music Ab Display screen or portion thereof with graphical user interface
USD1000474S1 (en) * 2021-03-17 2023-10-03 Beijing Xiaomi Mobile Software Co., Ltd. Display screen with animated graphical user interface
USD1017638S1 (en) * 2022-01-20 2024-03-12 Clo Virtual Fashion Inc. Display panel with icon
USD1017637S1 (en) * 2022-01-20 2024-03-12 Clo Virtual Fashion Inc. Display panel with icon

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4414537A (en) * 1981-09-15 1983-11-08 Bell Telephone Laboratories, Incorporated Digital data entry glove interface device
US5008853A (en) * 1987-12-02 1991-04-16 Xerox Corporation Representation of collaborative multi-user activities relative to shared structured data objects in a networked workstation environment
US4974173A (en) * 1987-12-02 1990-11-27 Xerox Corporation Small-scale workspace representations indicating activities by other users
US4878843A (en) * 1988-06-08 1989-11-07 Kuch Nina J Process and apparatus for conveying information through motion sequences
US5047952A (en) * 1988-10-14 1991-09-10 The Board Of Trustee Of The Leland Stanford Junior University Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013207528A1 (de) * 2013-04-25 2014-10-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Interagieren mit einem auf einer Datenbrille angezeigten Objekt
US9910506B2 (en) 2013-04-25 2018-03-06 Bayerische Motoren Werke Aktiengesellschaft Method for interacting with an object displayed on data eyeglasses

Also Published As

Publication number Publication date
US5319747A (en) 1994-06-07
JPH04260919A (ja) 1992-09-16
EP0450196A1 (de) 1991-10-09
KR100209867B1 (ko) 1999-07-15
DE69032645D1 (de) 1998-10-15
EP0450196B1 (de) 1998-09-09
KR910018936A (ko) 1991-11-30

Similar Documents

Publication Publication Date Title
DE69032645T2 (de) Datenverarbeitungssystem mit auf Gesten basierenden Eingabedaten
DE69130773T2 (de) Elektronische anzeige und datenverarbeitungsvorrichtung
DE69230095T2 (de) Bildfensterverwaltung von verbundenen Anwendungen
DE69429237T2 (de) Benutzerschnittstelnlevorrichtung für Rechnersystem
DE69426919T2 (de) Gerät und Verfahren zur Ausführung von vielen verkettenden Befehlsgesten in einen System mit Gestenbenutzerschnittstelle
DE60024655T2 (de) Verfahren zur benutzung von mit einem anzeigegerät verbundenen tasten für den zugriff und die ausführung von damit verbundenen funktionen
DE69328522T2 (de) Verfahren und Vorrichtung zur Benutzung von Browsern für Sammlungen
DE3650695T2 (de) Grafikbetonungslicht angrenzend an ein Positionsanzeigesymbol
DE69220583T2 (de) Vorrichtung zum Anzeigen von Gebieten auf einem Sichtgerät
DE69426476T2 (de) Benutzerschnittstelle mit gleichzeitig zu bewegenden Hilfsmitteln und Cursor
DE4446139A1 (de) Verfahren und Einrichtung zum Hervorheben von Objekten in einem Konferenzsystem
EP1374027B1 (de) Positionieren von auf einer benutzeroberfläche angezeigten bereichen
DE4434878A1 (de) Fern-Anzeige von Objekten und Cursorbewegungen in einem Konferenzsystem
DE69221204T2 (de) Datenverarbeitungsgerät zur Fensterpositionensteuerung
EP3400515A1 (de) Benutzerschnittstelle mit mehreren anzeigen und verfahren zur positionierung von inhalten auf mehreren anzeigen
DE69026516T2 (de) Digitalisiertablett mit zweimodenläufer/maus
DE102012220062A1 (de) Einstellung mehrerer benutzereingabeparameter
WO2003023592A2 (de) Desktopmanager
DE19900984A1 (de) Vorrichtung und Verfahren zur Ermöglichung einer Manipulation von Graphikbildern zur Erzeugung eines Graphikbildes
DE112019002798T5 (de) Informationsverarbeitungsvorrichtung, informationsverabeitungsverfahren und programm
DE69320288T2 (de) Verfahren und Vorrichtung zur Interaktion mit einer Benutzerschnittstelle eines Griffel verwendendes Rechnersystems
DE69029247T2 (de) Verbesserung der Schnittstelle für Anwendungsentwurf
DE69706294T2 (de) Tastatur
DE68928737T2 (de) Vorrichtung zur handhabung von dokumenten in einem datenverarbeitungssystem
DE69811127T2 (de) Verfahren um objekte in den arbeitsbereich in eine rechneranwendung einzubringen

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee