DE69314587T2 - Verfahren für multimodalen Gebärdendialog in einer virtuellen Umwelt - Google Patents

Verfahren für multimodalen Gebärdendialog in einer virtuellen Umwelt

Info

Publication number
DE69314587T2
DE69314587T2 DE1993614587 DE69314587T DE69314587T2 DE 69314587 T2 DE69314587 T2 DE 69314587T2 DE 1993614587 DE1993614587 DE 1993614587 DE 69314587 T DE69314587 T DE 69314587T DE 69314587 T2 DE69314587 T2 DE 69314587T2
Authority
DE
Germany
Prior art keywords
mode
hand
sign
virtual
communication means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE1993614587
Other languages
English (en)
Other versions
DE69314587D1 (de
Inventor
Bruno Barbier
Jean-Jacques Favot
Patrick Lach
Jean-Noel Perbet
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales Avionics SAS
Original Assignee
Thales Avionics SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales Avionics SAS filed Critical Thales Avionics SAS
Publication of DE69314587D1 publication Critical patent/DE69314587D1/de
Application granted granted Critical
Publication of DE69314587T2 publication Critical patent/DE69314587T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

  • Die vorliegende Erfindung betrifft ein Verfahren für Gebärdendialog mit mehreren Betriebsarten in einer virtuellen Umgebung. Sie findet insbesondere auf virtuelle Umgebungen Anwendung, die Gebärden-Wechselwirkungsmittel zwischen einer oder mehreren Bedienungspersonen und einer Maschine enthalten, wobei der Gebärdendialog beispielsweise auf der Bewegung einer Hand oder auf der Position der Hand im Raum basiert.
  • Das Erscheinen von Systemen auf dem Markt, die Gebärden erkennen können und die Position beispielsweise der Hand einer Bedienungsperson im Raum lokalisieren können, hat die Entwicklung des Gebärdendialogs in den Menschimaschine-Wechselwirkungen ermöglicht. Im Fall der Erkennung von Bewegungen der Hand wird die Gebärdenkommunikation mittels dem Fachmann bekannter digitaler Handschuhe geschaffen. Diese Systeme liefern dann im allgemeinen Informationen hinsichtlich der Position, der Orientierung und der Form der Hand in regelmaßigen Zeitintervallen, beispielsweise in Intervallen von einigen zehn Millisekunden. Die Position der Hand wird anhand eines festen Bezugssystems erkannt, das durch ein kartesisches Koordinatensystem (x, y, z) orthonormiert ist, wobei die Orientierung der Hand durch drei Winkel Ψ, θ, φ angegeben wird und die Form der Hand durch die Biegungswinkel zweier Hauptgelenke jedes der fünf Finger geschätzt wird. Außerdem besitzen bestimmte Systeme das Vermögen, die Haltung durch Vergleich der Werte der Biegungswinkel der Gelenke mit im voraus aufgezeichneten Tabellen, die die zu identifizierenden Haltungen definieren, zu erkennen.
  • Das Erkennen der Haltung ermöglicht jedoch nicht die Entwicklung eines für bestimmte Anwendungen ausreichend reichen Gebärdendialogs. Ein solcher Kommunikationsmodus bleibt nämlich insbesondere wegen der begrenzten Anzahl von möglichen Haltungen sehr begrenzt, wobei diese Haltungen beispielsweise eine Zustimmung, ein Anhalten oder ein Andern der Prozedur oder irgendwelche repräsentativen Zahlen angeben können.
  • Das Ziel der Erfindung ist die Beseitigung dieses Nachteils, indem insbesondere ein Standardsystem für Gebärdendialog mit mehreren sofort wählbaren Betriebsarten versehen wird, wobei die Gebärde hier als eine Bewegung, eine Haltung oder eine Position im Raum eines Teils oder des gesamten Körpers der Bedienungsperson angesehen wird.
  • Hierzu hat die Erfindung ein Verfahren für Gebärdendialog in einer virtuellen Umgebung unter Verwendung von Gebärdenkommunikationsmitteln, deren Zustand durch eine Parametergesamtheit definiert ist, zum Gegenstand, dadurch gekennzeichnet, daß es wenigstens zwei sich gegenseitig ausschließende Betriebsarten verwendet, denen eine Prioritätsreihenfolge zugewiesen ist, wobei der Übergang von einer Betriebsart zu einer anderen durch einen Schritt der Überschreitung einer Grenze durch die Gebärdenkommunikationsmittel hervorgerufen wird, wobei eine Grenze durch den Wert eines oder mehrerer Parameter der Gesamtheit definiert ist.
  • Die Erfindung besitzt die Hauptvorteile, daß sie die allgemeine Ergonomie und den Wirkungsgrad interaktiver Mensch/Maschine-Systeme verbessert, indem sie insbesondere einen zugleich reicheren und natürlicheren Gebärdendialog ermöglicht, daß sie an sämtliche virtuellen Systeme angepaßt werden kann, die Gebärdenkommunikationsmittel enthalten, daß sie die Größe der Anwendungssoftware nicht übermäßig erhöht und daß ihre Nutzung wirtschaftlich ist.
  • Weitere Merkmale und Vorteile der Erfindung werden deutlich anhand der Beschreibung, die mit Bezug auf die beigefügten Zeichnungen gegeben wird, in denen:
  • - Fig. 1 ein Standardsystem für Gebärdenerkennung gemäß dem Stand der Technik zeigt;
  • - Fig. 2 eine Darstellung eines Verfahrens für Gebärdendialog gemäß der Erfindung ist;
  • - die Fig. 3a und 3b Beispiele für Grenzen zeigen; die Fig. 5 und 6 Betriebsarten des Verfahrens für Gebärdendialog gemäß der Erfindung zeigen;
  • - Fig. 6 ein Anwendungsbeispiel des Verfahrens für Gebärdendialog gemäß der Erfindung zeigt;
  • - Fig. 7 einen Wählalgorithmus für die Betriebsarten des Verfahrens gemäß der Erfindung zeigt;
  • Fig. 8 ein Petri-Netz zeigt, das die Erzeugung von Aktionen der Betriebsarten des Verfahrens gemäß der Erfindung beschreibt.
  • Fig. 1 zeigt ein Standardsystem für Gebärdenerkennung gemäß dem Stand der Technik. Die erkannten Gebärden sind im allgemeinen aus naheliegenden Gründen der Wirtschaftlichkeit, der Anzahl möglicher Haltungen und der einfachen Ausführung diejenigen einer Hand 1. Die Haltungen der Hand 1 werden durch einen Sensor 2 angegeben. Dieser enthält insbesondere einen dem Fachmann bekannten digitalen Handschuh, in dem die Hand positioniert wird. Dieser Typ eines Sensors 2 enthält außerdem ein System für die Ortung im Raum, das aus einem elektromagnetischen Sender und aus einem Empfänger des Typs, der beispielsweise am Handgelenk angeordnet ist, gebildet ist. Der Handschuh ist mit Lichtleitfasern für die Messung der Biegung der Finger bedeckt. Eine Steuereinheit verarbeitet die Daten, die ihrerseits an ein Gebärdenerkennungssystem 3 geliefert werden, das an eine interaktive Verarbeitungseinheit eine Nachricht 4 liefert, die beispielsweise die Position und die Orientierung der Hand 1 sowie die Biegung der Finger beschreibt. Die Position der Hand wird durch drei räumliche Koordinaten X, Y, Z in einem orthonormierten System angegeben. Die Orientierung ist durch die drei bekannten Orientierungswinke Ψ, θ, φ definiert, die die Gierbewegung, die Nickbewegung und die Rollbewegung darstellen. Schließlich liefern die Lichtleitfasern, die längs der zehn Gelenke der Finger, zwei pro Finger, verlaufen, die Werte der Biegungs winkel al, α&sub1;, α&sub2;, α&sub3;, α&sub4;, α&sub5;, α&sub6;, α&sub7;, α&sub8;, α&sub9;, α&sub1;&sub0; jedes Gelenks. Die Erkennung der Haltung der Hand 1 erfolgt beispielsweise durch Vergleich der Biegungswinkel der Gelenke mit gespeicherten Tabellen, die die zu identifizierenden Haltungen definieren, wobei das Erkennungssystem 3 beispielsweise eine Codenummer liefert, die der identifizierten Haltung entspricht. Ein solches Gebärdendialogsystem ist sehr begrenzt, insbesondere wegen der begrenzten Anzahl möglicher identifizierbarer Haltungen.
  • Fig. 2 zeigt ein Verfahren für Gebärdendialog gemäß der Erfindung. Im Beispiel sind die Gebärdenkommunikationsnittel 1 stets durch eine Hand dargestellt, es könnten jedoch nichtsdestoweniger andere Mittel verwendet werden, vorausgesetzt, daß ein geeigneter Sensor 2 vorhanden ist. Die Nachrichten 4, die vom Gebärdenerkennungssystem geliefert werden, das mit dem Sensor 2 verbunden ist, sind beispielsweise dieselben wie oben entwickelt. Diese Nachrichten beschreiben den Zustand der Hand 1 mittels der oben definierten Parameter, d. h. mittels der drei räumlichen Koordinaten X, Y, Z, der drei Orientierungswinkel Ψ, θ, φ und der zehn Biegungswinkel α&sub1; bis α&sub1;&sub0;, also beispielsweise mittels wenigstens 16 unabhängiger Parameter. Diese Parameter ermöglichen die Wahl von Funktionen 5, die zu wenigstens zwei unterschiedlichen Betriebsarten gehören, die sich gegenseitig ausschließen und denen eine Prioritätsreihenfolge zugeordnet ist. Beispielsweise und für die Verwirklichung eines Dialogs, der so reich und so natürlich wie möglich ist, enthält das in Fig. 2 gezeigte Dialogverfahren vier Betriebsarten: eine erste Betriebsart für virtuelle Befehle, eine zweite Betriebsart für die Bezeichnung von virtuellen Gegenständen oder Funktionen, eine dritte Betriebsart für die Wahl in einem Menü und eine vierte Betriebsart für die Erkennung der Haltung, wobei die Prioritätsreihenfolgen beispielsweise von der ersten Betriebsart zur vierten Betriebsart abnehmen. Der Übergang von einer Betriebsart zu einer anderen erfolgt durch einen Schritt der Überschreitung einer Grenze 6 durch die Hand. Hierbei ist eine Grenze im Bewegungsraum der Hand 1 durch den Wert eines Parameters oder einer Kombination von Parametern definiert. Die Grenzen können beispielsweise durch eine Strecke, einen Winkel, eine Oberfläche, ein Volumen oder eine Haltung begrenzt sein, wobei eine Betriebsart dann durch die Überschreitung einer Strecke, einer Oberfläche oder eines Volumens oder durch die Änderung eines Winkels oder einer Haltung gewählt wird. Eine gewählte Funktion in einer gegebenen Betriebsart hängt dann nicht nur von den Parametern X, Y, Z, Ψ, θ, φ, α&sub1; bis α&sub1;&sub0;, die den Zustand der Hand 1 definieren, sondern von ihrer Position in bezug auf die im voraus definierten Grenzen ab, wobei der Übergang von einer Betriebsart zu einer anderen durch die Überschreitung einer dieser Grenzen erfolgt. Im Fall der Verwendung von von der Hand verschiedenen Gebärdenkommunikationsmitteln kann die Grenze globaler im Bewegungsraum der Bedienungsperson defi niert sein. Die die Grenzen begrenzenden Parameter stehen mit der Position der Bedienungsperson in deren Bewegungsraum in Beziehung. Im Fall einer Anwendung beispielsweise mit mehreren Bedienungspersonen kann jeder Bedienungsperson eine durch Grenzen definierte Zone zugeordnet sein. Diese Grenzen können beispielsweise zeitabhängig modifiziert oder bewegt werden.
  • Die Fig. 3a und 3b zeigen ein Beispiel von Grenzen, die ein Volumen 7 definieren. In Fig. 3a, in der sich die Hand 1 außerhalb des Volumens 7 befindet, zeigt sie in einer Richtung 8 auf einen durch eine visuelle Anzeige 9 dargestellten Punkt auf einem Bildschirm 10, auf dem beispielsweise ein Objekt 11 dargestellt ist. Dieser Schirm kann interaktiv genannt werden, weil er mit der Bedienungsperson in Wechselwirkung steht. Außerhalb dieses Volumens 7 kann die Hand, die sich in einer gegebenen Betriebsart befindet, das Objekt 11 unabhängig von seiner Stellung beispielsweise nicht einfangen. Sie kann beispielsweise den Punkt 9 oder das Objekt 11 bezeichnen. Hingegen kann die Hand, wenn sie sich innerhalb des Volumens 7 befindet, wie Fig. 3b zeigt, durch eine bestimmte Haltung das Objekt 11 virtuell einfangen, wobei diese letztere Funktion Teil einer Betriebsart für virtuelle Befehle bildet.
  • Wie weiter oben angegeben worden ist, ist die Betriebsart für virtuelle Befehle beispielsweise diejenige mit der höchsten Priorität, während diejenige mit der niedrigsten Priorität die Haltungserkennungsbetriebsart ist. Diese Betriebsart ist dem Fachmann bekannt und liefert beispielsweise eine Codenummer, die eine gespeicherte Haltung identifiziert.
  • Fig. 4 zeigt die Betriebsart mit unmittelbar über der vorhergehenden liegender Priorität, d. h. die Menü-Wählbetriebsart. Eine Funktion dieser Betriebsart verwendet den Biegungswinkel αindex des innersten Gliedes eines Fingers 12, z. B. des Zeigefingers, um in einem beispielsweise auf einem Bildschirm angezeigten Menü eine Wahl vorzunehmen. Eine visuelle Anzeige gibt diese Wahl beispielsweise durch Ändern der Farbe an. Das Winkelveränderungsintervall des Fingers 12, z. B. von 0º bis 90º, wird in so viele Winkelbereiche 13 unterteilt, wie im Menü Wählpunkte 14 vorhanden sind, wobei diese Winkelbereiche beispielsweise gleich sein können.
  • Fig. 4 zeigt ein Beispiel eines Menüs mit fünf Wahlmöglichkeiten und drei Positionen des Fingers 12, wovon die beiden äußersten beispielsweise bei 0º bzw. bei 90º liegen. Eine dritte Position wählt beispielsweise die dritte Wahl. Eine einfache Beziehung ermöglicht die Bestimmung der ausgewählten Wahl in Abhängigkeit vom Biegungswinkel aindex des Fingers 12, z. B. :
  • Ngewählt ganzzahl. Teil von [αindex x Nbereich/90] + 1 (1)
  • wobei Ngewählt die Nummer der gewählten Wahl und NBereich die Anzahl der Winkelbereiche 14 angibt.
  • Die maximale Anzahl von in demselben Menü wählbaren Wählpunkten ist durch die Auflösung des Systems zum Messen des Winkels αindex, beispielsweise eines digitalen Handschuhs, begrenzt.
  • Fig. 5 zeigt die Betriebsart mit einer Priorität, die der vorhergehenden unmittelbar folgt, d. h. die Betriebsart zur Bezeichnung von Gegenständen oder Funktionen. Eine Funktion dieser Betriebsart hat zum Ziel, die Position des Schnittpunkts zwischen einer von der Hand 1 ausgehenden fiktiven Linie 15 mit dem Bildschirm 10 zu berechnen und anzugeben, wobei eine visuelle Anzeige 9 beispielsweise den auf dem Bildschirm 10 bezeichneten Punkt markiert. Der Ausgangspunkt der Linie 15 ist die Position der Hand 1 im Raum, der durch seine Koordinaten in einem System mit Achsen X, Y, Z festgelegt ist, dessen ursprung beispielsweise beim Bildschirm 10 liegt, wobei der Bildschirm in der durch die Achsen Y, Z definierten Ebene liegt. Die Richtung der Linie 15 hängt von der Orientierung der Hand in dem durch die oben definierten Winkel Ψ, θ, φ festgelegten Raum ab, wobei Ψ beispielsweise die Drehung um die Z-Achse angibt, θ die Drehung um die Y- Achse angibt und φ die Drehung um die X-Achse angibt. Die Koordinaten y, z im System mit den Achsen Y, Z sind dann durch die folgenden Beziehungen definiert:
  • y = Yhand + Xhand X tg(Ψ) (2)
  • z = Zhand + Xhand )( tg(φ) (3) wobei XHand, YHand, ZHand die Koordinaten der Hand im System mit den Achsen X, Y, Z sind.
  • Die Betriebsart mit höchster Priorität, im obigen Beispiel die Betriebsart für virtuelle Befehle, führt die Zustandsänderungen der Hand 1 in sequentieller Weise aus. Ein virtueller Befehl wird als Ergebnis einer Zustandsänderungssequenz eines oder mehrerer Parameter erhalten. Es ist dann möglich, Befehle mit hohem Niveau zu definieren, die sich beispielsweise auf die Handhabung von graphischen Gegenständen wie etwa insbesondere Aufnehmen, Verschieben, Ablegen, Verwerfen, Vergrößern und Verkleinern stützen. Die verschiedenen Sequenzen, die die virtuellen Befehle bilden, können mit Hilfe von Petri-Netzen beschrieben werden.
  • Fig. 6 zeigt ein Anwendungsbeispiel des Verfahrens für Gebärdendialog gemäß der Erfindung. Ein digitaler Handschuh, der über die Hand 1 gezogen ist, überträgt den Zustand dieser letzteren an eine interaktive Verarbeitungseinheit beispielsweise über eine serielle Verbindung. Der digitale Handschuh kann beispielsweise Teil eines Systems bilden, das mit dem Namen "Data Glove" bezeichnet ist und von der Firma VPL Research vertrieben wird. Der digitale Handschuh liefert an die Verarbeitungseinheit in regelmäßigen Zeitintervallen von beispielsweise jeweils 30 ms eine Nachricht, die z. B. die Nummer der erkannten Haltung, die Position der Hand durch die räumlichen Koordinaten X, Y, Z, die Orientierung der Hand durch die Winkel Ψ, θ, φ und die zehn Winkel α1,.., α10 der Biegung der Hand umfaßt.
  • Eine Grenze 16 ist durch eine zur Ebene des Bildschirms 10 parallele Ebene definiert, die sich zwischen der Bedienungsperson und dem Bildschirm in einem Abstand Xf von diesem befindet. Wenn die Ebene des Bildschirms 10 die Achsen Y, Z des Achsensystems enthält, ist der Abstand zum Bildschirm durch die Koordinate längs der Achse X definiert. Ebenso ist eine Winkelgrenze 17 durch einen Orientierungswinkel φf, der zwischen einem Ursprungswinkel 0 und dem Winkel φ/2 liegt, definiert. Diese Winkel sind die Orientierungswinkel der Hand 1 bei einer Drehbewegung um den Arm, d. h. z. B. um die Achse X. In einem Beispiel können die Strecke Xf auf 50 cm und der Winkel φf auf π/4 festgelegt sein.
  • Fig. 7 zeigt ein Beispiel eines Wahlalgorithmus für die Betriebsarten, wobei die geprüften Parameter die Strecke X der Hand 1 zum Bildschirm 10, die Nummer P der identifizierten Haltung der Hand und die Orientierung der Hand mittels des oben definierten Orientierungswinkels φ sind. Der erste Schritt 71 des Algorithmus vergleicht die Strecke X der Hand mit der Strecke Xf. Wenn X kleiner als Xf ist, befindet sich die Hand zwischen der Grenze 16 und dem Bildschirm 10, so daß die gewählte Betriebsart die virtuelle Befehlsbetriebsart 72 ist. Im entgegengesetzten Fall prüft ein zweiter Schritt 73 die Identifikationsnummer der Haltung P; falls P den ausgestreckten Zeigefinger bezeichnet, ist die gewählte Betriebsart die Bezeichnungsbetriebsart 74. Wie bei den Werten Xf und φf der Parameter X und φ definiert die Haltung P des gestreckten Zeigefingers eine Grenze. Wenn diese Haltung nicht diejenige der Hand 1 ist, prüft eine dritte Stufe 75 den Orientierungswinkel φ. Falls f zwischen dem Grenzwinkel φf und π/2 liegt, wird beispielsweise die Menüwahlbetriebsart 76 auf dem interaktiven Bildschirm 10 benannt. Diese Betriebsart kann dann durch die flache Hand, Handfläche nach unten und geöffnet, erhalten werden, wobei sich die Hand über der Ebene 16 der durch Xφ definierten Grenze befindet und ihre Koordinate X größer als Xf ist. Im entgegengesetzten Fall wird die Haltungserkennungsbetriebsart 77 gewählt.
  • Die Haltungserkennungsbetriebsart 77 ist die voreingestellte Betriebsart. Sie erkennt beispielsweise ein Gebärdenvokabular, das beispielsweise eine Zustimmung, ein Anhalten der Prozedur, eine Löschung des Bildschirms sowie die Zahlen 1, 2 und 3 angibt.
  • Die obenbeschriebene Menüwählbetriebsart 76 ermöglicht bei spielsweise eine Wahl in verschiedenen Bestätigungsmenüs, indem insbesondere die Biegung des Zeigefingers verwendet wird.
  • Die Bezeichnungsbetriebsart 74 ermöglicht insbesondere die Bezeichnung eines graphischen Objekts wie etwa eines Knopfs, eines Fensters oder eines Potentiometer-Läufers oder ganz einfach irgendeinen Bereich des Bildschirms. Diese Betriebsart wird dadurch erhalten, daß die Haltung "gestreckter Zeigefinger" eingenommen wird, wobei sich die Hand über der Grenzebene 16 befindet, d. h., daß ihre Koordinate X größer als Xf ist.
  • Die virtuelle Befehlsbetriebsart infolge von Zustandsänderungen der Hand 1 ermöglicht die Erzeugung unterschiedlicher
  • Aktionen an den virtuellen graphischen Objekten, wobei diese Aktionen beispielsweise die folgenden sein können:
  • - Aufnehmen und Verschieben eines Objekts;
  • - Erhöhen der Größe eines Objekts;
  • - Verkleinern der Größe eines Objekts;
  • - Ablegen eines Objekts;
  • - Verwerfen und Löschen eines Objekts.
  • Die verschiedenen Sequenzen, Haltungen und Bewegungen, die zur Erzeugung dieser Aktionen führen, können in Form eines Petri-Netzes beschrieben werden, wie dies das Beispiel von Fig. 8 veranschaulicht. Dieses Netz kann insbesondere beispielsweise der Entwicklung eines programmierbaren Automaten dienen. Beispielsweise beschreibt im Fall einer Fensterverschiebung das Petri-Netz von Fig. 8 die folgenden Abläufe.
  • - Ausgehend von einer Stufe 0 81 wird die Hand in der Weise vorwärts bewegt, daß sie sich hinter die Grenze 16 bewegt, wobei X kleiner als Xf wird, woraufhin auf einem interaktiven Bildschirm beispielsweise ein Bezeichnungsnetz erscheint. Dieses wird zu dem zu verschiebenden Fenster geführt. Eine Haltung "Aufnehmen" gibt an, daß die Aktion des Aufnehmens erzeugt wird.
  • - In einer Stufe 1 82 wird ein virtueller Befehl "Aufnehmen" geschaffen.
  • - In einem Schritt 2 83 wird ein virtueller Befehl "Verschieben" geschaffen. Das Fenster wird dann verschoben, anschließend wird die Haltung "Aufnehmen" aufgegeben.
  • - In einem Schritt 5 84 wird ein virtueller Befehl "Ablegen" geschaffen. Dann wird die Hand zurückgezogen, um die Grenze zu überschreiten, d. h. X wird größer als Xf. Dann verschwindet das Bezeichnungsnetz, außerdem kehrt der Zustand der Hand zum Schritt 0 zurück.
  • In einem anderen Anwendungsbeispiel zum Löschen eines Fensters bewegt sich die Hand beginnend beim Schritt 0 über die Grenze, wobei X kleiner als Xf wird, anschließend erscheint auf einem interaktiven Bildschirm beispielsweise das Bezeichnungsnetz. Dieses wird zu dem zu verschiebenden Fenster geführt. Die Haltung "Aufnehmen" gibt an, daß die Aktion des Aufnehmens erzeugt wird.
  • - Im Schritt 1 82 wird der virtuelle Befehl "Aufnehmen" geschaffen.
  • - Im Schritt 2 83 wird der virtuelle Befehl "Verschieben" geschaffen.
  • Dann wird die Hand zurückgezogen, um die Grenze X zu überschreiten, wobei X größer als Xf wird. Das Bezeichnungsnetz verschwindet. Die Haltung "Aufnehmen" wird aufgegeben.
  • - In einem Schritt 6 85 wird ein virtueller Befehl "Verwerfen" geschaffen, anschließend kehrt der Zustand der Hand zum Schritt 0 zurück.
  • In einem weiteren Anwendungsbeispiel zur Erhöhung der Größe eines Fensters bewegt sich die Hand beginnend beim Schritt 0 hinter die Grenze, wobei X kleiner als Xf wird, woraufhin auf einem interaktiven Bildschirm beispielsweise ein Bezeichnungsnetz erscheint. Dieses wird zu dem zu verschiebenden Fenster geführt. Die Haltung "Aufnehmen" gibt an, daß die Aktion des Aufnehmens erzeugt wird.
  • - Im Schritt 1 82 wird der virtuelle Befehl "Aufnehmen" geschaffen.
  • - Im Schritt 2 83 wird der virtuelle Befehl "Verschieben" geschaffen.
  • Dann wird die Hand um mehr als it/6 nach rechts gedreht.
  • - In einem Schritt 3 86 wird ein virtueller Befehl "Vergrößern" geschaffen.
  • - Im Schritt 2 83 wird der virtuelle Befehl "Verschieben" geschaffen. Anschließend wird die Haltung "Aufnehmen" aufgegeben.
  • - Im schritt 5 84 wird der virtuelle Befehl "Ablegen" geschaffen. Dann wird die Hand zurückgezogen, um die Grenze 16 zu überschreiten, wobei X größer als Xf wird und der Zustand der Hand zum Schritt 0 zurückkehrt.
  • Eine Anwendung zum Verringern der Größe eines Fensters wäre beispielsweise mit dem vorhergehenden Beispiel bis auf die Tatsache identisch, daß der Schritt 3 86 durch einen Schritt 4 87 ersetzt ist, in dem ein virtueller Befehl "Verkleinern" geschaffen wird.

Claims (8)

1. Verfahren für Gebärdendialog in einer virtuellen Umgebung unter Verwendung von Gebärdenkommunikationsmitteln (1, 2), deren Zustand durch eine Parametergesamtheit (4) definiert ist, dadurch gekennzeichnet, daß es wenigstens zwei sich gegenseitig ausschließende Betriebsarten (5) verwendet, denen eine Prioritätsreihenfolge zugewiesen ist, wobei der Übergang von einer Betriebsart zu einer anderen durch einen Schritt der Überschreitung einer Grenze (6, 7, 16) durch die Gebärdenkommunikationsmittel (1, 2) hervorgerufen wird, wobei eine Grenze (6, 7, 16) durch den Wert eines oder mehrerer Parameter der Gesamtheit (4) definiert ist.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß eine Grenze (6) durch eine Strecke, einen Winkel, eine Fläche (16), ein Volumen (7) oder eine Haltung der Gebärdenkommunikationsmittel (1, 2) begrenzt ist.
3. Verfahren nach irgendeinem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß es vier Betriebsarten (5) verwendet, wobei diese Betriebsarten von höherer zu niedrigerer Priorität eine Betriebsart eines virtuellen Befehls, eine Betriebsart einer Bezeichnung virtueller Objekte, eine Betriebsart einer Auswahl in einem Menü bzw. eine Betriebsart einer Erkennung der Haltung sind.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß die Betriebsart eines virtuellen Befehls die Zustandsänderungen der Gebärdenkommunikationsmittel in sequentieller Weise einführt, wobei die Erhaltung eines virtuellen Befehls das Ergebnis einer Folge von Zustandsänderungen eines oder mehrerer Parameter ist.
5. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß das Menü auf einem interaktiven Bildschirm (10) angezeigt wird.
6. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß ein bezeichnetes Objekt durch einen interaktiven Bildschirm (10) angezeigt wird.
7. Verfahren nach irgend einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß eine Grenze (6) zeitlich veränderlich ist.
8. Verfahren nach irgendeinem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß die Gebärdenkommunikationsmittel durch eine Hand (1) gebildet sind, über die ein digitaler Handschuh gezogen ist.
DE1993614587 1992-09-15 1993-09-07 Verfahren für multimodalen Gebärdendialog in einer virtuellen Umwelt Expired - Fee Related DE69314587T2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR9210962A FR2695745B1 (fr) 1992-09-15 1992-09-15 Procédé de dialogue gestuel multimode dans un environnement virtuel.

Publications (2)

Publication Number Publication Date
DE69314587D1 DE69314587D1 (de) 1997-11-20
DE69314587T2 true DE69314587T2 (de) 1998-03-12

Family

ID=9433500

Family Applications (1)

Application Number Title Priority Date Filing Date
DE1993614587 Expired - Fee Related DE69314587T2 (de) 1992-09-15 1993-09-07 Verfahren für multimodalen Gebärdendialog in einer virtuellen Umwelt

Country Status (5)

Country Link
EP (1) EP0588686B1 (de)
JP (1) JPH06236234A (de)
CA (1) CA2106114A1 (de)
DE (1) DE69314587T2 (de)
FR (1) FR2695745B1 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6600475B2 (en) 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
JP2007501470A (ja) * 2003-05-27 2007-01-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 多数の制御機能を備える診断撮像システムの制御部
EP1528460A1 (de) * 2003-10-30 2005-05-04 GIRAUD, Pierre Verfahren und System zur Steuerung eines Rechnercursors abhängig von Benutzereingabedaten
JP4531497B2 (ja) * 2004-09-06 2010-08-25 クラリオン株式会社 地図表示装置
JP5734661B2 (ja) * 2007-11-29 2015-06-17 コーニンクレッカ フィリップス エヌ ヴェ ユーザインタフェースを提供する方法
US9075519B2 (en) 2012-10-11 2015-07-07 Apple Inc. System and method for interacting with a displayed work space

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0450196B1 (de) * 1990-04-02 1998-09-09 Koninklijke Philips Electronics N.V. Datenverarbeitungssystem mit auf Gesten basierenden Eingabedaten

Also Published As

Publication number Publication date
EP0588686A1 (de) 1994-03-23
DE69314587D1 (de) 1997-11-20
EP0588686B1 (de) 1997-10-15
FR2695745A1 (fr) 1994-03-18
FR2695745B1 (fr) 1994-10-28
JPH06236234A (ja) 1994-08-23
CA2106114A1 (fr) 1994-03-16

Similar Documents

Publication Publication Date Title
DE69634913T2 (de) Schnittstellenvorrichtung
DE69603009T2 (de) Lernpendant
DE102018116053B4 (de) Robotersystem und Roboterlernverfahren
DE112006002954B4 (de) Virtuelles Schnittstellensystem
EP1447770B1 (de) Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
DE69130198T2 (de) Bildanzeigesysteme
DE102019006800A1 (de) Robotersteuerung und Anzeigevorrichtung unter Verwendung von erweiterter Realität und gemischter Realität
EP2874789B1 (de) Verfahren zur bedienung eines industrieroboters sowie vorrichtung zur durchführung des verfahrens
DE19516664C1 (de) Verfahren zum Aufbau einer Farbtabelle in einer Computereinheit zur Klassifikation von Bildpunkten in einem Bild
DE69735269T2 (de) Steuerverfahren zum schrittbetrieb eines roboters
EP3458939B1 (de) Interaktionssystem und -verfahren
DE69820554T2 (de) Eingabevorrichtung für Rechner zum automatischen Umschalten zwischen 3D- und 2D-Betriebsarten, sowie Verfahren zur Interaktion mit einem Bildschirm
DE112012007203T5 (de) Informations-Anzeigevorrichtung, Anzeigeinformations-Operationsverfahren
EP3366434B1 (de) Verfahren zur überprüfung einer funktion eines fahrzeuges und/oder zumindest einer bedieneinrichtung
EP3040818B1 (de) Programm und system zum erkennen eines objektes in einer bildschirmdarstellung
EP3695293A1 (de) Verfahren zur bereitstellung einer haptischen rückmeldung an einen bediener einer berührungssensitiven anzeigeeinrichtung
DE1059581T1 (de) Wissensbasierter polymorpher entfernbarer Toolbar
DE69314745T2 (de) Selbsteinstellende Vorrichtung zur Ausführung virtueller Befehlen
DE69314587T2 (de) Verfahren für multimodalen Gebärdendialog in einer virtuellen Umwelt
WO2016193305A1 (de) Verfahren zur berechnung einer optimierten trajektorie
DE69522907T2 (de) Verfahren und Gerät, um einen Zeiger entlang einer zweidimensionalen Darstellung einer rechnererzeugten dreidimensionalen Fläche darzustellen
DE4105291C2 (de) Vorrichtung zum Überwachen und Planen von Funktionen einer Funkenerosionsmaschine
DE102020112049A1 (de) Roboterbedienvorrichtung, roboter und roboterbedienungsverfahren
DE102018208364A1 (de) Betriebsverfahren einer positionsmessvorrichtung
EP2118618B1 (de) Verfahren zum ermitteln von messstellen

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee