CH707208A2

CH707208A2 - 3D gesture for the definition of the plane of arrangement of a Cartesian system and the control of six degrees of freedom: three rotations and three translations along the Cartesian axes.

Info

Publication number: CH707208A2
Application number: CH23012012A
Authority: CH
Inventors: Camillo Trevisan
Original assignee: Camillo Trevisan
Priority date: 2012-11-09
Filing date: 2012-11-09
Publication date: 2014-05-15
Also published as: WO2014072786A2; WO2014072786A9

Abstract

La gesture 3D è identificata dalla postura specifica di tre dita di una mano, sia essa la destra o la sinistra, tese e disposte perpendicolarmente l’una all’altra a identificare i tre assi di un sistema cartesiano di riferimento. In particolare, il pollice puntato verso l’alto indica la direzione positiva dell’asse verticale del sistema di riferimento; l’indice puntato in avanti indica la direzione positiva di un asse orizzontale e il medio puntato lateralmente indica la direzione positiva, mano sinistra, o negativa, mano destra, dell’altro asse orizzontale. Tale gesture consente il controllo, simultaneo e/o individuale, di sei gradi di libertà, tre rotazioni e tre traslazioni, utile tra l’altro, ma non esclusivamente, per definire i movimenti della camera virtuale di rappresentazione di un modello digitale 3D. Possibili altre applicazioni d’uso riguardano, ad esempio, ma non esclusivamente, la robotica e il controllo remoto dei movimenti di apparecchiature e/o veicoli.The 3D gesture is identified by the specific posture of three fingers of one hand, be it right or left, stretched and arranged perpendicular to each other to identify the three axes of a Cartesian reference system. In particular, the thumb pointing upwards indicates the positive direction of the vertical axis of the reference system; the index pointing forward indicates the positive direction of a horizontal axis and the middle pointing sideways indicates the positive direction, left hand, or negative, right hand, of the other horizontal axis. This gesture allows the simultaneous and / or individual control of six degrees of freedom, three rotations and three translations, useful among other things, but not exclusively, to define the movements of the virtual representation room of a 3D digital model. Possible other applications of use concern, for example, but not exclusively, robotics and remote control of the movements of equipment and / or vehicles.

Description

Oggetto e ambito tecnicoObject and technical scope

[0001] L’invenzione consiste nell’identificazione di una gesture 3D, una postura specifica del corpo umano, molto ben riconoscibile e facilmente riproducibile, in questo caso tre dita di una mano dell’utente: pollice, indice e medio, con le altre due dita ripiegate. Tale gesture 3D è utile per la definizione univoca della giacitura di un sistema cartesiano tri ortogonale. E’ anche utile per il controllo simultaneo e/o individuale, a sei gradi di libertà: tre rotazioni e tre traslazioni rispetto ai tre assi cartesiani di riferimento, dei movimenti del centro di proiezione e della direzione di vista di una camera virtuale di rappresentazione di un modello digitale 3D, corrispondente ai movimenti dell’osservatore che esplora e naviga all’interno del modello stesso. Il controllo simultaneo e/o individuale dei sei gradi di libertà può trovare applicazioni anche in altri campi, come ad esempio, ma non esclusivamente, nella robotica e per il controllo remoto di apparecchiature e/o veicoli. [0001] The invention consists in the identification of a 3D gesture, a specific posture of the human body, very well recognizable and easily reproducible, in this case three fingers of a user's hand: thumb, index and middle finger, with the others two fingers folded. This 3D gesture is useful for the unambiguous definition of the arrangement of a cartesian tri orthogonal system. It is also useful for simultaneous and / or individual control, with six degrees of freedom: three rotations and three translations with respect to the three Cartesian reference axes, the movements of the projection center and the direction of view of a virtual representation room of a 3D digital model, corresponding to the movements of the observer who explores and navigates within the model itself. Simultaneous and / or individual control of the six degrees of freedom can also find applications in other fields, such as, but not exclusively, in robotics and for remote control of equipment and / or vehicles.

Esposizione dell’invenzioneExhibition of the invention

Stato della tecnicaState of the art

[0002] Attualmente, alcuni dispositivi, ad esempio Microsoft Kinect<©>o Asus Xtion<©>, consentono l’identificazione di alcune gesture 3D, dunque specifiche posizioni del corpo umano nello spazio tridimensionale, utili sia per la fruizione di videogiochi sia anche per altri usi, professionali e non professionali, per mezzo di appositi SDK. La navigazione virtuale all’interno di modelli digitali 3D avviene in vari modi, di norma identificando la giacitura del corpo umano e delle sue membra. [0002] Currently, some devices, such as Microsoft Kinect <©> or Asus Xtion <©>, allow the identification of some 3D gestures, therefore specific positions of the human body in the three-dimensional space, useful both for the use of video games and also for other uses, professional and non-professional, by means of special SDKs. Virtual navigation in 3D digital models takes place in various ways, normally identifying the position of the human body and its limbs.

[0003] Un completo controllo della navigazione prevede, tra l’altro, la necessità di orientare liberamente la Direzione Principale di Vista e la traslazione libera del Punto di Vista della camera virtuale lungo i tre assi cartesiani. [0003] A complete navigation control provides, among other things, the need to freely orient the Main View Direction and the free translation of the virtual camera View Point along the three Cartesian axes.

[0004] Ad esempio, simulando i movimenti delle due mani che impugnano un volante, non solo si impegnano entrambe le mani ma sono anche ridotti i gradi di libertà. Ancora, simulando i movimenti della mano o delle due mani che impugnano la cloche di un aereo è necessario avere dimestichezza con i principi del pilotaggio, mancando comunque la possibilità di un controllo della manetta e del timone mediante i pedali. [0004] For example, by simulating the movements of the two hands that hold a steering wheel, not only do both hands engage but the degrees of freedom are also reduced. Again, by simulating the movements of the hand or of the two hands that hold the cloche of a plane it is necessary to be familiar with the principles of piloting, lacking anyway the possibility of a control of the throttle and of the rudder using the pedals.

[0005] In altri campi – come ad esempio, ma non esclusivamente, nella robotica – il controllo dei sei gradi di libertà - imbardata, beccheggio, rollio e traslazioni lungo gli assi X, Y, Z – è effettuato tipicamente mediante strumenti hardware. [0005] In other fields - such as, but not exclusively, in robotics - the control of the six degrees of freedom - yaw, pitch, roll and translations along the X, Y, Z axes - is typically performed using hardware tools.

[0006] Per riferimenti al riconoscimento delle gesture 3D della mano, vedi anche: http://airccse.org/journal/ijaia/papers/3412ijaia12.pdf http://www.cs.rutgers.edu/~vladimir/pub/pavlovic97pami.pdf http://airccj.org/CSCP/vol2/csit2320.pdf http://www.ics.forth.gr/~zabulis/2009_06_book_hci_gestures.pdf http://cs-people.bu.edu/athitsos/publications/athitsos_cvpr2004.pdf http://cs-people.bu.edu/athitsos/publications/athitsos_cues2001.pdf http://reference.kfupm.edu.sa/content/v/i/vision_based_gesture_recognition_a_revi_291732.pdf http://www.ampublisher.com/Mar%202012/IPCV-1203-015-Hand-Gesture-Modeling-Recognition-Geometric-Features-Review.pdf http://cs.anu.edu.aU/student/projects/11S2/Reports/Jianming%20Guo.pdf http://cg.cs.uni-kl.de/~denker/publications/pdf/muc12.pdf [0006] For references to the recognition of the 3D gesture of the hand, see also: http://airccse.org/journal/ijaia/papers/3412ijaia12.pdf http://www.cs.rutgers.edu/~vladimir/pub/pavlovic97pami.pdf http://airccj.org/CSCP/vol2/csit2320.pdf http://www.ics.forth.gr/~zabulis/2009_06_book_hci_gestures.pdf http://cs-people.bu.edu/athitsos/publications/athitsos_cvpr2004.pdf http://cs-people.bu.edu/athitsos/publications/athitsos_cues2001.pdf http://reference.kfupm.edu.sa/content/v/i/vision_based_gesture_recognition_a_revi_291732.pdf http://www.ampublisher.com/Mar%202012/IPCV-1203-015-Hand-Gesture-Modeling-Recognition-Geometric-Features-Review.pdf http://cs.anu.edu.aU/student/projects/11S2/Reports/Jianming%20Guo.pdf http://cg.cs.uni-kl.de/~denker/publications/pdf/muc12.pdf

SvantaggiDisadvantages

[0007] L’uso dei movimenti del corpo umano per orientare e traslare liberamente la direzione di vista e la posizione della camera virtuale – dunque la posizione e la direzione di vista dell’osservatore virtuale o i movimenti di un veicolo virtuale – può comportare alcuni svantaggi: 1. Il controllo, di frequente, non è affatto completo né agevole se la persona è seduta su di una sedia. 2. Tali meccanismi prevedono talvolta spazi di manovra relativamente grandi. 3. Risulta spesso quasi impossibile l’uso contemporaneo di mouse e/o tastiera. 4. Alcuni movimenti involontari dell’utente possono essere facilmente scambiati per volontari e produrre movimenti della camera di rappresentazione e/o del veicolo o dell’apparato sottoposti a controllo mediante gesture 3D. [0007] The use of the movements of the human body to orient and freely move the direction of sight and the position of the virtual chamber - therefore the position and the direction of sight of the virtual observer or the movements of a virtual vehicle - can involve some disadvantages : 1. Control is frequently not at all complete or easy if the person is sitting on a chair. 2. These mechanisms sometimes provide relatively large room for maneuver. 3. It is often almost impossible to use a mouse and / or keyboard simultaneously. 4. Some involuntary movements of the user can be easily mistaken for volunteers and produce movements of the representation chamber and / or of the vehicle or apparatus subjected to control by 3D gesture.

ObiettiviTargets

[0008] Gli obiettivi sono di consentire all’utente, pur se seduto, un completo controllo, simultaneo o individuale, dei 6 gradi di libertà – tre rotazioni e tre traslazioni rispetto agli assi cartesiani –, usando una soia mano, indifferentemente la mano destra o la sinistra, senza avere necessità di ampi spazi di manovra e avendo anche una mano libera per operare sulla tastiera o con il mouse o per impartire ulteriori indicazioni al sistema mediante altre gesture 3D effettuate con l’altra mano. Un ulteriore obiettivo è pertanto rendere possibile la navigazione interattiva di modelli digitali 3D anche in configurazioni più tradizionali (notebook, ultrabook, desktop ecc.) ed anche con altri strumenti utili per il rilevamento di gesture 3D, ad esempio, Leapmotion Leap3D<©>o Creative Interactive Gesture Camera<©>, dotati di un limitato campo di rilevamento, tipicamente di circa 1 metro. [0008] The objectives are to allow the user, even if seated, complete control, simultaneous or individual, of the 6 degrees of freedom - three rotations and three translations with respect to the Cartesian axes -, using a soy hand, indifferently the right hand or the left, without needing ample room for maneuver and also having a free hand to operate on the keyboard or with the mouse or to give further indications to the system through other 3D gestures made with the other hand. A further objective is therefore to make it possible to interactively navigate 3D digital models also in more traditional configurations (notebooks, ultrabooks, desktops etc.) and also with other useful tools for detecting 3D gestures, for example, Leapmotion Leap3D <©> or Creative Interactive Gesture Camera <©>, with a limited detection range, typically around 1 meter.

SoluzioneSolution

[0009] L’obiettivo è raggiunto grazie alle caratteristiche delle rivendicazioni 1,2,3, 4, 5, 6. [0009] The objective is achieved thanks to the characteristics of claims 1,2,3, 4, 5, 6.

VantaggiAdvantages

[0010] Le rivendicazioni dipendenti evidenziano alcuni sviluppi vantaggiosi. L’invenzione comporta i seguenti vantaggi: 1. Controllo completo, simultaneo e/o individuale, dei movimenti della camera virtuale di rappresentazione di un modello digitale 3D mediante sei gradi di libertà, tre rotazioni attorno ai tre assi cartesiani e tre traslazioni lungo i tre assi. 2. Uso di una sola mano, indifferentemente la mano destra o la sinistra, rendendo in tal modo pienamente disponibile la gesture 3D anche per i mancini. 3. Necessità di un ridotto spazio di manovra, tipicamente inferiore al metro. 4. Possibilità d’uso anche restando seduti e nelle immediate vicinanze del monitor. 5. Disponibilità d’uso dell’altra mano per manovrare il mouse o la tastiera o per impartire altri comandi mediante altre gesture 3D effettuate con l’altra mano. 6. Il controllo simultaneo e/o individuale dei sei gradi di libertà può trovare applicazioni anche in altri campi, come ad esempio, ma non esclusivamente, nella robotica e per il controllo remoto di apparecchiature e/o veicoli. 7. La gesture 3D è identificata da una postura chiara e univoca – essendo facilmente rilevabile anche se le dita non sono perfettamente distese e ortogonali tra loro –, semplice, naturale e immediatamente relazionabile ai movimenti da indicare oltre che di impostazione e terminazione facile e rapida. [0010] The dependent claims highlight some advantageous developments. The invention has the following advantages: 1. Complete, simultaneous and / or individual control of the movements of the virtual representation room of a 3D digital model using six degrees of freedom, three rotations around the three Cartesian axes and three translations along the three axes. 2. Use of a single hand, either the right hand or the left hand, thus making the 3D gesture fully available even for left-handed people. 3. Need for reduced maneuvering space, typically less than one meter. 4. Possibility of use even while sitting or in the immediate vicinity of the monitor. 5. Availability of use of the other hand to maneuver the mouse or keyboard or to issue other commands using other 3D gestures made with the other hand. 6. Simultaneous and / or individual control of the six degrees of freedom can also find applications in other fields, such as, but not exclusively, in robotics and for remote control of equipment and / or vehicles. 7. The 3D gesture is identified by a clear and unambiguous posture - being easily detectable even if the fingers are not perfectly extended and perpendicular to each other -, simple, natural and immediately related to the movements to be indicated as well as easy and quick setting and termination .

Elenco delle figureList of figures

[0011] L’invenzione è spiegata nel dettaglio tramite due disegni, riguardanti rispettivamente l’uso della mano sinistra e destra. <tb>Fig. 1 :<SEP>Disposizione delle dita della mano sinistra: il pollice verso l’alto a identificare la direzione positiva dell’asse cartesiano verticale (qui l’asse Z), l’indice puntato a identificare la direzione positiva di uno dei due assi orizzontali (qui l’asse Y) e il medio puntato a identificare la direzione positiva del secondo asse cartesiano orizzontale (qui l’asse X). <tb>Fig. 2 :<SEP>Disposizione delle dita della mano destra. In questo caso il dito medio puntato identifica la direzione negativa dell’asse X.[0011] The invention is explained in detail by two drawings, concerning respectively the use of the left and right hand. <Tb> Fig. 1: <SEP> Arrangement of the fingers of the left hand: the thumb upwards to identify the positive direction of the vertical Cartesian axis (here the Z axis), the index pointing to identify the positive direction of one of the two axes horizontal (here the Y axis) and the middle pointed to identify the positive direction of the second horizontal Cartesian axis (here the X axis). <Tb> Fig. 2: <SEP> Arrangement of the fingers of the right hand. In this case the pointed middle finger identifies the negative direction of the X axis.

Realizzazione/descrizione dell’invenzioneRealization / description of the invention

[0012] Il rilevamento della gesture 3D – dunque della disposizione delle dita della mano destra o sinistra, a indicare i tre assi cartesiani del sistema di riferimento – potrà essere compiuto sia via hardware (per mezzo di appositi strumenti utili per il rilevamento di gesture 3D come, ad esempio, Leapmotion Leap3D<©>, Creative Interactive Gesture Camera<©>, Microsoft Kinect<©>o Asus Xtion<©>), sia via software (per mezzo di apposite librerie di Computer Vision come, ad esempio, OpenCV<©>). Una volta identificata la gesture 3D e la mano (destra o sinistra) è possibile controllare simultaneamente i tre assi di rotazione (rispetto agli assi cartesiani X, Y, Z) della Direzione principale di Vista della camera virtuale di rappresentazione del modello digitale 3D e le tre traslazioni (sempre rispetto agli assi X, Y, Z) del Punto di Vista della camera virtuale stessa. [0012] The detection of the 3D gesture - therefore of the disposition of the fingers of the right or left hand, to indicate the three Cartesian axes of the reference system - can be performed both via hardware (by means of special tools useful for detecting 3D gestures such as, for example, Leapmotion Leap3D <©>, Creative Interactive Gesture Camera <©>, Microsoft Kinect <©> or Asus Xtion <©>, both via software (using special Computer Vision libraries such as, for example, OpenCV <©>). Once the 3D gesture and the hand (right or left) have been identified, it is possible to simultaneously control the three axes of rotation (with respect to the Cartesian axes X, Y, Z) of the main Vista Direction of the virtual representation chamber of the 3D digital model and the three translations (always with respect to the X, Y, Z axes) of the Viewpoint of the virtual chamber itself.

[0013] Lo stesso può essere fatto per il controllo a distanza di apparecchiature e/o veicoli. In altre parole, la mano con le tre dita disposte come gli assi riproduce gli spostamenti e le rotazioni della vista dell’osservatore che esplora il modello digitale 3D oppure i movimenti e le rotazioni dell’apparecchiatura controllata. [0013] The same can be done for the remote control of equipment and / or vehicles. In other words, the hand with the three fingers arranged as the axes reproduces the displacements and rotations of the view of the observer who explores the 3D digital model or the movements and rotations of the controlled equipment.

[0014] Ogni volta che si alza la mano e si dispongono le dita per indicare la gesture 3D, queste vengono rilevate e, dopo una prima latenza (tempo che consente di sistemare la mano nella corretta postura iniziale), le rotazioni e gli spostamenti sono misurati di continuo sia rispetto alla posizione iniziale sia rispetto alla posizione precedente. Chiudendo la mano, o comunque dismettendo la postura, la gesture 3D è interrotta. Il leggero ritardo tra l’azione della mano e l’applicazione del relativo comando è necessario sia per consentire il riconoscimento della gesture, sia per l’applicazione delle trasformazioni geometriche e la rappresentazione del modello e sia anche, e soprattutto, per consentire l’interruzione dell’azione senza modificare involontariamente i parametri. [0014] Every time you raise your hand and place your fingers to indicate the 3D gesture, these are detected and, after a first latency (time that allows you to place your hand in the correct initial posture), the rotations and movements are continuously measured both with respect to the initial position and to the previous position. Closing the hand, or otherwise dismantling the posture, the 3D gesture is interrupted. The slight delay between the action of the hand and the application of the relative command is necessary both to allow the recognition of the gesture, both for the application of geometric transformations and the representation of the model and is also, and above all, to allow the action interruption without unintentionally changing the parameters.

[0015] Da notare che i movimenti (sia le rotazioni, sia le traslazioni) possono essere effettuati sia muovendo il polso sia anche l’avambraccio o l’intero braccio, poiché il sistema di rilevamento rileva l’ideale origine del sistema di riferimento, posto alla radice delle tre dita – oltre che la posizione della testa dell’utente, del suo gomito e della spalla –, ed è pertanto in grado di identificare il movimento complessivo del braccio dell’utente stesso e dunque è anche in grado di riconoscere e interpretare le sue possibili «intenzioni». Così, ad esempio, se l’utente, mantenendo la postura della Gesture 3D e dunque le tre dita puntate, ruota rapidamente l’avambraccio verso l’alto e poi lo riporta nella posizione iniziale, questo movimento può essere interpretato come un salto da far effettuare all’osservatore virtuale, estendendo così ulteriormente i possibili comandi associati alla gesture 3D. [0015] It should be noted that the movements (both rotations and translations) can be made either by moving the wrist or also the forearm or the entire arm, since the detection system detects the ideal origin of the reference system, placed at the root of the three fingers - as well as the position of the user's head, his elbow and shoulder -, and is therefore able to identify the overall movement of the user's arm and therefore is also able to recognize and interpret its possible "intentions". Thus, for example, if the user, maintaining the 3D Gesture posture and therefore the three fingers pointed, rapidly rotates the forearm upwards and then returns it to the initial position, this movement can be interpreted as a leap to be made perform to the virtual observer, thus further extending the possible commands associated with the 3D gesture.

Claims

1. 3D gestures uniquely defined by a specific three-finger posture of one hand, characterized by the fact that the thumb is pointed upwards, the index is pointed forward and the middle is pointed orthogonally to the plane identified by the other two fingers , with the ring finger and the little finger folded.

2. 3D gestures which, according to claim 1, allow the simultaneous and / or individual control of six degrees of freedom characterized by the fact that - if the three fingers identify the three Cartesian axes of the reference system, in particular the thumb l 'vertical axis, the index one of the two horizontal axes, the middle the other horizontal axis - the movement of the hand allows to unambiguously define the position of the Cartesian axes and to dynamically control the three rotations around the X, Y, Z and the three translations along the X, Y, Z axes.

3. 3D gestures which, according to claims 1 and 2, is characterized by the fact that it allows operating in three-dimensional space.

4. 3D gestures which, according to claims 1, 2, 3, is characterized by the fact that it allows operating in a restricted field of maneuver.

5. Gesture which, according to claims 1, 2, 3, is characterized in that it allows to operate indifferently with the right hand or with the left hand.

6. Gesture which, according to claims 1, 2, 3, 4, 5, is characterized in that it allows to operate, maintaining the relative posture of the three fingers, moving, in combination or alternatively, the hand, the wrist, the elbow, shoulder and / or body of the user.