FR2947348A1 - Object's i.e. car, three-dimensional representation visualizing and modifying device, has wall comprising face oriented toward user to reflect user's image and identification unit and visualize representation of object - Google Patents
Object's i.e. car, three-dimensional representation visualizing and modifying device, has wall comprising face oriented toward user to reflect user's image and identification unit and visualize representation of object Download PDFInfo
- Publication number
- FR2947348A1 FR2947348A1 FR0954333A FR0954333A FR2947348A1 FR 2947348 A1 FR2947348 A1 FR 2947348A1 FR 0954333 A FR0954333 A FR 0954333A FR 0954333 A FR0954333 A FR 0954333A FR 2947348 A1 FR2947348 A1 FR 2947348A1
- Authority
- FR
- France
- Prior art keywords
- user
- representation
- command
- wall
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
DISPOSITIF POUR MANIPULER ET VISUALISER UN OBJET VIRTUEL DEVICE FOR HANDLING AND VISUALIZING A VIRTUAL OBJECT
La présente invention se rapporte à un dispositif pour manipuler et visualiser un objet virtuel, ledit dispositif permettant de procurer à un opérateur des sensations visuelles proches de celles ressenties lors de la manipulation d'un objet réel et reposant sur des gestes proches de ceux qu'il ferait pour manipuler un objet réel. On connait des systèmes permettant de visualiser une représentation tridimensionnelle d'un objet, par exemple un objet visualisé sur un écran plat ou dans un environnement immersif à plusieurs faces. En variante, la représentation tridimensionnelle peut être générée avec un système de visualisation stéréoscopique. Dans l'espace, un ob jet réel peut se translater selon au moins une direction et/ou pivoter autour d'au moins un axe de rotation. Ainsi, dans un repère cartésien avec des axes X, Y, Z, le mouvement d'un objet réel découle de la combinaison d'au moins une translation selon l'un des trois axes X, Y, Z et/ou d'au moins une rotation selon l'un des trois axes X, Y, Z. La représentation interactive idéale d'un objet virtuel doit permettre la manipulation de l'objet virtuel de la même manière que dans la réalité afin par exemple de modifier l'angle de vue de l'objet. Pour manipuler un objet virtuel, il existe différentes interfaces. The present invention relates to a device for manipulating and visualizing a virtual object, said device making it possible to provide an operator with visual sensations close to those felt during the manipulation of a real object and resting on gestures close to those which he would do to manipulate a real object. Systems are known for displaying a three-dimensional representation of an object, for example an object viewed on a flat screen or in a multi-sided immersive environment. Alternatively, the three-dimensional representation may be generated with a stereoscopic viewing system. In space, a real object can translate in at least one direction and / or rotate about at least one axis of rotation. Thus, in a cartesian coordinate system with X, Y, Z axes, the movement of a real object results from the combination of at least one translation along one of the three axes X, Y, Z and / or from minus a rotation along one of the three axes X, Y, Z. The ideal interactive representation of a virtual object must allow the manipulation of the virtual object in the same way as in reality, for example to modify the angle view of the object. To manipulate a virtual object, there are different interfaces.
Une première solution consiste à utiliser une souris d'ordinateur. Ce périphérique simple et peu coûteux ne permet pas une manipulation aisée en trois dimensions. Ce manque d'ergonomie découle du fait que la souris n'autorise que des mouvements dans un plan qui doivent être traduits en mouvements dans l'espace. A first solution is to use a computer mouse. This simple and inexpensive device does not allow easy manipulation in three dimensions. This lack of ergonomics stems from the fact that the mouse only allows movements in a plane that must be translated into movements in space.
Une deuxième solution consiste à utiliser un périphérique commercialisé sous le nom de spacemouse comprenant plusieurs commandes actionnées par les doigts d'une main correspondant chacune à une translation ou une rotation. Ce type de périphérique est cependant difficile à utiliser par une personne non initiée dans la mesure où le périphérique ne permet que des mouvements physiques de faibles amplitudes et ne permet pas la dissociation entre les différents axes ou les opérations de translation et de rotation. Une troisième solution décrite dans le document EP-1.110.172 consiste à utiliser un capteur sous forme d'un cube comprenant sur chacune de ses faces une tige actionnable, les efforts ayant pour conséquence une rotation ou un basculement de la tige étant interprétés comme des rotations ou des translations de l'ob jet virtuel. Même si les commandes de ce périphérique sont relativement intuitives, il n'évite pas quelques limitations car l'utilisateur ne peut commander qu'une tige à la fois à l'aide d'une main, l'autre main étant utilisée pour tenir le cube et sa position devant être modifiée en fonction de la tige manipulée. On connait également les écrans tactiles qui permettent de manipuler des représentations d'éléments en deux dimensions. Ainsi, le titulaire propose une table tactile permettant de déplacer les représentations de pages, de photos ou autres. Cette table comprend un écran au niveau duquel peut être générée une image à l'aide d'un vidéoprojecteur placé sous l'écran par exemple, au moins un capteur permettant de détecter les mouvements d'au moins un doigt à la surface de l'écran et des moyens pour convertir le mouvement détecté en instruction. A second solution is to use a device marketed under the name of spacemouse comprising several commands operated by the fingers of a hand each corresponding to a translation or a rotation. This type of device is, however, difficult to use by an uninitiated person insofar as the device allows only physical movements of small amplitudes and does not allow the dissociation between the different axes or the operations of translation and rotation. A third solution described in document EP-1.110.172 consists in using a sensor in the form of a cube comprising on each of its faces an actuatable rod, the forces resulting in a rotation or a tilting of the rod being interpreted as rotations or translations of the virtual object. Although the controls of this device are relatively intuitive, it does not avoid some limitations because the user can only control one rod at a time with one hand, the other hand being used to hold the cube and its position to be modified according to the rod manipulated. Touch screens are also known for manipulating representations of two-dimensional elements. Thus, the holder offers a touch table for moving the representations of pages, photos or others. This table includes a screen at which an image can be generated by means of a video projector placed under the screen, for example, at least one sensor for detecting the movements of at least one finger on the surface of the screen. screen and means for converting the detected motion into an instruction.
Le fait que la surface de contact soit également la surface de visualisation permet d'offrir à l'utilisateur des sensations visuelles proches de celles qu'il aurait en manipulant sur la même surface un objet réel. The fact that the contact surface is also the viewing surface makes it possible to offer the user visual sensations close to those he would have when manipulating on the same surface a real object.
Toutefois, cette solution est physiquement limitée à des déplacements dans un plan et non dans l'espace, rendant difficile et complexe l'interaction avec des environnements tridimensionnels. Dans le même esprit, on connait une sphère tactile permettant de générer l'image non pas sur un écran plan comme pour une table tactile mais sur une sphère. Même si cette solution permet de donner une impression de volume, elle ne permet que de déplacer des représentations d'objets à la surface d'une sphère et ne permet pas la manipulation et la visualisation d'objets tridimensionnels arbitraires. However, this solution is physically limited to displacements in a plane and not in space, making the interaction with three-dimensional environments difficult and complex. In the same spirit, we know a tactile sphere to generate the image not on a flat screen as for a touch table but on a sphere. Although this solution gives a sense of volume, it only allows to move representations of objects on the surface of a sphere and does not allow the manipulation and visualization of arbitrary three-dimensional objects.
Le titulaire a également développé un cube tactile permettant d'interagir sur une représentation d'un objet virtuel visible sur un écran ou dans un environnement immersif. Ce cube comprend cinq faces actives tactiles au niveau de la surface desquelles un opérateur peut effectuer des gestes qui sont traduits en instructions. Ainsi, si l'opérateur effectue de manière simultanée sur deux faces opposées un mouvement selon une même direction, ces mouvements sont traduits en une instruction visant à modifier la représentation de l'ob jet de manière à ce que ce dernier se translate selon cette direction. Même si ce type de périphérique permet d'agir sur la représentation d'un ob jet virtuel de manière intuitive, rendant son utilisation simple, on note que la représentation de l'objet est toujours décalée par rapport à la zone au niveau de laquelle l'opérateur effectue les commandes et ne permet pas d'obtenir les mêmes sensations visuelles que celles procurées par un écran tactile plan ou sphérique. The incumbent has also developed a tactile cube to interact on a representation of a virtual object visible on a screen or in an immersive environment. This cube has five active touch faces at the surface of which an operator can perform gestures that are translated into instructions. Thus, if the operator performs simultaneously on two opposite sides a movement in the same direction, these movements are translated into an instruction to change the representation of the ob jet so that the latter is translated in this direction . Even if this type of device makes it possible to act on the representation of a virtual object in an intuitive manner, making it easy to use, it is noted that the representation of the object is always offset with respect to the area where The operator performs the commands and does not allow to obtain the same visual sensations as those provided by a flat or spherical touch screen.
Aussi, la présente invention vise à pallier les inconvénients de l'art antérieur en proposant un dispositif pour manipuler et visualiser un objet virtuel, ledit dispositif étant simple d'utilisation et susceptible de procurer les mêmes sensations visuelles que celles procurées lors de la manipulation d'un ob jet réel. Also, the present invention aims to overcome the drawbacks of the prior art by providing a device for manipulating and visualizing a virtual object, said device being simple to use and capable of providing the same visual sensations as those provided during the manipulation of a real object.
A cet effet, l'invention a pour objet un dispositif pour visualiser et interagir sur au moins une représentation tridimensionnelle d'au moins un objet, comprenant des moyens pour afficher ladite au moins une représentation, une première partie d'identification d'au moins une commande d'un utilisateur avec au moins une surface au niveau de laquelle ledit utilisateur réalise au moins un mouvement interprété en au moins une commande et des moyens de calcul permettant de modifier ladite au moins une représentation d'au moins un objet en fonction de ladite au moins une commande induite par le ou les mouvement(s) de l'utilisateur, caractérisé en ce qu'il comprend une paroi interposée entre les moyens d'affichage et les moyens d'identification d'au moins une commande, ladite paroi comprenant une face orientée vers l'utilisateur permettant d'une part de réfléchir l'image de l'utilisateur et les moyens d'identification d'au moins une commande, et d'autre part, de visualiser la au moins une représentation d'au moins un objet affichée par les moyens d'affichage. To this end, the invention relates to a device for displaying and interacting on at least one three-dimensional representation of at least one object, comprising means for displaying said at least one representation, a first identification part of at least one a command from a user with at least one surface at which said user performs at least one interpreted movement in at least one command and computing means for modifying said at least one representation of at least one object according to said at least one control induced by the movement (s) of the user, characterized in that it comprises a wall interposed between the display means and the identification means of at least one control, said wall comprising a face oriented towards the user making it possible, on the one hand, to reflect the image of the user and the means of identification of at least one command, and on the other hand, to visualize the image oins a representation of at least one object displayed by the display means.
Cette solution permet d'obtenir un dispositif simple à utiliser à la manière des écrans tactiles. La superposition ou la juxtaposition de la représentation de l'objet et du reflet de l'opérateur et du périphérique de commande permet d'obtenir des sensations visuelles proches de celles procurées lors de la manipulation de l'objet réel. This solution provides a simple device to use in the manner of touch screens. The superimposition or juxtaposition of the representation of the object and the reflection of the operator and the control device makes it possible to obtain visual sensations close to those provided during the manipulation of the real object.
D'autres caractéristiques et avantages ressortiront de la description qui va suivre de l'invention, description donnée à titre d'exemple uniquement, en regard des dessins annexés sur lesquels : - la figure 1 est une vue en perspective d'un dispositif pour manipuler et visualiser un objet virtuel selon une première variante de l'invention, - la figure 2 est une vue latérale du dispositif pour manipuler et visualiser un objet virtuel illustré sur la figure 1, - la figure 3A est une vue latérale d'un capteur de mouvement illustrant un premier exemple de commande, - la figure 3B est une vue latérale d'un capteur de mouvement illustrant un deuxième exemple de commande, - la figure 3C est une vue latérale d'un capteur de mouvement illustrant un troisième exemple de commande, - la figure 4A est une vue de la partie visualisation du dispositif illustrant la modification de la représentation lors de la première commande visible sur la figure 3A, - la figure 4B est une vue de la partie visualisation du dispositif illustrant la modification de la représentation lors de la deuxième commande visible sur la figure 3A, - la figure 4C est une vue de la partie visualisation du dispositif illustrant la modification de la représentation lors de la troisième commande visible sur la figure 3C, et - la figure 5 est une vue en perspective d'un dispositif pour manipuler et visualiser un objet virtuel selon une autre variante de l'invention. Sur les figures 1 et 2, on a représenté un dispositif permettant à un utilisateur 10 de manipuler et visualiser au moins une représentation 12 tridimensionnelle d'au moins un objet par exemple une voiture. Bien entendu, l'invention n'est pas limitée à une seule représentation tridimensionnelle d'un seul objet, mais peut être utilisée pour manipuler et visualiser plusieurs représentations d'objets. Selon l'invention, le dispositif comprend une première partie 14 d'identification d'au moins une commande de l'utilisateur 10 et une seconde partie 16 de visualisation assurant la superposition de la représentation 12 tridimensionnelle de l'objet et du reflet de l'utilisateur 10 agissant sur ladite première partie 14 d'identification d'une commande. Selon l'invention, la première partie 14 assurant l'identification d'une commande comprend au moins une surface 18 au niveau de laquelle l'utilisateur 10 réalise au moins un mouvement et des moyens pour interpréter au moins un mouvement effectué par l'utilisateur 10 en une commande permettant de modifier la représentation 12 de l'objet. Avantageusement, le mouvement correspondant à une commande découle du déplacement de l'extrémité d'au moins un doigt 20 de l'utilisateur 10 au niveau de la ou des surface(s) 18. Ainsi, la commande d'une translation peut correspondre à un mouvement de translation d'un doigt, la commande d'une rotation à un mouvement de rotation d'un doigt, à un geste de rotation de deux doigts ou à la combinaison de deux mouvements de translation opposés. La commande de modification de la taille de la représentation de l'objet peut correspondre aux mouvements combinés de plusieurs doigts. L'invention n'est pas limitée à ces commandes, d'autres mouvements effectués par l'utilisateur peuvent être interprétés en commandes permettant de modifier la représentation 12 de l'ob jet. Ainsi, il existe de nombreuses combinaisons de mouvements sur la ou les surfaces 18 associées chacune à une commande. Selon une première technologie, la surface 18 est dite tactile, de préférence multipoints, et correspond à une première face d'une paroi sous laquelle sont placés un ensemble de sources lumineuses infrarouges et un capteur de lumière infrarouge. La détection d'une zone de contact au niveau de la surface 18 se fait lors de la captation par le capteur de la réflexion, de l'extérieur vers l'intérieur, par un élément appliqué sur la surface tactile, des rayons lumineux émis à travers la surface 18 tactile mais également diffusante de l'intérieur vers l'extérieur. Ce système permet d'obtenir en temps réel des cartographies des zones de contact au niveau de la surface tactile 18. Dans le cas de plusieurs surfaces 18 tactiles, il permet de récupérer les informations de toutes les surfaces en même temps et d'obtenir des cartographies simultanées. Other features and advantages will become apparent from the following description of the invention, a description given by way of example only, with reference to the appended drawings, in which: FIG. 1 is a perspective view of a device for manipulating and visualizing a virtual object according to a first variant of the invention, - Figure 2 is a side view of the device for manipulating and visualizing a virtual object illustrated in Figure 1; - Figure 3A is a side view of a sensor of motion illustrating a first control example, - Figure 3B is a side view of a motion sensor illustrating a second control example, - Figure 3C is a side view of a motion sensor illustrating a third control example, FIG. 4A is a view of the display portion of the device illustrating the modification of the representation during the first command visible in FIG. 3A; FIG. 4B is a view of the FIG. FIG. 4C is a view of the display portion of the device illustrating the modification of the representation at the third control shown in FIG. 3C. FIG. 4C is a view of the display portion of the device illustrating the modification of the representation at the third control shown in FIG. 3C. and FIG. 5 is a perspective view of a device for manipulating and visualizing a virtual object according to another variant of the invention. FIGS. 1 and 2 show a device enabling a user 10 to manipulate and visualize at least one three-dimensional representation of at least one object, for example a car. Of course, the invention is not limited to a single three-dimensional representation of a single object, but can be used to manipulate and visualize several representations of objects. According to the invention, the device comprises a first identification part 14 of at least one control of the user 10 and a second display part 16 ensuring the superposition of the three-dimensional representation of the object and the reflection of the image. user 10 acting on said first identification part 14 of a command. According to the invention, the first part 14 ensuring the identification of a command comprises at least one surface 18 at which the user 10 carries out at least one movement and means for interpreting at least one movement made by the user 10 in a command for changing the representation 12 of the object. Advantageously, the movement corresponding to a command results from the displacement of the end of at least one finger 20 of the user 10 at the level of the surface (s) 18. Thus, the control of a translation can correspond to a translational movement of a finger, the control of a rotation to a rotational movement of a finger, a gesture of rotation of two fingers or the combination of two opposing translational movements. The command to change the size of the representation of the object may correspond to the combined movements of several fingers. The invention is not limited to these commands, other movements made by the user can be interpreted as commands for modifying the representation 12 of the object. Thus, there are many combinations of movements on the surface or surfaces 18 each associated with a command. According to a first technology, the surface 18 is said to be tactile, preferably multipoint, and corresponds to a first face of a wall under which are placed a set of infrared light sources and an infrared light sensor. The detection of a contact zone at the surface 18 is made during the capture by the sensor of the reflection, from the outside to the inside, by an element applied to the tactile surface, light rays emitted at across the surface 18 touch but also diffusing from the inside to the outside. This system makes it possible to obtain, in real time, mappings of the contact zones at the level of the tactile surface 18. In the case of several tactile surfaces, it makes it possible to retrieve the information from all the surfaces at the same time and to obtain information. simultaneous mapping.
En complément, des moyens de calcul permettent d'obtenir cette cartographie et de traduire le ou les mouvement(s) effectués par l'utilisateur en une commande, notamment en analysant dans un premier temps les cartographies pour définir le ou les mouvement(s) effectués par le ou les doigt(s) de l'utilisateur puis en comparant le ou les mouvement(s) défini(s) avec des mouvements de référence stockés dans une base de données qui correspondent chacun à une commande et enfin en estimant le ou les mouvements de référence le ou les plus proche(s) du ou des mouvement(s) défini(s) pour associer une commande. D'autres solutions technologiques peuvent être envisagées pour déterminer le ou les mouvements effectué(s) par l'utilisateur au niveau de la surface 18. Ainsi, un système capacitif peut recouvrir la surface 18. Dans ce cas, des moyens sont prévus pour établir une cartographie des charges présentes à la surface 18, les dites charges étant manquantes car transférées vers l'utilisateur au niveau des zones de contact. In addition, calculating means make it possible to obtain this mapping and to translate the movement (s) made by the user into a command, in particular by first analyzing the maps to define the movement (s). performed by the finger (s) of the user and then comparing the movement (s) defined (s) with reference movements stored in a database that each correspond to a command and finally estimating the the reference movements the closest to the movement (s) defined (s) to associate a command. Other technological solutions can be envisaged to determine the movement (s) performed by the user at the surface 18. Thus, a capacitive system can cover the surface 18. In this case, means are provided to establish a mapping of the charges present on the surface 18, said charges being missing because transferred to the user at the contact areas.
De la même manière, d'autres solutions sont envisageables pour associer à au moins un mouvement effectué par l'utilisateur une commande. Selon un mode de réalisation privilégié, la première partie 14 assurant l'identification d'une commande comprend un cube 22 offrant cinq surfaces tactiles 18, de préférence multipoints, la surface inférieure du cube reposant sur un pupitre 24 permettant de positionner le cube dans l'espace. Ainsi, le cube 22 comprend une surface tactile droite 18.1, une surface tactile gauche 18.2, une surface tactile avant 18.3, une surface tactile arrière 18.4 et une surface tactile supérieure 18.5. Dans ce cas, une commande peut découler d'au moins un contact sur une seule surface tactile ou la combinaison de contacts sur plusieurs surfaces tactiles. Ainsi, selon un premier exemple illustré sur la figure 3A, des mouvements de translation selon une même direction, un même sens et une même amplitude sur les surfaces gauche 18.2 et droite 18.1 se traduisent par une translation de la représentation de l'objet. Selon un deuxième exemple illustré sur la figure 3B, la rotation de la représentation de l'objet peut découler de mouvements circulaires sur les 5 surfaces gauche 18.2 et droite 18.1. Selon un troisième exemple illustré sur la figure 3C, la rotation de la représentation de l'objet peut découler de mouvements de translation en direction opposée et de même amplitude sur les surfaces gauche 18.2 et droite 18.1. 10 Ainsi, une même commande peut découler de mouvements différents. Le ou les mouvement(s) réalisé(s) sur les surfaces tactiles correspondant à une commande donnée peuvent se rapprocher des mouvements effectués naturellement par l'utilisateur pour simuler la même commande sur un objet réel. Les commandes ne sont pas limitées à un changement d'orientation de l'objet 15 virtuel ou à son déplacement dans l'espace. Ainsi, les commandes peuvent également engendrer une modification de la taille, de l'intensité de la lumière ou autre. Plus généralement, une commande permet de générer au moins une modification de la représentation de l'objet. 20 Selon l'invention, la seconde partie 16 de visualisation assurant la superposition de la représentation 12 tridimensionnelle de l'objet et du reflet de l'utilisateur 10' agissant sur ladite première partie 14' d'identification d'une commande comprend des moyens 26 d'affichage d'une représentation de l'objet ainsi qu'une paroi 28 interposée entre les moyens 26 d'affichage et les moyens 14 25 d'identification d'une commande, ladite paroi 28 comprenant une face 30 orientée vers l'utilisateur 10 permettant d'une part de réfléchir l'image de l'utilisateur 10' et des moyens 14' d'identification, et d'autre part, de visualiser la représentation 12 de l'objet affichée sur les moyens 26. La zone 31 située à l'arrière de la paroi 28 dans laquelle sont placés les moyens 26 d'affichage doit être dans l'obscurité afin que l'image de l'utilisateur et des moyens d'identification soit réfléchie et que seule la représentation 12 de l'objet soit visible au travers de la face 30. Selon un mode de réalisation, cette zone 31 est délimitée par une enceinte avec deux parois parallèles, l'une supportant les moyens 26 d'affichage et l'autre (la plus proche de l'utilisateur) assurant la fonction de la paroi 28. Selon un mode de réalisation, la paroi 28 est un miroir sans tain. Selon un mode de réalisation, un écran de type 2D LCD, plasma ou autre peut être utilisé comme moyen 26 d'affichage. En variante, on peut envisager un projecteur et son écran de projection associé ou un affichage autostéréoscopique. Avantageusement, le pupitre est utilisé comme moyen de positionnement de l'utilisateur par rapport aux différents éléments 14 et 16 de manière à ce que la représentation 12 de l'objet soit positionnée au niveau du reflet de la surface tactile de manière à ce que le reflet des mouvements qu'il réalise soit lié à celui de la représentation 12 de l'objet et qu'il ait au niveau de la face 30 réfléchissante l'impression visuelle de bouger l'objet virtuel de la même manière qu'un objet réel. In the same way, other solutions are conceivable for associating at least one movement made by the user with a command. According to a preferred embodiment, the first part 14 ensuring the identification of a command comprises a cube 22 having five tactile surfaces 18, preferably multipoint, the lower surface of the cube resting on a desk 24 for positioning the cube in the 'space. Thus, the cube 22 comprises a right touch surface 18.1, a left touch surface 18.2, a front touch surface 18.3, a rear touch surface 18.4 and a top touch surface 18.5. In this case, control can be derived from at least one contact on a single touch surface or the combination of contacts on multiple touch surfaces. Thus, according to a first example illustrated in FIG. 3A, translational movements in the same direction, the same direction and the same amplitude on the left 18.2 and right 18.1 surfaces result in a translation of the representation of the object. According to a second example illustrated in FIG. 3B, the rotation of the representation of the object may result from circular motions on the left 18.2 and right 18.1 surfaces. According to a third example illustrated in FIG. 3C, the rotation of the representation of the object may result from translational movements in the opposite direction and of the same amplitude on the left 18.2 and right 18.1 surfaces. Thus, the same command can flow from different movements. The movement (s) realized on the tactile surfaces corresponding to a given command may be closer to the movements naturally performed by the user to simulate the same command on a real object. The commands are not limited to a change of orientation of the virtual object or its movement in space. Thus, the controls may also cause a change in size, intensity of light or other. More generally, a command makes it possible to generate at least one modification of the representation of the object. According to the invention, the second viewing part 16 ensuring the superposition of the three-dimensional representation of the object and the reflection of the user acting on said first identification part of a control comprises means. 26 a display of a representation of the object and a wall 28 interposed between the display means 26 and the means 14 for identifying a control, said wall 28 comprising a face 30 facing the user 10 on the one hand to reflect the image of the user 10 'and means 14' identification, and secondly, to view the representation 12 of the object displayed on the means 26. The area 31 at the rear of the wall 28 in which are placed the display means 26 must be in the dark so that the image of the user and identification means is reflected and that only the representation 12 of the object is visible through the face 30. Salt one embodiment, this area 31 is delimited by an enclosure with two parallel walls, one supporting the display means 26 and the other (the closest to the user) ensuring the function of the wall 28. According to one embodiment, the wall 28 is a one-way mirror. According to one embodiment, a screen of 2D LCD, plasma or other type can be used as a display means. Alternatively, a projector and its associated projection screen or an autostereoscopic display can be envisaged. Advantageously, the console is used as a means of positioning the user relative to the various elements 14 and 16 so that the representation 12 of the object is positioned at the level of the reflection of the tactile surface so that the reflection of the movements that it realizes is related to that of the representation 12 of the object and that it has at the level of the reflective face 30 the visual impression of moving the virtual object in the same way as a real object .
A cet effet, les différentes parties du dispositif sont disposées de manière à ce que les moyens 26 soient sensiblement symétriques au centre du cube 22 par rapport à la paroi 28 afin que le chemin optique entre l'utilisateur et les moyens 26 d'affichage et l'utilisateur et le cube 22 soit sensiblement identique. Cet agencement permet de percevoir l'objet virtuel superposé au cube même si on s'écarte du cube si bien que des personnes placées à côté de l'utilisateur ont une perception sensiblement identique à celle de l'utilisateur. For this purpose, the different parts of the device are arranged so that the means 26 are substantially symmetrical in the center of the cube 22 relative to the wall 28 so that the optical path between the user and the display means 26 and the user and the cube 22 is substantially identical. This arrangement makes it possible to perceive the virtual object superimposed on the cube even if it deviates from the cube so that people placed next to the user have a perception substantially identical to that of the user.
Selon une autre possibilité, l'agencement des éléments peut être tel que l'utilisateur peut percevoir l'objet à côté, et de préférence au-dessus du cube. Dans ce cas, la représentation de l'objet est juxtaposée au reflet du cube. Ainsi, comme illustré sur la figure 4A, la commande illustrée sur la figure 3A se traduit par une image réfléchie sur la paroi 28 comprenant au milieu du reflet du cube et des mains de l'utilisateur la représentation 12 de l'objet, par exemple une voiture, qui est modifiée, de préférence instantanément, de manière coordonnée avec les mouvements de l'utilisateur, à savoir selon l'exemple, une translation de la voiture. According to another possibility, the arrangement of the elements may be such that the user can perceive the object next to it, and preferably above the cube. In this case, the representation of the object is juxtaposed with the reflection of the cube. Thus, as illustrated in FIG. 4A, the control illustrated in FIG. 3A is reflected by an image reflected on the wall 28 comprising, in the middle of the reflection of the cube and the hands of the user, the representation 12 of the object, for example a car, which is modified, preferably instantly, in a coordinated manner with the movements of the user, namely according to the example, a translation of the car.
Comme illustré sur la figure 4B, la commande illustrée sur la figure 3B se traduit par une image réfléchie sur la paroi 28 comprenant au milieu du reflet du cube et des mains de l'utilisateur la représentation 12 de l'objet, par exemple une voiture, qui est modifiée de manière coordonnée avec les mouvements de l'utilisateur, à savoir selon l'exemple, une rotation autour d'un axe horizontal de la voiture. Comme illustré sur la figure 4C, la commande illustrée sur la figure 3C se traduit par une image réfléchie sur la paroi 28 comprenant au milieu du reflet du cube et des mains de l'utilisateur la représentation 12 de l'objet, par exemple une voiture, qui est modifiée de manière coordonnée avec les mouvements de l'utilisateur, à savoir selon l'exemple, une rotation autour d'un axe vertical de la voiture. En complément, le dispositif de l'invention comprend des moyens de calcul permettant de modifier la représentation de l'objet en fonction de la commande induite par les mouvements de l'utilisateur. Ces moyens de calcul ne sont pas plus décrits car ils sont connus de l'homme du métier. Sur la figure 5, on a représenté une autre variante de l'invention. Dans ce cas, les moyens 14 d'identification du dispositif comprennent une seule surface tactile 18 disposée approximativement à l'horizontale sous laquelle sont disposés des moyens 32 de projection permettant de générer une représentation 34 au niveau de la surface tactile 18 visible par l'utilisateur 10. Le dispositif comprend également des moyens d'affichage 26 et une paroi 28 interposée entre les moyens 26 d'affichage et la surface tactile 18, ladite paroi 28 comprenant une face 30 orientée vers l'utilisateur 10 permettant de superposer d'une part la réflexion de l'image de l'utilisateur et des moyens d'identification avec la représentation 34', et d'autre part la représentation 12 de l'objet affichée par les moyens 26. Comme précédemment, la zone 31 située à l'arrière de la paroi 28 dans laquelle sont placés les moyens 26 d'affichage doit être dans l'obscurité afin que l'image de l'utilisateur et des moyens d'identification soit réfléchie et que seule la représentation 12 de l'objet soit visible au travers de la face 30. De préférence, les différentes parties du dispositif sont positionnées de manière à ce que les moyens 26 d'affichage soient sensiblement symétriques à la surface tactile 18 par rapport à la paroi 28. As illustrated in FIG. 4B, the control illustrated in FIG. 3B is reflected by an image reflected on the wall 28 comprising, in the middle of the reflection of the cube and the hands of the user, the representation 12 of the object, for example a car , which is modified in a coordinated manner with the movements of the user, namely according to the example, a rotation about a horizontal axis of the car. As illustrated in FIG. 4C, the control illustrated in FIG. 3C is reflected by an image reflected on the wall 28 comprising, in the middle of the reflection of the cube and the hands of the user, the representation 12 of the object, for example a car , which is modified in a coordinated manner with the movements of the user, namely according to the example, a rotation about a vertical axis of the car. In addition, the device of the invention comprises calculation means for modifying the representation of the object as a function of the control induced by the movements of the user. These calculation means are not more described because they are known to those skilled in the art. In Figure 5, there is shown another variant of the invention. In this case, the means 14 for identifying the device comprise a single touch surface 18 arranged approximately horizontally in which are disposed projection means 32 for generating a representation 34 at the tactile surface 18 visible by the User 10. The device also comprises display means 26 and a wall 28 interposed between the display means 26 and the touch surface 18, said wall 28 comprising a face 30 facing the user 10 for superimposing a the reflection of the image of the user and the means of identification with the representation 34 ', and secondly the representation 12 of the object displayed by the means 26. As previously, the zone 31 located at the rear wall 28 in which are placed the display means 26 must be in the dark so that the image of the user and means of identification is reflected and only the reprint 12 of the object is visible through the face 30. Preferably, the different parts of the device are positioned so that the display means 26 are substantially symmetrical to the touch surface 18 relative to the wall 28 .
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0954333A FR2947348B1 (en) | 2009-06-25 | 2009-06-25 | DEVICE FOR HANDLING AND VISUALIZING A VIRTUAL OBJECT |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0954333A FR2947348B1 (en) | 2009-06-25 | 2009-06-25 | DEVICE FOR HANDLING AND VISUALIZING A VIRTUAL OBJECT |
Publications (2)
Publication Number | Publication Date |
---|---|
FR2947348A1 true FR2947348A1 (en) | 2010-12-31 |
FR2947348B1 FR2947348B1 (en) | 2011-08-19 |
Family
ID=41168786
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR0954333A Expired - Fee Related FR2947348B1 (en) | 2009-06-25 | 2009-06-25 | DEVICE FOR HANDLING AND VISUALIZING A VIRTUAL OBJECT |
Country Status (1)
Country | Link |
---|---|
FR (1) | FR2947348B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012172044A1 (en) | 2011-06-17 | 2012-12-20 | Inria - Institut National De Recherche En Informatique Et En Automatique | System for colocating a touch screen and a virtual object, and device for manipulating virtual objects implementing such a system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5335557A (en) * | 1991-11-26 | 1994-08-09 | Taizo Yasutake | Touch sensitive input control device |
US20030142067A1 (en) * | 2002-01-25 | 2003-07-31 | Silicon Graphics, Inc. | Three dimensional volumetric display input and output configurations |
FR2911211A1 (en) * | 2007-01-05 | 2008-07-11 | Total Immersion Sa | Image i.e. video, inserting method for video game applications, involves receiving image of image flow, and extracting another image from three-dimensional representation of virtual object based on position and orientation of virtual object |
WO2009066998A2 (en) * | 2007-11-23 | 2009-05-28 | Mimos Berhad | Apparatus and method for multiple-touch spatial sensors |
-
2009
- 2009-06-25 FR FR0954333A patent/FR2947348B1/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5335557A (en) * | 1991-11-26 | 1994-08-09 | Taizo Yasutake | Touch sensitive input control device |
US20030142067A1 (en) * | 2002-01-25 | 2003-07-31 | Silicon Graphics, Inc. | Three dimensional volumetric display input and output configurations |
FR2911211A1 (en) * | 2007-01-05 | 2008-07-11 | Total Immersion Sa | Image i.e. video, inserting method for video game applications, involves receiving image of image flow, and extracting another image from three-dimensional representation of virtual object based on position and orientation of virtual object |
WO2009066998A2 (en) * | 2007-11-23 | 2009-05-28 | Mimos Berhad | Apparatus and method for multiple-touch spatial sensors |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012172044A1 (en) | 2011-06-17 | 2012-12-20 | Inria - Institut National De Recherche En Informatique Et En Automatique | System for colocating a touch screen and a virtual object, and device for manipulating virtual objects implementing such a system |
US20140204079A1 (en) * | 2011-06-17 | 2014-07-24 | Immersion | System for colocating a touch screen and a virtual object, and device for manipulating virtual objects implementing such a system |
US9786090B2 (en) * | 2011-06-17 | 2017-10-10 | INRIA—Institut National de Recherche en Informatique et en Automatique | System for colocating a touch screen and a virtual object, and device for manipulating virtual objects implementing such a system |
Also Published As
Publication number | Publication date |
---|---|
FR2947348B1 (en) | 2011-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI471769B (en) | Device, system, and method for projection of images onto tangible user interfaces | |
Hirsch et al. | BiDi screen: a thin, depth-sensing LCD for 3D interaction using light fields | |
JP5212991B2 (en) | Aerial video interaction device and program thereof | |
US8441467B2 (en) | Multi-touch sensing display through frustrated total internal reflection | |
GB2503978A (en) | Untouched 3D Measurement with Range Imaging | |
EP3072032B1 (en) | Projection screen for specularly reflecting infrared light | |
KR20090060283A (en) | Multi touch sensing display through frustrated total internal reflection | |
WO2009018317A2 (en) | Liquid multi-touch sensor and display device | |
WO2009074751A2 (en) | Method for three-dimensional digitisation | |
KR20220002731A (en) | Integrating point source for texture projecting bulb | |
Wang et al. | Bare finger 3D air-touch system using an embedded optical sensor array for mobile displays | |
EP2721444B1 (en) | System for colocating a touch screen and a virtual object, and device for manipulating virtual objects implementing such a system | |
Watanabe | High-speed optical 3D sensing and its applications | |
FR2947348A1 (en) | Object's i.e. car, three-dimensional representation visualizing and modifying device, has wall comprising face oriented toward user to reflect user's image and identification unit and visualize representation of object | |
Morimoto et al. | Free head motion eye gaze tracking without calibration | |
Hiratani et al. | Shadowless projection mapping using retrotransmissive optics | |
FR2971864A1 (en) | Virtual reality equipment i.e. immersive virtual reality environment equipment, for virtual reality interaction with human-machine interface car, has contact device with touch pad positioned at point where interface is intended to appear | |
FR2894684A1 (en) | VISUALIZATION SYSTEM FOR HANDLING AN OBJECT | |
WO2010072912A1 (en) | Device for three-dimensional scanning with dense reconstruction | |
US20040246234A1 (en) | Display apparatus | |
KR101002071B1 (en) | Apparatus for touching a projection of 3d images on an infrared screen using multi-infrared camera | |
Hirota et al. | Cross-section projector: Interactive and intuitive presentation of 3D volume data using a handheld screen | |
BE1023596B1 (en) | INTERACTIVE SYSTEM BASED ON MULTIMODAL GESTURES AND METHOD USING SINGLE DETECTION SYSTEM | |
EP3724749B1 (en) | Device for augmented reality application | |
Takahashi et al. | A Perspective-Corrected Stylus Pen for 3D Interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PLFP | Fee payment |
Year of fee payment: 7 |
|
CA | Change of address |
Effective date: 20151106 |
|
PLFP | Fee payment |
Year of fee payment: 8 |
|
PLFP | Fee payment |
Year of fee payment: 9 |
|
PLFP | Fee payment |
Year of fee payment: 10 |
|
ST | Notification of lapse |
Effective date: 20200205 |