FR2947348A1 - Object's i.e. car, three-dimensional representation visualizing and modifying device, has wall comprising face oriented toward user to reflect user's image and identification unit and visualize representation of object - Google Patents

Object's i.e. car, three-dimensional representation visualizing and modifying device, has wall comprising face oriented toward user to reflect user's image and identification unit and visualize representation of object Download PDF

Info

Publication number
FR2947348A1
FR2947348A1 FR0954333A FR0954333A FR2947348A1 FR 2947348 A1 FR2947348 A1 FR 2947348A1 FR 0954333 A FR0954333 A FR 0954333A FR 0954333 A FR0954333 A FR 0954333A FR 2947348 A1 FR2947348 A1 FR 2947348A1
Authority
FR
France
Prior art keywords
user
representation
command
wall
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR0954333A
Other languages
French (fr)
Other versions
FR2947348B1 (en
Inventor
La Riviere Jean-Baptiste De
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Priority to FR0954333A priority Critical patent/FR2947348B1/en
Publication of FR2947348A1 publication Critical patent/FR2947348A1/en
Application granted granted Critical
Publication of FR2947348B1 publication Critical patent/FR2947348B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The device has a display unit e.g. plasma screen, for displaying a three-dimensional representation (12) of an object, and an identification unit (14) for identifying a command of a user (10). A computing unit modifies the representation based on a command induced by movement of the user. A wall e.g. two-way mirror, is interposed between the display unit and the identification unit. The wall has a face oriented toward the user to reflect an image of user and the identification unit and visualize the representation of the object displayed on the display unit.

Description

DISPOSITIF POUR MANIPULER ET VISUALISER UN OBJET VIRTUEL DEVICE FOR HANDLING AND VISUALIZING A VIRTUAL OBJECT

La présente invention se rapporte à un dispositif pour manipuler et visualiser un objet virtuel, ledit dispositif permettant de procurer à un opérateur des sensations visuelles proches de celles ressenties lors de la manipulation d'un objet réel et reposant sur des gestes proches de ceux qu'il ferait pour manipuler un objet réel. On connait des systèmes permettant de visualiser une représentation tridimensionnelle d'un objet, par exemple un objet visualisé sur un écran plat ou dans un environnement immersif à plusieurs faces. En variante, la représentation tridimensionnelle peut être générée avec un système de visualisation stéréoscopique. Dans l'espace, un ob jet réel peut se translater selon au moins une direction et/ou pivoter autour d'au moins un axe de rotation. Ainsi, dans un repère cartésien avec des axes X, Y, Z, le mouvement d'un objet réel découle de la combinaison d'au moins une translation selon l'un des trois axes X, Y, Z et/ou d'au moins une rotation selon l'un des trois axes X, Y, Z. La représentation interactive idéale d'un objet virtuel doit permettre la manipulation de l'objet virtuel de la même manière que dans la réalité afin par exemple de modifier l'angle de vue de l'objet. Pour manipuler un objet virtuel, il existe différentes interfaces. The present invention relates to a device for manipulating and visualizing a virtual object, said device making it possible to provide an operator with visual sensations close to those felt during the manipulation of a real object and resting on gestures close to those which he would do to manipulate a real object. Systems are known for displaying a three-dimensional representation of an object, for example an object viewed on a flat screen or in a multi-sided immersive environment. Alternatively, the three-dimensional representation may be generated with a stereoscopic viewing system. In space, a real object can translate in at least one direction and / or rotate about at least one axis of rotation. Thus, in a cartesian coordinate system with X, Y, Z axes, the movement of a real object results from the combination of at least one translation along one of the three axes X, Y, Z and / or from minus a rotation along one of the three axes X, Y, Z. The ideal interactive representation of a virtual object must allow the manipulation of the virtual object in the same way as in reality, for example to modify the angle view of the object. To manipulate a virtual object, there are different interfaces.

Une première solution consiste à utiliser une souris d'ordinateur. Ce périphérique simple et peu coûteux ne permet pas une manipulation aisée en trois dimensions. Ce manque d'ergonomie découle du fait que la souris n'autorise que des mouvements dans un plan qui doivent être traduits en mouvements dans l'espace. A first solution is to use a computer mouse. This simple and inexpensive device does not allow easy manipulation in three dimensions. This lack of ergonomics stems from the fact that the mouse only allows movements in a plane that must be translated into movements in space.

Une deuxième solution consiste à utiliser un périphérique commercialisé sous le nom de spacemouse comprenant plusieurs commandes actionnées par les doigts d'une main correspondant chacune à une translation ou une rotation. Ce type de périphérique est cependant difficile à utiliser par une personne non initiée dans la mesure où le périphérique ne permet que des mouvements physiques de faibles amplitudes et ne permet pas la dissociation entre les différents axes ou les opérations de translation et de rotation. Une troisième solution décrite dans le document EP-1.110.172 consiste à utiliser un capteur sous forme d'un cube comprenant sur chacune de ses faces une tige actionnable, les efforts ayant pour conséquence une rotation ou un basculement de la tige étant interprétés comme des rotations ou des translations de l'ob jet virtuel. Même si les commandes de ce périphérique sont relativement intuitives, il n'évite pas quelques limitations car l'utilisateur ne peut commander qu'une tige à la fois à l'aide d'une main, l'autre main étant utilisée pour tenir le cube et sa position devant être modifiée en fonction de la tige manipulée. On connait également les écrans tactiles qui permettent de manipuler des représentations d'éléments en deux dimensions. Ainsi, le titulaire propose une table tactile permettant de déplacer les représentations de pages, de photos ou autres. Cette table comprend un écran au niveau duquel peut être générée une image à l'aide d'un vidéoprojecteur placé sous l'écran par exemple, au moins un capteur permettant de détecter les mouvements d'au moins un doigt à la surface de l'écran et des moyens pour convertir le mouvement détecté en instruction. A second solution is to use a device marketed under the name of spacemouse comprising several commands operated by the fingers of a hand each corresponding to a translation or a rotation. This type of device is, however, difficult to use by an uninitiated person insofar as the device allows only physical movements of small amplitudes and does not allow the dissociation between the different axes or the operations of translation and rotation. A third solution described in document EP-1.110.172 consists in using a sensor in the form of a cube comprising on each of its faces an actuatable rod, the forces resulting in a rotation or a tilting of the rod being interpreted as rotations or translations of the virtual object. Although the controls of this device are relatively intuitive, it does not avoid some limitations because the user can only control one rod at a time with one hand, the other hand being used to hold the cube and its position to be modified according to the rod manipulated. Touch screens are also known for manipulating representations of two-dimensional elements. Thus, the holder offers a touch table for moving the representations of pages, photos or others. This table includes a screen at which an image can be generated by means of a video projector placed under the screen, for example, at least one sensor for detecting the movements of at least one finger on the surface of the screen. screen and means for converting the detected motion into an instruction.

Le fait que la surface de contact soit également la surface de visualisation permet d'offrir à l'utilisateur des sensations visuelles proches de celles qu'il aurait en manipulant sur la même surface un objet réel. The fact that the contact surface is also the viewing surface makes it possible to offer the user visual sensations close to those he would have when manipulating on the same surface a real object.

Toutefois, cette solution est physiquement limitée à des déplacements dans un plan et non dans l'espace, rendant difficile et complexe l'interaction avec des environnements tridimensionnels. Dans le même esprit, on connait une sphère tactile permettant de générer l'image non pas sur un écran plan comme pour une table tactile mais sur une sphère. Même si cette solution permet de donner une impression de volume, elle ne permet que de déplacer des représentations d'objets à la surface d'une sphère et ne permet pas la manipulation et la visualisation d'objets tridimensionnels arbitraires. However, this solution is physically limited to displacements in a plane and not in space, making the interaction with three-dimensional environments difficult and complex. In the same spirit, we know a tactile sphere to generate the image not on a flat screen as for a touch table but on a sphere. Although this solution gives a sense of volume, it only allows to move representations of objects on the surface of a sphere and does not allow the manipulation and visualization of arbitrary three-dimensional objects.

Le titulaire a également développé un cube tactile permettant d'interagir sur une représentation d'un objet virtuel visible sur un écran ou dans un environnement immersif. Ce cube comprend cinq faces actives tactiles au niveau de la surface desquelles un opérateur peut effectuer des gestes qui sont traduits en instructions. Ainsi, si l'opérateur effectue de manière simultanée sur deux faces opposées un mouvement selon une même direction, ces mouvements sont traduits en une instruction visant à modifier la représentation de l'ob jet de manière à ce que ce dernier se translate selon cette direction. Même si ce type de périphérique permet d'agir sur la représentation d'un ob jet virtuel de manière intuitive, rendant son utilisation simple, on note que la représentation de l'objet est toujours décalée par rapport à la zone au niveau de laquelle l'opérateur effectue les commandes et ne permet pas d'obtenir les mêmes sensations visuelles que celles procurées par un écran tactile plan ou sphérique. The incumbent has also developed a tactile cube to interact on a representation of a virtual object visible on a screen or in an immersive environment. This cube has five active touch faces at the surface of which an operator can perform gestures that are translated into instructions. Thus, if the operator performs simultaneously on two opposite sides a movement in the same direction, these movements are translated into an instruction to change the representation of the ob jet so that the latter is translated in this direction . Even if this type of device makes it possible to act on the representation of a virtual object in an intuitive manner, making it easy to use, it is noted that the representation of the object is always offset with respect to the area where The operator performs the commands and does not allow to obtain the same visual sensations as those provided by a flat or spherical touch screen.

Aussi, la présente invention vise à pallier les inconvénients de l'art antérieur en proposant un dispositif pour manipuler et visualiser un objet virtuel, ledit dispositif étant simple d'utilisation et susceptible de procurer les mêmes sensations visuelles que celles procurées lors de la manipulation d'un ob jet réel. Also, the present invention aims to overcome the drawbacks of the prior art by providing a device for manipulating and visualizing a virtual object, said device being simple to use and capable of providing the same visual sensations as those provided during the manipulation of a real object.

A cet effet, l'invention a pour objet un dispositif pour visualiser et interagir sur au moins une représentation tridimensionnelle d'au moins un objet, comprenant des moyens pour afficher ladite au moins une représentation, une première partie d'identification d'au moins une commande d'un utilisateur avec au moins une surface au niveau de laquelle ledit utilisateur réalise au moins un mouvement interprété en au moins une commande et des moyens de calcul permettant de modifier ladite au moins une représentation d'au moins un objet en fonction de ladite au moins une commande induite par le ou les mouvement(s) de l'utilisateur, caractérisé en ce qu'il comprend une paroi interposée entre les moyens d'affichage et les moyens d'identification d'au moins une commande, ladite paroi comprenant une face orientée vers l'utilisateur permettant d'une part de réfléchir l'image de l'utilisateur et les moyens d'identification d'au moins une commande, et d'autre part, de visualiser la au moins une représentation d'au moins un objet affichée par les moyens d'affichage. To this end, the invention relates to a device for displaying and interacting on at least one three-dimensional representation of at least one object, comprising means for displaying said at least one representation, a first identification part of at least one a command from a user with at least one surface at which said user performs at least one interpreted movement in at least one command and computing means for modifying said at least one representation of at least one object according to said at least one control induced by the movement (s) of the user, characterized in that it comprises a wall interposed between the display means and the identification means of at least one control, said wall comprising a face oriented towards the user making it possible, on the one hand, to reflect the image of the user and the means of identification of at least one command, and on the other hand, to visualize the image oins a representation of at least one object displayed by the display means.

Cette solution permet d'obtenir un dispositif simple à utiliser à la manière des écrans tactiles. La superposition ou la juxtaposition de la représentation de l'objet et du reflet de l'opérateur et du périphérique de commande permet d'obtenir des sensations visuelles proches de celles procurées lors de la manipulation de l'objet réel. This solution provides a simple device to use in the manner of touch screens. The superimposition or juxtaposition of the representation of the object and the reflection of the operator and the control device makes it possible to obtain visual sensations close to those provided during the manipulation of the real object.

D'autres caractéristiques et avantages ressortiront de la description qui va suivre de l'invention, description donnée à titre d'exemple uniquement, en regard des dessins annexés sur lesquels : - la figure 1 est une vue en perspective d'un dispositif pour manipuler et visualiser un objet virtuel selon une première variante de l'invention, - la figure 2 est une vue latérale du dispositif pour manipuler et visualiser un objet virtuel illustré sur la figure 1, - la figure 3A est une vue latérale d'un capteur de mouvement illustrant un premier exemple de commande, - la figure 3B est une vue latérale d'un capteur de mouvement illustrant un deuxième exemple de commande, - la figure 3C est une vue latérale d'un capteur de mouvement illustrant un troisième exemple de commande, - la figure 4A est une vue de la partie visualisation du dispositif illustrant la modification de la représentation lors de la première commande visible sur la figure 3A, - la figure 4B est une vue de la partie visualisation du dispositif illustrant la modification de la représentation lors de la deuxième commande visible sur la figure 3A, - la figure 4C est une vue de la partie visualisation du dispositif illustrant la modification de la représentation lors de la troisième commande visible sur la figure 3C, et - la figure 5 est une vue en perspective d'un dispositif pour manipuler et visualiser un objet virtuel selon une autre variante de l'invention. Sur les figures 1 et 2, on a représenté un dispositif permettant à un utilisateur 10 de manipuler et visualiser au moins une représentation 12 tridimensionnelle d'au moins un objet par exemple une voiture. Bien entendu, l'invention n'est pas limitée à une seule représentation tridimensionnelle d'un seul objet, mais peut être utilisée pour manipuler et visualiser plusieurs représentations d'objets. Selon l'invention, le dispositif comprend une première partie 14 d'identification d'au moins une commande de l'utilisateur 10 et une seconde partie 16 de visualisation assurant la superposition de la représentation 12 tridimensionnelle de l'objet et du reflet de l'utilisateur 10 agissant sur ladite première partie 14 d'identification d'une commande. Selon l'invention, la première partie 14 assurant l'identification d'une commande comprend au moins une surface 18 au niveau de laquelle l'utilisateur 10 réalise au moins un mouvement et des moyens pour interpréter au moins un mouvement effectué par l'utilisateur 10 en une commande permettant de modifier la représentation 12 de l'objet. Avantageusement, le mouvement correspondant à une commande découle du déplacement de l'extrémité d'au moins un doigt 20 de l'utilisateur 10 au niveau de la ou des surface(s) 18. Ainsi, la commande d'une translation peut correspondre à un mouvement de translation d'un doigt, la commande d'une rotation à un mouvement de rotation d'un doigt, à un geste de rotation de deux doigts ou à la combinaison de deux mouvements de translation opposés. La commande de modification de la taille de la représentation de l'objet peut correspondre aux mouvements combinés de plusieurs doigts. L'invention n'est pas limitée à ces commandes, d'autres mouvements effectués par l'utilisateur peuvent être interprétés en commandes permettant de modifier la représentation 12 de l'ob jet. Ainsi, il existe de nombreuses combinaisons de mouvements sur la ou les surfaces 18 associées chacune à une commande. Selon une première technologie, la surface 18 est dite tactile, de préférence multipoints, et correspond à une première face d'une paroi sous laquelle sont placés un ensemble de sources lumineuses infrarouges et un capteur de lumière infrarouge. La détection d'une zone de contact au niveau de la surface 18 se fait lors de la captation par le capteur de la réflexion, de l'extérieur vers l'intérieur, par un élément appliqué sur la surface tactile, des rayons lumineux émis à travers la surface 18 tactile mais également diffusante de l'intérieur vers l'extérieur. Ce système permet d'obtenir en temps réel des cartographies des zones de contact au niveau de la surface tactile 18. Dans le cas de plusieurs surfaces 18 tactiles, il permet de récupérer les informations de toutes les surfaces en même temps et d'obtenir des cartographies simultanées. Other features and advantages will become apparent from the following description of the invention, a description given by way of example only, with reference to the appended drawings, in which: FIG. 1 is a perspective view of a device for manipulating and visualizing a virtual object according to a first variant of the invention, - Figure 2 is a side view of the device for manipulating and visualizing a virtual object illustrated in Figure 1; - Figure 3A is a side view of a sensor of motion illustrating a first control example, - Figure 3B is a side view of a motion sensor illustrating a second control example, - Figure 3C is a side view of a motion sensor illustrating a third control example, FIG. 4A is a view of the display portion of the device illustrating the modification of the representation during the first command visible in FIG. 3A; FIG. 4B is a view of the FIG. FIG. 4C is a view of the display portion of the device illustrating the modification of the representation at the third control shown in FIG. 3C. FIG. 4C is a view of the display portion of the device illustrating the modification of the representation at the third control shown in FIG. 3C. and FIG. 5 is a perspective view of a device for manipulating and visualizing a virtual object according to another variant of the invention. FIGS. 1 and 2 show a device enabling a user 10 to manipulate and visualize at least one three-dimensional representation of at least one object, for example a car. Of course, the invention is not limited to a single three-dimensional representation of a single object, but can be used to manipulate and visualize several representations of objects. According to the invention, the device comprises a first identification part 14 of at least one control of the user 10 and a second display part 16 ensuring the superposition of the three-dimensional representation of the object and the reflection of the image. user 10 acting on said first identification part 14 of a command. According to the invention, the first part 14 ensuring the identification of a command comprises at least one surface 18 at which the user 10 carries out at least one movement and means for interpreting at least one movement made by the user 10 in a command for changing the representation 12 of the object. Advantageously, the movement corresponding to a command results from the displacement of the end of at least one finger 20 of the user 10 at the level of the surface (s) 18. Thus, the control of a translation can correspond to a translational movement of a finger, the control of a rotation to a rotational movement of a finger, a gesture of rotation of two fingers or the combination of two opposing translational movements. The command to change the size of the representation of the object may correspond to the combined movements of several fingers. The invention is not limited to these commands, other movements made by the user can be interpreted as commands for modifying the representation 12 of the object. Thus, there are many combinations of movements on the surface or surfaces 18 each associated with a command. According to a first technology, the surface 18 is said to be tactile, preferably multipoint, and corresponds to a first face of a wall under which are placed a set of infrared light sources and an infrared light sensor. The detection of a contact zone at the surface 18 is made during the capture by the sensor of the reflection, from the outside to the inside, by an element applied to the tactile surface, light rays emitted at across the surface 18 touch but also diffusing from the inside to the outside. This system makes it possible to obtain, in real time, mappings of the contact zones at the level of the tactile surface 18. In the case of several tactile surfaces, it makes it possible to retrieve the information from all the surfaces at the same time and to obtain information. simultaneous mapping.

En complément, des moyens de calcul permettent d'obtenir cette cartographie et de traduire le ou les mouvement(s) effectués par l'utilisateur en une commande, notamment en analysant dans un premier temps les cartographies pour définir le ou les mouvement(s) effectués par le ou les doigt(s) de l'utilisateur puis en comparant le ou les mouvement(s) défini(s) avec des mouvements de référence stockés dans une base de données qui correspondent chacun à une commande et enfin en estimant le ou les mouvements de référence le ou les plus proche(s) du ou des mouvement(s) défini(s) pour associer une commande. D'autres solutions technologiques peuvent être envisagées pour déterminer le ou les mouvements effectué(s) par l'utilisateur au niveau de la surface 18. Ainsi, un système capacitif peut recouvrir la surface 18. Dans ce cas, des moyens sont prévus pour établir une cartographie des charges présentes à la surface 18, les dites charges étant manquantes car transférées vers l'utilisateur au niveau des zones de contact. In addition, calculating means make it possible to obtain this mapping and to translate the movement (s) made by the user into a command, in particular by first analyzing the maps to define the movement (s). performed by the finger (s) of the user and then comparing the movement (s) defined (s) with reference movements stored in a database that each correspond to a command and finally estimating the the reference movements the closest to the movement (s) defined (s) to associate a command. Other technological solutions can be envisaged to determine the movement (s) performed by the user at the surface 18. Thus, a capacitive system can cover the surface 18. In this case, means are provided to establish a mapping of the charges present on the surface 18, said charges being missing because transferred to the user at the contact areas.

De la même manière, d'autres solutions sont envisageables pour associer à au moins un mouvement effectué par l'utilisateur une commande. Selon un mode de réalisation privilégié, la première partie 14 assurant l'identification d'une commande comprend un cube 22 offrant cinq surfaces tactiles 18, de préférence multipoints, la surface inférieure du cube reposant sur un pupitre 24 permettant de positionner le cube dans l'espace. Ainsi, le cube 22 comprend une surface tactile droite 18.1, une surface tactile gauche 18.2, une surface tactile avant 18.3, une surface tactile arrière 18.4 et une surface tactile supérieure 18.5. Dans ce cas, une commande peut découler d'au moins un contact sur une seule surface tactile ou la combinaison de contacts sur plusieurs surfaces tactiles. Ainsi, selon un premier exemple illustré sur la figure 3A, des mouvements de translation selon une même direction, un même sens et une même amplitude sur les surfaces gauche 18.2 et droite 18.1 se traduisent par une translation de la représentation de l'objet. Selon un deuxième exemple illustré sur la figure 3B, la rotation de la représentation de l'objet peut découler de mouvements circulaires sur les 5 surfaces gauche 18.2 et droite 18.1. Selon un troisième exemple illustré sur la figure 3C, la rotation de la représentation de l'objet peut découler de mouvements de translation en direction opposée et de même amplitude sur les surfaces gauche 18.2 et droite 18.1. 10 Ainsi, une même commande peut découler de mouvements différents. Le ou les mouvement(s) réalisé(s) sur les surfaces tactiles correspondant à une commande donnée peuvent se rapprocher des mouvements effectués naturellement par l'utilisateur pour simuler la même commande sur un objet réel. Les commandes ne sont pas limitées à un changement d'orientation de l'objet 15 virtuel ou à son déplacement dans l'espace. Ainsi, les commandes peuvent également engendrer une modification de la taille, de l'intensité de la lumière ou autre. Plus généralement, une commande permet de générer au moins une modification de la représentation de l'objet. 20 Selon l'invention, la seconde partie 16 de visualisation assurant la superposition de la représentation 12 tridimensionnelle de l'objet et du reflet de l'utilisateur 10' agissant sur ladite première partie 14' d'identification d'une commande comprend des moyens 26 d'affichage d'une représentation de l'objet ainsi qu'une paroi 28 interposée entre les moyens 26 d'affichage et les moyens 14 25 d'identification d'une commande, ladite paroi 28 comprenant une face 30 orientée vers l'utilisateur 10 permettant d'une part de réfléchir l'image de l'utilisateur 10' et des moyens 14' d'identification, et d'autre part, de visualiser la représentation 12 de l'objet affichée sur les moyens 26. La zone 31 située à l'arrière de la paroi 28 dans laquelle sont placés les moyens 26 d'affichage doit être dans l'obscurité afin que l'image de l'utilisateur et des moyens d'identification soit réfléchie et que seule la représentation 12 de l'objet soit visible au travers de la face 30. Selon un mode de réalisation, cette zone 31 est délimitée par une enceinte avec deux parois parallèles, l'une supportant les moyens 26 d'affichage et l'autre (la plus proche de l'utilisateur) assurant la fonction de la paroi 28. Selon un mode de réalisation, la paroi 28 est un miroir sans tain. Selon un mode de réalisation, un écran de type 2D LCD, plasma ou autre peut être utilisé comme moyen 26 d'affichage. En variante, on peut envisager un projecteur et son écran de projection associé ou un affichage autostéréoscopique. Avantageusement, le pupitre est utilisé comme moyen de positionnement de l'utilisateur par rapport aux différents éléments 14 et 16 de manière à ce que la représentation 12 de l'objet soit positionnée au niveau du reflet de la surface tactile de manière à ce que le reflet des mouvements qu'il réalise soit lié à celui de la représentation 12 de l'objet et qu'il ait au niveau de la face 30 réfléchissante l'impression visuelle de bouger l'objet virtuel de la même manière qu'un objet réel. In the same way, other solutions are conceivable for associating at least one movement made by the user with a command. According to a preferred embodiment, the first part 14 ensuring the identification of a command comprises a cube 22 having five tactile surfaces 18, preferably multipoint, the lower surface of the cube resting on a desk 24 for positioning the cube in the 'space. Thus, the cube 22 comprises a right touch surface 18.1, a left touch surface 18.2, a front touch surface 18.3, a rear touch surface 18.4 and a top touch surface 18.5. In this case, control can be derived from at least one contact on a single touch surface or the combination of contacts on multiple touch surfaces. Thus, according to a first example illustrated in FIG. 3A, translational movements in the same direction, the same direction and the same amplitude on the left 18.2 and right 18.1 surfaces result in a translation of the representation of the object. According to a second example illustrated in FIG. 3B, the rotation of the representation of the object may result from circular motions on the left 18.2 and right 18.1 surfaces. According to a third example illustrated in FIG. 3C, the rotation of the representation of the object may result from translational movements in the opposite direction and of the same amplitude on the left 18.2 and right 18.1 surfaces. Thus, the same command can flow from different movements. The movement (s) realized on the tactile surfaces corresponding to a given command may be closer to the movements naturally performed by the user to simulate the same command on a real object. The commands are not limited to a change of orientation of the virtual object or its movement in space. Thus, the controls may also cause a change in size, intensity of light or other. More generally, a command makes it possible to generate at least one modification of the representation of the object. According to the invention, the second viewing part 16 ensuring the superposition of the three-dimensional representation of the object and the reflection of the user acting on said first identification part of a control comprises means. 26 a display of a representation of the object and a wall 28 interposed between the display means 26 and the means 14 for identifying a control, said wall 28 comprising a face 30 facing the user 10 on the one hand to reflect the image of the user 10 'and means 14' identification, and secondly, to view the representation 12 of the object displayed on the means 26. The area 31 at the rear of the wall 28 in which are placed the display means 26 must be in the dark so that the image of the user and identification means is reflected and that only the representation 12 of the object is visible through the face 30. Salt one embodiment, this area 31 is delimited by an enclosure with two parallel walls, one supporting the display means 26 and the other (the closest to the user) ensuring the function of the wall 28. According to one embodiment, the wall 28 is a one-way mirror. According to one embodiment, a screen of 2D LCD, plasma or other type can be used as a display means. Alternatively, a projector and its associated projection screen or an autostereoscopic display can be envisaged. Advantageously, the console is used as a means of positioning the user relative to the various elements 14 and 16 so that the representation 12 of the object is positioned at the level of the reflection of the tactile surface so that the reflection of the movements that it realizes is related to that of the representation 12 of the object and that it has at the level of the reflective face 30 the visual impression of moving the virtual object in the same way as a real object .

A cet effet, les différentes parties du dispositif sont disposées de manière à ce que les moyens 26 soient sensiblement symétriques au centre du cube 22 par rapport à la paroi 28 afin que le chemin optique entre l'utilisateur et les moyens 26 d'affichage et l'utilisateur et le cube 22 soit sensiblement identique. Cet agencement permet de percevoir l'objet virtuel superposé au cube même si on s'écarte du cube si bien que des personnes placées à côté de l'utilisateur ont une perception sensiblement identique à celle de l'utilisateur. For this purpose, the different parts of the device are arranged so that the means 26 are substantially symmetrical in the center of the cube 22 relative to the wall 28 so that the optical path between the user and the display means 26 and the user and the cube 22 is substantially identical. This arrangement makes it possible to perceive the virtual object superimposed on the cube even if it deviates from the cube so that people placed next to the user have a perception substantially identical to that of the user.

Selon une autre possibilité, l'agencement des éléments peut être tel que l'utilisateur peut percevoir l'objet à côté, et de préférence au-dessus du cube. Dans ce cas, la représentation de l'objet est juxtaposée au reflet du cube. Ainsi, comme illustré sur la figure 4A, la commande illustrée sur la figure 3A se traduit par une image réfléchie sur la paroi 28 comprenant au milieu du reflet du cube et des mains de l'utilisateur la représentation 12 de l'objet, par exemple une voiture, qui est modifiée, de préférence instantanément, de manière coordonnée avec les mouvements de l'utilisateur, à savoir selon l'exemple, une translation de la voiture. According to another possibility, the arrangement of the elements may be such that the user can perceive the object next to it, and preferably above the cube. In this case, the representation of the object is juxtaposed with the reflection of the cube. Thus, as illustrated in FIG. 4A, the control illustrated in FIG. 3A is reflected by an image reflected on the wall 28 comprising, in the middle of the reflection of the cube and the hands of the user, the representation 12 of the object, for example a car, which is modified, preferably instantly, in a coordinated manner with the movements of the user, namely according to the example, a translation of the car.

Comme illustré sur la figure 4B, la commande illustrée sur la figure 3B se traduit par une image réfléchie sur la paroi 28 comprenant au milieu du reflet du cube et des mains de l'utilisateur la représentation 12 de l'objet, par exemple une voiture, qui est modifiée de manière coordonnée avec les mouvements de l'utilisateur, à savoir selon l'exemple, une rotation autour d'un axe horizontal de la voiture. Comme illustré sur la figure 4C, la commande illustrée sur la figure 3C se traduit par une image réfléchie sur la paroi 28 comprenant au milieu du reflet du cube et des mains de l'utilisateur la représentation 12 de l'objet, par exemple une voiture, qui est modifiée de manière coordonnée avec les mouvements de l'utilisateur, à savoir selon l'exemple, une rotation autour d'un axe vertical de la voiture. En complément, le dispositif de l'invention comprend des moyens de calcul permettant de modifier la représentation de l'objet en fonction de la commande induite par les mouvements de l'utilisateur. Ces moyens de calcul ne sont pas plus décrits car ils sont connus de l'homme du métier. Sur la figure 5, on a représenté une autre variante de l'invention. Dans ce cas, les moyens 14 d'identification du dispositif comprennent une seule surface tactile 18 disposée approximativement à l'horizontale sous laquelle sont disposés des moyens 32 de projection permettant de générer une représentation 34 au niveau de la surface tactile 18 visible par l'utilisateur 10. Le dispositif comprend également des moyens d'affichage 26 et une paroi 28 interposée entre les moyens 26 d'affichage et la surface tactile 18, ladite paroi 28 comprenant une face 30 orientée vers l'utilisateur 10 permettant de superposer d'une part la réflexion de l'image de l'utilisateur et des moyens d'identification avec la représentation 34', et d'autre part la représentation 12 de l'objet affichée par les moyens 26. Comme précédemment, la zone 31 située à l'arrière de la paroi 28 dans laquelle sont placés les moyens 26 d'affichage doit être dans l'obscurité afin que l'image de l'utilisateur et des moyens d'identification soit réfléchie et que seule la représentation 12 de l'objet soit visible au travers de la face 30. De préférence, les différentes parties du dispositif sont positionnées de manière à ce que les moyens 26 d'affichage soient sensiblement symétriques à la surface tactile 18 par rapport à la paroi 28. As illustrated in FIG. 4B, the control illustrated in FIG. 3B is reflected by an image reflected on the wall 28 comprising, in the middle of the reflection of the cube and the hands of the user, the representation 12 of the object, for example a car , which is modified in a coordinated manner with the movements of the user, namely according to the example, a rotation about a horizontal axis of the car. As illustrated in FIG. 4C, the control illustrated in FIG. 3C is reflected by an image reflected on the wall 28 comprising, in the middle of the reflection of the cube and the hands of the user, the representation 12 of the object, for example a car , which is modified in a coordinated manner with the movements of the user, namely according to the example, a rotation about a vertical axis of the car. In addition, the device of the invention comprises calculation means for modifying the representation of the object as a function of the control induced by the movements of the user. These calculation means are not more described because they are known to those skilled in the art. In Figure 5, there is shown another variant of the invention. In this case, the means 14 for identifying the device comprise a single touch surface 18 arranged approximately horizontally in which are disposed projection means 32 for generating a representation 34 at the tactile surface 18 visible by the User 10. The device also comprises display means 26 and a wall 28 interposed between the display means 26 and the touch surface 18, said wall 28 comprising a face 30 facing the user 10 for superimposing a the reflection of the image of the user and the means of identification with the representation 34 ', and secondly the representation 12 of the object displayed by the means 26. As previously, the zone 31 located at the rear wall 28 in which are placed the display means 26 must be in the dark so that the image of the user and means of identification is reflected and only the reprint 12 of the object is visible through the face 30. Preferably, the different parts of the device are positioned so that the display means 26 are substantially symmetrical to the touch surface 18 relative to the wall 28 .

Claims (6)

REVENDICATIONS1. Dispositif pour visualiser et modifier au moins une représentation tridimensionnelle (12) d'au moins un objet, comprenant des moyens (26) pour afficher ladite au moins une représentation (12), une première partie (14) d'identification d'au moins une commande d'un utilisateur (10) avec au moins une surface (18) au niveau de laquelle ledit utilisateur (10) réalise au moins un mouvement interprété en au moins une commande et des moyens de calcul permettant de modifier ladite au moins une représentation d'au moins un objet en fonction de ladite au moins une commande induite par le ou les mouvement(s) de l'utilisateur, caractérisé en ce qu'il comprend une paroi (28) interposée entre les moyens (26) d'affichage et les moyens (14) d'identification d'au moins une commande, ladite paroi (28) comprenant une face (30) orientée vers l'utilisateur (10) permettant d'une part de réfléchir l'image de l'utilisateur et les moyens d'identification d'au moins une commande, et d'autre part, de visualiser ladite au moins une représentation (12) d'au moins un objet affichée sur les moyens (26) d'affichage. REVENDICATIONS1. Device for displaying and modifying at least one three-dimensional representation (12) of at least one object, comprising means (26) for displaying said at least one representation (12), a first identification part (14) of at least one a command from a user (10) with at least one surface (18) at which said user (10) performs at least one interpreted movement in at least one command and computing means for modifying said at least one representation at least one object according to said at least one control induced by the movement (s) of the user, characterized in that it comprises a wall (28) interposed between the means (26) display and the means (14) for identifying at least one control, said wall (28) comprising a face (30) facing the user (10) allowing on the one hand to reflect the image of the user and means for identifying at least one command, and on the other hand, visualizing said at least one representation (12) of at least one object displayed on the display means (26). 2. Dispositif pour visualiser et modifier au moins une représentation tridimensionnelle (12) d'au moins un objet selon la revendication 1, caractérisé en ce que la paroi (28) est interposée de manière à ce que les moyens (26) d'affichage soient sensiblement symétriques aux moyens (14) d'identification d'au moins une commande par rapport à ladite paroi (28). 2. Device for displaying and modifying at least one three-dimensional representation (12) of at least one object according to claim 1, characterized in that the wall (28) is interposed so that the display means (26) are substantially symmetrical means (14) for identifying at least one control relative to said wall (28). 3. Dispositif pour visualiser et modifier au moins une représentation tridimensionnelle (12) d'au moins un objet selon la revendication 1 ou 2, caractérisé en ce que la zone (31) située à l'arrière de la paroi (28) dans laquelle sont placés les moyens (26) d'affichage doit être dans l'obscurité afin que l'imagede l'utilisateur et des moyens d'identification soit réfléchie et que seule la représentation (12) de l'objet soit visible au travers de la face (30). 3. Device for displaying and modifying at least one three-dimensional representation (12) of at least one object according to claim 1 or 2, characterized in that the zone (31) located at the rear of the wall (28) in which the display means (26) must be in the dark so that the image of the user and identification means is reflected and that only the representation (12) of the object is visible through the face (30). 4. Dispositif pour visualiser et modifier au moins une représentation tridimensionnelle (12) d'au moins un objet selon l'une quelconque des revendications 1 à 3, caractérisé en ce qu'il comprend des moyens de positionnement de l'utilisateur par rapport aux moyens (14) d'identification. 4. Device for displaying and modifying at least one three-dimensional representation (12) of at least one object according to any one of claims 1 to 3, characterized in that it comprises means for positioning the user with respect to identification means (14). 5. Dispositif pour visualiser et modifier au moins une représentation tridimensionnelle (12) d'au moins un objet selon l'une quelconque des revendications 1 à 4, caractérisé en qu'il comprend au moins une paroi comportant une face assurant la fonction de surface (18) au niveau de laquelle l'utilisateur opère au moins une commande, un capteur de lumière infrarouge permettant d'établir en temps réel des cartographies des zones de contact au niveau de la surface (18), des moyens de calcul permettant de traduire le ou les mouvement(s) effectués par l'utilisateur en une commande, en analysant dans un premier temps les cartographies pour définir le ou les mouvement(s) effectués par le ou les doigt(s) de l'utilisateur puis en comparant le ou les mouvement(s) défini(s) avec des mouvements de référence qui correspondent chacun à une commande et enfin en estimant le ou les mouvements de référence le ou les plus proche(s) du ou des mouvement(s) défini(s) pour associer une commande. 5. Device for displaying and modifying at least one three-dimensional representation (12) of at least one object according to any one of claims 1 to 4, characterized in that it comprises at least one wall comprising a face providing the surface function (18) at which the user operates at least one command, an infrared light sensor making it possible to establish real-time mappings of the contact areas at the surface (18), calculating means making it possible to translate the movement (s) performed by the user in a command, by first analyzing the maps to define the movement (s) performed by the finger (s) of the user and then comparing the or the defined movement (s) with reference movements that each correspond to a command and finally estimating the reference movement (s) the nearest one (s) of the defined movement (s) to associate a command of. 6. Dispositif pour visualiser et modifier au moins une représentation tridimensionnelle (12) d'au moins un objet selon l'une quelconque des revendications 1 à 5, caractérisé en qu'il comprend un cube (22) rapporté sur un pupitre avec cinq surfaces (18) tactiles au niveau desquelles l'utilisateur opère au moins une commande. 6. Device for displaying and modifying at least one three-dimensional representation (12) of at least one object according to any one of claims 1 to 5, characterized in that it comprises a cube (22) attached to a desk with five surfaces. (18) at which the user operates at least one command.
FR0954333A 2009-06-25 2009-06-25 DEVICE FOR HANDLING AND VISUALIZING A VIRTUAL OBJECT Expired - Fee Related FR2947348B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR0954333A FR2947348B1 (en) 2009-06-25 2009-06-25 DEVICE FOR HANDLING AND VISUALIZING A VIRTUAL OBJECT

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0954333A FR2947348B1 (en) 2009-06-25 2009-06-25 DEVICE FOR HANDLING AND VISUALIZING A VIRTUAL OBJECT

Publications (2)

Publication Number Publication Date
FR2947348A1 true FR2947348A1 (en) 2010-12-31
FR2947348B1 FR2947348B1 (en) 2011-08-19

Family

ID=41168786

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0954333A Expired - Fee Related FR2947348B1 (en) 2009-06-25 2009-06-25 DEVICE FOR HANDLING AND VISUALIZING A VIRTUAL OBJECT

Country Status (1)

Country Link
FR (1) FR2947348B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012172044A1 (en) 2011-06-17 2012-12-20 Inria - Institut National De Recherche En Informatique Et En Automatique System for colocating a touch screen and a virtual object, and device for manipulating virtual objects implementing such a system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335557A (en) * 1991-11-26 1994-08-09 Taizo Yasutake Touch sensitive input control device
US20030142067A1 (en) * 2002-01-25 2003-07-31 Silicon Graphics, Inc. Three dimensional volumetric display input and output configurations
FR2911211A1 (en) * 2007-01-05 2008-07-11 Total Immersion Sa Image i.e. video, inserting method for video game applications, involves receiving image of image flow, and extracting another image from three-dimensional representation of virtual object based on position and orientation of virtual object
WO2009066998A2 (en) * 2007-11-23 2009-05-28 Mimos Berhad Apparatus and method for multiple-touch spatial sensors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335557A (en) * 1991-11-26 1994-08-09 Taizo Yasutake Touch sensitive input control device
US20030142067A1 (en) * 2002-01-25 2003-07-31 Silicon Graphics, Inc. Three dimensional volumetric display input and output configurations
FR2911211A1 (en) * 2007-01-05 2008-07-11 Total Immersion Sa Image i.e. video, inserting method for video game applications, involves receiving image of image flow, and extracting another image from three-dimensional representation of virtual object based on position and orientation of virtual object
WO2009066998A2 (en) * 2007-11-23 2009-05-28 Mimos Berhad Apparatus and method for multiple-touch spatial sensors

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012172044A1 (en) 2011-06-17 2012-12-20 Inria - Institut National De Recherche En Informatique Et En Automatique System for colocating a touch screen and a virtual object, and device for manipulating virtual objects implementing such a system
US20140204079A1 (en) * 2011-06-17 2014-07-24 Immersion System for colocating a touch screen and a virtual object, and device for manipulating virtual objects implementing such a system
US9786090B2 (en) * 2011-06-17 2017-10-10 INRIA—Institut National de Recherche en Informatique et en Automatique System for colocating a touch screen and a virtual object, and device for manipulating virtual objects implementing such a system

Also Published As

Publication number Publication date
FR2947348B1 (en) 2011-08-19

Similar Documents

Publication Publication Date Title
TWI471769B (en) Device, system, and method for projection of images onto tangible user interfaces
Hirsch et al. BiDi screen: a thin, depth-sensing LCD for 3D interaction using light fields
JP5212991B2 (en) Aerial video interaction device and program thereof
US8441467B2 (en) Multi-touch sensing display through frustrated total internal reflection
GB2503978A (en) Untouched 3D Measurement with Range Imaging
EP3072032B1 (en) Projection screen for specularly reflecting infrared light
KR20090060283A (en) Multi touch sensing display through frustrated total internal reflection
WO2009018317A2 (en) Liquid multi-touch sensor and display device
WO2009074751A2 (en) Method for three-dimensional digitisation
KR20220002731A (en) Integrating point source for texture projecting bulb
Wang et al. Bare finger 3D air-touch system using an embedded optical sensor array for mobile displays
EP2721444B1 (en) System for colocating a touch screen and a virtual object, and device for manipulating virtual objects implementing such a system
Watanabe High-speed optical 3D sensing and its applications
FR2947348A1 (en) Object's i.e. car, three-dimensional representation visualizing and modifying device, has wall comprising face oriented toward user to reflect user's image and identification unit and visualize representation of object
Morimoto et al. Free head motion eye gaze tracking without calibration
Hiratani et al. Shadowless projection mapping using retrotransmissive optics
FR2971864A1 (en) Virtual reality equipment i.e. immersive virtual reality environment equipment, for virtual reality interaction with human-machine interface car, has contact device with touch pad positioned at point where interface is intended to appear
FR2894684A1 (en) VISUALIZATION SYSTEM FOR HANDLING AN OBJECT
WO2010072912A1 (en) Device for three-dimensional scanning with dense reconstruction
US20040246234A1 (en) Display apparatus
KR101002071B1 (en) Apparatus for touching a projection of 3d images on an infrared screen using multi-infrared camera
Hirota et al. Cross-section projector: Interactive and intuitive presentation of 3D volume data using a handheld screen
BE1023596B1 (en) INTERACTIVE SYSTEM BASED ON MULTIMODAL GESTURES AND METHOD USING SINGLE DETECTION SYSTEM
EP3724749B1 (en) Device for augmented reality application
Takahashi et al. A Perspective-Corrected Stylus Pen for 3D Interaction

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 7

CA Change of address

Effective date: 20151106

PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9

PLFP Fee payment

Year of fee payment: 10

ST Notification of lapse

Effective date: 20200205