EP1960159A2 - Viewing system for the manipulation of an object - Google Patents

Viewing system for the manipulation of an object

Info

Publication number
EP1960159A2
EP1960159A2 EP06841920A EP06841920A EP1960159A2 EP 1960159 A2 EP1960159 A2 EP 1960159A2 EP 06841920 A EP06841920 A EP 06841920A EP 06841920 A EP06841920 A EP 06841920A EP 1960159 A2 EP1960159 A2 EP 1960159A2
Authority
EP
European Patent Office
Prior art keywords
space
manipulation
user
image
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP06841920A
Other languages
German (de)
French (fr)
Inventor
Olivier Kleindienst
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KOLPI SARL A CV
Original Assignee
KOLPI SARL A CV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KOLPI SARL A CV filed Critical KOLPI SARL A CV
Publication of EP1960159A2 publication Critical patent/EP1960159A2/en
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40122—Manipulate virtual object, for trajectory planning of real object, haptic display
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40126—Virtual landmarks, reference points for operator

Definitions

  • the present invention relates to the field of stereoscopy and more particularly to a method or a system for acting remotely to modify the properties of an object.
  • Stereoscopy is a method of restoring a sensation of relief from the fusion of two flat images of the same subject.
  • Stereoscopy thus allows a 3-dimensional representation from two image sources.
  • Stereoscopy is used in video games to represent the game environment in which the user will play.
  • Stereoscopy is also used in the field of petroleum research to locate deep aquifers.
  • Stereoscopy is a very important tool in the field of mechanics concerning design journals, virtual fluid flows as well as simulator training.
  • an object of the present invention is to provide a system that allows to perform a precise manipulation in three dimensions in a volume located around the user 's accommodation distance, on an object that is visualized in a device adapted for this purpose.
  • the manipulation space is a spatially coherent volume with the viewing space.
  • Another advantage is that the handling space is free ie empty. Thus one does not visualize the hands or the real and physical actuator-sensors on the display device. The representation of the hands is thus hidden.
  • this device is a multi-universe device that can combine real and virtual spaces.
  • downscaling is possible in order to adapt, for example, the manipulation of an object of a real space, with the manipulation of an object of a virtual space.
  • An additional advantage is the high accuracy of the resolution since the density of voxels is greater than ten thousand voxels per cubic centimeter.
  • the display device is compatible with computer applications.
  • FIG. 1 shows a side view of a user sitting in front of a display device
  • FIG. 2 represents an exploded view of the display device, oriented along its rear face
  • FIG. 3 represents a view from above of one of the elements of the display device:
  • FIG. 4 represents the display device oriented along its front face;
  • Figure 5 shows the connection diagram between the display device, a computer and different peripherals;
  • FIG. 6 represents a sensor-actuator manipulated by the user;
  • Fig. 7 shows the optical process of the manipulation system;
  • FIG. 7bis shows the optical paths in the display device;
  • FIG. 8 represents the top view of FIG.
  • FIG. 9 represents the haptic process of the heat transfer system.
  • Figure 1 shows a user 1 in front of a device 2.
  • the user can be seated on a seat 3 or standing in front of the device.
  • a support 4 is provided under the device.
  • an articulated arm 5 is fixed at one of its ends, the other end of the arm being directly fixed on a location 6 chosen by the user (table, desk, ).
  • the attachment of this support is located on the rear part of the device.
  • this device 2 is first of all constituted by a base 7.
  • This base has the shape of a half-disk (FIG. 3).
  • the rectilinear side 7a of the half-disc is the front part of the base.
  • the rounded side 7b of the half-disc is the rear part of the base.
  • the rear and front of the base is joined by forming at their two ends a slight rectangular stall 7c.
  • the edge of the surface In the middle of the rounded side of this half-disc the edge of the surface describes a rounded shape 7d oriented towards the inside of the half-disc. In relation to this rounded shape, a more rectangular shape 7e is cut in the middle of the rectilinear side of the half-disc. On each side of this rectangular shape, the straight side of the half-disc has a slightly bent shape 7f.
  • This central support 8 is composed of two rectangular panels interconnected according to their lengths. Each width of these panels is fixed on the base by means of screws. This central support is fixed in the center of the half-disc 7, between the rounded shape 7d and the rectangular shape 7e. These panels form between them an angle of about 45 °. The angular opening of the panels is directed towards the rounded shape 7d of the base 7.
  • the panels of this central support 8 each comprise a central mirror 9.
  • Each lateral support 10 comprises two parallelepipeds connected to each other by a z-shaped structure. Each lateral support is oriented approximately 45 ° with respect to the reciligne 7a of the base towards the interior of this base.
  • Each lateral support also comprises a lateral mirror 11. This mirror has a reflection index ranging from 0 to 100% of reflection. This side mirror can be replaced by a screen, a filter or even lenses.
  • the lateral mirror and the parallelepipeds are fixed on the base 7 by means of screws 20 and pins 21.
  • two connectors "Cinch" 19 are arranged on a video plate 23.
  • the screen support 12 of the screen 13 At the front of the lateral supports 10 and the central support 8 is the screen support 12 of the screen 13.
  • This screen support 12 has a length equal to that of the rectilinear portion 7a of the base.
  • This screen support 12 is fixed on the front part of the base by means of screws 20.
  • the screen support 12 At one from its ends and the side of the "cinch” connectors 19, the screen support 12 comprises a "Bulgin" type switch 18 mounted on an inter plate 22 by means of screws.
  • a volume part taking up the contours of the base is arranged on the base so as to cover the central support, the lateral supports and the screen support.
  • This volume part comprises a belt 14 which constitutes the lateral surface of the volume part.
  • the belt 14 reproduces the cutout of the rounded shape 7d of the base.
  • the belt 14 facing the cinch connectors 19, the belt has a gap to allow the cinch connectors of the lateral support 10 to fit together.
  • the belt reproduces the rectangular shape. 7th of the base. As shown in FIG. 4, at a certain height of the base and vertically aligned with this rectangular cutout, the belt 14 comprises a viewing window 15.
  • the volume part also comprises a lid 16 shown in FIG. 3. This lid is identical to the half-disk describing the base 7. On this lid 16 is a decorative plate 17.
  • the device 2 thus only reveals the cover 16, the outer face of the base 7, the belt 14.
  • the belt On the front part of the device, the belt comprises the viewing window 15 which gives access to the space display 15a.
  • the work area 15b of the user On the back of the device, behind the belt 14, is the work area 15b of the user, as we will detail later.
  • the device is directly connected to an electronic central unit 25 such as a computer.
  • This computer includes various image processing software as well as graphics or electronic cards.
  • This computer also includes peripherals such as for example a keyboard 26, a mouse 28 and a monitor 27.
  • this computer comprises a device for using the device 2: it is one or more sensor-actuators 29 as shown in Figure 6.
  • This actuator sensor 29 is composed of a support base 30 connected to the computer 25.
  • This base 30 comprises a slot 31 in which a pivoting member 32 is disposed.
  • This pivoting element has a length of a few centimeters. He is himself in solidarity with an element lengthened 33 and a length of about ten centimeters.
  • This elongated element has an end 34 in the form of an open clamp.
  • This kind of clamp 34 maintains the end of an element 35 that looks like a pen. It is a stylus that has six degrees of freedom in space. This stylet 35 also laterally has a small slider 35a as we will detail later. The user therefore acts by manipulating this stylus in the work area.
  • FIG. 7 shows the optical operating mode of the display device 2 in connection with the computer 25.
  • a real object 36 a coffee machine, disposed at a greater or lesser distance from the display device 2. This object is located in a real orthonormal space 37 (xr, yr, zr).
  • the image of this object is visible in the viewing space 15a, in an orthonormal handling space 38 (xm, ym, zra). Indeed, at least two video image capturing systems 39 and 40 located on either side of the object retransmit by a video link 40a the image of the real object 36 directly to the display device 2 on first inputs 41. These image capture systems are, for example, video cameras, magnetic resonance imaging systems or scanners using lasers. Following this first real object 36, consider a second object, for example virtual, such as a coffee cup 42. This object is located in a virtual orthonormal space 43 (xv, yv, zv). The image of this object is visible in the viewing space 15a, in the same orthonormal handling space as previously 38 (xm, ym, zm). Indeed at least two virtual cameras 44 and 45 located on either side of the virtual object send the image of the virtual object to the computer 25. This computer processes the images so as to retransmit them to the device. visualization on inputs 2 47 via a link 45a.
  • the rear screen 60 of the display device generates two extreme rays 60a and 60b which correspond to an image coming from the rear of the display device.
  • this image is received by the right eye and the left eye of the user.
  • the front screen 13 of the visualization generates, for example, a mean radius 13a which corresponds to an image from the front of the display device.
  • this image is received by the right eye and the left eye of the user.
  • the user 1 can manipulate the actuator-sensors 35 by means of his hands 48, without the image of the hands does not appear in the viewing space 15a.
  • the display device 2 makes it possible to visualize the superposition of the two real and virtual images. This is then augmented virtual reality.
  • the operating mode (haptic) described in FIG. 9 makes it possible to represent the use of the sensor-actuators 35 and the consequence of this use on the objects viewed as images in the viewing space 15a.
  • These sensor-actuators 35 have a slider 35a which makes it possible to choose between a positioning action on the object in the image displayed and an action of movement of the object on the image displayed.
  • the user can control actions (positioning or movement) as well on the whole object or only on a part. So the user can rotate an object, orient it differently, exert pressure on a certain area of this object.
  • This manipulation can be exercised both via a sensor and without the sensor.
  • the user can for example directly use his fingers and perform any type of manipulation. It can also perform these manipulations via a glove. During this manipulation, the user visualizes the two images (real and virtual) superimposed in the viewing space.
  • the user acts, for example, on the real image and on the virtual image.
  • This action is transmitted in real space 50 and virtual space 51 after a processing by the computer 25.
  • a first function of the computer synchronizes over time between the images of the real space and those of the computer. virtual space after the changes made by the user on each object in each space.
  • sensor-actuators 52, 53, 54 and 55 located on either side of the real or virtual object.
  • Each of these sensor-actuators is provided with a processing unit 56.
  • the action transmitted in the real space 50 is received by the processing unit 56 of the real actuator-sensors 52 and 53.
  • These sensor-actuators can be for example articulated arms of robots or cylinders.
  • the action transmitted in the virtual space 51 is received by the processing unit 56 of the virtual actuator-sensors 54 and 55.
  • the actuator-sensors 52, 53, 54 and 55 are not viewable since they intervene digitally only.
  • the actual actuator sensors 52 and 53 transmit force feedback signals.
  • the force feedback signal from the actual actuator sensor 52 is processed by the actual actuator processing unit 56. Then the computer 25 receives this signal and processes it. Indeed a second function of the computer performs a scaling between the images of the real space and those of the virtual space before the superposition of these two images in the viewing space 15a.
  • the images are transmitted to the processing unit 56 of the virtual sensor-actuator 52 as well as to the processing unit 56 of the sensor-actuator 35 of the handling space.
  • the user can then feel the force feedback in the viewing space 15a.
  • the sensors-actuators allow to enter the sense of touch.
  • This type of operation also applies if, instead of considering a real object and a virtual object, we consider two virtual objects (it is then virtual reality dual), or a single virtual object (it is a question of a stereoscopic screen) or a single real object (this is autostereoscopic television).

Abstract

Viewing device used in the field of stereoscopy to allow a user to manipulate in his close environment a real or virtual object situated a greater or lesser distance from the user. The user can then view the manipulation spaces as well as the real and virtual spaces in the viewing device.

Description

Système de visualisation pour la manipulation d'un objet Visualization system for manipulating an object
La présente invention se rapporte au domaine de la stéréoscopie et plus particulièrement à une méthode ou à un système permettant d' agir à distance afin de modifier les propriétés d'un objet.The present invention relates to the field of stereoscopy and more particularly to a method or a system for acting remotely to modify the properties of an object.
La stéréoscopie est un procédé permettant de restituer une sensation de relief à partir du fusionnement de deux images planes d'un même sujet.Stereoscopy is a method of restoring a sensation of relief from the fusion of two flat images of the same subject.
La stéréoscopie permet ainsi une représentation en 3 dimensions à partir de deux sources d'images.Stereoscopy thus allows a 3-dimensional representation from two image sources.
L'utilisation de la stéréoscopie est très répandue à l'heure actuelle.The use of stereoscopy is widespread today.
La stéréoscopie intervient dans les jeux vidéo afin de représenter l'environnement du jeu dans lequel l'utilisateur va jouer.Stereoscopy is used in video games to represent the game environment in which the user will play.
La stéréoscopie est également utilisée dans le domaine des recherches pétrolières afin de localiser les nappes en profondeur.Stereoscopy is also used in the field of petroleum research to locate deep aquifers.
La stéréoscopie est un outil très présent dans le domaine de la mécanique concernant les revues de design, les écoulements de fluide virtuel ainsi que les entraînements sur simulateur.Stereoscopy is a very important tool in the field of mechanics concerning design journals, virtual fluid flows as well as simulator training.
Dans l'industrie, lorsqu'une modélisation statique d'un produit est achevée, l'un des premiers besoins essentiels est de valider le bon fonctionnement dynamique. A ce stade, la perception du relief et l'interaction virtuelle sont déterminantes afin de visualiser le produit dans toutes les situations possibles, lors de son intégration au sein d'un système en attente de ce produit par exemple.In industry, when a static modeling of a product is completed, one of the first essential needs is to validate the correct dynamic operation. At this stage, the perception of the terrain and the virtual interaction are decisive in order to visualize the product in all possible situations, when it is integrated into a system waiting for this product for example.
A l'heure actuelle, les simulations se font de plus en plus par une manipulation des modèles digitaux, ce qui sous-tend une modélisation virtuelle élevée : collision, retour d'effort. Les interfaces utilisateurs actuelles ne sont pas assez ergonomique ce qui entraîne donc une perte de temps non négligeable d'où un désavantage important.At present, simulations are increasingly done by manipulating the digital models, which underlies a high virtual modeling: collision, force feedback. The current user interfaces are not ergonomic enough which leads to a significant loss of time hence a significant disadvantage.
Dans le domaine médical, un grand nombre d'interventions fait appel à la vidéo et utilise les voies naturelles ou non pour intervenir à l'aide d'instruments. Ces opérations ont un champ d'intervention visualisé sur un moniteur. Les instruments sont interchangeables mais toujours au bout de deux pinces d'intervention.In the medical field, a large number of interventions uses video and uses natural or non-natural channels to intervene using instruments. These operations have a field of intervention visualized on a monitor. The instruments are interchangeable but always after two intervention clamps.
Actuellement, les élèves se forment à de telles techniques avec des moyens rares et onéreux. Ils font par exemple appel à des animaleries. En effet, les méthodes de formation ne prévoient pas d'outils de simulation pour de telles interventions. Les séances de formation sont donc limitées ce qui est d'autant plus pénalisant pour les élèves.Currently, students are trained in such techniques with rare and expensive means. For example, they use pet shops. Indeed, training methods do not provide simulation tools for such interventions. Training sessions are therefore limited which is even more penalizing for students.
En conséquence, un objet de la présente invention est de fournir un système qui permet d'effectuer une manipulation précise en trois dimensions dans un volume situé autour de la distance d' accomodation de l'utilisateur, sur un objet que l'on visualise dans un appareil adapté à cet effet. L'espace de manipulation est un volume en cohérence spatiale avec l'espace de visualisation.Accordingly, an object of the present invention is to provide a system that allows to perform a precise manipulation in three dimensions in a volume located around the user 's accommodation distance, on an object that is visualized in a device adapted for this purpose. The manipulation space is a spatially coherent volume with the viewing space.
Un autre avantage est que l'espace de manipulation est libre c'est à dire vide. Ainsi on ne visualise pas les mains ou les capteurs-actionneurs réels et physiques sur le dispositif de visualisation. La représentation des mains est donc occultée.Another advantage is that the handling space is free ie empty. Thus one does not visualize the hands or the real and physical actuator-sensors on the display device. The representation of the hands is thus hidden.
De plus, ce dispositif est un dispositif multi- univers qui peut combiner des espaces réels et virtuels .In addition, this device is a multi-universe device that can combine real and virtual spaces.
Dans ce dispositif, la réduction d'échelle est possible afin d'adapter, par exemple, la manipulation d'un objet d'un espace réel, avec la manipulaton d'un objet d'un espace virtuel.In this device, downscaling is possible in order to adapt, for example, the manipulation of an object of a real space, with the manipulation of an object of a virtual space.
Un avantage supplémentaire est la grande précision de la résolution puisque la densité de voxels est supérieure à dix mille voxels par centimètre cube.An additional advantage is the high accuracy of the resolution since the density of voxels is greater than ten thousand voxels per cubic centimeter.
Par ailleurs, le dispositif de visualisation est compatible avec les applications informatiques.Moreover, the display device is compatible with computer applications.
Les buts, objets et caractéristiques de l'invention apparaîtront plus clairement à la lecture de la description qui suit faite en référence aux dessins dans lesquels : la figure 1 représente une vue de profil d'un utilisateur assis devant un dispositif de visualisation ; la figure 2 représente une vue explosée du dispositif de visualisation, orientée selon sa face arrière ; la figure 3 représente une vue de dessus d'un des éléments du dispositif de visualisation : la figure 4 représente le dispositif de visualisation orienté selon sa face avant ; la figure 5 représente le schéma de connexion entre le dispositif de visualisation, un ordinateur et différents périphériques ; la figure 6 représente un capteur-actionneur manipulé par l'utilisateur ; la figure 7 représente le processus optique du système de manipulation ; la figure 7bis représente les chemins optiques dans le dispositif de visualisation la figure 8 représente la vue de dessus de la figureThe objects, objects and features of the invention will appear more clearly in the Reading the following description with reference to the drawings in which: Figure 1 shows a side view of a user sitting in front of a display device; FIG. 2 represents an exploded view of the display device, oriented along its rear face; FIG. 3 represents a view from above of one of the elements of the display device: FIG. 4 represents the display device oriented along its front face; Figure 5 shows the connection diagram between the display device, a computer and different peripherals; FIG. 6 represents a sensor-actuator manipulated by the user; Fig. 7 shows the optical process of the manipulation system; FIG. 7bis shows the optical paths in the display device; FIG. 8 represents the top view of FIG.
1 ; la figure 9 représente le processus haptique du s ciyrso ftèènmiDe de πmiaannii mpuill aafti i nonn.1; FIG. 9 represents the haptic process of the heat transfer system.
La figure 1 présente un utilisateur 1 situé devant un dispositif 2. L'utilisateur peut être assis sur un siège 3 ou bien debout face au dispositif. Sous le dispositif, un support 4 est prévu. Sur ce support 4, un bras articulé 5 est fixé à une de ses extrémités, l'autre extrémité du bras étant directement fixé sur un emplacement 6 choisi par l'utilisateur (table, bureau,...). La fixation de ce support se situe donc sur la partie arrière du dispositif.Figure 1 shows a user 1 in front of a device 2. The user can be seated on a seat 3 or standing in front of the device. Under the device, a support 4 is provided. On this support 4, an articulated arm 5 is fixed at one of its ends, the other end of the arm being directly fixed on a location 6 chosen by the user (table, desk, ...). The attachment of this support is located on the rear part of the device.
Comme présenté sur la figure 2, ce dispositif 2 est tout d'abord constitué d'une base 7. Cette base a la forme d'un demi-disque (figure 3) . Le côté rectiligne 7a du demi-disque est la partie avant de la base. Le côté arrondi 7b du demi-disque est la partie arrière de la base. La partie arrière et avant de la base se rejoigne en formant à leurs deux extrémités un léger décroché rectangulaire 7c.As shown in FIG. 2, this device 2 is first of all constituted by a base 7. This base has the shape of a half-disk (FIG. 3). The rectilinear side 7a of the half-disc is the front part of the base. The rounded side 7b of the half-disc is the rear part of the base. The rear and front of the base is joined by forming at their two ends a slight rectangular stall 7c.
Au milieu du côté arrondi de ce demi-disque le bord de la surface décrit une forme arrondie 7d orientée vers l'intérieur du demi-disque. En vis à vis de cette forme arrondie, une forme plus rectangulaire 7e est découpée au milieu du côté rectiligne du demi-disque. De chaque côté de cette forme rectangulaire, le côté rectiligne du demi- disque présente une forme légèrement rebondie 7f.In the middle of the rounded side of this half-disc the edge of the surface describes a rounded shape 7d oriented towards the inside of the half-disc. In relation to this rounded shape, a more rectangular shape 7e is cut in the middle of the rectilinear side of the half-disc. On each side of this rectangular shape, the straight side of the half-disc has a slightly bent shape 7f.
Sur ce demi-disque, dans la figure 2, se trouve un support central 8. Ce support central 8 est composé de deux panneaux rectangulaires reliés entre eux selon leurs longueurs. Chaque largeur de ces panneaux est fixée sur la base au moyen de vis. Ce support central est fixé au centre du demi-disque 7, entre la forme arrondie 7d et la forme rectangulaire 7e. Ces panneaux forment entre eux un angle d'environ 45°. L'ouverture angulaire des panneaux est dirigée vers la forme arrondie 7d de la base 7. Les panneaux de ce support central 8 comporte chacun un miroir central 9.On this half-disk, in Figure 2, is a central support 8. This central support 8 is composed of two rectangular panels interconnected according to their lengths. Each width of these panels is fixed on the base by means of screws. This central support is fixed in the center of the half-disc 7, between the rounded shape 7d and the rectangular shape 7e. These panels form between them an angle of about 45 °. The angular opening of the panels is directed towards the rounded shape 7d of the base 7. The panels of this central support 8 each comprise a central mirror 9.
Sur le demi-disque se trouve également deux supports latéraux 10. Ces supports latéraux sont situés aux deux extrémités de la base 7, de chaque côté du support central 8. Chaque support latéral 10 comprend deux parallélépipèdes reliés entre eux par une structure en z. Chaque support latéral est orienté d'environ 45° par rapport au côté reciligne 7a de la base vers l'intérieur de cette base. Chaque support latéral comprend également un miroir latéral 11. Ce miroir possède un indice de réflexion allant de 0 à 100% de réflexion. Ce miroir latéral peut être remplacé par un écran, un filtre ou encore des lentilles. Le miroir latéral et les parallélépipèdes sont fixés sur la base 7 au moyen de vis 20 et de pions 21. A l'une des extrémités de l'un des supports latéraux 10, du côté de l'extrémité de la base 7, deux connecteurs « cinch » 19 sont disposés sur une plaque vidéo 23.On the half-disk there are also two lateral supports 10. These lateral supports are located at both ends of the base 7, on each side of the central support 8. Each lateral support 10 comprises two parallelepipeds connected to each other by a z-shaped structure. Each lateral support is oriented approximately 45 ° with respect to the reciligne 7a of the base towards the interior of this base. Each lateral support also comprises a lateral mirror 11. This mirror has a reflection index ranging from 0 to 100% of reflection. This side mirror can be replaced by a screen, a filter or even lenses. The lateral mirror and the parallelepipeds are fixed on the base 7 by means of screws 20 and pins 21. At one end of one of the lateral supports 10, on the side of the end of the base 7, two connectors "Cinch" 19 are arranged on a video plate 23.
A l'avant des supports latéraux 10 et du support central 8 se trouve le support d'écran 12 de l'écran 13. Ce support d'écran 12 possède une longueur égale à celle de la partie rectiligne 7a de la base. Ce support d'écran 12 est fixé sur la partie avant de la base au moyen de vis 20. A l'une de ses extrémités et du côté des connecteurs « cinch » 19, le support d'écran 12 comporte un interrupteur de type « Bulgin » 18 monté sur une plaque inter 22 au moyen de vis.At the front of the lateral supports 10 and the central support 8 is the screen support 12 of the screen 13. This screen support 12 has a length equal to that of the rectilinear portion 7a of the base. This screen support 12 is fixed on the front part of the base by means of screws 20. At one from its ends and the side of the "cinch" connectors 19, the screen support 12 comprises a "Bulgin" type switch 18 mounted on an inter plate 22 by means of screws.
Une pièce volumique reprenant les contours de la base est disposée sur la base de manière à recouvrir le support central, les supports latéraux et le support d'écran. Cette pièce volumique comprend une ceinture 14 qui constitue la surface latérale de la pièce volumique. Sur la partie arrière du dispositif, la ceinture 14 reproduit la découpe de la forme arrondie 7d de la base. Sur l'extrémité de la ceinture 14, en vis à vis des connecteurs cinch 19, la ceinture présente un espace vide pour permettre l'emboîtement des connecteurs cinch du support latéral 10. Sur la partie avant du dispositif, la ceinture reproduit la forme rectangulaire 7e de la base. Comme présenté sur la figure 4, à une certaine hauteur de la base et verticalement alignée avec cette découpe rectangulaire, la ceinture 14 comporte une fenêtre de visualisation 15. Cette fenêtre 15 est donc située dans une sorte de renfoncement que présente la ceinture sur la partie avant du dispositif. Dans l'espace de visualisation 15a, derrière cette fenêtre, l'utilisateur peut visualiser une superposition d' images provenant de deux sources différemment combinées, comme nous le détaillerons plus tard. La pièce volumique comporte également un couvercle 16 présenté en figure 3. Ce couvercle est identique au demi-disque décrivant la base 7. Sur ce couvercle 16 se situe une tôle de décoration 17.A volume part taking up the contours of the base is arranged on the base so as to cover the central support, the lateral supports and the screen support. This volume part comprises a belt 14 which constitutes the lateral surface of the volume part. On the rear part of the device, the belt 14 reproduces the cutout of the rounded shape 7d of the base. On the end of the belt 14, facing the cinch connectors 19, the belt has a gap to allow the cinch connectors of the lateral support 10 to fit together. On the front part of the device, the belt reproduces the rectangular shape. 7th of the base. As shown in FIG. 4, at a certain height of the base and vertically aligned with this rectangular cutout, the belt 14 comprises a viewing window 15. This window 15 is therefore located in a kind of recess which the belt has on the part before the device. In the viewing space 15a, behind this window, the user can view a superposition of images from two sources differently combined, as we will detail later. The volume part also comprises a lid 16 shown in FIG. 3. This lid is identical to the half-disk describing the base 7. On this lid 16 is a decorative plate 17.
Lors de son utilisation, le dispositif 2 laisse donc seulement apparaître le couvercle 16, la face externe de la base 7, la ceinture 14. Sur la partie avant du dispositif, la ceinture comporte la fenêtre de visualisation 15 qui donne accès à l'espace de visualisation 15a. Sur la face arrière du dispositif, derrière la ceinture 14, se trouve l'espace de travail 15b de l'utilisateur, comme nous le détaillerons plus tard.During its use, the device 2 thus only reveals the cover 16, the outer face of the base 7, the belt 14. On the front part of the device, the belt comprises the viewing window 15 which gives access to the space display 15a. On the back of the device, behind the belt 14, is the work area 15b of the user, as we will detail later.
Comme présenté sur la figure 5, le dispositif est directement connecté à une unité centrale électronique 25 telle qu'un ordinateur. Cet ordinateur comprend différents logiciels de traitement de l'image ainsi que des cartes graphiques ou électroniques. Cet ordinateur comprend également des périphériques telles que par exemple un clavier 26, une souris 28 et un moniteur 27. De plus, cet ordinateur comprend un périphérique pour l'utilisation du dispositif 2 : il s'agit d'un ou plusieurs capteurs-actionneurs 29 comme présenté sur la figure 6. Ce capteur actionneur 29 est composé d'une base de support 30 connectée à l'ordinateur 25. Cette base 30 comprend une fente 31 dans laquelle un élément pivotant 32 est disposé. Cet élément pivotant a une longueur de quelques centimètres. Il est lui-même solidaire d'un élément allongé 33 et d'une longueur d'environ dix centimètres. Cet élément allongé possède une extrémité 34 en forme de pince ouverte. Cette sorte de pince 34 maintient l'extrémité d'un élément 35 qui ressemble à un stylo. Il s'agit d'un stylet qui possède six degrés de liberté dans l'espace. Ce stylet 35 comporte également latéralement un petit curseur 35a comme nous le détaillerons plus tard. L'utilisateur agit donc en manipulant ce stylet dans la zone de travail.As shown in FIG. 5, the device is directly connected to an electronic central unit 25 such as a computer. This computer includes various image processing software as well as graphics or electronic cards. This computer also includes peripherals such as for example a keyboard 26, a mouse 28 and a monitor 27. In addition, this computer comprises a device for using the device 2: it is one or more sensor-actuators 29 as shown in Figure 6. This actuator sensor 29 is composed of a support base 30 connected to the computer 25. This base 30 comprises a slot 31 in which a pivoting member 32 is disposed. This pivoting element has a length of a few centimeters. He is himself in solidarity with an element lengthened 33 and a length of about ten centimeters. This elongated element has an end 34 in the form of an open clamp. This kind of clamp 34 maintains the end of an element 35 that looks like a pen. It is a stylus that has six degrees of freedom in space. This stylet 35 also laterally has a small slider 35a as we will detail later. The user therefore acts by manipulating this stylus in the work area.
La figure 7 (optique) présente le mode de fonctionnement optique du dispositif de visualisation 2 en liaison avec l'ordinateur 25. Prenons par exemple un objet réel 36, une machine à café, disposé à une distance plus ou moins grande du dispositif de visualisation 2. Cet objet est situé dans un espace orthonormé réel 37 (xr, yr, zr) .FIG. 7 (optical) shows the optical operating mode of the display device 2 in connection with the computer 25. For example, consider a real object 36, a coffee machine, disposed at a greater or lesser distance from the display device 2. This object is located in a real orthonormal space 37 (xr, yr, zr).
L'image de cet objet est visible dans l'espace de visualisation 15a, dans un espace orthonormé de manipulation 38 (xm, ym, zra) . En effet, au moins deux systèmes de capture d'image vidéo 39 et 40 situés de part et d'autre de l'objet retransmettent par un lien vidéo 40a l'image de l'objet réel 36 directement au dispositif de visualisation 2 sur des premières entrées 41. Ces systèmes de capture d'image sont, par exemple, des caméras vidéo, des systèmes d' imagerie par résonance magnétique ou encore des scanners utilisant des lasers. A la suite de ce premier objet réel 36, on considère un deuxième objet, par exemple virtuel, tel qu'une tasse à café 42. Cet objet est situé dans un espace orthonormé virtuel 43 (xv, yv, zv) . L'image de cet objet est visible dans l'espace de visualisation 15a, dans le même espace orthonormé de manipulation que précédemment 38 (xm, ym, zm) . En effet au moins deux caméras virtuelles 44 et 45 situées de part et d'autre de l'objet virtuel envoient l'image de l'objet virtuel à l'ordinateur 25. Cet ordinateur traite les images de manière à les retransmettre au dispositif de visualisation sur des entrées 2 47 via une liaison 45a.The image of this object is visible in the viewing space 15a, in an orthonormal handling space 38 (xm, ym, zra). Indeed, at least two video image capturing systems 39 and 40 located on either side of the object retransmit by a video link 40a the image of the real object 36 directly to the display device 2 on first inputs 41. These image capture systems are, for example, video cameras, magnetic resonance imaging systems or scanners using lasers. Following this first real object 36, consider a second object, for example virtual, such as a coffee cup 42. This object is located in a virtual orthonormal space 43 (xv, yv, zv). The image of this object is visible in the viewing space 15a, in the same orthonormal handling space as previously 38 (xm, ym, zm). Indeed at least two virtual cameras 44 and 45 located on either side of the virtual object send the image of the virtual object to the computer 25. This computer processes the images so as to retransmit them to the device. visualization on inputs 2 47 via a link 45a.
En fonction des entrées 41 ou 47 qui réceptionnent les images transmises au dispositif de visualisation, ces images donnent lieu à des cheminements optiques différents dans le dispositif de visualisation.Depending on the inputs 41 or 47 which receive the images transmitted to the display device, these images give rise to different optical paths in the display device.
Ces cheminements optiques sont décrits sur la figure 7bis pour laquelle toute la symétrie des différents miroirs et des écrans n'est pas représentée .These optical paths are described in Figure 7bis for which all the symmetry of the different mirrors and screens is not shown.
Ainsi l'écran arrière 60 du dispositif de visualisation génère deux rayons extrêmes 60a et 60b qui correspondent à une image en provenance de l'arrière du dispositif de visualisation. Par symétrie du dispositif, cette image est reçue par l'œil droit et par l'oeil gauche de l'utilisateur. De la même façon, l'écran avant 13 du dispositif de visualisation génère, par exemple, un rayon moyen 13a qui correspond à une image en provenance de l'avant du dispositif de visualisation. Par symétrie du dispositif, cette image est reçue par l'œil droit et par l'œil gauche de l'utilisateur.Thus the rear screen 60 of the display device generates two extreme rays 60a and 60b which correspond to an image coming from the rear of the display device. By symmetry of the device, this image is received by the right eye and the left eye of the user. In the same way, the front screen 13 of the visualization generates, for example, a mean radius 13a which corresponds to an image from the front of the display device. By symmetry of the device, this image is received by the right eye and the left eye of the user.
A l'arrière du dispositif de visualisation 2, dans la zone de travail ou encore zone de manipulation 15b, comme présenté sur la figure 8 l'utilisateur 1 peut manipuler les capteurs- actionneurs 35 à l'aide de ses mains 48, sans que l'image des mains n'apparaissent dans l'espace de visualisation 15a.At the rear of the display device 2, in the working area or also the handling zone 15b, as shown in FIG. 8, the user 1 can manipulate the actuator-sensors 35 by means of his hands 48, without the image of the hands does not appear in the viewing space 15a.
Ainsi, le dispositif de visualisation 2 permet de visualiser la superposition des deux images réelles et virtuelles. Il s'agit alors de réalité virtuelle augmentée.Thus, the display device 2 makes it possible to visualize the superposition of the two real and virtual images. This is then augmented virtual reality.
Le mode de fonctionnement (haptique) décrit en figure 9 permet de représenter l'utilisation des capteurs-actionneurs 35 et la conséquence de cette utilisation sur les objets visualisés en tant qu'images dans l'espace de visualisation 15a. Ces capteurs-actionneurs 35 possèdent un curseur 35a qui permet de choisir entre une action de positionnement sur l'objet dans l'image visualisée et une action de mouvement de l'objet sur l'image visualisée.The operating mode (haptic) described in FIG. 9 makes it possible to represent the use of the sensor-actuators 35 and the consequence of this use on the objects viewed as images in the viewing space 15a. These sensor-actuators 35 have a slider 35a which makes it possible to choose between a positioning action on the object in the image displayed and an action of movement of the object on the image displayed.
L'utilisateur peut commander des actions (de positionnement ou de mouvement) aussi bien sur l'objet entier ou seulement sur une partie. Ainsi l'utilisateur peut faire tourner un objet, l'orienter différemment, exercer une pression sur une certaine zone de cet objet. Cette manipulation peut s'exercer aussi bien par l'intermédiaire d'un capteur que sans le capteur. L'utilisateur peut par exemple directement utiliser ses doigts et effectuer ainsi tout type de manipulation. Il peut aussi effectuer ces manipulations par l'intermédiaire d'un gant. Lors de cette manipulation, l'utilisateur visualise les deux images (réelle et virtuelle) superposées dans l'espace de visualisation.The user can control actions (positioning or movement) as well on the whole object or only on a part. So the user can rotate an object, orient it differently, exert pressure on a certain area of this object. This manipulation can be exercised both via a sensor and without the sensor. The user can for example directly use his fingers and perform any type of manipulation. It can also perform these manipulations via a glove. During this manipulation, the user visualizes the two images (real and virtual) superimposed in the viewing space.
A l'aide des capteurs-actionneurs, dans l'espace de manipulation 15b, l'utilisateur agit, par exemple, sur l'image réelle et sur l'image virtuelle. Cette action est transmise dans l'espace réel 50 et virtuel 51 après un traitement par l'ordinateur 25. En effet, une première fonction de l'ordinateur effectue une synchronisation dans le temps entre les images de l'espace réel et celles de l'espace virtuel après les les modifications réalisées par l'utilisateur sur chaque objet de chaque espace. Dans chacun de ces espaces se trouvent des capteurs-actionneurs 52, 53, 54 et 55 situés de part et d'autre de l'objet réel ou virtuel. Chacun de ces capteurs-actionneurs est muni d'une unité de traitement 56. Ainsi, l'action transmise dans l'espace réel 50 est reçue par l'unité de traitement 56 des capteurs-actionneurs réels 52 et 53. Ces capteurs-actionneurs peuvent être par exemple des bras articulés de robots ou encore des vérins. De la même façon, l'action transmise dans l'espace virtuel 51 est reçue par l'unité de traitement 56 des capteurs-actionneurs virtuels 54 et 55. Les capteurs-actionneurs 52, 53, 54 et 55 ne sont pas visualisables puisqu'ils interviennent de façon numérique seulement.With the aid of the sensor-actuators, in the handling space 15b, the user acts, for example, on the real image and on the virtual image. This action is transmitted in real space 50 and virtual space 51 after a processing by the computer 25. In fact, a first function of the computer synchronizes over time between the images of the real space and those of the computer. virtual space after the changes made by the user on each object in each space. In each of these spaces are sensor-actuators 52, 53, 54 and 55 located on either side of the real or virtual object. Each of these sensor-actuators is provided with a processing unit 56. Thus, the action transmitted in the real space 50 is received by the processing unit 56 of the real actuator-sensors 52 and 53. These sensor-actuators can be for example articulated arms of robots or cylinders. In the same way, the action transmitted in the virtual space 51 is received by the processing unit 56 of the virtual actuator-sensors 54 and 55. The actuator-sensors 52, 53, 54 and 55 are not viewable since they intervene digitally only.
Ainsi, ces capteurs-actionneurs réels et virtuels vont reproduire les mouvements induits par l'utilisateur 1 via les capteurs-actionneurs 35 localisés dans l'espace de manipulation 15b, derrière le dispositif de visualisation 2. Par conséquent, les actions engendrées par l'utilisateur grâce à la manipulation des capteurs- actionneurs dans l'espace de manipulation vont se répercuter sur l'objet aussi bien réel que virtuel.Thus, these real and virtual sensor-actuators will reproduce the movements induced by the user 1 via the actuator-sensors 35 located in the manipulation space 15b, behind the display device 2. Consequently, the actions generated by the user through the manipulation of sensors-actuators in the handling space will affect the object as real as virtual.
En réaction à ces actions, les capteurs- actionneurs réels 52 et 53 transmettent des signaux de retour d'effort.In response to these actions, the actual actuator sensors 52 and 53 transmit force feedback signals.
Dans notre exemple, le signal de retour d'effort en provenance, du capteur-actionneur réel 52 est traité par l'unité de traitement de 1' actionneurs réel 56 . Ensuite l'ordinateur 25 reçoit ce signal et le traite. En effet une deuxième fonction de l'ordinateur effectue une mise à l'échelle entre les images de l'espace réel et celles de l'espace virtuel avant la superposition de ces deux images dans l'espace de visualisation 15a.In our example, the force feedback signal from the actual actuator sensor 52 is processed by the actual actuator processing unit 56. Then the computer 25 receives this signal and processes it. Indeed a second function of the computer performs a scaling between the images of the real space and those of the virtual space before the superposition of these two images in the viewing space 15a.
Ensuite les images sont transmises à l'unité de traitement 56 du capteur-actionneur virtuel 52 ainsi qu'à l'unité de traitement 56 du capteur-actionneur 35 de l'espace de manipulation. L'utilisateur peut alors ressentir le retour d'effort dans l'espace de visualisation 15a. Les capteurs-actionneurs de permettent donc de rentre le sens du toucher.Then the images are transmitted to the processing unit 56 of the virtual sensor-actuator 52 as well as to the processing unit 56 of the sensor-actuator 35 of the handling space. The user can then feel the force feedback in the viewing space 15a. The sensors-actuators allow to enter the sense of touch.
Ce type de fonctionnement s'applique également si, au lieu de considérer un objet réel et un objet virtuel, nous considérons deux objets virtuels (il s'agit alors de réalité virtuelle double), ou un seul objet virtuel (il s'agit d'un écran stéréoscopique) ou un seul objet réel (il s'agit de télévision autostéréoscopique) . This type of operation also applies if, instead of considering a real object and a virtual object, we consider two virtual objects (it is then virtual reality dual), or a single virtual object (it is a question of a stereoscopic screen) or a single real object (this is autostereoscopic television).

Claims

REVENDICATIONS
1) Système de visualisation pour la manipulation d'un objet par un utilisateur ledit objet étant situé dans un premier espace et la manipulation étant fournie dans un deuxième espace qui comprend un espace de manipulation, ledit système étant caractérisé en ce qu' il comprend : - un système haptique situé dans le premier et le deuxième espace, afin que l'utilisateur effectue une manipulation dans le deuxième espace qui est traduite en une manipulation équivalente sur l'objet dans le premier espace - un système optique pour fournir une image de cette manipulation à l'utilisateur, l'image étant formée en cohérence spatiale avec l'espace de manipulation dans le deuxième espace et avec l'image de la manipulation dans le premier espace.1) Display system for the manipulation of an object by a user said object being located in a first space and the manipulation being provided in a second space which comprises a handling space, said system being characterized in that it comprises: - a haptic system located in the first and second space, so that the user performs a manipulation in the second space that is translated into an equivalent manipulation on the object in the first space - an optical system to provide an image of this manipulation to the user, the image being formed in spatial coherence with the manipulation space in the second space and with the image of the manipulation in the first space.
2) Système de visualisation selon la revendication 1 caractérisé en ce que le deuxième espace est un espace physique réel.2) viewing system according to claim 1 characterized in that the second space is a real physical space.
3) Système de visualisation selon la revendication 1 caractérisé en ce que le premier espace est constitué d'un ou deux espaces.3) A display system according to claim 1 characterized in that the first space consists of one or two spaces.
4) Système de visualisation selon la revendication 3 caractérisé en ce que le premier espace est constitué d'un espace réel. 5) Système de visualisation selon la revendication 3 caractérisé en ce que le premier espace est constitué d'un espace virtuel.4) A display system according to claim 3 characterized in that the first space consists of a real space. 5) A display system according to claim 3 characterized in that the first space consists of a virtual space.
6) Système de visualisation selon la revendication 3 caractérisé en ce que le premier espace est constitué d'un espace réel et d'un espace virtuel .6) A display system according to claim 3 characterized in that the first space consists of a real space and a virtual space.
7) Système de visualisation selon la revendication 3 caractérisé en ce que le premier espace est constitué de deux espaces virtuels.7) A display system according to claim 3 characterized in that the first space consists of two virtual spaces.
8) Système de visualisation selon l'une quelconque des revendications précédentes, caractérisé en ce que le système haptique comprend des moyens pour effectuer la manipulation.8) Viewing system according to any one of the preceding claims, characterized in that the haptic system comprises means for effecting the manipulation.
9) Système de visualisation selon l'une quelconque des revendications précédentes, caractérisé en ce que les moyens pour effectuer la manipulation appartiennent à l'espace de manipulation .9) Viewing system according to any one of the preceding claims, characterized in that the means for effecting the manipulation belong to the handling space.
10) Système de visualisation selon les revendications 1 à 8, caractérisé en ce que les moyens pour effectuer la manipulation sont absents de l'image de la manipulation. 11) Système de visualisation selon l'une quelconque des revendications précédentes, caractérisé en ce que les moyens sont sélectionnés dans une liste qui inclut des capteurs-actionneurs, les mains de l'utilisateur ou l'utilisateur.10) A display system according to claims 1 to 8, characterized in that the means for effecting the manipulation are absent from the image of the manipulation. 11) Viewing system according to any one of the preceding claims, characterized in that the means are selected from a list which includes sensor-actuators, the hands of the user or the user.
12) Système de visualisation selon l'une quelconque des revendications précédentes, caractérisé en ce que le système optique comprend un nombre d'éléments optiques pour produire une image.12) Viewing system according to any one of the preceding claims, characterized in that the optical system comprises a number of optical elements to produce an image.
13) Système de visualisation selon la revendication 12, caractérisé en ce que les éléments optiques sont sélectionnés dans une liste qui inclut : un miroir dont la réflexion est comprise entre aucune réflexion et réflexion totale, un filtre, un écran, des lentilles.13) A display system according to claim 12, characterized in that the optical elements are selected from a list which includes: a mirror whose reflection is between no reflection and total reflection, a filter, a screen, lenses.
14) Système de visualisation selon la revendication 13, caractérisé en ce que lorsque le miroir est un miroir semi-réfléchissant, seul le deuxième espace est visible.14) A display system according to claim 13, characterized in that when the mirror is a semi-reflecting mirror, only the second space is visible.
15) Méthode pour visualiser la manipulation d'un objet par un utilisateur, ledit objet étant situé dans un premier espace et la manipulation étant fournie dans un deuxième espace qui comprend un espace de manipulation, ladite méthode comprenant les étapes de : - manipulation dans le deuxième espace qui est traduite en une manipulation équivalente sur l'objet dans le premier espace au moyen d'un système haptique situé dans le premier et le deuxième espace ; production d'une image de cette manipulation à l'utilisateur au moyen d'un système optique, l'image étant formée en cohérence spatiale avec l'espace de manipulation dans le deuxième espace et avec l'image de la manipulation dans le premier espace. 15) Method for viewing the manipulation of an object by a user, said object being located in a first space and the manipulation being provided in a second space which comprises a handling space, said method comprising the steps of: - manipulation in the second space that is translated into an equivalent manipulation on the object in the first space by means of a haptic system located in the first and second space; producing an image of this manipulation to the user by means of an optical system, the image being formed in spatial coherence with the manipulation space in the second space and with the image of the manipulation in the first space .
EP06841920A 2005-12-14 2006-12-13 Viewing system for the manipulation of an object Withdrawn EP1960159A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0512676A FR2894684B1 (en) 2005-12-14 2005-12-14 VISUALIZATION SYSTEM FOR HANDLING AN OBJECT
PCT/FR2006/002716 WO2007068824A2 (en) 2005-12-14 2006-12-13 Viewing system for the manipulation of an object

Publications (1)

Publication Number Publication Date
EP1960159A2 true EP1960159A2 (en) 2008-08-27

Family

ID=36168935

Family Applications (1)

Application Number Title Priority Date Filing Date
EP06841920A Withdrawn EP1960159A2 (en) 2005-12-14 2006-12-13 Viewing system for the manipulation of an object

Country Status (5)

Country Link
US (1) US8767054B2 (en)
EP (1) EP1960159A2 (en)
JP (1) JP2009519481A (en)
FR (1) FR2894684B1 (en)
WO (1) WO2007068824A2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
US11285607B2 (en) * 2018-07-13 2022-03-29 Massachusetts Institute Of Technology Systems and methods for distributed training and management of AI-powered robots using teleoperation via virtual spaces
JP7169130B2 (en) * 2018-09-03 2022-11-10 川崎重工業株式会社 robot system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE155059T1 (en) * 1992-01-21 1997-07-15 Stanford Res Inst Int TELEOPERATOR SYSTEM AND TELEPRESENCE METHOD
US5631973A (en) * 1994-05-05 1997-05-20 Sri International Method for telemanipulation with telepresence
JPH08280003A (en) * 1995-04-07 1996-10-22 Olympus Optical Co Ltd Stereoscopic photographing device
JP4100531B2 (en) * 1998-08-11 2008-06-11 株式会社東京大学Ｔｌｏ Information presentation method and apparatus
US6181768B1 (en) * 1999-06-04 2001-01-30 Leonard F. Berliner Radiological image acquisition and manipulation system for multiple view stereoscopic imaging
US6803928B2 (en) * 2000-06-06 2004-10-12 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Extended virtual table: an optical extension for table-like projection systems
US7236618B1 (en) * 2000-07-07 2007-06-26 Chee-Kong Chui Virtual surgery system with force feedback
GB0211229D0 (en) * 2002-05-16 2002-06-26 Stereoscopic Image Systems Ltd Apparatus for the optical manipulation of a pair of landscape stereoscopic images
US20050285854A1 (en) * 2004-06-29 2005-12-29 Ge Medical Systems Information Technologies, Inc. 3D display system and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2007068824A2 *

Also Published As

Publication number Publication date
FR2894684A1 (en) 2007-06-15
FR2894684B1 (en) 2008-03-21
JP2009519481A (en) 2009-05-14
WO2007068824A2 (en) 2007-06-21
US20090273665A1 (en) 2009-11-05
US8767054B2 (en) 2014-07-01
WO2007068824A3 (en) 2007-08-09
WO2007068824B1 (en) 2007-10-18

Similar Documents

Publication Publication Date Title
Ware et al. Reevaluating stereo and motion cues for visualizing graphs in three dimensions
US9824485B2 (en) Presenting a view within a three dimensional scene
US9684994B2 (en) Modifying perspective of stereoscopic images based on changes in user viewpoint
AU2019206713A1 (en) Systems and methods for rendering data from a 3D environment
US20060250391A1 (en) Three dimensional horizontal perspective workstation
US20070064098A1 (en) Systems and methods for 3D rendering
CA2942652A1 (en) Three dimensional simulation system capable of creating a virtual environment uniting a plurality of users, and associated process
Gerschütz et al. A review of requirements and approaches for realistic visual perception in virtual reality
EP2721444B1 (en) System for colocating a touch screen and a virtual object, and device for manipulating virtual objects implementing such a system
WO2007068824A2 (en) Viewing system for the manipulation of an object
EP2440975B1 (en) System and method for stereoscopic image generation with displacement of the remote subjects parametrisable in a system and method with n image capturing devices (n>1)
FR2988962A1 (en) METHOD AND DEVICE FOR CREATING IMAGES
Garagnani et al. Virtual and augmented reality applications for Cultural Heritage
FR3056770A1 (en) DEVICE AND METHOD FOR IMMERSION SHARING IN A VIRTUAL ENVIRONMENT
FR3023626A3 (en) NAVIGATION DEVICE IN VIRTUAL REALITY COMPRISING A HAPTIC INTERFACE
FR2971864A1 (en) Virtual reality equipment i.e. immersive virtual reality environment equipment, for virtual reality interaction with human-machine interface car, has contact device with touch pad positioned at point where interface is intended to appear
WO2017149254A1 (en) Man/machine interface with 3d graphics applications
EP2994813B1 (en) Method for controlling a graphical interface for displaying images of a three-dimensional object
EP1124212B1 (en) Visual presentation method and device of a virtual 3-D space simulating a car
Manferdini et al. virtual exhibition and fruition of archaeological finds
Perelman et al. Designing an input device to interact with multidimensional data: disco
He Volume Visualization in Projection-Based Virtual Environments: Interaction and Exploration Tools Design and Evaluation
FR2947348A1 (en) Object's i.e. car, three-dimensional representation visualizing and modifying device, has wall comprising face oriented toward user to reflect user's image and identification unit and visualize representation of object
JP2006003772A (en) Stereoscopic image pickup display system
Meruvia Pastor Level of detail selection and interactivity

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20080613

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20151218

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20160429