FR2894684A1 - Systeme de visualisation pour la manipulation d'un objet - Google Patents

Abstract

Dispositif de visualisation utilisé dans le domaine de la stéréoscopie pour permettre à un utilisateur de manipuler dans son proche environnement un objet réel ou virtuel disposé à une distance plus ou moins importante de l'utilisateur. L'utilisateur peut alors visualiser les espaces de manipulation ainsi que les espaces réels et virtuels dans le dispositif de visualisation.

Description

La présente invention se rapporte au domaine de la stéréoscopie et plus

particulièrement à une méthode ou à un système permettant d'agir à distance afin de modifier les propriétés d'un objet.

La stéréoscopie est un procédé permettant de restituer une sensation de relief à partir du fusionnement de deux images planes d'un même sujet. La stéréoscopie permet ainsi une représentation en 3 dimensions à partir de deux sources d'images. L'utilisation de la stéréoscopie est très répandue à l'heure actuelle.

La stéréoscopie intervient dans les jeux vidéo 15 afin de représenter l'environnement du jeu dans lequel l'utilisateur va jouer.

La stéréoscopie est également utilisée dans le domaine des recherches pétrolières afin de localiser 20 les nappes en profondeur.

La stéréoscopie est un outil très présent dans le domaine de la mécanique concernant les revues de design, les écoulements de fluide virtuel ainsi que 25 les entraînements sur simulateur.

Dans l'industrie, lorsqu'une modélisation statique d'un produit est achevée, l'un des premiers besoins essentiels est de valider le bon 30 fonctionnement dynamique. A ce stade, la perception du relief et l'interaction virtuelle sont déterminantes afin de visualiser le produit dans toutes les situations possibles, lors de son intégration au sein d'un système en attente de ce produit par exemple.

A l'heure actuelle, les simulations se font de plus en plus par une manipulation des modèles digitaux, ce qui sous-tend une modélisation virtuelle élevée : collision, retour d'effort. Les interfaces utilisateurs actuelles ne sont pas assez ergonomique ce qui entraîne donc une perte de temps non négligeable d'où un désavantage important.

Dans le domaine médical, un grand nombre d'interventions fait appel à la vidéo et utilise les voies naturelles ou non pour intervenir à l'aide d'instruments. Ces opérations ont un champ d'intervention visualisé sur un moniteur. Les instruments sont interchangeables mais toujours au bout de deux pinces d'intervention.

Actuellement, les élèves se forment à de telles techniques avec des moyens rares et onéreux. Ils font par exemple appel à des animaleries. En effet, les méthodes de formation ne prévoient pas d'outils de simulation pour de telles interventions. Les séances de formation sont donc limitées ce qui est d'autant plus pénalisant pour les élèves. En conséquence, un objet de la présente invention est de fournir un système qui permet d'effectuer une manipulation précise en trois dimensions dans un volume situé autour de la distance d'accomodation de l'utilisateur, sur un objet que l'on visualise dans un appareil adapté à cet effet. L'espace de manipulation est un volume en cohérence spatiale avec l'espace de visualisation.

Un autre avantage est que l'espace de manipulation est libre c'est à dire vide. Ainsi on ne visualise pas les mains ou les capteurs-actionneurs réels et physiques sur le dispositif de visualisation. La représentation des mains est donc occultée.

De plus, ce dispositif est un dispositif multi-univers qui peut combiner des espaces réels et virtuels. Dans ce dispositif, la réduction d'échelle est possible afin d'adapter, par exemple, la manipulation d'un objet d'un espace réel, avec la manipulaton d'un objet d'un espace virtuel.

Un avantage supplémentaire est la grande précision de la résolution puisque la densité de voxels est supérieure à dix mille voxels par centimètre cube.

Par ailleurs, le dispositif de visualisation 25 est compatible avec les applications informatiques.

Les buts, objets et caractéristiques de l'invention apparaîtront plus clairement à la lecture de la description qui suit faite en 30 référence aux dessins dans lesquels : la figure 1 représente une vue de profil d'un utilisateur assis devant un dispositif de visualisation ; la figure 2 représente une vue explosée du dispositif de visualisation, orientée selon sa face arrière ; la figure 3 représente une vue de dessus d'un des éléments du dispositif de visualisation : la figure 4 représente le dispositif de visualisation orienté selon sa face avant ; la figure 5 représente le schéma de connexion entre le dispositif de visualisation, un ordinateur et différents périphériques ; la figure 6 représente un capteur-actionneur manipulé par l'utilisateur ; la figure 7 représente le processus optique du système de manipulation ; la figure Ibis représente les chemins optiques dans le dispositif de visualisation la figure 8 représente la vue de dessus de la figure 1 ; la figure 9 représente le processus haptique du système de manipulation.

La figure 1 présente un utilisateur 1 situé devant un dispositif 2. L'utilisateur peut être assis sur un siège 3 ou bien debout face au dispositif.

Sous le dispositif, un support 4 est prévu. Sur ce support 4, un bras articulé 5 est fixé à une de ses extrémités, l'autre extrémité du bras étant directement fixé sur un emplacement 6 choisi par l'utilisateur (table, bureau,...). La fixation de ce support se situe donc sur la partie arrière du dispositif.

Comme présenté sur la figure 2, ce dispositif 2 est tout d'abord constitué d'une base 7. Cette base a la forme d'un demi-disque (figure 3). Le côté rectiligne 7a du demi-disque est la partie avant de la base. Le côté arrondi 7b du demi-disque est la partie arrière de la base. La partie arrière et avant de la base se rejoigne en formant à leurs deux extrémités un léger décroché rectangulaire 7c.

Au milieu du côté arrondi de ce demi-disque le bord de la surface décrit une forme arrondie 7d orientée vers l'intérieur du demi-disque. En vis à vis de cette forme arrondie, une forme plus rectangulaire 7e est découpée au milieu du côté rectiligne du demi-disque. De chaque côté de cette forme rectangulaire, le côté rectiligne du demi-disque présente une forme légèrement rebondie 7f.

Sur ce demi-disque, dans la figure 2, se trouve un support central 8. Ce support central 8 est composé de deux panneaux rectangulaires reliés entre eux selon leurs longueurs. Chaque largeur de ces panneaux est fixée sur la base au moyen de vis. Ce support central est fixé au centre du demi-disque 7, entre la forme arrondie 7d et la forme rectangulaire 7e. Ces panneaux forment entre eux un angle d'environ 45 . L'ouverture angulaire des panneaux est dirigée vers la forme arrondie 7d de la base 7. Les panneaux de ce support central 8 comporte chacun un miroir central 9.

Sur le demi-disque se trouve également deux supports latéraux 10. Ces supports latéraux sont situés aux deux extrémités de la base 7, de chaque côté du support central 8. Chaque support latéral 10 comprend deux parallélépipèdes reliés entre eux par une structure en z. Chaque support latéral est orienté d'environ 45 par rapport au côté reciligne 7a de la base vers l'intérieur de cette base. Chaque support latéral comprend également un miroir latéral 11. Ce miroir possède un indice de réflexion allant de 0 à 100% de réflexion. Ce miroir latéral peut être remplacé par un écran, un filtre ou encore des lentilles. Le miroir latéral et les parallélépipèdes sont fixés sur la base 7 au moyen de vis 20 et de pions 21. A l'une des extrémités de l'un des supports latéraux 10, du côté de l'extrémité de la base 7, deux connecteurs cinch 19 sont disposés sur une plaque vidéo 23.

A l'avant des supports latéraux 10 et du support central 8 se trouve le support d'écran 12 de l'écran 13. Ce support d'écran 12 possède une longueur égale à celle de la partie rectiligne 7a de la base. Ce support d'écran 12 est fixé sur la partie avant de la base au moyen de vis 20. A l'une de ses extrémités et du côté des connecteurs cinch 19, le support d'écran 12 comporte un interrupteur de type Bulgin 18 monté sur une plaque inter 22 au moyen de vis.

Une pièce volumique reprenant les contours de la base est disposée sur la base de manière à recouvrir le support central, les supports latéraux et le support d'écran. Cette pièce volumique comprend une ceinture 14 qui constitue la surface latérale de la pièce volumique. Sur la partie arrière du dispositif, la ceinture 14 reproduit la découpe de la forme arrondie 7d de la base. Sur l'extrémité de la ceinture 14, en vis à vis des connecteurs cinch 19, la ceinture présente un espace vide pour permettre l'emboîtement des connecteurs cinch du support latéral 10. Sur la partie avant du dispositif, la ceinture reproduit la forme rectangulaire 7e de la base. Comme présenté sur la figure 4, à une certaine hauteur de la base et verticalement alignée avec cette découpe rectangulaire, la ceinture 14 comporte une fenêtre de visualisation 15. Cette fenêtre 15 est donc située dans une sorte de renfoncement que présente la ceinture sur la partie avant du dispositif. Dans l'espace de visualisation 15a, derrière cette fenêtre, l'utilisateur peut visualiser une superposition d'images provenant de deux sources différemment combinées, comme nous le détaillerons plus tard.

La pièce volumique comporte également un couvercle 16 présenté en figure 3. Ce couvercle est o identique au demi-disque décrivant la base 7. Sur ce couvercle 16 se situe une tôle de décoration 17.

Lors de son utilisation, le dispositif 2 laisse donc seulement apparaître le couvercle 16, la face externe de la base 7, la ceinture 14. Sur la partie avant du dispositif, la ceinture comporte la fenêtre de visualisation 15 qui donne accès à l'espace de visualisation 15a. Sur la face arrière du dispositif, derrière la ceinture 14, se trouve l'espace de travail 15b de l'utilisateur, comme nous le détaillerons plus tard.

Comme présenté sur la figure 5, le dispositif est directement connecté à une unité centrale électronique 25 telle qu'un ordinateur. Cet ordinateur comprend différents logiciels de traitement de l'image ainsi que des cartes graphiques ou électroniques. Cet ordinateur comprend également des périphériques telles que par exemple un clavier 26, une souris 28 et un moniteur 27. De plus, cet ordinateur comprend un périphérique pour l'utilisation du dispositif 2 : il s'agit d'un ou plusieurs capteurs-actionneurs 29 comme présenté sur la figure 6. Ce capteur actionneur 29 est composé d'une base de support 30 connectée à l'ordinateur 25. Cette base 30 comprend une fente 31 dans laquelle un élément pivotant 32 est disposé. Cet élément pivotant a une longueur de quelques centimètres. Il est lui-même solidaire d'un élément allongé 33 et d'une longueur d'environ dix centimètres. Cet élément allongé possède une extrémité 34 en forme de pince ouverte. Cette sorte de pince 34 maintient l'extrémité d'un élément 35 qui ressemble à un stylo. Il s'agit d'un stylet qui possède six degrés de liberté dans l'espace. Ce stylet 35 comporte également latéralement un petit curseur 35a comme nous le détaillerons plus tard. L'utilisateur agit donc en manipulant ce stylet dans la zone de travail.

La figure 7 (optique) présente le mode de fonctionnement optique du dispositif de visualisation 2 en liaison avec l'ordinateur 25. Prenons par exemple un objet réel 36, une machine à café, disposé à une distance plus ou moins grande du dispositif de visualisation 2. Cet objet est situé dans un espace orthonormé réel 37 (xr, yr, zr).

L'image de cet objet est visible dans l'espace de visualisation 15a, dans un espace orthonormé de manipulation 38 (xm, ym, zm). En effet, au moins deux systèmes de capture d'image vidéo 39 et 40 situés de part et d'autre de l'objet retransmettent par un lien vidéo 40a l'image de l'objet réel 36 directement au dispositif de visualisation 2 sur des premières entrées 41. Ces systèmes de capture d'image sont, par exemple, des caméras vidéo, des systèmes d'imagerie par résonance magnétique ou encore des scanners utilisant des lasers.

A la suite de ce premier objet réel 36, on considère un deuxième objet, par exemple virtuel, tel qu'une tasse à café 42. Cet objet est situé dans un espace orthonormé virtuel 43 (xv, yv, zv). L'image de cet objet est visible dans l'espace de visualisation 15a, dans le même espace orthonormé de manipulation que précédemment 38 (xm, ym, zm). En effet au moins deux caméras virtuelles 44 et 45 situées de part et d'autre de l'objet virtuel envoient l'image de l'objet virtuel à l'ordinateur 25. Cet ordinateur traite les images de manière à les retransmettre au dispositif de visualisation sur des entrées 2 47 via une liaison 45a.

En fonction des entrées 41 ou 47 qui réceptionnent les images transmises au dispositif de visualisation, ces images donnent lieu à des cheminements optiques différents dans le dispositif de visualisation.

Ces cheminements optiques sont décrits sur la figure Ibis pour laquelle toute la symétrie des 20 différents miroirs et des écrans n'est pas représentée.

Ainsi l'écran arrière 60 du dispositif de visualisation génère deux rayons extrêmes 60a et 60b 25 qui correspondent à une image en provenance de l'arrière du dispositif de visualisation. Par symétrie du dispositif, cette image est reçue par l'ceil droit et par l'oeil gauche de l'utilisateur. De la même façon, l'écran avant 13 du dispositif de 30 visualisation génère, par exemple, un rayon moyen 13a qui correspond à une image en provenance de l'avant du dispositif de visualisation. Par symétrie15 du dispositif, cette image est reçue par l'oeil droit et par l'oeil gauche de l'utilisateur.

A l'arrière du dispositif de visualisation 2, dans la zone de travail ou encore zone de manipulation 15b, comme présenté sur la figure 8 l'utilisateur 1 peut manipuler les capteurs-actionneurs 35 à l'aide de ses mains 48, sans que l'image des mains n'apparaissent dans l'espace de visualisation 15a. Ainsi, le dispositif de visualisation 2 permet de visualiser la superposition des deux images réelles et virtuelles. Il s'agit alors de réalité virtuelle augmentée.

Le mode de fonctionnement (haptique) décrit en figure 9 permet de représenter l'utilisation des capteurs-actionneurs 35 et la conséquence de cette utilisation sur les objets visualisés en tant qu'images dans l'espace de visualisation 15a. Ces capteurs-actionneurs 35 possèdent un curseur 35a qui permet de choisir entre une action de positionnement sur l'objet dans l'image visualisée et une action de mouvement de l'objet sur l'image visualisée.

L'utilisateur peut commander des actions (de positionnement ou de mouvement) aussi bien sur l'objet entier ou seulement sur une partie. Ainsi l'utilisateur peut faire tourner un objet, l'orienter différemment, exercer une pression sur une certaine zone de cet objet. Cette manipulation peut s'exercer aussi bien par l'intermédiaire d'un capteur que sans le capteur. L'utilisateur peut par exemple directement utiliser ses doigts et effectuer ainsi tout type de manipulation. Il peut aussi effectuer ces manipulations par l'intermédiaire d'un gant. Lors de cette manipulation, l'utilisateur visualise les deux images (réelle et virtuelle) superposées dans l'espace de visualisation.

A l'aide des capteurs-actionneurs, dans l'espace de manipulation 15b, l'utilisateur agit, par exemple, sur l'image réelle et sur l'image virtuelle. Cette action est transmise dans l'espace réel 50 et virtuel 51 après un traitement par l'ordinateur 25. En effet, une première fonction de l'ordinateur effectue une synchronisation dans le temps entre les images de l'espace réel et celles de l'espace virtuel après les les modifications réalisées par l'utilisateur sur chaque objet de chaque espace. Dans chacun de ces espaces se trouvent des capteurs-actionneurs 52, 53, 54 et 55 situés de part et d'autre de l'objet réel ou virtuel. Chacun de ces capteurs-actionneurs est muni d'une unité de traitement 56. Ainsi, l'action transmise dans l'espace réel 50 est reçue par l'unité de traitement 56 des capteurs-actionneurs réels 52 et 53. Ces capteurs-actionneurs peuvent être par exemple des bras articulés de robots ou encore des vérins. De la même façon, l'action transmise dans l'espace virtuel 51 est reçue par l'unité de traitement 56 des capteursactionneurs virtuels 54 et 55. Les capteurs-actionneurs 52, 53, 54 et 55 ne sont pas visualisables puisqu'ils interviennent de façon numérique seulement.

Ainsi, ces capteurs-actionneurs réels et virtuels vont reproduire les mouvements induits par l'utilisateur 1 via les capteurs-actionneurs 35 localisés dans l'espace de manipulation 15b, derrière le dispositif de visualisation 2. Par conséquent, les actions engendrées par l'utilisateur grâce à la manipulation des capteurs-actionneurs dans l'espace de manipulation vont se répercuter sur l'objet aussi bien réel que virtuel.

En réaction à ces actions, les capteurs- actionneurs réels 52 et 53 transmettent des signaux de retour d'effort. Dans notre exemple, le signal de retour d'effort en provenance, du capteur-actionneur réel 52 est traité par l'unité de traitement de l'actionneurs réel 56 . Ensuite l'ordinateur 25 reçoit ce signal et le traite. En effet une deuxième fonction de l'ordinateur effectue une mise à l'échelle entre les images de l'espace réel et celles de l'espace virtuel avant la superposition de ces deux images dans l'espace de visualisation 15a.

Ensuite les images sont transmises à l'unité de traitement 56 du capteur-actionneur virtuel 52 ainsi qu'à l'unité de traitement 56 du capteur-actionneur 35 de l'espace de manipulation.

L'utilisateur peut alors ressentir le retour d'effort dans l'espace de visualisation 15a. Les capteurs-actionneurs de permettent donc de rentre le sens du toucher.

Ce type de fonctionnement s'applique également si, au lieu de considérer un objet réel et un objet virtuel, nous considérons deux objets virtuels (il s'agit alors de réalité virtuelle double), ou un seul objet virtuel (il s'agit d'un écran stéréoscopique) ou un seul objet réel (il s'agit de télévision autostéréoscopique).

Claims (15)

REVENDICATIONS

1)Système de visualisation pour la manipulation d'un objet par un utilisateur ledit objet étant situé dans un premier espace et la manipulation étant fournie dans un deuxième espace qui comprend un espace de manipulation, ledit système étant caractérisé en ce qu'il comprend : un système haptique situé dans le premier et le deuxième espace, afin que l'utilisateur effectue une manipulation dans le deuxième espace qui est traduite en une manipulation équivalente sur l'objet dans le premier espace un système optique pour fournir une image de cette manipulation à l'utilisateur, l'image étant formée en cohérence spatiale avec l'espace de manipulation dans le deuxième espace et avec l'image de la manipulation dans le premier espace.

2) Système de visualisation selon la revendication 1 caractérisé en ce que le deuxième espace est un espace physique réel.

3) Système de visualisation selon la revendication 1 caractérisé en ce que le premier espace est constitué d'un ou deux espaces. 30

4) Système de visualisation selon la revendication 3 caractérisé en ce que le premier espace est constitué d'un espace réel.25

5) Système de visualisation selon la revendication 3 caractérisé en ce que le premier espace est constitué d'un espace virtuel.

6) Système de visualisation selon la revendication 3 caractérisé en ce que le premier espace est constitué d'un espace réel et d'un espace virtuel.

7) Système de visualisation selon la revendication 3 caractérisé en ce que le premier espace est constitué de deux espaces virtuels.

8) Système de visualisation selon l'une quelconque des revendications précédentes, caractérisé en ce que le système haptique comprend des moyens pour effectuer la manipulation.

9) Système de visualisation selon l'une quelconque des revendications précédentes, caractérisé en ce que les moyens pour effectuer la manipulation appartiennent à l'espace de manipulation.

10) Système de visualisation selon les revendications 1 à 8, caractérisé en ce que les moyens pour effectuer la manipulation sont absents de l'image de la manipulation.

11) Système de visualisation selon l'une quelconque des revendications précédentes, caractérisé en ce que les moyens sont sélectionnés dans une liste qui inclut des capteurs-actionneurs, 5 les mains de l'utilisateur ou l'utilisateur.

12) Système de visualisation selon l'une quelconque des revendications précédentes, caractérisé en ce que le système optique comprend un 10 nombre d'éléments optiques pour produire une image.

13) Système de visualisation selon la revendication 12, caractérisé en ce que les éléments optiques sont sélectionnés dans une liste qui 15 inclut : un miroir dont la réflexion est comprise entre aucune réflexion et réflexion totale, un filtre, un écran, des lentilles.

14) Système de visualisation selon la 20 revendication 13, caractérisé en ce que lorsque le miroir est un miroir semi-réfléchissant, seul le deuxième espace est visible.

15) Méthode pour visualiser la manipulation 25 d'un objet par un utilisateur, ledit objet étant situé dans un premier espace et la manipulation étant fournie dans un deuxième espace qui comprend un espace de manipulation, ladite méthode comprenant les étapes de : 30 manipulation dans le deuxième espace qui est traduite en une manipulation équivalente sur l'objet dans le premier espace au moyen d'unsystème haptique situé dans le premier et le deuxième espace ; - production d'une image de cette manipulation à l'utilisateur au moyen du'n système optique, l'image étant formée en cohérence spatiale avec l'espace de manipulation dans le deuxième espace et avec l'image de la manipulation dans le premier espace.