EP1616245A1 - Procede et dispositif d'interaction pour l'assistance au geste manuel pendant le travail d'une matiere - Google Patents

Procede et dispositif d'interaction pour l'assistance au geste manuel pendant le travail d'une matiere

Info

Publication number
EP1616245A1
EP1616245A1 EP04742486A EP04742486A EP1616245A1 EP 1616245 A1 EP1616245 A1 EP 1616245A1 EP 04742486 A EP04742486 A EP 04742486A EP 04742486 A EP04742486 A EP 04742486A EP 1616245 A1 EP1616245 A1 EP 1616245A1
Authority
EP
European Patent Office
Prior art keywords
tool
work
model
worked
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP04742486A
Other languages
German (de)
English (en)
Inventor
Philippe Bellanger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of EP1616245A1 publication Critical patent/EP1616245A1/fr
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/283—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for dentistry or oral hygiene

Definitions

  • the present invention relates to a method and a device for computer-assisted learning and teaching of the manual gesture during the work of a material, with the aim either of reproducing a
  • the present invention is capable of being integrated or arranged in a chain of conception or transformation of matter, in particular in the fields of plastic arts, design, industrial machining, paramedical, surgical but not
  • the invention relates more particularly to a method based on a device which implements, for the aid and learning of the gesture, a digital representation of the shape to be reproduced and the material to be worked.
  • Another approach consists in keeping the skilled person at the heart of the loop of the reproduction process by continuously providing him with all the necessary and sufficient information to enable him to intervene in complete safety on the matter.
  • patent FR2808366 (AZERAD J., BLANCHARD J., MAURIN Y.) describes a learning process in virtual reality made up of various elements: capturing spatial position information of a real organ held in the hand, a three-dimensional representation of a digital object, a supply of '' a digital tool capable of operating on the digital object. At no time does the process allow the machining of real material, let alone a possible rise in the machining of real material in a digital model, thus allowing conceptual intervention in both worlds. Therefore, it is impossible to inform a complete learning through a manual gesture during the work of a subject. Consequently, this process does not meet the needs expressed by the trades working the material.
  • the purpose of the present invention is to propose an iterative action / information process based on a device allowing assistance with manual gesture in order to give a material a form approaching a digital model.
  • a device allowing assistance with manual gesture in order to give a material a form approaching a digital model.
  • Another object of the invention is to propose a learning device for assisting manual gesture during the work of the material allowing on the one hand an analysis of the methodology of the gesture and on the other hand a reading of the result under the form of a digital model of the worked material.
  • the invention relates to a device which implements one or more digital models among which a distinction is made: the model to be reached, called “mother model”, constructed from a source model (digitization data, CAD model). ) enriched with business information and / or transformed (scaling, simplification, etc.) the material to be worked model, called “material to be worked model” constructed from information from a physical volume or data numerical specifying the dimensions of the material to be worked.
  • the “tool model” specifying the physical and geometric parameters of the work tool (reaction reserve, tool diameter, eccentricity, etc.). This model is used for calculating the effect of the tool on the material, and the result of this calculation is used for the continual updating of the "worked material model”.
  • the "gesture model” contains the description of the tool configurations during the work of the material.
  • the “worked material model” is the result of the actions of the tool on the material to be worked. These models allow those skilled in the art to express their needs and explore the possible alternatives in the space to be worked.
  • Figure 1 shows a schematic overview of the aid and learning device for assistance with manual gesture in a volume, according to the invention.
  • Figures 2 and 3 show possible visual information and display examples (video projection and monitor screen) according to the invention.
  • the aid and learning device for manual gesture in a volume is intended to be used in several ways depending on the field of application.
  • a first way consists in working the material 19 without relying on a "mother model” Ml, in this case the manual gesture freed from all constraints allows a work of direct creation, and the result from it is stored in the “Worked material model” M4.
  • the iterative method of the present invention allows this result to be reused after adaptation as a "mother model” M l for reproduction.
  • a second way consists in representing, continuously, the action of the tool 3 on the material 19 by a transformation of the state of the “worked material model” M4.
  • Another use of this result is the monitoring over time of the evolution of work.
  • a third way consists, from the position measurements of the tool 3 provided by the metrological system 4, in specifying the elements for the generation of a reference movement with a view to its re-execution by a automatic system such as a robot. In reality, this device could be presented as a design tool and / or an educational and fun tool.
  • the device mainly consists of the following elements: an operator 1. a work station 9, to which is associated an absolute three-dimensional coordinate system RI, composed of a material support, modeled by a three-dimensional coordinate system R3, a tool calibration system 16 modeled by a three-dimensional coordinate system R2 and a set of target objects 20 used for registration, respectively defined with respect to the absolute three-dimensional coordinate system RI. a computer (of the microcomputer type) 2 integrating the data of the models and their effects.
  • a tool 3 modeled by a three-dimensional reference R4 placed on a metrological system 4 (an articulated arm or follower) associated with a three-dimensional reference R5 defined with respect to the absolute three-dimensional reference RI, continuously supplying the computer 2 with information relating to the position and l orientation of the tool 3.
  • a stimuli generator 5 composed of optical 6, acoustic 7 and / or haptic 8 channels informing the operator 1 of the effect of his gestures on the material 19.
  • the microcomputer type calculator 2 which integrates the data of the digital models and their effects comprises a hardware part, consisting of highly integrated electronic circuits, and software.
  • the function of a computer is limited to ordering, classifying, calculating, sorting, searching, editing, representing information which has previously been coded according to a binary representation.
  • the device consists, in its metrological system 4, of a measurement arm with several degrees of freedom continuously informing the computer 2 of all the displacements of the free end induced by the manual gesture . From this information, the computer 2 updates all of the models.
  • the first function of the metrological system 4 is to serve for the measurement of benchmarks such as the material benchmark R3, the benchmark R2 of the tool calibration system 16, in order to calibrate the station. work 9. Thanks to the set of target objects 20, the position of the metrological system 4 is modular, thereby allowing the intervention space to be increased beyond its own work volume.
  • the second function of the metrological system 4 is to serve for the measurement, continuously, of the position and the orientation of a tool 3 with respect to the worked material 19.
  • the tool 3 intended to work the material 19 is rigidly linked to the . metrological system 4. It can consist of a bur, disc, spherical spatula or any other working tool depending on the applications and materials chosen. Thanks to the measurement, the effect of the tool 3 is translated into the “worked material model” M4 through the “tool model” M3 by relying on the “mother model” M 1 placed in the “material model to working »M2.
  • the metrological system 4 could be an optical or magnetic “follower” type location system, preferable for certain applications or for certain work phases.
  • the metrological system 4 must be able to be manipulated manually and freely.
  • the metrological system 4 is balanced by an adjustable recall system, such as a balancer or lift 10, giving the operator's gestures increased fluidity.
  • This lift assembly 10 is installed above the arm by means of a rotary bracket 11 whose axis of rotation is aligned with the base axis of the measuring arm.
  • the device consists of a work station 9 which is a rigid system allowing the operator to adjust the height of the material support.
  • the tool calibration system is composed of a trihedron 16 serving as a reference in the calibration of the tools 3 installed at the end of the arm.
  • an optical stimulus can be a video projection 6 of the digital models on one or more views 13 and 13 'characterized inter alia by a point of view and a scaling factor programmable by the operator 1 , in which the tool 3 is continuously represented and in all its displacements, displayed with a reaction sphere 14 programmable as a function of the density / scale factor of the material to be worked, the representation of the latter is enriched by the materialization of the axis of the support 15 of the tool and of the shortest path 22 separating the tool from the nearest possible point contact in the "mother model” Ml.
  • An important feature of the visualization is to be locally of better definition 21, by adjusting certain characteristics such as surface dressing or light, to the exact course of the movements of the tool in space, allowing the operator 1 the continual interpretation of the situations of the tool M3 in relation to the “mother model” Ml and to the form worked in the material 19.
  • an acoustic stimulus is transmitted by modular sounds 7 fig.3 and received in headphones 7 'fig. l; these sounds are adjustable in frequency and amplitude.
  • the frequency is determined, continuously during the work of the material, as a function of the distance of the tool and its reserve M3 to the nearest possible point contact calculated in the "mother model" Ml.
  • the frequency and distance scales are programmable by the operator.
  • the amplitude is manually adjustable according to the noise level in the environment of the work station.
  • a haptic stimulus 8 can be generated by a recall in effort as a function of the distance of the tool and of its reserve M3 to the closest possible point contact calculated in the “mother model” Ml.
  • the effort recall could be ensured by a system consisting of a bracelet 17 positioned on the wrist of the operator 1 or on the metrological system 4 connected by a flexible link 18 to a motorization which exerts a restoring force so progressive until the end of the tool M3 reaches a point of the envelope of the "mother model” Ml.
  • the invention relates to a method of assisting and learning the manual gesture of an operator for working with a material in that it comprises on the one hand the following elements:
  • Stage 1 the creation of the “mother model” M1 aims to convert the geometric envelope of the volume to be reproduced into three-dimensional coordinates which can be manipulated by a computer.
  • a digital model created can be enriched, simplified or sectored according to the specific needs of each profession. This step can be carried out independently of the other steps.
  • Step 2 the calibration of the work station 9 makes it possible to specify, by measurements carried out in the absolute three-dimensional reference RI, on the one hand the three-dimensional reference R3 of the material support and the three-dimensional reference R2 of the tool calibration system, and on the other hand the three-dimensional coordinate system R5 of the metrological system.
  • Step 3 the creation of the "material to be worked model” M2 is obtained either by acquiring digital data from a preexisting external volume, or by determining the volume to be worked corresponding to the external envelope of the volume to be reproduced.
  • Step 3: the calibration of the tool 3 consists in relying on a reference surface 16 of the calibration system previously calibrated in the absolute three-dimensional frame RI to determine some of the parameters of the “tool model” M3 such as the length , eccentricity and to specify the other parameters such as the reaction sphere. This step requires that the workstation 9 be calibrated.
  • Step 4 the placement of the “mother model” M1 with respect to the “material to be worked” model M2 allows a computer-assisted positioning of the digital representation of the shape to be reached within the digital representation of the block of material to be worked .
  • the setting of the position, the orientation and the scale of the shape to reach in relation to the block of material allows a quick placement to make reproductions identically (scale 1) or with enlargement (scale> 1) or with reduction (scale ⁇ 1).
  • the “mother model” M 1 is inscribed for the duration of the work in the “material to be worked model” M2 either by having the obligation to respect the dimensions of the volume to be reproduced (identical, larger, smaller) or by respecting the volume of the material to best include the volume to be reproduced.
  • Stage 5 the work of the material can be carried out according to two possible approaches: the creation of shape in direct size which requires that the three stages 2, 3 and 4 are accomplished, the reproduction which requires the four stages 1, 2, 3 and 4.
  • the operator 1 having previously chosen and adjusted the stimuli 5 (6, 7 and 8) which he wishes to have in return, the position and the orientation of the tool 3 in space are processed at all times by the computer 2 which, from the knowledge of the different models Ml, M2, M3 and M4, calculates the characteristic quantities (collisions, minimum distance, swept volume) of the effect of the tool 3 on the material 19. This effect is then translated into the form of stimuli 5 sent to the operator.
  • the operator can know, at any time, on the one hand the position of the tool 3 relative to the shape to reach Ml and on the other hand the effect of the tool on the material through the evolution of the "worked material model" M4.
  • the operator has the possibility of suspending the work of the material at any time to analyze the results provided by the digital models of the worked material (M4) and of the gesture (M5) and / or change tools 3 according to the 'evolution of the work carried out and / or save on the computer 2 all the information reflecting the progress of his work.
  • Tool change 3 involves performing a tool calibration (see step 3) in order to determine the parameters of the new tool 3. This step being carried out, the propagation of the identified changes is done automatically and the resumption of the work of material 19 is made possible.
  • the operator 1 will have to carry out on the material 19 the same operations as those usually practiced by his trade.
  • One of the main unavoidable difficulties in obtaining a work of high quality material is the mental transcription of the shape to be achieved in the material that the operator must constantly achieve. Thanks to the adaptation of the various stimuli sent to the operator according to the position of the tool relative to the material, the operator receives permanent assistance in his gesture, the quality of which is independent of the ambient conditions of the environment. of work. This relieves the operator of the work of mental transcription and allows him to concentrate on the work of the material made transparent.
  • the device has measurement means which allow learning of the gesture for training, educational, gesture analysis or programming of robotic systems, among others.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Public Health (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Medical Informatics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Human Computer Interaction (AREA)
  • Numerical Control (AREA)

Abstract

L'invention concerne un procédé pour l'aide et l'apprentissage assistés par ordinateur (3) du geste manuel d'un opérateur (1) pendant le travail d'une matière (24), notamment dans les domaines des arts plastiques, design, usinage industriel, paramédical, chirurgical. Le procédé s'appuie sur un dispositif caractérisé en ce qu'il est constitué principalement par un ou plusieurs système(s) métrologique(s) (5) ayant pour fonction de mesurer la position de manière continue d'une part de l'outil (4) et d'autre part de la matière (24), un calculateur (3) réalisant l'acquisition des informations issues du système de métrologie (5) et propageant au(x) modèle(s) numérique(s) (M3, M4, M5) l'effet des déplacements de l'outil (4) dans la relation à la matière à ouvrager (24), une interface génératrice de stimuli (8) de type acoustique (21) et/ou optique (7) et/ou haptique (8) informant l'opérateur (1) par une augmentation de la réalité des actions/réactions que son métier implique.

Description

PROCEDE ET DISPOSITIF D'INTERACTION POUR L'ASSISTANCE AU GESTE MANUEL PENDANT LE TRAVAIL D'UNE MATIÈRE
La présente invention concerne un procédé et un dispositif pour l'aide et l'apprentissage assistés par ordinateur du geste manuel pendant le travail d'une matière, dans le but soit de reproduire une
10 forme existante soit de créer une nouvelle forme.
La présente invention est susceptible d'être intégrée ou disposée dans une chaîne de conception ou de transformation de la matière, notamment dans les domaines des arts plastiques, du design, de l'usinage industriel, du paramédical, du chirurgical mais non
15 exclusivement.
L'invention concerne plus particulièrement un procédé s'appuyant sur un dispositif qui met en œuvre, pour l'aide et l'apprentissage du geste, une représentation numérique de la forme à reproduire et de la matière à travailler.
20 La reproduction de formes à partir d'un modèle numérique peut être partiellement résolue par l'utilisation de solutions robotiques. Cependant, cette technique atteint ses limites quand la complexité des formes à reproduire nécessite des gestes spécifiques mais aussi quand le nombre d'objets à reproduire est faible en regard de l'investissement
25 nécessaire à la programmation des trajectoires.
Une autre approche consiste à garder l'homme de métier au cœur de la boucle du processus de reproduction en lui fournissant, continuellement, toutes les informations nécessaires et suffisantes afin de lui permettre d'intervenir en toute sécurité sur la matière.
30 Pour cette approche, un certain nombre de documents décrivent des dispositifs qui intègrent d'une part, des moyens métrologiques, d'autre part un système de représentations tridimensionnelles d'un objet numérique. Ainsi le brevet FR2808366 (AZERAD J., BLANCHARD J., MAURIN Y.) décrit un procédé d'apprentissage en réalité virtuelle constitué de divers éléments : captage d'informations de position spatiale d'un organe réel tenu à la main, une représentation tridimensionnelle d'un objet numérique, une fourniture d'un outil numérique apte à opérer sur l'objet numérique. A aucun moment, le procédé ne permet l'usinage d'une matière réelle, et encore moins une possible remontée de l'usinage de la matière réelle dans un modèle numérique permettant ainsi une intervention conceptuelle dans les deux mondes. De ce fait, il est impossible d'informer un apprentissage complet à travers un geste manuel pendant le travail d'une matière. En conséquence ce procédé ne répond pas aux besoins exprimés par les métiers qui travaillent la matière.
Le but de la présente invention est de proposer un procédé itératif action/information s'appuyant sur un dispositif permettant une aide au geste manuel afin de conférer à une matière une forme s'approchant d'un modèle numérique. Un tel dispositif permet d'optimiser la nature et la quantité d'informations nécessaires à la maîtrise spatiale de l'intervention dans la matière.
Un autre but de l'invention est de proposer un dispositif d'apprentissage d'aide au geste manuel pendant le travail de la matière permettant d'une part une analyse de la méthodologie du geste et d'autre part une lecture du résultat sous la forme d'un modèle numérique de la matière ouvragée.
A cet effet, l'invention concerne un dispositif qui met en œuvre un ou plusieurs modèles numériques parmi lesquels on distingue : le modèle à atteindre, appelé « modèle mère », construit à partir d'un modèle source (données de numérisation, modèle CAO) enrichi d'informations métier et/ ou transformé (mise à échelle, simplification, etc.) le modèle de la matière à ouvrager, appelé « modèle matière à ouvrager» construit à partir d'informations issues d'un volume physique ou de données numériques spécifiant les dimensions de la matière à ouvrager. le « modèle outil » spécifiant les paramètres physiques et géométriques de l'outil de travail (réserve de réaction, diamètre de l'outil, excentricité, etc.). Ce modèle est utilisé pour le calcul de l'effet de l'outil sur la matière, et le résultat de ce calcul sert à la mise à jour continuelle du « modèle matière ouvragée ».
- le « modèle geste » contient la description des configurations de l'outil pendant le travail de la matière.
. - le « modèle matière ouvragée » est le résultat des actions de l'outil sur la matière à ouvrager. Ces modèles permettent à l'homme de métier d'exprimer son besoin et d'explorer les alternatives possibles dans l'espace à ouvrager.
Ils peuvent être à la base soit d'une reproduction à l'identique soit d'une homothétie partielle ou globale, soit d'une transformation par l'ajout ou le retrait aussi bien dans le monde virtuel que réel. Une autre possibilité offerte par ce système est de pouvoir prendre en compte les déplacements de la matière par une mesure continuelle de ceux-ci, permettant le maintien de l'action de l'outil sur la matière, grâce à la mise en concordance continuelle des différents modèles.
L'invention sera bien comprise à la lecture de la description suivante, en référence aux dessins annexés représentant à titre d'exemple non limitatif, un dispositif d'aide et d'apprentissage pour l'assistance au geste manuel dans un volume, dans lesquels : la figure 1 représente une vue schématique d'ensemble du dispositif d'aide et d'apprentissage pour l'assistance au geste manuel dans un volume, conforme à l'invention. les figures 2 et 3 représentent des informations visuelles possibles et des exemples d'affichage (projection vidéo et écran moniteur) conformes à L'invention. Conformément à l'invention, le dispositif d'aide et d'apprentissage pour le geste manuel dans un volume est destiné à être utilisé de plusieurs façons en fonction du domaine d'application. Une première façon consiste à travailler la matière 19 sans s'appuyer sur un « modèle mère » Ml, dans ce cas le geste manuel libéré de toutes contraintes permet un travail de création directe, et le résultat issu de celui-ci est mémorisé dans le « modèle matière ouvragée » M4. Le procédé itératif relevant de la présente invention permet de réutiliser ce résultat après adaptation comme « modèle mère » M l pour une reproduction.
Une deuxième façon consiste à représenter, continuellement, l'action de l'outil 3 sur la matière 19 par une transformation de l'état du « modèle matière ouvragée » M4. Dans ce cas, il est possible pour du contrôle dimensionnel de comparer le « modèle matière ouvragée » M4 et le « modèle mère » Ml, afin d'établir une carte tridimensionnelle des erreurs. Une autre utilisation de ce résultat est le suivi au cours du temps de l'évolution du travail. Une troisième façon, mais non exclusivement, consiste, à partir des mesures de position de l'outil 3 fournies par le système métrologique 4, à spécifier les éléments pour la génération d'un mouvement de référence en vue de sa ré-exécution par un système automatique tel qu'un robot. En réalité ce dispositif pourra se présenter comme un outil de conception et/ou un outil pédagogique et ludique. Il s'agit donc bien des besoins attendus par des métiers, notamment dans les domaines des arts plastiques, du. design, de l'usinage industriel, du paramédical, du chirurgical mais non exclusivement. Ainsi l'exemple cité dans les schémas annexés démontre l'utilisation du dispositif dans le domaine des arts plastiques (reproduction de sculpture numérisée). Il va de soi que l'invention ne se limite pas à cette forme de réalisation, mais au contraire, l'invention peut embrasser d'autres variantes que les différents domaines impliquent.
Comme illustré sur la figure 1, le dispositif est constitué principalement des éléments suivants : un opérateur 1. un poste de travail 9, auquel est associé un repère tridimensionnel absolu RI, composé d'un support matière, modélisé par un repère tridimensionnel R3, d'un système d'étalonnage outil 16 modélisé par un repère tridimensionnel R2 et d'un ensemble d'objets cible 20 utilisé pour le recalage, respectivement défini par rapport au repère tridimensionnel absolu RI. un calculateur (de type micro-ordinateur) 2 intégrant les données des modèles et de leurs effets. un outil 3 modélisé par un repère tridimensionnel R4 disposé sur un système métrologique 4 (un bras articulé ou suiveur) associé à un repère tridimensionnel R5 défini par rapport au repère tridimensionnel absolu RI, délivrant continuellement au calculateur 2 les informations relatives à la position et l'orientation de l'outil 3. un générateur de stimuli 5 composé de canaux optique 6, acoustique 7 et/ ou haptique 8 informant l'opérateur 1 de l'effet de ses gestes sur la matière 19.
Suivant la figure 1 le calculateur de type micro-ordinateur 2 qui intègre les données des modèles numériques et de leurs effets comprend une partie matérielle, constituée de circuits électroniques hautement intégrés, et des logiciels. La fonction d'un ordinateur se limite à ordonner, classer, calculer, trier, rechercher, éditer, représenter des informations qui ont au préalable été codifiées selon une représentation binaire.
Comme on peut le voir sur la figure 1 le dispositif est constitué, dans son système métrologique 4, d'un bras de mesure à plusieurs degrés de liberté informant continuellement le calculateur 2 de tous les déplacements de l'extrémité libre induits par le geste manuel. A partir de ces informations, le calculateur 2 met à jour l'ensemble des modèles. La première fonction du système métrologique 4 est de servir à la mesure des repères tel que le repère matière R3, le repère R2 du système étalonnage outil 16, afin de réaliser l'étalonnage du poste travail 9. Grâce à l'ensemble des objets cible 20, la position du système métrologique 4 est modulable permettant ainsi l'augmentation de l'espace d'intervention au-delà de son propre volume de travail.
Le système métrologique 4 a pour deuxième fonction de servir à la mesure, de manière continue, de la position et de l'orientation d'un outil 3 par rapport à la matière ouvragée 19.
L'outil 3 destiné à ouvrager la matière 19 est lié de manière rigide au. système métrologique 4. Il peut être constitué de fraise, de disque, de spatule sphérique ou de tout autre outil de travail selon les applications et les matériaux choisis. Grâce à la mesure, l'effet de l'outil 3 est traduit dans le « modèle matière ouvragée » M4 au travers du « modèle outil » M3 en s'appuyant sur le « modèle mère » M 1 placé dans le « modèle matière à ouvrager » M2.
Le système métrologique 4 pourrait être un système de localisation de type « suiveur » optique ou magnétique, préférable pour certaines applications ou pour certaines phases de travail.
Le système métrologique 4 doit être manipulable manuellement et de façon libre.
Dans le cas de l'utilisation d'un bras de mesure et pour plus de maniabilité, le système métrologique 4 est équilibré par un système de rappel réglable, tel un équilibreur ou sustentateur 10, conférant aux gestes de l'opérateur une fluidité accrue. Cet ensemble de sustentation 10 est installé au-dessus du bras grâce à une potence rotative 11 dont l'axe de rotation est aligné sur l'axe de base du bras de mesure. Dans les exemples représentés sur la figure 1 le dispositif est constitué d'un poste de travail 9 qui est un système rigide permettant à l'opérateur le réglage de la hauteur du support matière. Le système d'étalonnage outil est composé d'un trièdre 16 servant de référence dans l'étalonnage des outils 3 installés au bout du bras. Le générateur de stimuli 5 piloté à distance par l' opérateur 1 grâce à un dispositif 12 monté sur le système de métrologie 4 met à disposition de celui-ci des stimuli optique 6, acoustique 7 ou haptique 8 utilisés séparément ou en combinaison. Selon une possibilité et suivant la figure 2, un stimulus optique peut être une projection vidéo 6 des modèles numériques sur une ou plusieurs vues 13 et 13' caractérisées entre autres par un point de vue et un facteur d'échelle programmables par l'opérateur 1, dans lesquels l'outil 3 est représenté continuellement et dans tous ses déplacements, affiché d'une sphère de réaction 14 programmable en fonction du facteur densité/ échelle du matériau à ouvrager, la représentation de celui-ci est enrichie par la matérialisation de l'axe du support 15 de l'outil et de la trajectoire 22 la plus courte séparant l'outil du contact possible ponctuel le plus proche dans le « modèle mère » Ml. Une particularité importante de la visualisation est d'être localement de meilleure définition 21, par un réglage de certaines caractéristiques telles que l'habillage surfacique ou la lumière, à l'exact déroulement des mouvements de l'outil dans l'espace, permettant à l'opérateur 1 l'interprétation continuelle des situations de l'outil M3 par rapport au « modèle mère » Ml et à la forme ouvragée dans la matière 19.
Selon une autre possibilité, un stimulus acoustique est transmis par des sons modulables 7 fig.3 et reçu dans un casque 7' fig. l; ces sons sont réglables en fréquence et en amplitude. La fréquence est déterminée, continuellement pendant le travail de la matière, en fonction de la distance de l'outil et de sa réserve M3 au contact possible ponctuel le plus proche calculé dans le « modèle mère » Ml. Les échelles de fréquence et de distance sont programmables par l'opérateur. L'amplitude est réglable manuellement en fonction du niveau sonore dans l'environnement du poste travail.
Selon une autre possibilité, un stimulus haptique 8 peut être généré par un rappel en effort en fonction de la distance de l'outil et de sa réserve M3 au contact possible ponctuel le plus proche calculé dans le « modèle mère » Ml. Le rappel en effort pourrait être assuré par un système constitué d'un bracelet 17 positionné sur le poignet de l'opérateur 1 ou sur le système métrologique 4 relié par un lien souple 18 à une motorisation qui exerce une force de rappel de façon progressive jusqu'à ce que l'extrémité de l'outil M3 atteint un point de l'enveloppe du « modèle mère » Ml.
Au vu de cela, l'invention concerne un procédé d'aide et d'apprentissage du geste manuel d'un opérateur pour le travail d'une matière en ce qu'il comprend d'une part les éléments suivants :
- une représentation numérique de la forme à atteindre ( nommé « modèle mère » Ml),
- une représentation numérique de la matière à ouvrager calée selon un repère tridimensionnel absolu RI
(nommé « modèle matière à ouvrager » M2),
- une représentation numérique de l'outil issue d'une étape d'étalonnage (nommée « modèle outil » M3),
- une matière à transformer 19 calée selon un repère tridimensionnel absolu R 1 ,
- des moyens d'informations et d'actions tels que décrit dans le dispositif, et d'autre part les étapes suivantes :
Etape 1 : la création du « modèle mère » Ml a pour but de convertir l'enveloppe géométrique du volume à reproduire en coordonnées tridimensionnelles pouvant être manipulées par un ordinateur. Un modèle numérique crée peut être enrichi, simplifié ou sectorisé selon les besoins spécifiques à chaque métier. Cette étape peut être réalisée indépendamment des autres étapes. Etape 2 : l'étalonnage du poste de travail 9 permet de spécifier, par des mesures réalisées dans le repère tridimensionnel absolu RI, d'une part le repère tridimensionnel R3 du support matière et le repère tridimensionnel R2 du système d'étalonnage outil, et d'autre part le repère tridimensionnel R5 du système métrologique. Etape 3 : la création du « modèle matière à ouvrager » M2 est obtenue soit par l'acquisition des données numériques d'un volume extérieur préexistant, soit par la détermination du volume à travailler correspondant à l'enveloppe extérieure du volume à reproduire. Etape 3 : l'étalonnage de l'outil 3 consiste en s'appuyant sur une surface de référence 16 du système d'étalonnage préalablement calée dans le repère tridimensionnel absolu RI à déterminer certains des paramètres du « modèle outil » M3 tels que la longueur, l'excentricité et à préciser les autres paramètres tels que la sphère de réaction. Cette étape nécessite que l 'étalonnage du poste de travail 9 soit réalisé.
Etape 4 : le placement du « modèle mère » Ml par rapport au « modèle matière à ouvrager » M2 permet un positionnement assisté par ordinateur de la représentation numérique de la forme à atteindre à l'intérieur de la représentation numérique du bloc de matière à ouvrager. Le paramétrage de la position, de l'orientation et de l'échelle de la forme à atteindre par rapport au bloc de matière permet un placement rapide pour réaliser des reproductions à l'identique (échelle 1) ou avec agrandissement (échelle > 1) ou avec réduction (échelle < 1). Par cette approche on inscrit, pour la durée du travail, le « modèle mère » M 1 dans le « modèle matière à ouvrager » M2 soit en ayant pour obligation de respecter les dimensions du volume à reproduire (identique, plus grand, plus petit) soit en respectant le volume de la matière pour y inscrire au mieux le volume à reproduire. Etape 5 : le travail de la matière peut être réalisé selon deux approches possibles : la création de forme en taille directe qui nécessite que les trois étapes 2, 3 et 4 soient accomplies, la reproduction qui nécessite les quatre étapes 1, 2, 3 et 4. L'opérateur 1 ayant préalablement choisi et réglé les stimuli 5 (6, 7 et 8) qu'il souhaite avoir en retour, la position et l'orientation de l'outil 3 dans l'espace sont traitées à tout instant par le calculateur 2 qui, à partir de la connaissance des différents modèles Ml, M2, M3 et M4, calcule les grandeurs caractéristiques (collisions, distance minimale, volume balayé) de l'effet de l'outil 3 sur la matière 19. Cet effet est ensuite traduit sous la forme de stimuli 5 envoyés à l'opérateur. Entre autres, grâce à la visualisation 6 sur plusieurs vues, l'opérateur peut connaître, à tout moment, d'une part la position de l'outil 3 par rapport à la forme à atteindre Ml et d'autre part l'effet de l'outil sur la matière au travers de l'évolution du « modèle matière ouvragée » M4.
L'opérateur a la possibilité de suspendre à tout moment le travail de la matière pour analyser les résultats fournis par les modèles numériques de la matière ouvragée (M4) et du geste (M5) et/ ou changer d'outils 3 en fonction de l'évolution du travail réalisé et/ ou sauvegarder sur le calculateur 2 l'ensemble des informations traduisant l'état d'avancement de son travail.
Le changement d'outil 3 implique la réalisation d'un étalonnage de l'outil (cf. étape 3) afin de déterminer les paramètres du nouvel outil 3. Cette étape étant réalisée, la propagation des changements identifiés est faite automatiquement et la reprise du travail de la matière 19 est rendue possible.
L'opérateur 1 devra réaliser sur la matière 19 les mêmes opérations que celles habituellement pratiquées par son métier. L'une des principales difficultés incontournable pour obtenir un travail de la matière de grande qualité est la transcription mentale de la forme à atteindre dans la matière que doit réaliser en permanence l'opérateur. Grâce à l'adaptation des différents stimuli envoyés à l'opérateur en fonction de la position de l'outil par rapport à la matière, l'opérateur reçoit une assistance permanente dans son geste dont la qualité est indépendante des conditions ambiantes de l'environnement de travail. Ceci décharge l'opérateur du travail de transcription mentale et lui permet de se concentrer sur le travail de la matière rendue transparente. Le dispositif possède des moyens de mesures qui permettent un apprentissage du geste à des fins d'entraînement, pédagogiques, d'analyse du geste ou de programmation de systèmes robotiques, entre autres.

Claims

REVENDICATIONS
1. Dispositif d'aide du geste manuel assisté par ordinateur continuellement pendant le travail d'une matière, constitué principalement d'un réfèrent (R3) de la matière à ouvrager (19) défini selon un repère absolu (RI), d'un poste de travail (9) équipé d'objets cible (20) ayant pour fonction le recalage du système métrologique (4) après son déplacement, un système d'étalonnage outil (16), des outils (3) pour ouvrager la matière (19), un repère absolu (RI) servant de réfèrent au calculateur (2), un calculateur (2) réalisant l'acquisition, la mémorisation et le traitement des informations issues du système métrologique (4) et propageant continuellement au(x) modèle(s) numérique(s) (M3, M4, M5) l'effet des déplacements de(s) l'outil(s) (3) dans la relation à la matière à ouvrager (19) en cours de travail, un ou plusieurs système(s) métrologique(s) (4) ayant pour fonction de mesurer la position de manière continue d'une part de(s) l'outil(s) (3) et d'autre part de la matière à ouvrager (19) en cours de travail, un générateur de stimuli (5) informant l'opérateur (1) continuellement de la position de l'outil (3) relativement à la matière à ouvrager (19) en cours de travail par une augmentation de la réalité des actions/réactions que son métier implique, au travers un choix de retours sensoriels multiples et simultanés.
2. Dispositif selon la revendication 1, caractérisé en ce que le système métrologique (4) est un bras articulé de mesure ou un système de localisation portant l'outil (3), est équilibré par un système de sustentation réglable (10), tel q'un équilibreur, conférant aux gestes de l'opérateur (1) une fluidité accrue.
3. Dispositif selon l'une quelconque des revendications précédentes caractérisé en ce que la position du système métrologique (4) est modulable et identifiable à l'aide de l'ensemble des objets cible (20) mis en place sur le poste de travail (9), permettant ainsi l'augmentation de l'espace d'intervention au-delà du volume de travail du système de métrologie.
4. Dispositif selon l'une quelconque des revendications précédentes caractérisé en ce qu'à chaque instant les déplacements mesurables de la matière (19) sont pris en compte afin de permettre le maintien de l'action de l'outil (3) sur la matière (19) grâce à la mise en concordance continuelle des différents modèles avec le repère absolu (RI).
5. Dispositif selon l'une quelconque des revendications précédentes caractérisé en ce que le générateur, de stimuli (5) fournit des retours sensoriels de type vues multiples (13 et 13') à échelles variables des modèles numériques dans lesquelles l'outil (3) est représenté, dans ' tous ses déplacements, affiché d'une réserve de réaction (M3) programmable en fonction du facteur densité/ échelle du matériau à ouvrager,
6. Dispositif selon l'une quelconque des revendications précédentes caractérisé en ce que le générateur de stimuli (5) fournit des retours sensoriels de type sonores (7 et 7') et / ou un rappel en effort qui ont une intensité variable et progressive en fonction de l'approche progressive de l'outil et de sa réserve (M3) dans le modèle numérique (Ml) au niveau du contact possible ponctuel le plus proche.
7. Dispositif selon l'une quelconque des revendications précédentes caractérisé en ce que la représentation de l'outil (M3) dans les vues (13, 13') est enrichie par la matérialisation de l'axe du support de l'outil (15) et de la trajectoire la plus courte (22) séparant le modèle outil (M3) du contact possible ponctuel le plus proche dans le modèle numérique (Ml).
8. Dispositif selon l'une quelconque des revendications précédentes caractérisé en ce que la visualisation du modèle numérique de la forme à atteindre « modèle mère » (Ml) est localement de meilleure définition (21), et est prédéfinie par certaines caractéristiques telles que l'habillage surfacique ou la lumière, à l'exact déroulement des mouvements de l'outil (3) dans l'espace.
9. Procédé itératif action/information pour l'aide et l'apprentissage du geste manuel assistés continuellement par ordinateur (2) pendant le travail d'une matière (19), caractérisé en ce qu'il comprend les étapes consistant à définir le(s) système(s) référentiel(s) (RI, R2, R3, R5) en vue de l'étalonnage du poste de travail (9), définir le(s) modèle(s) numérique(s) de la forme à atteindre « modèle mère » (Ml) et de la matière à ouvrager (M2) par rapport à un réfèrent (R3) connu à tout instant par rapport à un repère absolu (RI), établir le placement du ou des modèles numériques de la forme à atteindre (Ml) dans le(s) modèle(s) numérique(s) de la matière à ouvrager (M2), définir le modèle numérique (M3) de l'outil (3) spécifié par les paramètres physiques et géométriques (réserve de réaction, diamètre de l'outil, excentricité, etc.) destiné à ouvrager la matière (19) en étalonnant celui-ci par appui sur un repère (R2) connu à tout instant par rapport à un repère absolu (RI), obtenir les informations nécessaires pour connaître la position de l'outil (3) par rapport au modèle numérique (Ml) de la forme à atteindre. obtenir une mise à jour quasi simultanée du modèle numérique de la matière ouvragée (M4) en fonction de l'effet de l'outil (3) sur la matière (19) qui est induit par le geste manuel de l'opérateur (1), obtenir une analyse quasi simultanée des résultats du travail fourni par les modèles numériques de la matière ouvragée (M4) et du geste (M5).
EP04742486A 2003-04-17 2004-04-13 Procede et dispositif d'interaction pour l'assistance au geste manuel pendant le travail d'une matiere Ceased EP1616245A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0304804A FR2853983A1 (fr) 2003-04-17 2003-04-17 Procede et dispositif d'interaction pour l'assistance au geste "metier-matiere"
PCT/FR2004/000903 WO2004095249A1 (fr) 2003-04-17 2004-04-13 Procede et dispositif d’interation pour l’assistance au geste manuel pendant le travail d’une matiere

Publications (1)

Publication Number Publication Date
EP1616245A1 true EP1616245A1 (fr) 2006-01-18

Family

ID=33041933

Family Applications (1)

Application Number Title Priority Date Filing Date
EP04742486A Ceased EP1616245A1 (fr) 2003-04-17 2004-04-13 Procede et dispositif d'interaction pour l'assistance au geste manuel pendant le travail d'une matiere

Country Status (6)

Country Link
US (1) US20070005187A1 (fr)
EP (1) EP1616245A1 (fr)
JP (1) JP2006523873A (fr)
CN (1) CN100442205C (fr)
FR (1) FR2853983A1 (fr)
WO (1) WO2004095249A1 (fr)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204623B1 (en) * 2009-02-13 2012-06-19 Hrl Laboratories, Llc Planning approach for obstacle avoidance in complex environment using articulated redundant robot arm
DE102010009065B4 (de) 2010-02-23 2018-05-24 Deutsches Zentrum für Luft- und Raumfahrt e.V. Eingabevorrichtung für medizinische minimal-invasive Roboter oder medizinische Simulatoren sowie medizinisches Gerät mit Eingabevorrichtung
CN103392196A (zh) * 2011-03-02 2013-11-13 皇家飞利浦有限公司 用于用户的认知增强的装置和方法
FR2977819B1 (fr) 2011-07-11 2013-07-12 Lithias Procede de sculpture assistee par ordinateur et systeme de mise en oeuvre
WO2017159562A1 (fr) * 2016-03-14 2017-09-21 オムロン株式会社 Dispositif de génération d'information d'action
CN108172100B (zh) * 2017-12-22 2019-03-22 江苏凤凰知慧教育科技有限公司 一种数控综合实训系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4453221A (en) * 1982-05-13 1984-06-05 Cincinnati Milacron Inc. Manipulator with adaptive velocity controlled path motion
US4531192A (en) * 1982-09-23 1985-07-23 Crc Welding Systems, Inc. Apparatus and method for sensing a workpiece with an electrical arc
KR900008539B1 (ko) * 1985-05-30 1990-11-24 마쯔시다덴기산교 가부시기가이샤 로보트의 연속경로 제어방법
EP0658265A1 (fr) * 1993-07-06 1995-06-21 Cybernet Systems Corporation Procede de simulation d'actes medicaux y compris par realite virtuelle, et methode de controle et systeme associes
US6463361B1 (en) * 1994-09-22 2002-10-08 Computer Motion, Inc. Speech interface for an automated endoscopic system
JP2000501033A (ja) * 1995-11-30 2000-02-02 ヴァーチャル テクノロジーズ インコーポレイテッド 触覚をフィードバックする人間／機械インターフェース
US5688118A (en) * 1995-12-27 1997-11-18 Denx Ltd. Image sound and feeling simulation system for dentistry
US6451027B1 (en) * 1998-12-16 2002-09-17 Intuitive Surgical, Inc. Devices and methods for moving an image capture device in telesurgical systems
US6084371A (en) * 1999-02-19 2000-07-04 Lockheed Martin Energy Research Corporation Apparatus and methods for a human de-amplifier system
FR2808366B1 (fr) * 2000-04-26 2003-12-19 Univ Paris Vii Denis Diderot Procede et systeme d'apprentissage en realite virtuelle, et application en odontologie
FR2809048B1 (fr) * 2000-05-18 2002-10-11 Commissariat Energie Atomique Bras de commande
US6681151B1 (en) * 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
DE10305384A1 (de) * 2003-02-11 2004-08-26 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
US6804580B1 (en) * 2003-04-03 2004-10-12 Kuka Roboter Gmbh Method and control system for controlling a plurality of robots

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2004095249A1 *

Also Published As

Publication number Publication date
CN1806218A (zh) 2006-07-19
US20070005187A1 (en) 2007-01-04
JP2006523873A (ja) 2006-10-19
WO2004095249A1 (fr) 2004-11-04
FR2853983A1 (fr) 2004-10-22
CN100442205C (zh) 2008-12-10

Similar Documents

Publication Publication Date Title
US9383832B1 (en) Haptic user interface
Borst et al. Realistic virtual grasping
CN108369478A (zh) 用于交互反馈的手部跟踪
JP4871270B2 (ja) 仮想３次元空間内で動作するシステム及び方法と視覚化システムを介してオペレーションを選択するシステム
FR2771202A1 (fr) Dispositif electronique de traitement de donnees-image, pour la simulation du comportement deformable d&#39;un objet
WO1998031280A1 (fr) Procede et systeme chirurgicaux de navigation par utilisation de signaux de retour audio
CN108073276A (zh) 增强和/或虚拟现实环境的拖拽虚拟元件
CN101426446A (zh) 用于触觉表达的装置和方法
Kim et al. Dental training system using multi-modal interface
WO2008115997A2 (fr) Systèmes et procédés pour mettre à jour un affichage tridimensionnel dynamique avec entrée d&#39;utilisateur
JP6771995B2 (ja) デジタルヒューマンモデルのためのビジョン測定量を求めるための方法およびシステム
Bordegoni et al. Haptic and sound interface for shape rendering
Kim et al. Haptic interaction and volume modeling techniques for realistic dental simulation
Lang et al. Measurement-based modeling of contact forces and textures for haptic rendering
JP6789310B2 (ja) 移動追尾及びシミュレーション用の装置並びに方法
Yang et al. An augmented reality-based training system with a natural user interface for manual milling operations
Dyulicheva et al. The virtual reality simulator development for dental students training: a pilot study.
Vaz et al. Immersive auditory-visual real-time avatar system of ANA Avatar XPRIZE finalist Avatar-Hubo
WO2004095249A1 (fr) Procede et dispositif d’interation pour l’assistance au geste manuel pendant le travail d’une matiere
JP2009087161A (ja) 画像処理装置、画像処理方法
JP2024500740A (ja) オブジェクトの選択の方法及びシステム
Kaluschke et al. Realistic haptic feedback for material removal in medical simulations
Onyesolu et al. A survey of some virtual reality tools and resources
Marras et al. Virtual dental patient: a system for virtual teeth drilling
TW569155B (en) Interaction with a three-dimensional computer model

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20051114

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL HR LT LV MK

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20120130

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20131213