CA2674317C

CA2674317C - Method and system allowing the automatic picking of parts

Info

Publication number: CA2674317C
Application number: CA2674317A
Authority: CA
Inventors: Jerome Grosbois
Original assignee: Individual
Current assignee: Individual
Priority date: 2006-01-23
Filing date: 2007-01-22
Publication date: 2015-05-26
Anticipated expiration: 2027-01-22
Also published as: JP5281414B2; CN101370624A; FR2896441A1; EP1976671A2; CN101370624B; EP1976671B1; WO2007083039A3; WO2007083039A2; FR2896441B1; JP2009523623A; CA2674317A1

Abstract

The method comprises the following successive steps: (a) 3D digitization, in the form of a cloud (N) of 3D points [Nj(Xj, Yj, Zj)] of the surface of a real working situation (STR), (b) automatic location, within the cloud (N) of points originating from step (a), of each virtual part (P~j) and of the virtual working environment (5~) using 3D CAD digital models of each real part (Pj) and of the real working environment (5), (c) automatic build-up of a 3D virtual working situation (STV) using 3D CAD digital models of each real part (Pj) and of the real working environment (5) and by means of the location data [(x,y,z) ;(.alpha., .beta., .gamma.)] of each virtual part (P~j) and of the virtual working environment (5~) which were determined in step (b), (d) automatic selection of a virtual part (P~j) from the virtual working situation (STV), (e) operation of the real picking tool (11) in such a way that it automatically picks up the real part (Pj) that corresponds to the virtual part (P~j) selected in step (d).

Description

PROCEDE ET SYSTEME PERMETTANT LA PREHENSION
AUTOMATISEE DE PIECE(S) Domaine technique La présente invention concerne la préhension automatisée de pièce(s) au moyen d'un robot préhenseur. Elle trouve son application dans toute industrie où l'on doit manipuler individuellement des pièces au moyen d'un robot préhenseur.
Art antérieur Pour manipuler individuellement des pièces, il est usuel d'utiliser un robot préhenseur poly-articulé comportant un bras articulé à l'extrémité
duquel est monté un outil de préhension, tel que par exemple une pince ou équivalent, adaptée à la géométrie de la pièce à saisir.
Lorsque la ou les pièces à saisir ont une position et le cas échéant une orientation aléatoires dans l'espace de travail du robot, la préhension automatisée de chaque pièce par l'outil de préhension est plus compliquée, car elle impose notamment de gérer automatiquement la position (trois composantes en translation) et l'orientation (trois composantes en rotation) de l'outil de préhension par rapport à la pièce à saisir, ainsi que les problèmes de collision de la pièce saisie et de l'outil de préhension lors du mouvement de préhension, avec les éléments de l'environnement de travail (par exemple parois d'une caisse dans laquelle sont stockées la ou les pièces, convoyeur transportant la ou les pièces,...).
Egalement, lorsque les pièces à saisir sont disposées aléatoirement en vrac, se pose le problème de l'ordre de préhension des pièces.
Dans la demande de brevet européen EP 1 428 634, on propose une méthode de préhension automatisée de pièces en vrac, au moyen d'un robot préhenseur, ladite méthode permettant de gérer automatiquement l'ordre de préhension des pièces et permettant également de gérer des collisions du bras préhenseur du robot.
La méthode proposée dans cette publication repose sur la mise en METHOD AND SYSTEM FOR PREHENSION
AUTOMATED PIECE (S) Technical area The present invention relates to automated gripping of piece (s) using a robot gripper. It finds its application in any industry where individual parts must be manipulated by means of of a gripper robot.
Prior art To handle parts individually, it is customary to use a poly-articulated gripper robot having an articulated arm at the end of which is mounted a gripping tool, such as for example a clamp or equivalent, adapted to the geometry of the workpiece.
When the item (s) to be seized have a position and where applicable a random orientation in the robot's workspace, grasping automated of each piece by the gripping tool is more complicated, because it requires in particular to automatically manage the position (three components in translation) and orientation (three components in rotation) of the gripping tool in relation to the workpiece, as well as the collision problems of the grasped part and the gripping tool during the grip movement, with elements of the work environment (for example walls of a box in which are stored the parts, conveyor carrying the parts, ...).
Also, when the pieces to be seized are arranged randomly in bulk, arises the problem of the order of gripping parts.
In the European patent application EP 1 428 634, it is proposed a method of automated gripping of pieces in bulk, by means of a gripper robot, said method for automatically managing the gripping order of the parts and also allowing to manage collisions of the gripper arm of the robot.
The method proposed in this publication is based on the implementation of

2 oeuvre en combinaison de deux capteurs :
- un capteur de vision 3D
- un capteur de télémétrie.
Le capteur de vision 3D [référencé (4) sur les figures de la publication EP 1 428 634] est monté à l'extrémité du bras de préhension du robot et combine des moyens d'émission d'un faisceau lumineux et une camera vidéo qui permet de détecter le faisceau lumineux réfléchi par les objets.
Le capteur de télémétrie [référencé (10) sur les figures de la publication EP 1 428 634] est fixé au, dessus de la scène de travail. Ce captéur de télémétrie (10) utilise par exemple les ultrasons.
Dans sa version la plus sophistiquée, la méthode de préhension décrite dans la publication EP 1 428 634 est basée sur la mise en eeuvre des étapes suivantes :
- Etapes S1 à S3: Acquisition d'une image de la scène de travail au moyen du capteur de vision 3D et calcul d'une ligne de visée du capteur pour chaque pièce détectée dans l'image acquise ; Les données de mesure Wk qui en résultent (lignes de visées) sont stockées en mémoire.
- Etapes S4 et S5 : Acquisition d'une topographie de la surface du lot d'objets en vrac par balayage et mesure de hauteur au moyen du capteur de télémétrie. Cette topographie de surface (données hij) est sauvegardée en mémoire.
- Etape S6 : A partir d'une part des données Wk (lignes de visée) et d'autre part des données (hij) de la topographie de surface, détermination de la position de chaque pièce sur la topographie de surface (par intersection de chaque ligne de visée Wk associée à chaque pièce avec un élément de surface Sij de la topographie). On obtient par exemple la courbe de la figure 2 de la publication EP 1 428 634 (topographie de surface avec localisation par un point d'intersection 40 d'une pièce).
- Etape S7 : détermination pour chaque pièce détectée de l'orientation 2 works in combination of two sensors:
- a 3D vision sensor - a telemetry sensor.
The 3D vision sensor [referenced (4) in the figures of the publication EP 1 428 634] is mounted at the end of the gripping arm of the robot and combines means for emitting a light beam and a video camera that can detect the light beam reflected by the objects.
The telemetry sensor [referenced (10) in the figures of the publication EP 1 428 634] is attached to the top of the work scene. This telemetry sensor (10) for example uses ultrasound.
In its most sophisticated version, the method of grasping described in publication EP 1 428 634 is based on the implementation of following steps:
- Steps S1 to S3: Acquisition of an image of the work scene at means of the 3D vision sensor and calculation of a line of sight of the sensor for each piece detected in the acquired image; Data from resulting Wk measure (sighting lines) are stored in memory.
- Steps S4 and S5: Acquisition of a topography of the lot surface bulk objects by sweeping and measuring height using the telemetry sensor. This surface topography (hij data) is saved in memory.
Step S6: On the one hand from the data Wk (lines of sight) and on the other hand data (hij) of the surface topography, determination of the position of each piece on the topography of surface (by intersection of each Wk line of sight associated with each piece with a Sij surface element of the topography). We obtain by example the curve of Figure 2 of the publication EP 1 428 634 (topography of surface with location by a point of intersection 40 of a piece).
Step S7: determination for each detected part of the orientation

3 approximative (Fk) de la pièce.
- Etape S8 : Sélection d'une pièce à saisir en fonction par exemple de deux critères : la pièce qui est la plus haute (1er critère) et dont l'orientation Fk est appropriée (2nd critère) pour une bonne préhension.
- Etape S9 : calcul d'une position appropriée du robot (position proche de la pièce à saisir sélectionnée à l'étape S8) en vue d'une mesure rapprochée au moyen du capteur de vision 3D.
- Etape S1O : Vérification des risques de collision entre le bras préhenseur robot (et notamment entre le capteur de vision 3D embarqué sur le bras préhenseur du robot).et l'environnement, dans la position de mesure rapprochée calculée à l'étape S9.
- Etape S11 : si pas de problème de collision, positionnement (position et orientation ) du bras préhenseur dans la position de mesure proche calculée à l'étape S9 et détection au moyen du capteur de vision 3D
embarqué de la position 3D et de l'orientation dans l'espace de la pièce à
saisir.
- Etape S12: détermination de la position et orientation du bras préhenseur pour saisir la pièce, à partir de la mesure rapprochée effectuée à l'étape précédente S11.
- Etape S13: Vérification des risques de collision entre le bras de préhension du robot (et notamment entre le capteur de vision 3D
embarqué sur le bras préhenseur du robot) et l'environnement (incluant les autres pièces en vrac) ; la méthode préconisée consiste à définir autour du bras préhenseur une région interdite dans laquelle aucun autre élément de la scène ne doit se trouver lorsque le bras est dans sa position de préhension de la pièce. Si une collision est détectée, on reprend le procédé à l'étape S8 (sélection d'une autre pièce à saisir).
- Etape S14: Commande du robot pour l'exécution de la préhension de la pièce par le robot.
Cette publication EP 1 428 634 est intéressante, car la méthode de préhension décrite permet : 3 approximate (Fk) of the piece.
Step S8: Selection of a coin to be seized according to, for example, two criteria: the highest criterion (1st criterion) and of which the orientation Fk is appropriate (2nd criterion) for a good grip.
Step S9: calculation of an appropriate position of the robot (position close to the workpiece selected in step S8) for measurement close together using the 3D vision sensor.
Step S1O: Verification of the risk of collision between the gripper arm robot (and especially between the 3D vision sensor embedded on the arm gripper of the robot) .and the environment, in the measuring position close calculated in step S9.
Step S11: if no collision problem, positioning (position and orientation) of the gripper arm in the close measuring position calculated in step S9 and detection by means of the 3D vision sensor embedded 3D position and orientation in the space of the room to grab.
Step S12: Determining the Position and Orientation of the Arm gripper to grasp the piece, from the close measure performed in the previous step S11.
Step S13: Verification of the risks of collision between the arm of grasping the robot (and especially between the 3D vision sensor embedded on the gripper arm of the robot) and the environment (including other loose parts); the recommended method is to define around the gripper arm a forbidden area in which no other element of the scene should be when the arm is in its gripping position of the piece. If a collision is detected, resumes the process in step S8 (selection of another coin to enter).
Step S14: Control of the robot for performing the gripping of the piece by the robot.
This publication EP 1 428 634 is interesting because the method of described grip allows:

4 - une gestion automatique de l'ordre de préhension des pièces (cf. Etape S8), - une gestion automatique de la meilleure configuration de préhension pour le préhenseur (Cf. étape S12), - et une gestion de la collision de ce préhenseur avec son environnement (cf. étapes S10 et S11).
Cependant, cette méthode présente plusieurs inconvénients. La gestion de la préhension des pièces est très complexe, car elle est basée sur la mise en oeuvre d'un capteur de télémétrie combiné à un capteur de vision 3D et sur une acquisition en deux étapes au moyen du capteur de vision 3D : dans une première étape, pour sélectionner et localiser approximativement la pièce à saisir et dans une seconde étape pour acquérir une image rapprochée plus précise de la pièce sélectionnée devant être saisie.
Ces moyens (capteur de vision 3D combiné à un capteur de télémétrie) rendent également complexe la gestion automatique des collisions. Il en résulte notamment que dans cette méthode la gestion des collisions est réalisée uniquement pour le préhenseur avec son environnement, sans tenir compte notamment de la pièce saisie par l'outil de préhension.
Cette méthode ne permet pas non plus de détecter un recouvrement d'une pièce par rapport à une autre susceptible en pratique de faire obstacle à la préhension.
On a également proposé dans la demande de brevet européen EP
1 442 848, une solution automatisée de localisation et de préhension de pièces en vrac au moyen d'un robot préhenseur. Dans cette solution, on utilise un capteur 3D, de type caméra CCD, monté à l'extrémité du bras préhenseur du robot. Dans une première étape, on positionne ce capteur 3D
à une distance éloignée des pièces à saisir et on capture une image de l'ensemble des pièces. Dans cette image d'ensemble, on effectue une détection et localisation automatiques des pièces. Dans une seconde étape, on rapproche le capteur 3D d'une pièce à saisir, et on capture une image rapprochée de cette pièce, afin de permettre une préhension automatisée de cette pièce. Dans cette solution, il est nécessaire au préalable de construire des modèles des pièces à saisir en capturant des images 3D de 4 - automatic management of the gripping order of the parts (see Step S8) - automatic management of the best gripping configuration for the gripper (see step S12), - and management of the collision of this gripper with its environment (see steps S10 and S11).
However, this method has several disadvantages. The grip management of the pieces is very complex because it is based on the implementation of a telemetry sensor combined with a sensor of 3D vision and a two-step acquisition using the 3D vision: in a first step, to select and locate approximately the piece to grab and in a second step to acquire a closer, more accurate image of the selected piece in front of to be seized.
These means (3D vision sensor combined with a sensor of telemetry) also make the automatic management of collisions. It follows in particular that in this method the management of collisions is performed only for the gripper with its environment, without taking into account, in particular, the part seized by the gripping.
This method also does not detect a overlap of a room with respect to another susceptible in practice of to prevent grasping It has also been proposed in the European patent application EP
1,442,848, an automated solution for locating and gripping loose parts by means of a gripper robot. In this solution, we uses a 3D sensor, type CCD camera, mounted at the end of the arm gripper of the robot. In a first step, we position this 3D sensor at a distance away from the pieces to capture and we capture a picture of all the pieces. In this overall picture, we perform a automatic detection and location of parts. In a second step, we bring the 3D sensor closer to a part to capture, and we capture an image close to this room, to allow automated gripping of this piece. In this solution, it is necessary in advance to build models of the pieces to capture by capturing 3D images of

5 chaque type de pièce, dans différentes postions. Ces modèles des pièces sont utilisés pour effectuer l'étape précitée de détection et localisation automatiques des pièces, et pour effectuer l'étape précitée de préhension automatique d'une pièce sélectionnée. D'une part l'utilisation de modèles issus de capture d'images des pièces dans différentes positions, rend cette solution de préhension peut précise, et inadaptée à la préhension de des pièces de structures complexes. D'autre part, cette construction préalable des modèles des pièces par capture d'images est fastidieuse.
Un robot semi-automatisé pour la préhension d'objets a également déjà été proposé dans l'article Model Based Vision as feedback for Virtual Reality Robotics Environments E. Natonek et al, Proceedings of the virtual reality annual international symposium research triangle park, IEEE, 11 mars 1995, pages 110-117.
Ce robot est associé à un environnement virtuel, avec lequel un opérateur peut interagir. Dans cette solution technique, l'opérateur crée et positionne manuellement dans l'environnement virtuel un robot virtuel et les objets virtuels qui correspondent respectivement au robot réel et aux objets réels à saisir, et définit les trajectoires optimales du robot dans cet environnement virtuel, en utilisant notamment des modèles 3D du robot et de ces objets. Cet environnement virtuel, une fois créé manuellement par l'opérateur, est utilisé pour contrôler et corriger automatiquement la trajectoire du robot réel lors de la préhension d'un objet. Cette solution technique impose à chaque fois de construire manuellement l'environnement virtuel associé au robot, et notamment les objets virtuels correspondant aux objets réels à saisir, et ne permet pas une préhension 3 o complètement automatisée, avec notamment une localisation automatique du ou des objets réels à saisir. 5 each type of room, in different postions. These models of parts are used to perform the aforementioned step of detection and localization automatic parts, and to perform the aforementioned step of gripping automatic selection of a selected part. On the one hand the use of models from capturing images of parts in different positions, makes this gripping solution may be accurate, and unsuitable for gripping of parts of complex structures. On the other hand, this prior construction Parts models by image capture is tedious.
A semi-automated robot for grasping objects has also already been proposed in the article Model Based Vision as feedback for Virtual Reality Robotics Environments E. Natonek et al, Proceedings of the virtual annual international symposium research triangle park, IEEE, March 11 1995, pages 110-117.
This robot is associated with a virtual environment, with which a operator can interact. In this technical solution, the operator creates and manually positions a virtual robot in the virtual environment and virtual objects that correspond respectively to the real robot and the objects to capture, and defines the optimal trajectories of the robot in this virtual environment, including using 3D models of the robot and of these objects. This virtual environment, once created manually by the operator, is used to automatically check and correct the trajectory of the real robot when grasping an object. This solution technique requires each time to build manually the virtual environment associated with the robot, and in particular the virtual objects corresponding to the real objects to be grasped, and does not allow grasping 3 o fully automated, including automatic location of the real object (s) to be seized.

6 Obiectif de l'invention La présente invention vise à proposer une nouvelle solution technique de préhension automatisée d'au moins une pièce au moyen d'un robot comportant un outil de préhension ; comparativement aux méthodes de préhension précitées décrites dans les demandes de brevet européen EP
1 428 634 et EP 1 442 848, l'invention permet notamment une localisation automatique plus perfectionnée et plus performante de la pièce à saisir, et en cas de pluralité de pièces, un contrôle plus perfectionné et plus performant de l'ordre de préhension des pièces.
Résumé de l'invention L'invention a ainsi pour premier objet un procédé de préhension automatisée d'au moins une pièce réelle (Pj) positionnée dans un environnement de travail réel, au moyen d'un outil de préhension réel. Ce procédé comprend les étapes successives suivantes :
(a) numérisation 3D, sous la forme d'un nuage (N) de points 3D
[N;(X;, Y;, Z;)], de la surface d'une scène de travail réelle (STR) constituée par l'environnement de travail réel et par chaque pièce réelle (Pj) présente dans cet environnement de travail, (b) localisation automatique, dans le nuage (N) de points issu de l'étape (a), de chaque pièce virtuelle (P'j) et de l'environnement de travail virtuel, au moyen des modèles numériques CAO 3D de chaque pièce réelle (Pj) et de l'environnement de travail réel, (c) construction automatique d'une scène de travail virtuelle (STV) en trois dimensions correspondant à la scène de travail réelle (STR) et constituée de chaque pièce virtuelle (P'j) et de l'environnement de travail virtuel localisés à l'étape (b), ladite construction étant réalisée automatiquement au moyen des modèles numériques CAO 3D de chaque pièce réelle (Pj) et de l'environnement de travail réel, et au moyen 6 Obiective of the invention The present invention aims to propose a new solution automated gripping technique of at least one part by means of a robot comprising a gripping tool; compared to methods forceps as described in European patent applications EP
1 428 634 and EP 1 442 848, the invention makes it possible, in particular, to locate more advanced and more efficient automatic of the part to be grasped, and in case of plurality of pieces, a more sophisticated control and more performing the order of gripping parts.
Summary of the invention The invention thus has as its first object a method of gripping automated system of at least one real part (Pj) positioned in a real work environment, using a real gripping tool. This method comprises the following successive steps:
(a) 3D digitization, in the form of a cloud (N) of 3D points [N; (X; Y; Z;)] of the surface of a real work scene (STR) constituted by the real work environment and by each real piece (Pj) present in this environment of job, (b) automatic location, in the cloud (N) of points from step (a), of each virtual piece (P'j) and of the virtual work environment, using the templates 3D CAD numerals of each real part (Pj) and the real work environment, (c) automatic construction of a virtual work scene (STV) in three dimensions corresponding to the scene of Real Work (STR) and consisting of each virtual part (P'j) and the virtual work environment located at the stage (b), said construction being carried out automatically at using the 3D CAD digital models of each room (Pj) and the actual work environment, and by means of

7 des données de localisation [(x,y,z) ;(a, (3, y)] de chaque pièce virtuelle (P'j) et de l'environnement de travail virtuel qui ont été déterminées à l'étape (b), (d) sélection automatique d'une pièce virtuelle (P'j) dans la scène de travail virtuelle (STV) issue de l'étape (c), (e) commande de l'outil de préhension réel en sorte de saisir automatiquement la pièce réelle (Pj) correspondant à la pièce virtuelle (P'j) sélectionnée à l'étape (d).
Le procédé de l'invention est particulièrement intéressant pour saisir automatiquement une pièce parmi un lot de pièces se chevauchant de manière aléatoire (lot de pièces en vrac), mais peut néanmoins également être utilisé pour saisir une pièce isolée ou pour saisir une pièce parmi un ensemble de pièces ne se chevauchant pas.
Dans le cadre de l'invention, la ou les pièces à saisir peuvent être identiques (dans ce cas on utilise un seul modèle CAO 3D de la pièce) ou être différentes (dans ce cas on utilise plusieurs modèles CAO, un modèle pour chaque type de pièce).
Dans le cadre de l'invention, la ou les pièces à saisir peuvent être fixes dans l'espace de travail du robot préhenseur (par exemple pièce(s) posée(s) dans une caisse ou sur un plan de travail) ou mobiles (par exemple pièce(s) posées sur un convoyeur en mouvement). Dans le cas où la ou les pièces sont mobiles, la loi de mouvement du convoyeur doit être connue afin d'adapter au plus juste la commande du robot lors de la phase de préhension ; il s'agit de synchroniser le mouvement du robot avec le mouvement du convoyeur.
De préférence, mais de manière facultative selon l'invention, le procédé de préhension de l'invention comporte les caractéristiques techniques additionnelles ci-après, prises isolément ou en combinaison :
- l'environnement de travail réel comporte au moins deux pièces réelles (Pj), et les étapes (a) à (e) sont réitérées automatiquement jusqu'à ce qu'il n'y ait plus de pièce dans l'environnement de travail réel ; 7 location data [(x, y, z); (a, (3, y)] of each virtual room (P'j) and the virtual work environment that were determined in step (b), (d) automatic selection of a virtual coin (P'j) in the virtual work scene (VTS) from step (c), (e) control of the real gripping tool in order to seize automatically the actual room (Pj) corresponding to the virtual part (P'j) selected in step (d).
The method of the invention is particularly interesting for automatically grab a coin from a batch of overlapping coins randomly (batch of loose parts), but can nevertheless also be used to grab an insulated coin or to seize a coin among a set of pieces that do not overlap.
In the context of the invention, the part or parts to be seized can be identical (in this case only one 3D CAD model of the part is used) or to be different (in this case we use several CAD models, a model for each type of room).
In the context of the invention, the part or parts to be seized can be fixed in the work area of the gripper robot (eg piece (s) placed in a box or on a worktop) or mobile (for example piece (s) placed on a moving conveyor). In the case where the parts are moving, the law of movement of the conveyor must be known so to adapt the control of the robot to the fairest during the phase of grasping; it's about synchronizing the movement of the robot with the conveyor movement.
Preferably, but optionally according to the invention, the method of gripping the invention has the features additional techniques hereafter, taken singly or in combination:
- the actual work environment has at least two real parts (Pj), and the steps (a) to (e) are automatically reiterated until that there is no room in the actual work environment;

8 - l'environnement de travail réel comporte au moins deux pièces réelles (Pj), et avant de valider définitivement la sélection à l'étape (d) de la pièce virtuelle (P'j), on vérifie au préalable dans la scène de travail virtuelle (STV), en appliquant au moins un critère de recouvrement prédéfini, si ladite pièce virtuelle (P'j) est recouverte au moins partiellement par une pièce virtuelle adjacente, et dans le cas où ladite pièce virtuelle (P'j) est recouverte par une pièce virtuelle adjacente conformément au critère de recouvrement prédéfini, on ne sélectionne pas cette pièce ;
- avant de valider définitivement la sélection à l'étape (d) de la pièce virtuelle (P'j), on vérifie au préalable dans la scène de travail virtuelle (STV) si il y a une collision entre au moins ladite pièce virtuelle (P'j) et l'environnement de travail virtuel et/ou entre au moins ladite pièce virtuelle (P'j) et une autre pièce virtuelle, et en cas de collision détectée on ne sélectionne pas cette pièce ;
- avant de valider définitivement la sélection à l'étape (d) de la pièce virtuelle (P'j), on met en position dans la scène de travail virtuelle (STV) un outil de préhension virtuel qui est défini au moyen du modèle numérique CAO 3D de l'outil de préhension réel et de telle sorte que l'outil de préhension virtuel est positionné par rapport à ladite pièce virtuelle (P'j) dans au moins une configuration de préhension prédéfinie, on vérifie si il y a une collision entre au moins cet outil de préhension virtuel et l'environnement de travail virtuel et/ou entre au moins cet outil de préhension virtuel et une autre pièce virtuelle, et en cas de collision détectée on ne sélectionne pas cette pièce (P'j) ;
- le procédé est mis en oeuvre pour saisir automatiquement au moins une pièce (Pj) parmi un ensemble de plusieurs pièces en vrac.
L'invention a également pour autres objets :
- Un système permettant la préhension automatisée d'au moins une pièce réelle (Pj) positionnée dans un environnement de travail réel, ledit système de préhension comportant un robot préhenseur équipé

WO 2007/083038 - the actual work environment has at least two real parts (Pj), and before definitively validating the selection in step (d) of the virtual room (P'j), we check beforehand in the working scene (STV), by applying at least one recovery criterion predefined, if said virtual part (P'j) is covered at least partially by an adjacent virtual room, and in the case where the said virtual room (P'j) is covered by an adjacent virtual room according to the predefined recovery criterion, no selection is not this piece;
- before definitively validating the selection in step (d) of the piece virtual (P'j), we check beforehand in the virtual work scene (STV) if there is a collision between at least said virtual part (P'j) and the virtual work environment and / or between at least said work piece virtual memory (P'j) and another virtual room, and in the event of a detected collision we do not select this piece;
- before definitively validating the selection in step (d) of the piece virtual (P'j), we put in position in the virtual work scene (STV) a virtual grip tool that is defined using the model 3D digital CAD of the real gripping tool and so that the virtual gripping tool is positioned relative to said piece virtual device (P'j) in at least one gripping configuration predefined, we check if there is a collision between at least this tool of virtual grasping and the virtual work environment and / or enters the least this virtual grip tool and another virtual piece, and in detected collision case we do not select this piece (P'j);
the method is implemented to automatically enter at least a piece (Pj) among a set of several pieces in bulk.
The invention also for other objects:
- A system allowing automated gripping of at least one real room (Pj) positioned in a real work environment, said gripping system comprising a gripper robot equipped WO 2007/08303

9 PCT/FR2007/000114 d'au moins un outil de préhension réel, et des moyens de commande qui permettent de commander au moins le robot préhenseur, des moyens de numérisation 3D conçus pour réaliser l'étape (a) du procédé de préhension défini précédemment, et des moyens de calcul qui sont conçus pour réaliser automatiquement les étapes (b) à (d) du procédé de préhension défini précédemment ; les moyens de commande sont conçus pour réaliser l'étape (e) du procédé de préhension défini précédemment, à partir de données calculées par les moyens de calcul.
- Un programme de calcul enregistré sur un support mémoire ou dans une mémoire, et qui d'une part est exécutable automatiquement par des moyens de calcul programmables d'un système de préhension, ledit système de préhension comportant en outre un robot préhenseur équipé d'au moins un outil de préhension réel, des moyens de commande qui permettent de commander au moins le robot préhenseur, et des moyens de numérisation 3D permettant une numérisation tridimensionnelle de la surface d'un objet réel ou ensemble d'objets réels, sous la forme d'un nuage (N) de points 3D
[N;(X;, Yi, Z;)] ; ce programme de calcul, lorsqu'il est exécuté par lesdits moyens de calcul permet de réaliser automatiquement les étapes (b) à
(d) du procédé de préhension défini précédemment.
Brève description des dessins D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description détaillée ci-après d'une variante préférée de réalisation de l'invention, laquelle description est donnée à titre d'exemple non limitatif et non exhaustif de l'invention, et en référence aux dessins annexés sur lesquels :
- la figure 1 représente de manière schématique un système de préhension de l'invention comportant un outil de préhension monté sur le flasque d'un robot poly-articulé, - la figure 2 est une représentation 3D d'un exemple de pièce pouvant être saisie et manipulée avec l'outil de préhension du robot préhenseur de la figure 1, - la figure 3 est une représentation 3D de l'outil de préhension du robot de la figure 1 saisissant une pièce identique à celle de la figure 2 dans une 5 première configuration de préhension, - la figure 4 est une représentation 3D de l'outil de préhension du robot de la figure 1 saisissant une pièce identique à celle de la figure 2 dans une deuxième configuration de préhension, - la figure 5 représente un exemple de nuage de points 3D obtenu à l'aide 9 PCT / FR2007 / 000114 at least one real gripping tool, and control means which make it possible to control at least the gripper robot, 3D scanning means designed to perform step (a) of the previously defined gripping method, and calculating means which are designed to automatically perform steps (b) through (d) of prehension method defined above; the means of control are designed to carry out step (e) of the method of prehension defined above, based on data calculated by the calculation means.
- A calculation program saved on a memory medium or in a memory, and which on the one hand is automatically executable by programmable calculating means of a gripping system, said gripping system further comprising a gripper robot equipped with at least one real gripping tool, means of command that can command at least the robot gripper, and means of 3D digitization allowing a three-dimensional scanning of the surface of a real object or set of real objects, in the form of a cloud (N) of 3D points [N; (X ;, Y 1, Z;)]; this calculation program, when executed by said calculation means makes it possible to automatically perform steps (b) to (d) the gripping method defined above.
Brief description of the drawings Other features and advantages of the invention will become apparent more clearly on reading the detailed description below of a preferred embodiment of the invention, which description is given by way of nonlimiting and non-exhaustive example of the invention, and reference to the accompanying drawings in which:
- Figure 1 schematically shows a system of prehension of the invention comprising a gripping tool mounted on the flange of a poly-articulated robot, FIG. 2 is a 3D representation of an exemplary piece that can be grasped and manipulated with the grasping tool of the robot gripper of the figure 1, FIG. 3 is a 3D representation of the robot's gripping tool.
FIG. 1 grasping a part identical to that of FIG.
5 first gripping configuration, FIG. 4 is a 3D representation of the robot's gripping tool.
FIG. 1 grasping a part identical to that of FIG.
second gripping configuration, FIG. 5 represents an example of a 3D point cloud obtained using

10 de moyens d'acquisition du système de préhension de la figure 1, - la figure 6 est une représentation 3D de la scène de travail virtuelle (STV) construite automatiquement à partir notamment du nuage de points de la figure 5, - la figure 7 est une représentation 3D d'une scène de travail virtuelle (STV) comportant un lot de plusieurs pièces identiques à celles de la figure 2, lesdites pièces étant stockées en vrac dans une caisse, avec certaines pièces se chevauchant partiellement, et l'une des pièces étant saisie par l'outil de préhension du robot de la figure 1, dans la première configuration de préhension précitée et sans problème de recouvrement avec une autre pièce, - la figure 8 est une représentation 3D d'une scène de travail virtuelle (STV) comportant le même lot de pièces en vrac que la figure 7, l'une des pièces étant saisie par l'outil de préhension du robot de la figure 1, dans la première configuration de préhension précitée de la figure 3 et avec un problème de recouvrement par une autre pièce adjacente, - la figure 9 est une représentation 3D d'une scène de travail virtuelle (STV) comportant le même lot de pièces en vrac que la figure 7, l'une des pièces étant saisie par l'outil de préhension du robot de la figure 1, dans la deuxième configuration de préhension précitée de la figure 4 et sans problème de recouvrement avec une autre pièce, - la figure 10 est une représentation 3D d'une scène de travail virtuelle 10 acquisition means of the gripping system of Figure 1, FIG. 6 is a 3D representation of the virtual work scene (STV) automatically built from the cloud of points of the figure 5, FIG. 7 is a 3D representation of a virtual work scene (STV) comprising a lot of several pieces identical to those of the FIG. 2, said parts being stored in bulk in a box, with some parts overlapping partially, and one of the parts being grasped by the gripping tool of the robot of FIG. 1, in the first gripping configuration above and without problem of recovery with another room, FIG. 8 is a 3D representation of a virtual work scene (STV) with the same batch of loose parts as Figure 7, one parts being gripped by the gripping tool of the robot of FIG. 1, in the first aforementioned gripping configuration of FIG. 3 and with a problem of overlap by another adjacent room, FIG. 9 is a 3D representation of a virtual work scene (STV) with the same batch of loose parts as Figure 7, one parts being gripped by the gripping tool of the robot of FIG. 1, in the second aforementioned gripping configuration of FIG.
without problem of recovery with another piece, FIG. 10 is a 3D representation of a virtual work scene

11 (STV) comportant le même lot de pièces en vrac que la figure 7, l'une des pièces étant saisie par l'outil de préhension du robot de la figure 1, dans la deuxième configuration de préhension précitée de la figure 4 et avec un problème de collision de l'outil de préhension, - la figure 11 est une représentation 3D d'un lot de plusieurs pièces identiques à celles de la figure 2 rangées individuellement dans des compartiments d'une caisse, - la figure 12 est une représentation 3D d'un lot de plusieurs pièces identiques à celle de la figure 2, lesdites pièces étant stockées à plat en semi vrac dans une caisse avec la même orientation (même face de dessus visible), par exemple ces pièces ont été rangées de la même façon mais elles ont bougé lors du transport, et - la figure 13 est un organigramme illustrant les principales étapes d'une variante particulière de mise en oeuvre du procédé de préhension automatisée de l'invention.
Description détaillée On a représenté sur la figure 1 un exemple de système de préhension conforme à l'invention.
Système de préhension Ce système de préhension comporte :
- un robot préhenseur poly-articulé 1, - des moyens de numérisation tridimensionnelle 2, - des moyens de commande 3, - et des moyens de calcul 4.
Dans l'application particulière de la figure 1, le système de préhension est utilisé pour saisir automatiquement, l'une après l'autre, les pièces réelles Pj stockées dans une caisse 5.
Dans les exemples décrits ci-après, toutes les pièces Pj sont identiques à celle de la figure 2. L'invention peut néanmoins être utilisée avec des pièces Pj qui ont une géométrie différente de celle de la figure 2 et/ou avec des pièces Pj qui ne sont pas toutes identiques. 11 (STV) with the same batch of loose parts as Figure 7, one parts being gripped by the gripping tool of the robot of FIG. 1, in the second aforementioned gripping configuration of FIG.
with a problem of collision of the gripping tool, FIG. 11 is a 3D representation of a batch of several pieces identical to those in Figure 2 individually arranged in compartments of a box, FIG. 12 is a 3D representation of a batch of several pieces identical to that of FIG. 2, said parts being stored flat in semi bulk in a crate with the same orientation (same face of visible top), for example these pieces were arranged in the same way but they moved during the transport, and FIG. 13 is a flowchart illustrating the main steps of a particular variant of implementation of the gripping method automated system of the invention.
detailed description FIG. 1 shows an exemplary system of gripping according to the invention.
Gripping system This gripping system comprises:
a poly-articulated gripper robot 1, three-dimensional scanning means 2, control means 3, - and calculation means 4.
In the particular application of Figure 1, the system of gripping is used to automatically enter, one after the other, the actual pieces Pj stored in a crate 5.
In the examples described below, all the pieces Pj are identical to that of Figure 2. The invention may nevertheless be used with parts Pj which have a geometry different from that of FIG.
and / or with parts Pj which are not all identical.

12 L'invention n'est pas limitée à la préhension de pièces stockées dans une caisse, mais peut d'une manière plus générale être utilisée pour saisir automatiquement au moins une pièce dans un environnement de travail, ledit environnement de travail n'étant pas nécessairement une caisse 5, et/ou ladite pièce pouvant être statique comme dans les exemples particuliers des figures annexées ou être mobile dans l'environnement de travail, par exemple en étant posée sur un convoyeur mécanique mobile par rapport au robot préhenseur 1.
Dans la suite de la description, la caisse 5 sera désignée également et plus généralement par les termes environnement de travail réel ;
l'ensemble constitué par l'environnement de travail réel 5 et par les pièces réelles Pj réelles présentes dans cet environnement de travail réel 5 sera désigné scène de travail réelle . Sur la figure 1, la scène de travail réelle est référencée STR.
Robot préhenseur (1) La structure du robot préhenseur 1 est connue. Ce robot comporte un bras poly-articulé 10 à l'extrémité duquel est montée une pince de préhension 11 actionnable, et des moyens de motorisation pour la commande du mouvement du bras 10.
L'invention n'est pas limitée à l'exemple particulier de robot 1 et d'outil de préhension 11 de la figure 1, mais peut d'une manière plus générale être mise en oeuvre avec tout autre type de robot et tout autre type d'outil de préhension. En particulier, le type de robot sera choisi en fonction notamment du nombre de degrés de liberté souhaités pour le mouvement de l'outil de préhension. Le robot pourra être fixé au sol ou bien suspendu au plafond pour des raisons d'accessibilité de l'outillage dans la zone de travail.
L'outil de préhension 11 n'a pas nécessairement la forme d'une pince et est choisi en sorte d'être adapté à la géométrie des pièces devant être saisies et manipulées.
Moyens de numérisation tridimensionnelle (2) Les moyens 2 de numérisation 3D permettent d'une manière 12 The invention is not limited to grasping stored parts in a box, but can more generally be used to Automatically enter at least one part in an environment of work environment, said work environment not necessarily being a body 5, and / or said piece can be static as in the examples particular figures of the annexed figures or be mobile in the environment of for example by being placed on a mobile mechanical conveyor by compared to the gripper robot 1.
In the rest of the description, the cash register 5 will also be designated and more generally by the terms actual work environment;
the whole constituted by the real working environment 5 and the parts actual Pj realities present in this real working environment 5 will be designated actual work scene. In Figure 1, the work scene real is referenced STR.
Robot gripper (1) The structure of the gripper robot 1 is known. This robot has a poly-articulated arm 10 at the end of which is mounted a clamp of gripping 11 actuable, and motorization means for the movement control of the arm 10.
The invention is not limited to the particular example of robot 1 and of a gripping tool 11 of FIG. 1, but may in a more general be implemented with any other type of robot and any other type of grasping tool. In particular, the type of robot will be chosen in function in particular the number of degrees of freedom desired for the movement of the grasping tool. The robot can be fixed to the ground or suspended ceiling for reasons of accessibility of the tools in the zone of job.
The gripping tool 11 is not necessarily in the form of a gripper and is chosen to be adapted to the geometry of the parts to be entered and manipulated.
Means of three-dimensional digitization (2) The means 2 of 3D digitization allow in a way

13 générale de numériser, sous la forme d'un nuage de points 3D, la surface (encore communément désignée peau ) d'un objet.
Dans le cadre de l'invention, ils sont utilisés pour numériser, sous la forme d'un nuage (N) de points 3D N;(Xi, Y;, Z;)], les surfaces (peaux) des objets constitutifs de la scène de travail réelle STR, c'est-à-dire les surfaces de l'environnement de travail réel (caisse 5 dans l'exemple illustré) et des pièces réelles (Pj) présentes dans cet environnement de travail réel. Ce nuage (N) de points 3D N;(X;, Y;, Z;)] est une représentation discrète de la géométrie en trois dimensions de la peau des objets constitutifs de la scène de travail réelle STR.
Dans l'exemple particulier de la figure 1, les moyens 2 de numérisation 3D comportent un capteur 21 de numérisation 3D et un automate de vision 20.
De manière connue en soi, l'automate de vision 20 comporte un processeur, au moins une mémoire dans laquelle est stockée un programme local dit programme de numérisation qui est exécutable par ce processeur, et une interface d'entrées/sorties permettant au processeur de communiquer avec le capteur 21 de numérisation 3D, avec les moyens de commande 3 et avec les moyens de calcul 4 décrits ci-après.
L'exécution par ce processeur du programme de numérisation permet à l'automate de vision 20 de commander le capteur de numérisation 21, de telle sorte que ce capteur 21 acquiert les mesures. L'automate de vision 20 traitent ces mesures brutes issues du capteur 21 sous la forme d'un nuage (N) de points 3D N;(X;, Yi, Z;)] codés dans le référentiel du capteur 21. La numérisation 3D ainsi effectuée est une représentation discrète des surfaces (peaux) des objets constitutifs de la scène de travail réelle STR. Suite à la numérisation 3D, l'automate de vision 20 envoie le nuage (N) de points 3D N;(Xi, Y;, Z;)] aux moyens de calcul 4.
Dans le cadre de l'invention, le capteur 21 de numérisation 3D peut être constitué par différents types de capteurs permettant, selon le type de capteur, une mesure avec contact ou une mesure sans contact. 13 to digitize, in the form of a 3D point cloud, the surface (still commonly referred to as skin) of an object.
In the context of the invention, they are used to digitize, under the shape of a cloud (N) of 3D points N; (Xi, Y ;, Z;)], the surfaces (skins) of constituent objects of the actual STR work scene, ie the surfaces of the actual work environment (box 5 in the example shown) and actual pieces (Pj) present in this real work environment. This cloud (N) of 3D points N; (X ;, Y ;, Z;)] is a discrete representation of the three-dimensional geometry of the skin of the objects constituting the scene real working STR.
In the particular example of FIG. 1, the means 2 of 3D scanning feature a 3D scanning sensor 21 and a automaton of vision 20.
In a manner known per se, the automaton of vision 20 comprises a processor, at least one memory in which a program is stored local says digitization program that is executable by this processor, and an input / output interface allowing the processor to communicate with the sensor 21 of 3D scanning, with the means of command 3 and with the calculation means 4 described below.
The execution by this processor of the scanning program allows the vision controller 20 to control the scanning sensor 21, so that the sensor 21 acquires the measurements. The automaton of vision 20 process these raw measurements from sensor 21 in the form of a cloud (N) of 3D points N; (X ;, Yi, Z;)] coded in the reference frame of the 21. The 3D digitization thus carried out is a representation discrete surfaces (skins) of the objects constituting the work scene real STR. Following the 3D scanning, the vision automaton 20 sends the cloud (N) of 3D points N; (Xi, Y; Z;)] to the calculation means 4.
In the context of the invention, the 3D scanning sensor 21 can different types of sensors, depending on the type of sensor, contact measurement or non-contact measurement.

14 Parmi les capteurs permettant une mesure avec contact, on peut citer tous les palpeurs mécaniques que l'on peut déplacer au contact des surfaces des éléments de la scène de travail réelle STR (parois de la caisse et pièces réelles Pj dans l'exemple de la figure 1).
5 Pour la mise en oeuvre de l'invention, on utilise néanmoins de préférence un capteur 21 de numérisation 3D permettant une mesure sans contact tel que par exemple :
- au moins une caméra (de type CCD ou autre) combinée à une source lumineuse de type laser, la caméra permettant de capter le faisceau lumineux réfléchi par la surface de l'objet à numériser placé dans le champ de la caméra ; ce type de capteur fonctionne par triangulation, - capteurs fonctionnant par télémétrie et utilisant une source laser, ultrasons, micro ondes,...
Dans le cas d'un capteur sans contact, celui-ci peut selon le cas être fixe ou mobile par rapport à la scène de travail réelle STR.
Dans l'exemple particulier de la figure 1, on utilise comme capteur 21 de numérisation 3D une caméra numérique et une source laser, embarquées sur le bras préhenseur 10 du robot 1. On pourrait dans une autre variante de l'invention utiliser un capteur 21 de numérisation fixe ou mobile, et monté sur un support indépendant du robot préhenseur 1.
Dans une autre variante de l'invention, on peut également utiliser au moins deux capteurs 21 de numérisation 3D ayant des directions de mesure différentes, en sorte d'acquérir au moins deux nuages de points 3D qui sont complémentaires l'un de l'autre, les surfaces cachées d'un nuage de points 3D acquis au moyen d'un premier capteur étant par exemple avantageusement visibles sur l'autre nuage de points 3D acquis au moyen du deuxième capteur, du fait de la position et de l'orientation différentes de ce deuxième capteur par rapport à la scène de travail réelle STR.
Moyens de commande (3) Les moyens de commande 3 du robot sont connus et ne seront pas détaillés. Ils se présentent de manière usuelle sous la forme d'une baie de commande comportant un processeur, au moins une mémoire dans laquelle est stocké un programme local dit de commande qui est exécutable par ce processeur, et une interface d'entrées/sorties. Le processeur des moyens de commande 3 communique avec les moyens de motorisation du robot, les 5 moyens d'actionnement de l'outil de préhension 11, et avec l'automate de vision 20 des moyens 2 de numérisation 3D.
Le programme de commande est usuel et ne sera donc pas détaillé.
Il permet, lorsqu'il est exécuté par le processeur des moyens de commande 3:
10 - de déclencher la numérisation 3D par une commande envoyée à
l'automate de vision 20, - de piloter le mouvement du bras 10 poly-articulé du robot et de commander la pince de préhension 11 (ouverture/fermeture) du robot préhenseur 1. 14 Among the sensors allowing measurement with contact, one can quote all mechanical feelers that can be moved in contact with surfaces of the elements of the real work stage STR (walls of the body and real parts Pj in the example of Figure 1).
For the implementation of the invention, however, preferably a 3D scanning sensor 21 allowing a measurement without contact such as for example:
- at least one camera (CCD or other type) combined with a source laser light, the camera to capture the beam reflected by the surface of the object to be digitized placed in the camera field; this type of sensor works by triangulation, - sensors operating by telemetry and using a laser source, ultrasound, microwave, ...
In the case of a non-contact sensor, it can, depending on the case, be fixed or mobile compared to the actual STR work scene.
In the particular example of FIG. 1, it is used as a sensor 21 of 3D digitization a digital camera and a laser source, embedded on the gripper arm 10 of the robot 1. We could in a another variant of the invention to use a fixed scanning sensor 21 or mobile, and mounted on a support independent of the gripper robot 1.
In another variant of the invention, it is also possible to use minus two 3D scanning sensors 21 having measurement directions different, in order to acquire at least two 3D point clouds that are complementary to each other, the hidden surfaces of a cloud of points 3D acquired by means of a first sensor being for example advantageously visible on the other cloud of 3D points acquired by means of of the second sensor, because of the different position and orientation of this second sensor compared to the actual STR work scene.
Means of order (3) The control means 3 of the robot are known and will not be detailed. They present themselves in the usual way in the form of a bay of command comprising a processor, at least one memory in which is stored a local command program which is executable by this processor, and an input / output interface. The processor means control unit 3 communicates with the motorization means of the robot, the 5 means for actuating the gripping tool 11, and with the automaton of vision 20 means 2 of 3D scanning.
The order program is usual and will not be detailed.
It allows, when executed by the processor control means 3:
10 - to trigger the 3D scanning by a command sent to the automaton of vision 20, to control the movement of the poly-articulated arm of the robot and to order the gripper 11 (opening / closing) of the robot gripper 1.

15 Moyens de calcul (4) Les moyens de calcul 4 peuvent être implémentés au moyen de tout type d'unité de traitement programmable. Par exemple, on peut implémenter les moyens de calcul au moyen d'une carte électronique à microprocesseur ou microcontrôleur, l'essentiel étant que cette unité de traitement comporte un processeur, au moins une mémoire pouvant contenir un programme local exécutable par le processeur, et une interface de communication (Entrées/Sorties) permettant au processeur de communiquer avec le processeur des moyens de commande 3, et également dans le cas de l'exemple particulier de la figure 1, avec le processeur de l'automate de vision 20.
Ces moyens de calcul 4 peuvent par exemple être réalisés au moyen d'un micro-ordinateur ou être réalisés au moyen d'une ou plusieurs cartes électroniques spécifiques. Indifféremment selon l'invention, les moyens de calcul 4 peuvent ou non comporter une interface de visualisation de type écran.
Dans une mémoire des moyens de calcul 4 est stocké un 15 Means of calculation (4) The calculation means 4 can be implemented by means of any type of programmable processing unit. For example, we can implement the calculation means by means of a microprocessor electronic card or microcontroller, the main thing being that this processing unit includes a processor, at least one memory may contain a local program executable by the processor, and a communication interface (Inputs / Outputs) allowing the processor to communicate with the processor of the control means 3, and also in the case of the particular example of FIG. 1, with the processor of the PLC of vision 20.
These calculation means 4 can for example be realized at by means of a microcomputer or be made by means of one or more specific electronic cards. Indifferently according to the invention, calculation means 4 may or may not comprise a visualization interface screen type.
In a memory of the calculation means 4 is stored a

16 programme de calcul qui est spécifique de l'invention.
L'exécution de ce programme de calcul par le processeur des moyens de calcul 4 en combinaison avec l'exécution du programme de numérisation de l'automate de vision 20 et avec l'exécution du programme de commande des moyens de commande 3 permet de mettre en oeuvre le procédé de préhension automatisée de l'invention.
Procédé de préhension - figure 13 Une variante particulière de mise en oeuvre d'un procédé de préhension automatisée de l'invention va à présent être détaillée en référence à l'organigramme de la figure 13.
Etape 130 - numérisation de la scène de travail Les moyens de commande 3, envoient à l'automate de vision 20 une commande de numérisation. Le processeur de l'automate de vision 20 commande le capteur 21 de numérisation 3D, en sorte de réaliser automatiquement une numérisation 3D de la surface de la scène de travail réelle STR (exécution du programme de numérisation).
Dans l'exemple de la figure 1, cette scène de travail réelle STR est constituée par la caisse 5 contenant six pièces identiques réelles P1 à P6 disposées en vrac.
Les données codant le nuage N de points 3D [N;(X;, Yi, Zi)] qui résulte de cette numérisation sont transmises par l'automate de vision 20 directement aux moyens de calcul 4. Dans une autre variante de réalisation, lorsque l'automate de vision 21 n'est pas relié aux moyens de calcul 4, ce nuage N de points 3D [N;(X;, Y;, Z;)] peut être transmis par l'automate de vision 20 aux moyens de calcul 4 en passant par les moyens de commande 3.
Selon le type de capteur 21 de numérisation 3D utilisé, cette opération de numérisation peut éventuellement nécessiter un déplacement du capteur 21 par rapport à la scène de travail réelle STR en sorte d'effectuer un balayage de la surface de ladite scène de travail réelle STR.
Egalement, pour un capteur 21 donné et en fonction notamment de 16 calculation program which is specific to the invention.
The execution of this calculation program by the processor of calculation means 4 in combination with the execution of the scanning of the vision automaton 20 and with the execution of the program control means 3 makes it possible to implement the automated gripping method of the invention.
Gripping method - Figure 13 A particular variant of implementation of a method of automated gripping of the invention will now be detailed in reference to the flowchart in Figure 13.
Step 130 - Scanning the work scene The control means 3 send to the vision automaton 20 a scan command. The processor of the vision automaton 20 controls the 3D scanning sensor 21, so as to realize automatically 3D scanning the surface of the work scene real STR (execution of the scanning program).
In the example of Figure 1, this actual STR work scene is constituted by the box 5 containing six identical identical pieces P1 to P6 arranged in bulk.
The data encoding the cloud N of 3D points [N; (X ;, Yi, Zi)] which result of this digitization are transmitted by the automaton of vision 20 directly to the calculation means 4. In another variant embodiment, when the vision automaton 21 is not connected to the calculation means 4, this cloud N of 3D points [N; (X ;, Y ;, Z;)] can be transmitted by the PLC of vision 20 to the calculation means 4 via the control means 3.
Depending on the type of 3D scanning sensor 21 used, this scan operation may eventually require moving of the sensor 21 with respect to the real working scene STR so to scan the surface of said real working scene STR.
Also, for a given sensor 21 and in particular according to

17 la précision souhaitée pour la numérisation, du temps de cycle de numérisation et des dimension réelles de la scène travail réelle STR, on peut indifféremment, selon l'invention, soit capturer la globalité de la scène de travail réelle STR au moyen du capteur (en le déplaçant si nécessaire par rapport à la scène de travail réelle STR) soit découper la scène de travail réelle STR en plusieurs scènes de travail de plus petites dimensions. Dans le deuxième cas, l'étape 130 de l'organigramme de la figure 13 est mise en oeuvre sur une scène de travail réelle de plus petite dimension (par exemple une partie seulement de la caisse 5 et les pièces Pj qu'elle contient) et le procédé de préhension de la figure 13 est exécuté dans sa globalité de manière itérative sur chaque scène de travail réelle de plus petite dimension.
Dans la suite de la description, on considère que lors de l'étape 130 on effectue une numérisation 3D de la surface de la scène de travail réelle STR constituée par l'intégralité de la caisse 5 et de tout son contenu.
A titre d'exemple, on a représenté sur la figure 5, un exemple de nuage (N) de points 3D N;(X;, Y;, Zi)] résultant d'une numérisation 3D de la scène de travail réelle STR de la figure 1(caisse 5 contenant six pièces en vrac P1 à P6).
Etape 131 - localisation A partir de cette étape 131, le procédé de préhension est mis en oruvre au moyen du programme de calcul exécuté par le processeur des moyens de calcul 4.
Dans une mémoire des moyens de calcul 4 sont stockés :
- un fichier ou équivalent contenant le modèle numérique CAO 3D d'une pièce réel Pj , - un fichier ou équivalent contenant le modèle numérique CAO 3D de l'environnement de travail réel, c'est-à-dire la caisse 5 dans les exemples de figures annexées.
Par modèle numérique CAO 3D d'un objet réel (pièce réelle Pj ou 3o environnement de travail réel 5), on désigne tout ensemble de données décrivant sous forme mathématique la géométrie de la surface (plan, 17 the desired accuracy for scanning, the cycle time of digitization and actual dimensions of the actual STR work scene one can indifferently, according to the invention, either capture the whole of the scene of real STR work by means of the sensor (moving it if necessary by report to the actual STR work scene) either cut out the work scene real STR into several work scenes of smaller dimensions. In the second case, step 130 of the flowchart of Figure 13 is implemented on a real working stage of smaller size (for example only part of the box 5 and the pieces Pj that it contains) and the the gripping method of FIG. 13 is executed in its entirety as iteratively on each real work scene of smaller size.
In the remainder of the description, it is considered that during step 130 3D scanning of the surface of the actual work scene STR constituted by the entirety of the box 5 and all its contents.
By way of example, FIG. 5 shows an example of cloud (N) of 3D N points (X, Y, Zi) resulting from a 3D digitization of the real working scene STR of Figure 1 (box 5 containing six pieces in bulk P1 to P6).
Step 131 - Location From this step 131, the gripping process is set orpen using the computer program executed by the processor of the calculation means 4.
In a memory of the calculation means 4 are stored:
- a file or equivalent containing the 3D CAD digital model of a real piece Pj, a file or equivalent containing the 3D digital CAD model of the actual work environment, that is, box 5 in the examples of annexed figures.
By 3D digital CAD model of a real object (real room Pj or 3o real work environment 5), denotes any set of data describing in mathematical form the geometry of the surface (plane,

18 cylindre, cône, surface de Bézier, surface de NURBS,...) de l'objet.
Dans l'exemple particulier des figures annexées, toutes les pièces Pj étant identiques, on utilise un seul modèle numérique CAO 3D pour toutes les pièces. Dans les applications de l'invention où les pièces Pj à
saisir sont différentes (formes et/ou dimensions différentes), on stocke en mémoire des moyens de calcul 4 un modèle numérique CAO 3D pour chaque type de pièce réelle Pj.
Le ou les modèles numériques CAO 3D des pièces réelles Pj et le modèle numérique CAO 3D de l'environnement de travail réel 5 sont produits généralement au moyen du programme de dessin ayant permis leur conception. Néanmoins, ils peuvent également être reconstitués, de manière connue en soi, à partir d'une numérisation 3D de leur surface. Au cours de l'étape de localisation 131, le processeur des moyens de calcul 4 traite le nuage (N) de points 3D [N;(X;, Y;, Z;)], en sorte de localiser au moyen des modèles numériques CAO 3D des pièces réelles Pj et de l'environnement de travail réel 5, chaque pièce virtuelle P'j correspondant à une pièce réel Pj et l'environnement de travail virtuel 5' correspondant à l'environnement de travail réel 5. Au cours de cette étape de localisation, les moyens de calcul déterminent automatiquement pour chaque pièce virtuelle P'j et pour l'environnement de travail virtuel 5' localisés dans le nuage (N) de points 3D, des données de localisation spatiale, telles que par exemple une position (x, y, z) et une orientation (a, (3, y) dans le référentiel du capteur de numérisation 21.
Différentes méthodes de localisation peuvent être mise en oeuvre.
A titre d'exemple non limitatif et non exhaustif de l'invention, cette localisation peut être réalisée en deux étapes successives à partir de chaque modèle numérique CAO 3D:
(1) une première étape de correspondance du nuage (N) de points 3D
[N;(X;, Yi, Z;)] et du modèle numérique CAO 3D (d'une pièce réelle Pj ou de l'environnement de travail réel 5) ;
(2) une deuxième étape d'alignement ou de recalage du nuage (N) de 18 cylinder, cone, Bezier surface, NURBS surface, ...) of the object.
In the particular example of the appended figures, all the parts Pj being identical, we use a single 3D CAD numerical model for all the pieces. In the applications of the invention where the pieces Pj to seize are different (shapes and / or different dimensions), we store in memory of computing means 4 a 3D digital CAD model for each type of real room Pj.
The 3D CAD digital model (s) of the real parts Pj and the 3D digital CAD model of the actual work environment 5 are products generally through the drawing program that allowed them to design. Nevertheless, they can also be reconstituted known per se, from a 3D digitization of their surface. During the locating step 131, the processor of the calculation means 4 processes the cloud (N) of 3D points [N; (X ;, Y ;, Z;)], so as to locate by means of 3D CAD numerical models of the actual parts Pj and the environment of real work 5, each virtual piece P'j corresponding to a real piece Pj and the virtual work environment 5 'corresponding to the environment of real work 5. During this localization step, the calculation means automatically determine for each virtual piece P'j and for the virtual work environment 5 'located in the cloud (N) of points spatial location data, such as for example a position (x, y, z) and an orientation (a, (3, y) in the reference frame of the digitization 21.
Different methods of localization can be implemented.
By way of non-limiting and non-exhaustive example of the invention, this localization can be carried out in two successive stages from every 3D digital CAD model:
(1) a first step of correspondence of the cloud (N) of 3D points [N; (X ;, Yi, Z;)] and the 3D CAD numerical model (of a real piece Pj or the actual work environment 5);
(2) a second step of aligning or resetting the cloud (N) of

19 points 3D [Ni(Xi, Yi, Zi)] sur le modèle numérique CAO 3D.
(1) Etape de correspondance :
Différentes techniques connues permettent de trouver une position (x,y,z) et une orientation (a, [i, y) approximatives d'une pièce virtuelle P'j ou de l'environnement de travail virtuel 5' dans le nuage N de points 3D [N;(Xi, Yi, Z;)]. Le principe de base des ces différentes techniques consiste à
extraire des caractéristiques géométriques locales de la pièce réelle Pj ou de l'environnement de travail réel 5 qui sont indépendantes de leur position et de leur orientation dans l'espace. Les critères retenus se calculent à partir du nuage N de points 3D [Ni(Xi, Y;, Z;)] et du modèle numérique CAO 3D.
De préférence, on connecte les différentes caractéristiques géométriques locales extraites, en construisant un arbre de relation pour le modèle numérique CAO 3D et un arbre de relation pour le nuage N de points 3D [Ni(Xi, Y;, Z;)] , et pour localiser dans le nuage N de points 3D
l'objet correspondant au modèle numérique CAO 3D, on compare l'arbre de relation extrait du modèle numérique CAO 3D, et l'arbre de relation extrait du nuage N de points 3D [Ni(Xi, Y;, Zi)].
Une première approche pour extraire les caractéristiques géométriques locales consiste à extraire des paramètres géométriques dans l'ensemble des régions locales propres au modèle numérique CAO 3D et au nuage N de points 3D [Ni(Xi, Yi, Z;)] : par exemple la courbure moyenne, la courbure gaussienne, la normale moyenne...
Une deuxième approche consiste à approximer la surface du modèle numérique CAO 3D et le nuage N de points 3D [Ni(Xi, Yi, Z;)] par un ensemble de surfaces dites simples : plans, cylindres, cônes,, tores... Une surface complexe de type NURBS ou Bézier pourra être approximée par exemple par plusieurs surfaces simples. Les surfaces dites simples qui approximent le mieux la surface du modèle numérique CAO 3D dépendent directement de sa courbure ; un plan est adapté lors d'une courbure faible, un cylindre peut être adapté lors d'une courbure non négligeable mais relativement constante. A partir du nuage de points, chacune des régions locales est approximée par une surface dite simple. Le choix de la surface simple est fonction là aussi de la courbure évaluée.
Une troisième approche consiste à extraire seulement des points caractéristiques du modèle numérique CAO 3D et du nuage N de points 3D
5[N;(X;, Y;, Z;)] en fonction de critères : courbure maximale, changement du signe de la courbure, inflexion de la courbure...
De préférence afin d'accélérer la vitesse de traitement, le calcul des données géométriques extraites des modèles numériques CAO 3D des pièces Pj et de l'environnement de travail réel 5 est effectué une fois pour 10 toute et préalablement à la mise en oeuvre de l'organigramme de la figure 13. Ces données géométriques extraites de chaque modèle numérique CAO
sont stockées en mémoire des moyens de calcul 4. II en résulte dans ce cas que l'étape 131 de localisation de la figure 13 n'est pas effectuée directement à partir des modèles numériques CAO 3D des pièces Pj et de 15 l'environnement de travail 5, mais à partir de ces données géométriques en mémoire extraites de ces modèles numériques CAO 3D.
(2) Etape d'alignement ou de recalage A l'issue de l'étape (1) de correspondance, pour chaque pièce virtuelle P'j et pour l'environnement de travail virtuelle 5', une ou plusieurs 19 3D points [Ni (Xi, Yi, Zi)] on the 3D CAD numerical model.
(1) Correspondence step:
Various known techniques make it possible to find a position (x, y, z) and an orientation (a, [i, y) of a virtual piece P'j or of the virtual working environment 5 'in the cloud N of 3D points [N; (Xi, Yi, Z;)]. The basic principle of these different techniques is to extracting local geometric features from the actual piece Pj or from the actual work environment 5 that are independent of their position and their orientation in space. The criteria selected are calculated from of cloud N of 3D points [Ni (Xi, Y ;, Z;)] and the 3D CAD numerical model.
Preferably, the different characteristics are connected local geometries extracted, by building a relationship tree for the 3d digital CAD model and a relationship tree for cloud N of 3D points [Ni (Xi, Y ;, Z;)], and to locate in the cloud N of 3D points the object corresponding to the 3D CAD numerical model, we compare the tree of relationship extracted from the 3D CAD numerical model, and the relationship tree extracted from cloud N of 3D points [Ni (Xi, Y ;, Zi)].
A first approach to extract the characteristics local geometrics involves extracting geometric parameters in all of the local regions specific to the 3D CAD numerical model and the cloud N of 3D points [Ni (Xi, Yi, Z;)]: for example the mean curvature, the Gaussian curvature, the average normal ...
A second approach is to approximate the surface of the 3D CAD numerical model and the N cloud of 3D points [Ni (Xi, Yi, Z;)] by a set of so-called simple surfaces: planes, cylinders, cones, tori ...
complex NURBS or Bezier surface may be approximated by example by several simple surfaces. The so-called simple surfaces that best approximate the surface of the 3D CAD numerical model depend on directly from its curvature; a plane is adapted during a weak curvature, a cylinder can be adapted during a non-negligible curvature but relatively constant. From the point cloud, each of the regions local is approximated by a so-called simple surface. The choice of surface simple is also function of the evaluated curvature.
A third approach is to extract only points features of 3D CAD digital model and 3D point cloud N
[N; (X; Y; Z;)] according to criteria: maximum curvature, change of sign of curvature, inflection of curvature ...
Preferably in order to speed up the processing speed, the calculation of the geometric data extracted from 3D CAD numerical models of pieces Pj and the actual work environment 5 is performed once for 10 and prior to the implementation of the flowchart of the figure 13. These geometric data extracted from each CAD numerical model are stored in memory of the calculation means 4. The result is in this case that the location step 131 of Figure 13 is not performed directly from the 3D CAD numerical models of the Pj pieces and 15 working environment 5, but from these geometric data in memory extracted from these 3D CAD digital models.
(2) Alignment or registration step At the end of the step (1) of correspondence, for each piece P'j and for the virtual work environment 5 ', one or many

20 solutions possibles de localisation (position et d'orientation) peuvent selon le cas avoir été trouvées.
Chaque solution est testée automatiquement en utilisant le modèle numérique CAO 3D afin de trouver la bonne transformation solide. Un calcul itératif détermine la meilleure transformation solide en minimisant au sens des moindres carrés la distance entre le nuage (N) de points [N;(X;, Y;, Z;)]
et la surface du modèle numérique CAO 3D. En pratique, l'erreur moyenne obtenue à la fin du calcul représente la distance moyenne entre chaque point retenu du nuage de points [N;(X;, Y;, Z;)] et la surface du modèle numérique CAO 3D. Elle est directement liée à l'imprécision de la chaîne de 3 0 mesure et au défaut de forme de la pièce réelle Pj ou de l'environnement de travail réel 5 par rapport à leur modèle numérique CAO 3D. 20 possible solutions of location (position and orientation) can according to cases have been found.
Each solution is tested automatically using the template 3D CAD digital to find the right solid transformation. A calculation iterative determines the best solid transformation by minimizing in the sense least squares the distance between the cloud (N) of points [N; (X ;, Y ;, Z;)]
and the surface of the 3D CAD digital model. In practice, the average error obtained at the end of the calculation represents the average distance between each retained point of the cloud of points [N; (X ;, Y ;, Z;)] and the surface of the model 3D CAD digital. It is directly linked to the vagueness of the chain of 3 0 measurement and form defect of the actual room Pj or the environment of real work 5 compared to their 3D CAD digital model.

21 Pour de plus amples informations sur la reconnaissance automatique d'objet en utilisant un modèle numérique CAO 3D, l'homme du métier pourra par exemple se référer à la publication intitulée Automated extraction of features from CAD models for 3D object recognition by Jan Bôhm, Claus Brenner, Jens Gühring and Dieter Fritsch , ISPRS, Vol XXXIII, Amsterdam 2000.
Pour de plus amples informations sur un algorithme d'alignement d'un nuage de points avec un modèle surfacique, l'homme du métier pourra par exemple se référer à la publication intitulée A method for registration of 3-d shapes , P.J. Besi et N.D. McKay, IEEE Trans. Pat.
Anal. et Mach. Intel. 14(2), pages 239-256, Février 1992.
L'utilisation d'un modèle numérique CAO 3D d'un objet (pièce réelle Pj ou environnement de travail réelle 5) pour localiser dans un nuage de points 3D ledit objet permet de filtrer les bruits de mesure (points aberrants).
Etape 132- construction de la scène de travail virtuelle STV
A l'issue de l'étape 131 de localisation, les moyens de calcul 4 comportent en mémoire les données de localisation spatiale, telles que par exemple une position (x, y, z) et une orientation (a, [i, y), qui leur permettent de localiser l'environnement de travail virtuel 5' et chaque pièce virtuelle P'j dans le référentiel 3D du capteur 21 de numérisation 3D.
Les moyens de calcul 4 construisent une scène de travail virtuelle numérique (STV) à partir des données de localisation spatiale [positions (x,y,z) et orientations (a, [i, y)] de l'environnement de travail virtuelle 5' et de chaque pièce Pj localisés à l'étape 131, et de leur modèles numériques CAO
3D.
Cette scène de travail virtuelle numérique STV est constituée par les pièces virtuelles P'j qui correspondent aux pièces réelles Pj et par un environnement de travail virtuel numérique 5' (parois virtuelles de la caisse) qui correspond à l'environnement de travail réel 5. Dans cette scène de travail virtuelle numérique STV, les objets numériques virtuels sont des 21 For more information on recognition automatic object using a 3D CAD numerical model, the man of the For example, the profession may refer to the publication entitled Automated extraction of features from CAD models for 3D object recognition by Jan Bohm, Claus Brenner, Jens Guehring and Dieter Fritsch, ISPRS, Vol XXXIII, Amsterdam 2000.
For more information on an algorithm of aligning a scatter plot with a surface model, the man of the For example, the profession may refer to the publication entitled A method for Registration of 3-D Shapes, PJ Besi and ND McKay, IEEE Trans. Pat.
Anal. and Mach. Intel. 14 (2), pp. 239-256, February 1992.
Using a 3D CAD digital model of an object (part actual Pj or actual work environment 5) to locate in a cloud of 3D points, this object makes it possible to filter the measurement noises (points aberrant).
Step 132 - Build the STV Virtual Work Scene At the end of the location step 131, the calculation means 4 include in memory spatial location data, such as by example a position (x, y, z) and an orientation (a, [i, y), which allow to locate the 5 'virtual work environment and each virtual part P'j in the 3D repository of the 3D scanning sensor 21.
The calculation means 4 build a virtual work scene (STV) from spatial location data (x, y, z) and orientations (a, [i, y)] of the 5 'virtual work environment and of each piece Pj located in step 131, and their CAD numerical models 3D.
This STV digital virtual work scene is made up of virtual pieces P'j which correspond to the real pieces Pj and by a virtual virtual work environment 5 '(virtual walls of the cash desk) which corresponds to the actual work environment 5. In this scene of digital virtual work STV, virtual digital objects are

22 objets 3D décrits par des surfaces.
Du fait de l'utilisation des modèles numériques CAO 3D, lors de la construction de cette scène de travail virtuelle numérique STV, on prend avantageusement en compte des surfaces cachées des objets qui n'étaient pas visibles par le capteur 21 de numérisation 3D.
Test 133 Si aucune pièce virtuelle P'j n'est présente dans la scène de travail virtuelle STV, les moyens de calcul 4 arrêtent le programme de calcul, l'environnement de travail (caisse 5) étant vide. Le procédé de préhension est achevé.
Test 134 Si au moins une pièce virtuelle P'j est présente dans la scène de travail virtuelle STV, les moyens de calcul 4 vérifient si parmi ces pièces il en existe au moins une qui n'a pas déjà été sélectionnée (au cours d'une étape 135 réalisée lors d'une itération précédente).
Dans la négative (toutes les pièces localisées ont déjà été sélectionnées), les moyens de calcul 4 génèrent par exemple un code erreur et le programme de calcul est interrompu..
Dans l'affirmative (existence d'une pièce non encore sélectionnée), les moyens de calcul 4 poursuivent l'exécution du programme de calcul (étapes 135 et suivantes).
Etape 135 Les moyens de calcul 4 sélectionnent automatiquement une pièce virtuelle P'j parmi la ou les pièces non encore sélectionnées, en appliquant un ou plusieurs critères de sélection prédéfinis.
Dans une variante de mise en oeuvre, il peut s'agir par exemple d'un choix aléatoire.
Dans une autre variante de mise en oeuvre, les moyens de calcul 4 choisissent par exemple, parmi les pièces non encore sélectionnées, la pièce P'j la plus haute, en comparant les positions (y) en hauteur desdites pièces selon l'axe vertical (Y). 22 3D objects described by surfaces.
Due to the use of 3D CAD numerical models, during the building this STV digital virtual work scene, we take advantageously account for hidden surfaces of objects that were not not visible by the sensor 21 of 3D scanning.
Test 133 If no virtual piece P'j is present in the work scene Virtual STV, the calculation means 4 stop the calculation program, the working environment (box 5) being empty. The process of grasping is completed.
Test 134 If at least one virtual piece P'j is present in the work scene virtual STV, the calculation means 4 check whether among these pieces it exist at least one that has not already been selected (in a step 135 performed during a previous iteration).
If not (all localized parts have already been selected), the calculation means 4 generate for example an error code and the calculation program is interrupted ..
In the affirmative (existence of a room not yet selected), the calculation means 4 continue the execution of the calculation program (steps 135 and following).
Step 135 The calculation means 4 automatically select a part P'j among the parts not yet selected, by applying one or more predefined selection criteria.
In an alternative embodiment, it may be for example a random choice.
In another variant of implementation, the calculation means 4 choose, for example, from the parts not yet selected, the piece P'j the highest, by comparing the positions (y) in height of said parts along the vertical axis (Y).

23 Test 136 Les moyens de calcul 4 vérifient automatiquement si, dans la scène de travail virtuelle numérique STV construite à l'étape 132 précédente, la pièce virtuelle P'j sélectionnée à l'étape 135 est au moins en partie recouverte par une autre pièce virtuelle adjacente et en appliquant au moins un critère de recouvrement prédéfini.
Ce critère de recouvrement peut être de type tout ou rien, un recouvrement étant détecté quelle que soit la surface de recouvrement des deux pièces.
Ce critère de recouvrement peut également prendre en compte une surface minimale prédéfinie de recouvrement des pièces. Dans ce cas, le programme de calcul est conçu de telle sorte que le test de recouvrement 136 est effectué avec une tolérance prédéfinie plus ou moins importante et de préférence paramétrable par l'utilisateur, afin de tenir compte de la surface de recouvrement des pièces, un recouvrement étant par exemple détecté uniquement lorsque la surface de recouvrement des pièces est supérieure à une valeur prédéfinie. D'autres critères de recouvrement peuvent être définis, par exemple en définissant des volumes (cylindres, parallélépipède,...) où le recouvrement n'est pas autorisé. Ces volumes sont définis généralement en tenant compte de la géométrie de l'outil de préhension.
En cas de recouvrement détecté, les moyens de calcul 4 rebouclent sur le test 134 en vue de sélectionner une autre pièce.
En cas d'absence de recouvrement, les moyens de calcul 4 poursuivent le programme de calcul (test 137, ... ).
La figure 8 illustre un exemple de représentation d'une scène de travail virtuelle numérique STV dans laquelle la pièce virtuelle sélectionnée lors de la réalisation de l'étape 135 est la pièce P'4, et pour laquelle les moyens de calcul 4 détectent automatiquement un problème de recouvrement avec la pièce virtuelle P'5 lors de la réalisation du test de recouvrement 136. 23 Test 136 The calculation means 4 automatically check whether, in the scene digital virtual workstation STV constructed in the previous step 132, the virtual part P'j selected in step 135 is at least partly covered by another adjacent virtual room and applying at least a predefined collection criterion.
This recovery criterion can be of all or nothing type, a recovery being detected irrespective of the area of recovery of two pieces.
This recovery criterion may also take into account a predefined minimum surface area for covering parts. In this case, the calculation program is designed so that the recovery test 136 is done with a predefined tolerance more or less important and preferably user-definable, to take account of the covering surface of the parts, an overlap being for example detected only when the overlapping surface of the pieces is greater than a predefined value. Other collection criteria can be defined, for example by defining volumes (cylinders, parallelepiped, ...) where the recovery is not allowed. These volumes are defined generally taking into account the geometry of the tool of gripping.
In case of recovery detected, the calculation means 4 loop back on the test 134 to select another room.
In the absence of recovery, the calculation means 4 continue the calculation program (test 137, ...).
Figure 8 illustrates an example of representation of a scene of STV digital virtual job in which the selected virtual part when performing step 135 is the piece P'4, and for which the calculation means 4 automatically detect a problem of recovery with virtual part P'5 when performing the test of recovery 136.

24 Il convient de souligner que ce test de recouvrement est facultatif selon l'invention. II est préférable de mettre en oeuvre ce test de recouvrement dans les applications où les pièces à saisir sont disposées aléatoirement en vrac avec risque de recouvrement comme dans le cas de l'exemple de la figure 8. En revanche ce test est inutile dans toutes les applications où il n'y pas de risque qu'une pièce puisse recouvrir en partie une autre pièce, tel que par exemple dans l'application de la figure 11 ou dans l'application de la figure 12.
Test 137 et étape 138 Les pièces réelles Pj des figures annexées peuvent être saisies par l'outil de préhension 11 selon deux configurations de préhension distinctes prédéfinies qui sont illustrées respectivement sur les figures 3 et 4, et qui dans les exemples particuliers illustrés se différencient par le réglage de l'écartement de la pince de préhension 11. Ces deux configurations de préhension sont préenregistrées en mémoire des moyens de calcul 4. Pour chaque configuration de préhension, l'utilisateur définit, par exemple au moyen d'un logiciel de CAO connu, la mise en position de l'outil de préhension sur la pièce. La transformation solide de l'outil de préhension dans le référentiel pièce pour chacune des configurations est sauvegardée en mémoire. Le modèle numérique CAO de l'outil de préhension peut être unique pour toutes les configurations ou bien différent (même pince mais ouverture différente, pince différente...).
Lorsqu'une pièce P'j a été sélectionnée (étape 135) et a été testée comme n'étant pas recouverte (test 136), les moyens de calcul 4 vérifient automatiquement (test 137) si il existe pour ladite pièce P'j , une configuration de préhension qui n'a pas encore été testée (lors d'une itération précédente) .
Dans la négative (toutes les configurations de préhension ont déjà
été testées pour cette pièce), les moyens de calcul 4 rebouclent sur le test 3 0 134 en vue de la sélection d'une autre pièce.
Dans l'affirmative, les moyens de calcul 4 sélectionnent automatiquement (étape 138) une configuration de préhension parmi celle(s) non encore testée(s) pour cette pièce.
Test 139 (collision) et étape 140 Une fois la configuration de préhension sélectionnée, les moyens de 5 calcul 4 positionnent l'outil de préhension virtuelle 11' (correspondant à
l'outil de préhension réel 11) par rapport à la pièce P'j sélectionnée à l'étape 134, dans la scène de travail virtuelle STV construite à l'étape 132, conformément à la configuration de préhension sélectionnée à l'étape 138.
Ce calcul est réalisé au moyen du modèle numérique CAO 3D de 10 l'outil de préhension réel 11, et des données de localisation spatiale [la position (x,y,z) et l'orientation (a,(3,y) ] de la pièce virtuelle P'j sélectionnée.
On a représenté à titre d'exemples :
- sur la figure 7 une simulation dans la scène de travail virtuelle STV de l'outil de préhension virtuel 11' dans une première configuration de 15 préhension par rapport à la pièce virtuelle sélectionnée P'3, - sur la figure 8, le résultat d'une simulation dans la scène de travail virtuelle STV de l'outil de préhension virtuel 11' dans une première configuration de préhension par rapport à la pièce virtuelle sélectionnée P'4, 20 - sur la figure 9, le résultat d'une simulation dans la scène de travail virtuelle STV de l'outil de préhension virtuel 11' dans une deuxième configuration de préhension par rapport à la pièce virtuelle sélectionnée P'5, et - sur la figure 10 le résultat d'une simulation dans la scène de travail 24 It should be emphasized that this recovery test is optional according to the invention. It is preferable to implement this test of overlap in applications where the pieces to be grasped are arranged randomly in bulk with risk of recovery as in the case of the example of Figure 8. However this test is useless in all applications where there is no risk that a part may partially cover another piece, such as for example in the application of FIG.
in the application of Figure 12.
Test 137 and step 138 The actual pieces Pj of the appended figures can be entered by the gripping tool 11 according to two distinct gripping configurations predefined, which are illustrated respectively in Figures 3 and 4, and in the particular examples illustrated are differentiated by the setting of the spacing of the gripper 11. These two configurations of are pre-recorded in memory of the calculation means 4.
each gripping configuration, the user defines, for example at using a well-known CAD software, setting the position of the tool of gripping on the piece. The solid transformation of the gripping tool in the part repository for each configuration is saved in memory. The digital CAD model of the gripping tool can be unique for all configurations or different (same clamp but different opening, different clamp ...).
When a piece P'j has been selected (step 135) and has been tested as not being covered (test 136), the calculation means 4 verify automatically (test 137) if there exists for said piece P'j, a gripping configuration that has not yet been tested (at a previous iteration).
If not (all grip configurations have already been have been tested for this piece), the calculation means 4 loop back on the test For selection of another part.
If so, the calculation means 4 select automatically (step 138) a gripping configuration out of that (s) not yet tested for this piece.
Test 139 (collision) and step 140 Once the gripping configuration has been selected, the means of 5 calculation 4 position the virtual grip tool 11 '(corresponding to the tool real gripping 11) with respect to the piece P'j selected in step 134, in the STV virtual work scene constructed in step 132, according to to the gripping configuration selected in step 138.
This calculation is done using the 3D CAD numerical model of 10 the real gripping tool 11, and spatial location data [the position (x, y, z) and the orientation (a, (3, y)] of the virtual piece P'j selected.
Examples have been shown:
in FIG. 7 a simulation in the STV virtual work scene of the virtual grip tool 11 'in a first configuration of 15 gripping relative to the selected virtual part P'3, in FIG. 8, the result of a simulation in the work scene virtual STV of the virtual grip tool 11 'in a first gripping configuration with respect to the selected virtual part P '4, 20 - in FIG. 9, the result of a simulation in the work scene virtual STV of the virtual grip tool 11 'in a second gripping configuration with respect to the selected virtual part P'5, and in FIG. 10 the result of a simulation in the work scene

25 virtuelle STV de l'outil de préhension virtuel 11' dans une deuxième configuration de préhension par rapport à la pièce virtuelle sélectionnée P'1.
Les moyens de calcul 4 vérifient, dans la scène de travail virtuelle STV contenant l'outil de préhension virtuelle 11' en position de préhension sur la pièce virtuelle P'j sélectionnée :
(i) si il existe une intersection entre la surface de l'ensemble formé par l'outil 25 virtual STV of the virtual grip tool 11 'in a second gripping configuration with respect to the selected virtual part P'1.
The calculation means 4 check, in the virtual work scene STV containing the virtual grip tool 11 'in gripping position on the virtual part P'j selected:
(i) if there is an intersection between the surface of the assembly formed by the tool

26 de préhension 11' virtuelle positionné par rapport à la pièce P'j sélectionnée et la surface de l'une au moins des autres pièces virtuelles ;
(ii) si il existe une intersection entre la surface de l'ensemble formé par l'outil de préhension 11' virtuelle positionné par rapport à la pièce P'j sélectionnée et la surface de l'environnement de travail virtuel 5'.
Si une au moins des conditions (i) ou (ii) ci-dessus est positive (existence d'une intersection), on détecte une collision (tel que par exemple dans le cas de la figure 10/ collision de l'outil de préhension virtuel 11' avec l'une des parois de l'environnement de travail virtuel 5'), et les moyens de calcul 4 rebouclent sur le test 134 en vue de la sélection d'une autre pièce.
Pour des raisons de sécurité, le test de non collision peut tenir compte d'une tolérance ou distance minimum lors des tests (i) et (ii) à la place du test d'intersection. Cela revient à garantir physiquement une distance minimum entre deux éléments testés de la scène réelle.
Dans une version perfectionnée du programme de calcul, les détection de collision (i) et (ii) précitées sont calculées en simulant le mouvement de retrait de l'ensemble formé par l'outil de préhension 11' virtuelle et la pièce P'j sélectionnée, et en vérifiant les collisions (i) et (ii) pour différentes positions de cet ensemble le long de la trajectoire de retrait.
Si les deux conditions (i) et (ii) ci-dessus sont négatives (pas de collision détectée), tel que par exemple dans le cas des figures 7 et ou 9, les moyens de calcul 4 valident la pièce P'j et la configuration de préhension sélectionnés et envoie (étape 140) aux moyens de commande 3: la configuration de préhension qui a été validée et les données de localisation [position (x',y',z') et orientation (a' [i' y')] dans le référentiel du robot préhenseur 1 de la pièce réelle Pj qui correspond à la pièce virtuelle P'j qui a été validée.
Etape 141 Cette étape 141 est exécutée par le processeur des moyens de commande 3 (programme de commande).
Les moyens de commande 3 pilotent, de manière appropriée et 26 11 'virtual grip positioned relative to the selected piece P'j and the surface of at least one of the other virtual pieces;
(ii) if there is an intersection between the surface of the assembly formed by the tool 11 'virtual grip positioned relative to the selected piece P'j and the surface of the virtual work environment 5 '.
If at least one of the conditions (i) or (ii) above is positive (existence of an intersection), we detect a collision (such as for example in the case of Figure 10 / collision of the virtual grip tool 11 ' with one of the walls of the virtual work environment 5 '), and the means of calculation 4 rebouclent on the test 134 for the selection of another room.
For safety reasons, the non-collision test may take into account a tolerance or minimum distance during tests (i) and (ii) instead of the test intersection. This amounts to physically guaranteeing a minimum distance between two tested elements of the real scene.
In an improved version of the calculation program, the collision detection (i) and (ii) are calculated by simulating the withdrawal movement of the assembly formed by the gripping tool 11 ' the selected piece P'j, and checking the collisions (i) and (ii) for different positions of this set along the withdrawal path.
If both conditions (i) and (ii) above are negative (no collision detected), as for example in the case of FIGS. 7 and 9, the calculation means 4 validate the piece P'j and the gripping configuration selected and sends (step 140) to the control means 3: the gripping configuration that has been validated and location data [position (x ', y', z ') and orientation (a' [i 'y')] in the robot's repository gripper 1 of the real coin Pj which corresponds to the virtual coin P'j which at been validated.
Step 141 This step 141 is executed by the processor means of command 3 (control program).
The control means 3 control, appropriately and

27 connue en soi, les moyens de motorisation du robot préhenseur 1 et l'outil de préhension réel 11, en sorte de déplacer dans l'espace l'outil de préhension réel 11 et permettre la saisie de la pièce réelle Pj dont les données de localisation ont été envoyées aux moyens de commande 3, et dans la configuration de préhension qui a été envoyée aux moyens de commande 3.
Une fois la pièce réelle Pj retirée de l'environnement de travail réel 5 par le robot préhenseur 1, les moyens de calcul 4 rebouclent sur l'étape 130.
Le procédé préhension est exécuté jusqu'à ce que (test 133 et fin de cycle ) le programme de calcul ne détecte plus de pièce présente dans la scène de travail virtuelle STV construite à l'étape 132. 27 known per se, the motorization means of the gripper robot 1 and the tool of real gripping 11, so as to move the tool of real gripping 11 and allow the entry of the real part Pj whose location data has been sent to the control means 3, and in the gripping configuration that was sent to the means of order 3.
Once the actual piece Pj removed from the real work environment 5 by the robot gripper 1, the calculation means 4 loop back on the step 130.
The gripping process is executed until (test 133 and end cycle) the calculation program no longer detects a part present in the STV virtual work scene constructed in step 132.

Claims

1. Automated method for gripping at least one real part (Pj) positioned in a real work environment (5), at means of a real gripping tool (11), characterized in that includes the following successive steps:
(a) 3D digitization, in the form of a cloud (N) of 3D points [N i (X i, Y i, Z i)] of the surface of a real work scene (STR) constituted by the actual work environment (5) and by each real piece (Pj) present in this working environment, (b) automatic location, in the cloud (N) of points from step (a), of each virtual piece (P'j) and of the virtual work environment (5 '), using the models 3D CAD numerals of each real part (Pj) and the actual work environment (5), (c) automatic construction of a virtual work scene (STV) in three dimensions corresponding to the scene of Real Work (STR) and consisting of each virtual part (P'j) and the virtual work environment (5 ') located in step (b), said construct being realized automatically using CAD digital models 3D of each real room (Pj) and the environment of real work (5), and using the location data [(x, y, z); (.alpha., .beta., .gamma.)] of each virtual piece (P'j) and of the virtual work environment (5 ') that have been determined in step (b), (d) automatic selection of a virtual coin (P'j) in the virtual work scene (VTS) from step (c), (e) controlling the actual gripping tool (11) in order to automatically enter the actual room (Pj) corresponding to the virtual part (P'j) selected in step (d).

2. Method according to claim 1, characterized in that the actual work environment (5) has at least two pieces (Pj), and in that the steps (a) to (e) are repeated automatically until there is no room in the actual work environment (5).

3. Method according to claim 1 or 2, characterized in that the actual work environment (5) has at least two pieces (Pj), and in that before validating definitively the selection in step (d) of the virtual part (P'j), it is checked beforehand in the virtual work scene (STV), applying at least one criterion predefined recovery scheme, if said virtual part (P'j) is at least partially covered by an adjacent virtual part, and in the case where said virtual part (P'j) is covered by a adjacent virtual room in accordance with the recovery criterion predefined, we do not select this part.

4. Method according to one of claims 1 to 3, characterized in that that before definitively validating the selection in step (d) of the virtual room (P'j), we check beforehand in the working scene (STV) if there is a collision between at least the said room (P'j) and the virtual work environment (5 ') and / or least said virtual piece (P'j) and another virtual piece, and collision case detected this part is not selected.

5. Method according to one of claims 1 to 4, characterized in that that before definitively validating the selection in step (d) of the virtual piece (P'j), we put in position in the work scene virtual tool (STV) a virtual grip tool (11 ') which is defined at 3D digital model of the real gripping tool (11) and so that the virtual grip tool (11 ') is positioned relative to said virtual part (P'j) in at least a predefined gripping configuration, we check if there is a collision between at least this virtual grip tool (11 ') and the virtual work environment (5 ') and / or between at least this tool virtual grip (11 ') and another virtual piece, and in case of collision detected one does not select this piece (P'j).

6. Method according to one of claims 1 to 5, characterized in that that it is implemented to automatically enter at least one piece (Pj) among a set of several pieces in bulk.

7. System for automated gripping of at least one actual piece (Pj) positioned in a real work environment (5), said gripping system comprising a gripper robot (1) equipped with at least one real gripping tool (11), and control means (3) which make it possible to control at least the gripper robot (1), characterized in that it comprises 3D scanning means (2) for performing step (a) of the gripping method as defined in one of claims 1 to 6, and computing means (4) which are designed to realize automatically steps (b) to (d) of the gripping method defined in one of claims 1 to 6, and that the means of control (3) are designed to perform step (e) of the method of gripper defined in one of claims 1 to 6, from data calculated by the calculation means (4).

8. Calculation program saved on a storage medium or in a memory, and which on the one hand is automatically executable by programmable calculation means (4) for a system of prehension, said gripping system further comprising a gripper robot (1) equipped with at least one real gripping tool (11), control means (3) for controlling at least the gripper robot (1), and means (2) of 3D digitization allowing a three-dimensional digitization of the surface of a real object or set of real objects, in the form of a cloud (N) of 3D points [N i (X i, Y i, Z i)], said program of calculation, when executed by said calculating means (4) allows automatically perform the steps (b) to (d) of the method of gripper defined in one of claims 1 to 6.