FR2934911A1

FR2934911A1 - Systeme automatise de guidage et de reconnaissance et procede pour ledit systeme

Info

Publication number: FR2934911A1
Application number: FR0954915A
Authority: FR
Inventors: Simon Melikian; Maximiliano A Falcone; Joseph Cyrek
Original assignee: RECOGNITION ROBOTICS Inc; Comau LLC
Current assignee: RECOGNITION ROBOTICS, INC., US; Comau LLC
Priority date: 2008-07-22
Filing date: 2009-07-16
Publication date: 2010-02-12
Anticipated expiration: 2029-07-16
Also published as: DE102009034529A1; IT1395007B1; GB2461959B; US8923602B2; DE102009034529B4; GB2461959A; ITTO20090378A1; US20100021051A1; GB0904326D0; FR2934911B1

Abstract

Les modes de réalisation et procédés de l'invention ci-décrite concernent un système de guidage et de reconnaissance visuels (10) qui n'exige aucun étalonnage. Un mode de réalisation du système comprend un manipulateur asservi (20) configuré pour réaliser une fonction, un appareil photographique (30) monté sur la plaque frontale (65) du manipulateur (20) et un contrôleur de reconnaissance (50) configuré pour acquérir une image bidimensionnelle de la pièce. Le contrôleur de manipulateur (40) est configuré pour recevoir et enregistrer la position de la plaque frontale (65) à une distance « A » entre la pièce de référence (70) et le manipulateur (20) le long d'un axe de la pièce de référence (70) quand la pièce de référence (70) se trouve dans la région d'intérêt de l'appareil photographique (30). Le contrôleur de reconnaissance (50) est configuré pour apprendre la pièce à partir de l'image et de la distance « A ». Pendant l'opération, une pièce est reconnue par le système, et le manipulateur (20) est positionné précisément par rapport à la pièce pour que le manipulateur (20) puisse réaliser sa fonction avec précision.

Description

SYSTÈME AUTOMATISÉ DE GUIDAGE ET DE RECONNAISSANCE ET PROCÉDÉ POUR LEDIT SYSTÈME La présente invention concerne un système automatisé de guidage et de reconnaissance servant à reconnaître une pièce dans un espace tridimensionnel et permettant l'alignement d'un manipulateur asservi par rapport à la pièce.

Les exigences de pièces de qualité supérieure et de production accrue imposées aux fabricants ont entraîné une automatisation accrue des processus de fabrication et d'assemblage. Les robots, largement employés dans de nombreux secteurs de fabrication, constituent l'une de ces techniques d'automatisation. Les robots peuvent en effet réaliser un grand éventail de fonctions telles que l'inspection, le soudage, le déplacement et la manipulation de pièces, la peinture, etc. Pour réaliser une fonction particulière, un robot doit être programmé pour l'effectuer sur une pièce particulière. Toutefois, cette programmation s'appuie sur un jeu de paramètres modèles . Les paramètres réels qui existent entre un robot industriel et une pièce particulière diffèrent des paramètres modèles en raison, par exemple, de légers changements qui interviennent dans les positionnements du robot et la pièce. Chaque robot doit donc être étalonné pour un type de pièce particulier et ajusté individuellement au niveau de chaque pièce en fonction de la position de la pièce et de l'étalonnage. Qui plus est, quand le type de pièce est modifié, que ce soit lors de changements d'équipes ou au cours d'un travail en équipe, il faut soit ré-étalonner le robot soit saisir la pièce dans le contrôleur du robot pour que le robot puisse s'ajuster à la nouvelle géométrie d'une pièce différente. Il existe de nombreux systèmes connus pour améliorer la reconnaissance et la précision de positionnement d'un robot industriel. Certains emploient des 3o algorithmes basés sur un modèle mathématique des géométries du robot et de

la pièce. Une pluralité de capteurs visuels, ou un seul capteur visuel mobile, est utilisé(e) pour acquérir des images de la pièce à partir du robot sur un nombre d'angles suffisant pour produire une représentation tridimensionnelle. Des capteurs visuels, intégrant des lasers ou autres sources lumineuses pour projeter un faisceau en fente, sont aussi utilisés ; une image tridimensionnelle étant obtenue par la segmentation et la réflexion de la lumière. Ces systèmes mettent normalement en jeu des formules mathématiques complexes et des procédures d'étalonnage qui prennent du temps. Ces systèmes existants peuvent prendre beaucoup de temps pour exécuter une opération avec chaque type de pièce et leur étalonnage peut souvent exiger du personnel qualifié. Qui plus est, changer le type de pièce pendant le fonctionnement peut être infaisable en raison de l'étalonnage nécessaire entre les pièces et diminuant la flexibilité et la productivité de l'installation de fabrication ou de production. Les fabricants et producteurs qui emploient des robots industriels dans leurs opérations recherchent activement des améliorations dans ces domaines.

Le présent document décrit des modes de réalisation du système de guidage et de reconnaissance visuels servant à reconnaître des pièces et à guider un manipulateur asservi sans cible d'étalonnage. L'un des modes de réalisation du système de guidage et de reconnaissance visuels comprend : un manipulateur asservi configuré pour réaliser une fonction, un appareil photographique monté sur, ou en relation fixe avec, une plaque frontale du manipulateur, un système de reconnaissance configuré pour acquérir une image bidimensionnelle au moyen de l'appareil photographique d'au moins une partie d'au moins une pièce de référence et un contrôleur de manipulateur configuré pour recevoir et enregistrer une position de la plaque frontale à une distance A entre la pièce de référence et le manipulateur le long d'un axe de coordonnées de la pièce de référence quand l'image de la pièce de référence est acquise. Le système de

reconnaissance est configuré en outre pour apprendre la pièce de référence sur la base de l'image bidimensionnelle et de la distance A associée à la pièce de référence. Un autre mode de réalisation du système de guidage et de reconnaissance visuels servant à reconnaître des pièces et à guider un manipulateur asservi sans cible d'étalonnage comprend : un contrôleur de reconnaissance comprenant une base de données contenant au moins une pièce de référence, un manipulateur asservi configuré pour réaliser une fonction, un appareil photographique monté sur, ou en relation fixe avec, une plaque frontale du manipulateur et un contrôleur de manipulateur configuré pour commander le mouvement du manipulateur asservi. Le système de reconnaissance est configuré pour : acquérir une image bidimensionnelle au moyen de l'appareil photographique d'au moins une partie d'une pièce de production, assortir l'image de la pièce de production à la pièce de référence dans la base de données, calculer un décalage de données de dimensions entre l'image de la pièce de production et une image associée à la pièce de référence, et envoyer un signal au contrôleur de manipulateur pour qu'il déplace le manipulateur afin de réduire le décalage jusqu'à ce qu'il soit inférieur à une valeur seuil. Le présent document décrit aussi les procédés de guidage et de reconnaissance visuels d'une pièce utilisant un appareil photographique et un manipulateur sans qu'aucun étalonnage ne soit nécessaire. L'une des méthodes ci-décrites comprend : un positionnement d'une pièce de référence, un enregistrement d'une position de travail du manipulateur au niveau de la pièce de référence dans un contrôleur de manipulateur, un déplacement du manipulateur le long d'un axe de coordonnées de la pièce de référence à une distance A , au moins une partie de la pièce de référence se trouvant dans une région d'intérêt de l'appareil photographique, un enregistrement de la position d'une plaque frontale du manipulateur à la distance A dans le contrôleur de manipulateur, une acquisition d'une image bidimensionnelle avec

un contrôleur de reconnaissance au moyen de l'appareil photographique d'au moins une partie d'au moins une pièce de référence et un apprentissage de la pièce de référence avec le contrôleur de reconnaissance sur la base de l'image bidimensionnelle et de la distance A associée à la pièce de référence.

La présente description se réfère aux schémas ci-joints dans lesquels des numéros de référence similaires désignent des pièces similaires dans la pluralité de vues et parmi lesquels : La Figure 1 est une vue schématique d'un mode de réalisation du système de 10 guidage et de reconnaissance visuels ci-décrit ; La Figure 2 est un organigramme d'un mode de réalisation d'un procédé de guidage et de reconnaissance visuels pour une pièce ; et La Figure 3 est un organigramme d'un autre mode de réalisation d'un procédé de guidage et de reconnaissance visuels pour une pièce. 15 La Figure 1 est une vue schématique d'un mode de réalisation du système de guidage et de reconnaissance visuels 10 qui n'exige aucun étalonnage selon la présente description. Le système de guidage et de reconnaissance visuels 10 comprend : un manipulateur asservi 20, un appareil photographique 30, un 20 contrôleur de manipulateur 40 et un contrôleur de reconnaissance 50. Le manipulateur 20 possède un organe terminal effecteur 60 qui varie physiquement suivant la fonction pour laquelle le manipulateur a été programmé. Des exemples non restrictifs d'organes terminaux effecteurs 60 peuvent être des organes de bras, de soudage, de préhension, de vaporisation 25 de peinture, ainsi que d'autres outils, requis ou souhaitables, pour que le manipulateur 20 réalise sa fonction. L'organe terminal effecteur 60 se prolonge normalement d'une plaque frontale 65 du manipulateur 20. L'appareil photographique 30 est normalement monté sur, ou en relation fixe avec, la plaque frontale 65 du manipulateur 20. Le système de reconnaissance visuelle

10 fonctionne pour reconnaître une pièce 70 et positionner le manipulateur 20 avec précision par rapport à la pièce 70. La pièce 70 peut être une pièce, un composant ou un produit, etc., sur lequel le manipulateur 20 réalisera la fonction. Comme exemples non restrictifs de fonctions types, les manipulateurs sont utilisés pour réaliser des opérations de soudage, manipulation de matériaux, surveillance de machines, etc. Le manipulateur asservi 20 peut être, par exemple, un type quelconque de robot ou de pont portique connu dans la technique. Des exemples non-restrictifs de types de robots sont les robots articulés, cartésiens, cylindriques, polaires et SCARA. Les robots et ponts portiques industriels ont normalement six axes de mouvement (6 degrés de liberté) qui leur confèrent un maximum de souplesse. Les manipulateurs asservis ci-décrits sont indiqués à titre d'exemple et non de restriction, et d'autres manipulateurs asservis connus des personnes compétentes dans la technique peuvent être utilisés.

L'appareil photographique 30 intégré au système de reconnaissance visuelle 10 peut être n'importe quel appareil photo numérique ou caméra vidéo bidimensionnelle. Comme exemple non restrictif, l'appareil photographique 30 peut être un dispositif d'image bidimensionnelle courant tel qu'un appareil photographique de type CCD (dispositif à transfert de charge) ou CMOS (semi- conducteur complémentaire à l'oxyde de métal). L'un des appareils photographiques utilisables dans le système de reconnaissance visuelle est un DALSA Genie. Les appareils photographiques décrits sont indiqués à titre d'exemple et non de restriction, et d'autres appareils photographiques bidimensionnels connus des personnes compétentes dans la technique peuvent être utilisés. Bien que seul un appareil photographique bidimensionnel soit décrit ici, l'utilisation d'un capteur visuel tridimensionnel est envisagée, de même que l'utilisation de plusieurs appareils photographiques ou capteurs visuels tridimensionnels. Le contrôleur de manipulateur 40 peut être une unité centrale de traitement qui

commande le mouvement du manipulateur sur la base de : la géométrie du manipulateur, la géométrie de la pièce, la fonction que le manipulateur effectuera sur la pièce, et d'éventuelles données mises à jour, saisies pendant le réglage ou le fonctionnement. Les contrôleurs de manipulateur sont bien connus dans la technique et une description détaillée du contrôleur de manipulateur ne rentre pas dans le champ d'application de cette description. Comme l'appareil photographique 30 peut être monté sur la plaque frontale 65 du manipulateur 20 ou en relation fixe avec la plaque frontale 65, le contrôleur de manipulateur 40 commande aussi la position de l'appareil photographique 30. Le contrôleur de reconnaissance 50 peut être une unité centrale de traitement configurée pour acquérir des images bidimensionnelles au moyen de l'appareil photographique 30 et pour communiquer avec le contrôleur de manipulateur 40 afin de lui envoyer un signal pour qu'il déplace le manipulateur 20 sur la base des images acquises par le contrôleur de reconnaissance 50. L'unité centrale de traitement peut en outre être configurée avec le logiciel de guidage et de reconnaissance visuels, incorporé par référence ci-dessous. Les liaisons de communication entre le manipulateur 20, le contrôleur de manipulateur 40, le contrôleur de reconnaissance 50 et l'appareil photographique 30 peuvent transmettre des informations, par des câbles allant d'une unité à l'autre, par exemple. Dans une autre option, les liaisons de communication peuvent se faire sans fil, par rayons infrarouges ou par radiofréquences, par exemple. Il est également envisagé que la communication s'effectue au moyen de données et signaux saisis manuellement par un opérateur. Les liaisons de communication décrites sont indiquées à titre d'exemple et non de restriction, et d'autres procédés de communication peuvent être utilisés par les personnes compétentes dans la technique. Le système de guidage et de reconnaissance visuels 10 illustré à la Figure 1 n'a pas besoin d'être étalonné avant l'emploi. Autrement dit, il n'est pas nécessaire

d'associer le système de coordonnées de l'appareil photographique 30 à celui du manipulateur 20 avant le réglage ou l'utilisation, ceci à cause du logiciel de guidage et de reconnaissance visuels. Le fait de pouvoir procéder sans étalonnage diminue sensiblement le temps de réglage nécessaire au système et réduit le degré de compétence requis pour l'opérateur du système ou de la chaîne de production où le système est employé. En éliminant l'étape d'étalonnage, le temps d'arrêt de production est réduit lui aussi, puisqu'un réétalonnage en cours d'emploi n'est pas nécessaire non plus. Le système ci-décrit peut présenter des avantages économiques sensibles, en partie parce qu'il élimine l'étalonnage devant être encore effectué actuellement à plusieurs reprises sur les systèmes courants. Le système de guidage et de reconnaissance visuels 10 peut faire l'objet d'un réglage pour une pièce ou pour une pluralité de pièces différentes. Le nombre de pièces de référence différentes n'est limité que par la mémoire du système.

Qui plus est, le type des pièces de référence peut varier de manières illimitées quant à leur longueur, largeur, profondeur, forme, couleur, matériau, etc. Le terme référence signifie simplement l'un des types de pièces que le système de guidage et de reconnaissance visuels 10 doit apprendre. Il ne s'agit pas d'une pièce spéciale, mais plutôt d'une pièce parmi une série de pièces sur laquelle le manipulateur réalisera une fonction particulière. Par exemple, si une opération réalisée dans le cadre d'une installation consiste à placer un point de soudure sur un cadre de portière de véhicule, n'importe quel cadre de portière de véhicule, parmi ceux devant recevoir la soudure, peut être choisi comme pièce de référence.

Pour chaque type ou sorte de pièce qu'un manipulateur 30 peut rencontrer pendant l'opération, le système de guidage et de reconnaissance visuels 10 doit apprendre la pièce. Ce processus est appelé réglage . Pour régler un type de pièce qui représente une série de pièces que le manipulateur 30 pourrait rencontrer pendant une opération, une pièce de référence 70 est placée

à une position de référence. Cette position de référence peut être la position qui simule la position de la pièce pendant l'opération effective. Dans le contexte du présent document, opération désigne tout processus réalisé au moyen du système 10 et des procédés ci-décrits. Des exemples non restrictifs d'opérations peuvent être des processus, productions, assemblages, inspections, analyses quantitatives, etc. Le manipulateur 20 est mis à une position de travail correspondant à la position à laquelle l'organe terminal effecteur 60 réalise sa fonction sur la pièce 70. Cette position de travail est enregistrée dans le contrôleur de manipulateur 40. Le centre de la plaque frontale 65 du manipulateur 20 est alors déplacé à une distance A de la pièce de référence 70 le long d'un axe de coordonnées entre la plaque frontale du manipulateur 20 et la pièce 70. La distance A est déterminée quand une partie suffisante de la pièce de référence 70 est entrée dans la région d'intérêt (ROI) de l'appareil photographique 30. Une partie suffisante de la pièce de référence 70 peut être entrée dans la ROI quand l'image entière de la pièce de référence 70 se trouve dans la ROI, ou quand une partie d'une image de la pièce de référence 70 se trouve dans la ROI. Un exemple de ROI est indiqué à la Figure 1 par les flèches en pointillés. La pièce 70 ou sa partie peut être en outre centrée dans la ROI par un mouvement du manipulateur 20 dans le plan parallèle à la pièce de référence 70. Quand la partie souhaitée de la pièce de référence 70 est suffisamment entrée dans la ROI de l'appareil photographique 30, le contrôleur de manipulateur 40 enregistre la position de la plaque frontale 65 à la distance A pour cette pièce de référence 70. Une image bidimensionnelle peut être acquise par le contrôleur de reconnaissance 50 au moyen de l'appareil photographique 30 pendant que la plaque frontale est positionnée à la distance A . Le contrôleur de reconnaissance 50 peut apprendre la pièce de référence pour reconnaître des pièces similaires à l'avenir. Le contrôleur de reconnaissance 50 peut enregistrer l'image bidimensionnelle avec la distance associée A pour la

pièce de référence 70 dans la base de données du contrôleur de reconnaissance. Il convient de noter que la distance A ne se limite pas à une distance entre la pièce et la plaque frontale le long d'un axe de coordonnées. La distance A peut aussi être la distance entre deux points sur la pièce de référence qui reste la même pour ce type de pièce. La distance correspondante sur l'image correspondante est enregistrée dans le contrôleur de manipulateur 40 et associée à cette pièce de référence. L'apprentissage de la pièce de référence par le contrôleur de reconnaissance 50, l'enregistrement d'une pluralité de pièces de référence apprises, et la reconnaissance des pièces individuelles à partir de la base de données peuvent être effectués au moyen du système et du procédé décrits dans la demande de brevet US No. 12/101,583 de Melikian, déposée le 11 avril 2008 sous l'intitulé SYSTEM AND METHOD FOR VISUAL RECOGNITION (Système et procédé de reconnaissance visuelle). Dans ce système, une image d'un objet est apprise ou reconnue par l'extraction de points uniques invariants des présentations d'objets. Les points uniques sont obtenus par une corrélation croisée de l'image avec une structure. En général, la structure et/ou la dimension de la structure peuvent varier pour détecter les informations d'extremum associées à l'objet appris et/ou à l'objet cible. Une icône correspondant à chacun des points uniques est extraite. La dimension de l'icône correspond à l'échelle du point unique. Après avoir extrait les diverses icônes, un objet devient un assemblage d'icônes. Chacune de ces icônes est non-pivotée et normalisée ou redimensionnée suivant une dimension constante pour permettre sa comparaison à d'autres icônes. L'une des propriétés uniques de ces icônes est leur stabilité d'échelle et d'angle. Ceci permet une reconnaissance très rapide sur une/des image(s) ou sur un/des objet(s) à partir d'un grand nombre d'images ou d'objets appris. Le mode de réalisation du système de guidage et de reconnaissance visuels 10 2934911 -10-

de la Figure 1 peut être utilisé comme suit pendant l'opération. En mode opérationnel, une pièce de production 170 est présentée au manipulateur 20 par transporteur, rack, casier, palette, etc. Une pièce de production 170 peut être présentée au manipulateur de toutes les manières connues dans la technique 5 sans se limiter aux exemples donnés. Dans le contexte de l'invention, une pièce de production désigne toute pièce sur laquelle le manipulateur 20 réalise une fonction pendant l'opération. Le système de guidage et de reconnaissance visuels 10 peut être adapté à des installations et opérations individuelles suivant les souhaits ou les besoins. Dans 10 certaines opérations, il est envisagé qu'un manipulateur particulier soit attribué à un type particulier de pièce. Dans d'autres situations, la gamme complète des fonctionnalités du système 10 peut être employée ; un manipulateur 20 réalisera ainsi des fonctions sur diverses pièces dans un ordre non spécifié. Ces deux situations sont décrites ci-après. 15 Quand le type de pièce de production est connu du système 10, celui-ci peut déterminer la position de la pièce par rapport au manipulateur 20 quand la pièce est présentée dans l'opération. Le système 10 ajuste le manipulateur 20 en rapport avec la pièce de production 170 pour que la fonction soit réalisée avec précision par le manipulateur 20 sur la pièce 170. 20 Dans le cadre de l'opération, le manipulateur aura une position repos . Cette position repos peut être celle de la plaque frontale 65 à la distance A associée au type de pièce de l'opération. La position repos ne se limite toutefois pas à cette position et peut être n'importe quelle position souhaitée ou requise par l'opération. Un minimum d'étapes de programmation peut toutefois 25 être réalisé si la position repos correspond à celle de la plaque frontale 65 à la distance A associée au type de pièce de l'opération. Quand la pièce de production 170 est positionnée opérationnellement en fonction du manipulateur 20 à sa position repos , une image bidimensionnelle de la pièce de production 170 est acquise par le contrôleur de reconnaissance 50 au moyen de 2934911 -11 -

l'appareil photographique 30. L'image bidimensionnelle acquise par le contrôleur de reconnaissance 50 de la pièce de production 170 est comparée à l'image bidimensionnelle de la pièce de référence 70 associée qui a été acquise lors du réglage. 5 Pendant la comparaison, le contrôleur de reconnaissance 50 calcule un décalage entre les deux images et envoie un signal au contrôleur de manipulateur 40 pour qu'il déplace le manipulateur afin de faire passer le décalage en dessous d'une valeur seuil acceptable. La quantité de translation, rotation et mise à l'échelle nécessaire pour transformer l'image de la pièce de 1 o production est calculée de telle sorte que l'icône correspondant à chacun des points uniques de la pièce de production chevauche l'icône correspondant à chacun des points uniques de la pièce de référence. Le manipulateur 20 est déplacé sur la base de ces calculs. Le décalage peut être recalculé autant de fois qu'il le faut jusqu'à ce que la 15 valeur seuil soit atteinte. La valeur seuil peut varier en fonction de la précision requise pour que le manipulateur réalise sa fonction désignée. Moins on exige de précision, plus la valeur seuil du décalage sera grande. Il est envisagé que certaines fonctions puissent exiger un niveau de précision telle que la valeur seuil soit nulle. Lorsque le décalage arrive en dessous de la valeur seuil, le 20 manipulateur 20 peut continuer à réaliser la fonction sur la pièce de production 170. Quand cette fonction est terminée, la pièce de production 170 avance et une nouvelle pièce de production est présentée. Le contrôleur de manipulateur 40 peut déplacer le manipulateur 20, sur la base du signal émis par le contrôleur de reconnaissance 50, simultanément sur 25 chacun des six degrés de liberté. Une autre option envisage également que le contrôleur de manipulateur 40 puisse déplacer le manipulateur 20 par étapes ù une étape avec un mouvement de trois degrés de liberté et une deuxième étape avec un mouvement de trois degrés de liberté, par exemple. Dans un autre mode de réalisation, le système de guidage et de reconnaissance 2934911 -12-

visuels 10 peut être utilisé pour déterminer quel type de pièce a été présenté puis pour positionner avec précision le manipulateur 20 par rapport à la pièce afin de réaliser la fonction programmée associée à la pièce. Le système 10 est en mesure de reconnaître chaque pièce présentée au manipulateur 20 à 5 condition qu'une pièce de référence associée soit passée par la procédure de réglage. Une base de données contenant toutes les pièces de référence 70 apprises pendant le processus de réglage est enregistrée dans le contrôleur de reconnaissance 50. Pendant l'opération, une pièce de production 170 est présentée au manipulateur 20 à une position repos de la manière décrite 10 précédemment. Une image bidimensionnelle de la pièce de production 170 est acquise par le contrôleur de reconnaissance 50 au moyen de l'appareil photographique 30. Le contrôleur de reconnaissance 50 compare l'image bidimensionnelle de la pièce de production 170 avec la base de données de pièces de référence. Le contrôleur de reconnaissance associe la pièce de 15 production 170 à une pièce de référence dans la base de données par un nombre de points de référence partagé entre les images. Il convient de noter que la distance A associée à chaque pièce de référence est étroitement associée à la dimension de la pièce. Sur une chaîne opérationnelle type, il est probable que les types de pièces auront des 20 dimensions similaires. Ceci peut être attribué à de nombreux facteurs différents tels que des opérations en aval comme la palettisation, le chargement, etc. Dans cette situation, la position repos du manipulateur 20 ne variera pas sensiblement d'un type de pièce à un autre. Une position repos suffira pour reconnaître les diverses pièces car une proportion suffisante de l'image sera 25 acquise pour faire une comparaison. Autrement dit, il n'est pas critique que l'image de pièce de production soit acquise avec la même ROI que l'image de la pièce de référence. La reconnaissance sera tout de même possible en raison du nombre suffisant de points de données d'image partagés. Toutefois, il peut être envisagé que, dans certaines circonstances, d'importants changements de 2934911 -13-

dimension des pièces puissent s'avérer souhaitables ou nécessaires. Quand une pièce beaucoup plus grande est présentée à un manipulateur à une position repos associée à une pièce beaucoup plus petite, l'image acquise à cette position repos peut être insuffisante pour reconnaître la pièce. À ce stade, le 5 contrôleur de reconnaissance 50 enverra un signal au contrôleur de manipulateur 40 pour qu'il ajuste la distance A entre la plaque frontale et la pièce afin d'acquérir une image bidimensionnelle suffisante de la pièce de sorte qu'un nombre suffisant de points de données soient une position identifiée de la plaque frontale 65 à la distance A associée au type de pièce de l'opération 10 afin de reconnaître la pièce. Lorsque la pièce de production 170 est reconnue, le contrôleur de reconnaissance 50 a une image de la pièce de référence 70 associée à l'image qui vient d'être prise de la pièce de production 170. Le contrôleur de reconnaissance 50 détermine alors la position de la pièce de production 170 et 15 ajuste le manipulateur 20 par rapport à la position sur la base de l'image de la pièce de référence ainsi qu'indiqué précédemment. Un décalage entre les points de données d'image est calculé s'il y a lieu. Le décalage peut porter sur un axe ou sur plusieurs des six axes de mouvement. Le contrôleur de reconnaissance 50 envoie un signal au contrôleur de manipulateur 40 pour qu'il ajuste la position 20 du manipulateur afin de réduire ou d'éliminer le décalage. Cette étape peut être répétée le nombre de fois nécessaire pour que le décalage passe en dessous de la valeur seuil. Quand le décalage est nul ou inférieur au décalage seuil prédéterminé, le manipulateur 20 est positionné avec précision pour réaliser sa fonction sur la pièce de production 170. 25 Dans ce mode de réalisation, le système de guidage et de reconnaissance visuels 10 remplit des fonctions presque humaines. Une fois que le réglage aura été réalisé pour une pièce, le système pourra désormais la reconnaître à tout moment. Le système n'a absolument jamais besoin d'être étalonné. Les pièces peuvent changer en temps réel sur une chaîne de production sans aucun temps 2934911 -14-

d'arrêt pour la reprogrammation ou le réétalonnage. N'importe quelle pièce parmi une gamme de pièces peut être positionnée au poste du manipulateur et reconnue par le système de guidage et de reconnaissance visuels, le manipulateur étant positionné pour réaliser avec précision une fonction sur la 5 pièce en quelques secondes. Il convient de noter que l'appareil photographique 30 peut envoyer des images individuelles au contrôleur de reconnaissance 50 pendant l'alignement, le décalage étant calculé pour chaque image ; sinon l'image peut être transmise en flux continu au contrôleur de reconnaissance, le décalage étant alors 10 recalculé en continu jusqu'à ce que le décalage soit inférieur à la valeur seuil. L'invention décrit aussi les procédés de reconnaissance et de guidage visuels pour une pièce. La Figure 2 est un organigramme qui décrit un mode de réalisation d'un procédé de la présente invention où l'apprentissage des pièces de référence est illustré. Le procédé de guidage et de reconnaissance visuels 15 d'une pièce met tout d'abord en jeu le positionnement d'une pièce de référence (Si). La position de la pièce de référence peut simuler la position opérationnelle d'une pièce de production par rapport au robot. Une position de travail du robot au niveau de la pièce de référence est ensuite enregistrée dans un contrôleur de manipulateur (S2). À cette étape, le 20 manipulateur est déplacé physiquement vers la pièce de référence jusqu'au point où le manipulateur effectuera sa fonction. Le manipulateur est alors déplacé le long d'un axe de coordonnées entre le manipulateur et la pièce de référence sur une distance A , au moins une partie de la pièce de référence se trouvant dans une région d'intérêt (ROI) de l'appareil photographique (S3). 25 Ainsi qu'indiqué précédemment, la pièce entière, ou seulement une partie de celle-ci, peut se trouver dans la ROI de l'appareil photographique. Il faut qu'une proportion suffisante de la pièce soit dans la ROI pour différencier la pièce des autres. La position de la plaque frontale du manipulateur à la distance A est enregistrée dans le contrôleur de manipulateur (S4). Une image de la pièce de 2934911 -15-

référence est acquise par le contrôleur de reconnaissance au moyen de l'appareil photographique (S5). L'image bidimensionnelle est enregistrée en association à la distance A pour la pièce de référence (S6) et, sur la base de ces données, le contrôleur de reconnaissance apprend la pièce de référence 5 (S7). Le procédé peut également mettre en jeu un centrage de la pièce de référence ou d'une partie de la pièce de référence dans la ROI par un déplacement du manipulateur le long d'axes parallèles à la pièce avant d'acquérir l'image au moyen de l'appareil photographique. 1 o Ce procédé peut être effectué pour une pièce de référence ou pour une pluralité de pièces de référence. L'image bidimensionnelle et la distance A associée à chaque pièce de référence peuvent être enregistrées dans une base de données présente dans le contrôleur de reconnaissance. Un autre mode de réalisation du procédé de guidage et de reconnaissance 15 visuels d'une pièce met en jeu un procédé utilisé pendant l'opération telle que la fabrication, la production ou l'assemblage, et il est décrit dans l'organigramme de la Figure 3. Ce mode de réalisation consiste premièrement à présenter une pièce de production (S10). Suivant les exigences d'un système opérationnel particulier, il peut s'avérer nécessaire de déterminer la position de la pièce ou 20 bien de reconnaître une pièce et aussi de déterminer la position d'une pièce (S12). Si le manipulateur est uniquement associé à une fonction sur un type de pièce, la reconnaissance n'est pas nécessaire et la position de la pièce peut être déterminée premièrement par l'acquisition d'une image d'au moins une partie de la pièce de production par le contrôleur de reconnaissance au moyen de 25 l'appareil photographique (S20). Si le manipulateur est associé à plusieurs types de pièces, une reconnaissance sera nécessaire. Le contrôleur de reconnaissance acquiert une image d'au moins une partie de la pièce de production (S14). Le contrôleur de reconnaissance compare l'image bidimensionnelle de la pièce 2934911 -16-

de production avec la base de données d'images de pièces de référence. Une correspondance indique que le contrôleur de reconnaissance a reconnu le type de pièce (S16) et qu'il peut déterminer correctement la position pertinente requise pour le manipulateur et la pièce de production afin que le manipulateur 5 puisse réaliser sa fonction avec précision. Si, pour une raison quelconque, le manipulateur se trouve à une distance de la pièce de production où l'image ne contient pas assez de points de données pour la reconnaissance, le contrôleur de reconnaissance envoie un signal au contrôleur de manipulateur pour qu'il déplace le manipulateur le long d'un axe de coordonnées à partir de la pièce de 10 production (S18) et acquière une nouvelle image jusqu'à ce que celle-ci suffise pour la reconnaissance. Quand la pièce est reconnue à partir de l'image, le contrôleur de reconnaissance calcule les décalages de données de dimensions entre l'image de la pièce de production et celle de la pièce de référence (S22). Le contrôleur de reconnaissance envoie un signal au contrôleur de manipulateur 15 pour qu'il déplace le manipulateur sur un ou plusieurs parmi six degrés de déplacement, dx, dy, dz, rx, ry, rz pour éliminer le décalage ou le réduire à un niveau inférieur à une valeur seuil donnée (S24). Si cette valeur seuil est atteinte, le manipulateur est positionné par rapport à la pièce de production pour réaliser sa fonction avec précision sur la pièce (S26). Si la valeur seuil n'est pas 20 atteinte, le décalage est recalculé et le manipulateur est déplacé jusqu'à ce que le décalage soit nul ou inférieur à la valeur seuil. L'utilisation du système et des procédés de guidage et de reconnaissance visuels ci-décrits ne prend que quelques minutes et peut être faite par un seul opérateur non qualifié. L'étape du réglage peut être faite à tout moment 25 lorsqu'une nouvelle pièce doit être présentée dans le système. Pendant l'opération, les types de pièces peuvent changer continuellement, si cela est souhaitable ou nécessaire, car le système de reconnaissance visuelle peut reconnaître différentes pièces en temps réel pendant la marche. L'amélioration sensible d'efficacité se traduit par une amélioration de productivité et de 2934911 -17-

rentabilité. Il est envisagé d'utiliser le système et les procédés ci-décrits dans n'importe quelle combinaison ci-décrite pour optimiser les processus suivant les souhaits ou les besoins. Bien que la présente invention ait été décrite en rapport avec ce qui est 5 considéré actuellement comme le mode de réalisation préféré et le plus pratique, il est entendu que l'invention ne doit pas se limiter aux modes de réalisation décrits mais, au contraire, qu'elle a pour but de couvrir divers agencements et modifications équivalents inclus dans l'esprit et le champ d'application des revendications ci-jointes, l'interprétation la plus large devant 10 être attribuée audit champ d'application afin d'englober toutes les modifications et structures équivalentes permises par la loi.

Claims

REVENDICATIONS1. Système de guidage et de reconnaissance visuels (10) servant à reconnaître des pièces et à guider un manipulateur asservi (20) sans cible d'étalonnage, ledit système comprenant : un manipulateur asservi (20) configuré pour réaliser une fonction ; un appareil photographique (30) monté sur, ou en relation fixe avec, une plaque frontale (65) du manipulateur (20) ; un système de reconnaissance configuré pour acquérir une image bidimensionnelle au moyen de l'appareil photographique (30) d'au moins une partie d'au moins une pièce de référence (70) et ; un contrôleur de manipulateur (40) configuré pour recevoir et enregistrer une position de la plaque frontale (65) à une distance A entre la pièce de référence (70) et le manipulateur (20) le long d'un axe de coordonnées de la pièce de référence (70) quand l'image de la pièce de référence (70) est acquise ; caractérisé en ce que le système de reconnaissance est configuré en outre pour apprendre la pièce de référence (70) sur la base de l'image bidimensionnelle et de la distance A associée à la pièce de référence (70).
2. Système de guidage et de reconnaissance visuels (10) selon la revendication 1, caractérisé en ce que le système de reconnaissance est configuré en outre pour centrer la partie de la pièce de référence (70) dans une région d'intérêt en déplaçant le manipulateur asservi (20) le long d'un axe de coordonnées parallèle à la pièce de référence (70) avant d'acquérir l'image bidimensionnelle.
3. Système de guidage et de reconnaissance visuels (10) selon la revendication 1, caractérisé en ce que lors de son usage dans le cadre 2934911 -19- d'une opération, une pièce de production (170) est présentée au manipulateur asservi (20), et caractérisé en ce que le contrôleur de reconnaissance (50) est en outre configuré pour acquérir une image bidimensionnelle au moyen de 5 l'appareil photographique (30) d'au moins une partie d'une pièce de production (170), et pour envoyer au contrôleur de manipulateur (40) un signal pour qu'il déplace le manipulateur (20) suivant un déplacement dx, dy, dz, rx, ry, rz basé sur des décalages de données de dimensions entre les images bidimensionnelles de la pièce de référence (70) reconnue et de la pièce de 10 production (170).
4. Système de guidage et de reconnaissance visuels (10) selon la revendication 3, caractérisé en ce que le contrôleur de reconnaissance (50) est en outre configuré pour répéter le calcul des décalages de données de 15 dimensions jusqu'à ce qu'une valeur seuil de décalage soit atteinte.
5. Système de guidage et de reconnaissance visuels (10) selon la revendication 3, caractérisé en ce que le manipulateur (20) est configuré pour déplacer dx, dy, dz, rx, ry, rz autour d'un centre de rotation situé 20 soit sur la plaque frontale (65) soit sur l'axe de coordonnées.
6. Système de guidage et de reconnaissance visuels (10) selon la revendication 3, caractérisé en ce que lorsque le contrôleur de reconnaissance (50) envoie un signal au contrôleur de manipulateur (40) pour 25 qu'il déplace le manipulateur (20), le manipulateur (20) se déplace en deux étapes, la première étape suivant un déplacement dx, dy, dz, et la deuxième étape suivant un déplacement rx, ry, rz basé sur les décalages de données de dimensions entre les images bidimensionnelles de la pièce de référence (70) reconnue et de la pièce de production (170). 2934911 - 20 -
7. Système de guidage et de reconnaissance visuels (10) selon la revendication 1 caractérisé en ce que le contrôleur de reconnaissance (50) est en outre configuré pour apprendre et enregistrer dans une base de 5 données un grand nombre de pièces de référence différentes chacune avec une image bidimensionnelle et une distance A associées.
8. Système de guidage et de reconnaissance visuels (10) selon la revendication 7 caractérisé en ce que lorsqu'une pièce de production 10 (170) est présentée au manipulateur asservi (20), le contrôleur de reconnaissance (50) est configuré en outre pour acquérir une image bidimensionnelle au moyen de l'appareil photographique (30) d'au moins une partie d'une pièce de production (170), et pour reconnaître la pièce de production (170) comme faisant partie du grand nombre de pièces de référence 15 différentes présentes dans la base de données.
9. Système de guidage et de reconnaissance visuels (10) selon la revendication 8, caractérisé en ce que si la pièce de production (170) n'est pas reconnue, le contrôleur de manipulateur (40) déplace le manipulateur 20 (20) le long de l'axe de coordonnées jusqu'à ce que la distance A soit telle que le contrôleur de reconnaissance (50) reconnaisse la pièce de production (170).
10. Système de guidage et de reconnaissance visuels (10) 25 selon revendication 8 , caractérisé en ce qu'une fois que la pièce de production (170) est reconnue, le contrôleur de reconnaissance (50) est en outre configuré pour utiliser l'image bidimensionnelle existante de la pièce de production (170) et pour envoyer au contrôleur de manipulateur (40) un signal pour qu'il déplace le manipulateur (20) suivant un déplacement dx, dy, dz, rx, ry, rz basé sur des 2934911 - 21 - décalages de données de dimensions entre les images bidimensionnelles de la pièce de référence (70) reconnue et de la pièce de production (170).
11. Système de guidage et de reconnaissance visuels (10) 5 selon la revendication 10, caractérisé en ce que le contrôleur de reconnaissance (50) est configuré en outre pour répéter le calcul des décalages de données de dimensions jusqu'à ce qu'une valeur seuil de décalage soit atteinte.
12. Système de guidage et de reconnaissance visuels (10) 10 servant à reconnaître des pièces et à guider un manipulateur asservi (20) sans cible d'étalonnage, comprenant : un contrôleur de reconnaissance (50) comprenant une base de données contenant au moins une pièce de référence (70) ; un manipulateur asservi (20) configuré pour réaliser une fonction ; 15 un appareil photographique (30) monté sur, ou en relation fixe avec, une plaque frontale (65) du manipulateur (20) ; et un contrôleur de manipulateur (40) configuré pour commander le mouvement du manipulateur asservi (20), caractérisé en ce que le système de reconnaissance est configuré pour : 20 acquérir une image bidimensionnelle au moyen de l'appareil photographique (30) d'au moins une partie d'une pièce de production (170), mettre en correspondance l'image de la pièce de production (170) avec la pièce de référence (70) dans la base de données, calculer un décalage de données de dimensions entre l'image de la pièce de production (170) et une image associée 25 à la pièce de référence (70), et envoyer un signal au contrôleur de manipulateur (40) pour qu'il déplace le manipulateur (20) afin de réduire le décalage jusqu'à ce qu'il soit inférieur à une valeur seuil.
13. Procédé de guidage et de reconnaissance visuels d'une 2934911 - 22 - pièce n'exigeant aucun étalonnage, utilisant un appareil photographique (30) et un manipulateur asservi (20), caractérisé en ce qu'il comporte des étapes de : ^ positionnement (Si) d'une pièce de référence (70) ; ^ enregistrement (S2) d'une position de travail du manipulateur (20) au niveau 5 de la pièce de référence (70) dans un contrôleur de manipulateur (40) ; ^ déplacement (S3) du manipulateur (20) le long d'un axe de coordonnées de la pièce de référence (70) à une distance A , au moins une partie de la pièce de référence (70) se trouvant dans une région d'intérêt de l'appareil photographique (30) ; 10 ^ enregistrement (S4) de la position d'une plaque frontale (65) du manipulateur (20) à la distance A dans le contrôleur de manipulateur (40) ; ^ acquisition (S5) d'une image bidimensionnelle avec un contrôleur de reconnaissance (50) au moyen de l'appareil photographique (30) d'au moins une partie d'au moins une pièce de référence (70) ; et 15 ^ apprentissage la pièce de référence (70) avec le contrôleur de reconnaissance (50) sur la base de l'image bidimensionnelle et de la distance A associée à la pièce de référence (70).
14. Procédé selon la revendication 13 caractérisé en ce qu'il comporte 20 en outre une étape de centrage de la partie de la pièce de référence (70) dans la région d'intérêt en déplaçant le manipulateur asservi (20) le long d'un axe de coordonnées parallèle à la pièce de référence (70) avant d'acquérir l'image bidimensionnelle. 25
15. Procédé selon la revendication 13 caractérisé en ce qu'il comporte en outre des étapes de : • présentation (S10) d'une pièce de production (170) ; • acquisition (S14) d'une image bidimensionnelle avec le contrôleur de 2934911 - 23 - reconnaissance (50) au moyen de l'appareil photographique (30) d'au moins une partie de la pièce de production (170) ; • calcul (S22) avec le contrôleur de reconnaissance (50) des décalages de données de dimensions entre les images bidimensionnelles de la pièce de 5 référence (70) reconnue et de la pièce de production (170) ; • envoie d'un signal (S24) au contrôleur de manipulateur (40) avec le contrôleur de reconnaissance (50) pour qu'il déplace le manipulateur (20) suivant un déplacement dx, dy, dz, rx, ry, rz basé sur les décalages de données de dimensions. 10
16. Procédé selon la revendication 15, caractérisé en ce qu'il comporte en outre une répétition du calcul des décalages de données de dimensions et de l'envoi au contrôleur de manipulateur (40) d'un signal jusqu'à ce qu'une valeur seuil de décalage soit atteinte. 15
17. Procédé selon la revendication 13 caratérisé en ce qu'il comporte en outre des étapes de : • répétition du procédé pour chaque pièce d'une pluralité de pièces de référence et ; 20 • création d'une base de données dans le contrôleur de reconnaissance (50) avec chaque image bidimensionnelle et une distance A associée à chaque pièce parmi la pluralité de pièces de référence différentes.
18. Procédé de la revendication 17 comporte en outre des 25 étapes de : • présentation (S10) d'une pièce de production (170) ; • acquisition (S14) d'une image bidimensionnelle avec le contrôleur de reconnaissance (50) au moyen de l'appareil photographique (30) d'au 2934911 - 24 - moins une partie de la pièce de production (170) ; • comparaison de l'image bidimensionnelle de la pièce de production (170) avec la base de données de pièces de référence ; • reconnaissance (S16) de la pièce de production (170) à partir d'une 5 pièce de référence (70) dans la base de données ; • calcul (S22) avec le contrôleur de reconnaissance (50) des décalages de données de dimensions entre les images bidimensionnelles de la pièce de référence (70) reconnue et de la pièce de production (170) ; • envoie d'un signal (S18) au contrôleur de manipulateur (40) avec le 10 contrôleur de reconnaissance (50) pour qu'il déplace le manipulateur (20) suivant un déplacement dx, dy, dz, rx, ry, rz basé sur les décalages de données de dimensions.
19. Procédé selon la revendication 18 caractérisé en ce que si 15 la pièce de production (170) n'est pas reconnue, déplacer le manipulateur (20) avec le contrôleur de manipulateur (40) le long de l'axe de coordonnées pour changer la distance A de telle sorte que la pièce de référence (70) de la base de données soit reconnue.
20. Procédé selon la revendication 18 caractérisé en ce qu'il comporte en outre une répétition du calcul des décalages de données de dimensions et d'envoi d'un signal au contrôleur de manipulateur (40) jusqu'à ce qu'une valeur seuilo de décalage soit atteinte.
21. Procédé selon la revendication 18 caractérisé en ce que, lorsque le contrôleur de reconnaissance (50) envoie un signal au contrôleur de manipulateur (40) pour qu'il déplace le manipulateur (20), le manipulateur (20) se déplace en deux étapes, la première étape suivant un déplacement dx, dy, 20 25 2934911 - 25 - dz, et la deuxième étape suivant un déplacement rx, ry, rz basé sur des décalages de données de dimensions entre les images bidimensionnelles de la pièce de référence (70) reconnue et de la pièce de production (170).