FR2681162A1 - Procede et dispositif d'aide a la commande a distance d'engins robotises lors d'un processus de teleoperation effectue en environnement hostile. - Google Patents

Procede et dispositif d'aide a la commande a distance d'engins robotises lors d'un processus de teleoperation effectue en environnement hostile. Download PDF

Info

Publication number
FR2681162A1
FR2681162A1 FR9111160A FR9111160A FR2681162A1 FR 2681162 A1 FR2681162 A1 FR 2681162A1 FR 9111160 A FR9111160 A FR 9111160A FR 9111160 A FR9111160 A FR 9111160A FR 2681162 A1 FR2681162 A1 FR 2681162A1
Authority
FR
France
Prior art keywords
image
vision
environment
control
graphics card
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR9111160A
Other languages
English (en)
Other versions
FR2681162B1 (fr
Inventor
Chavand Florent
Mallem Malik
Colle Etienne
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universite Paris Est Creteil Paris 12
Original Assignee
Universite Paris Est Creteil Paris 12
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universite Paris Est Creteil Paris 12 filed Critical Universite Paris Est Creteil Paris 12
Priority to FR9111160A priority Critical patent/FR2681162B1/fr
Publication of FR2681162A1 publication Critical patent/FR2681162A1/fr
Application granted granted Critical
Publication of FR2681162B1 publication Critical patent/FR2681162B1/fr
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

Le procédé d'aide à la commande à distance d'engins robotisés dont l'évolution dans un environnement comportant au moins un objet inconnu s'effectue sous le contrôle d'un moyen de vision, comporte les étapes suivantes: a ) calibrage du moyen par détermination de se position et de son orientation par rapport à un référentiel lié à l'environnement dans lequel évolue l'engin robotisé, b) détermination dans ce même référentiel des coordonnées de l'objet par désignation, sur l'image de cet objet obtenue par le moyen de vision, d'au moins 3 points distincts de cet objet, la détermination des coordonnées de ces points étant effectuée par télémétrie, c) affectation à cet objet d'un potentiel déterminé attractif ou répulsif, d) commande de l'engin motorisé en correspondance avec ce potentiel affecté à l'objet afin d'obtenir respectivement son saisissement ou son évitement. L'invention concerne également le dispositif pour la mise en œuvre de ce procédé.

Description

Procédé et dispositif d'aide à la commande à distance d'engins robotisés lors d'un processus de téléopération effectué en
environnement hostile
La présente invention concerne un procédé d'aide à la commande à distance d'engins robotisés dans un environnement inconnu ou hostile lors d'un processus de téléopération. Elle concerne également un dispositif pour la mise en oeuvre de ce procédé
La téléopération est le contrôle et la commande à distance par un opérateur humain d'un bras manipulateur, d'une base mobile ou de tout autre dispositif motorisé et articulé. Utilisée quand une automatisation complète d'un processus de fabrication n'est pas possible, elle présente surtout de l'intérêt en milieux hostiles ou inaccessibles où l'intervention humaine permet alors, malgré tout, de prendre les décisions nécessaires à la commande de tels engins robotisés.
Toutefois, un des principaux problèmes qui se pose alors à l'opérateur est celui de pouvoir discerner ltenvironnement, la scène, sur laquelle évolue le dispositif motorisé. Dans de nombreuses applications, par exemple dans le domaine nucléaire, cet environnement est parfaitement connu et il est alors simple de contrôler l'évolution du dispositif motorisé même lorsque cet environnement ne peut plus être perçu avec netteté par les différents moyens de vision chargés de son contrôle. Par contre, pour d'autres applications, par exemple dans le domaine des activités sous-marines ou des activités spatiales, le milieu dans lequel évolue le dispositif est souvent inconnu et peut donc recéler quantité d'objets eux aussi inconnus dont il est nécessaire d'effectuer la reconnaissance afin que ceux-ci puissent être connus du dispositif et donc, en devenant un élément connu de son environnement, permettre tout de même une commande du dispositif motorisé quelleque soit la nature de cet environnement.
Un but de l'invention est de réaliser cette reconnaissance par la désignation de ces objets, inconnus de l'opérateur, depuis l'un des moyens de vision servant au contrôle de l'évolution du dispositif motorisé.
Un autre but de l'invention est, cette désignation effectuée, de réaliser la commande du dispositif motorisé quelles que soient les conditions de visualisation de l'environnement de cet objet.
Ces buts sont atteints par la mise en oeuvre d'un procédé d'aide à la commande à distance d'engins robotisés dont l'évolution dans un environnement comportant au moins un objet inconnu s'effectue sous le contrôle d'un moyen de vision, lequel procédé comporte notamment les étapes suivantes
a ) calibrage du moyen par détermination de sa position et de son orientation par rapport à un référentiel lié à l'environnement dans lequel évolue l'engin motorisé,
b) détermination dans ce même référentiel des coordonnées de l'objet par désignation sur l'image de cet objet obtenue par le moyen de vision, d'au moins 3 points distincts de cet objet,
c) affectation à cet objet d'un potentiel déterminé attractif ou répulsif,
d) commande de l'engin motorisé en correspondance avec ce potentiel affecté à l'objet afin d'obtenir respectivement son saisissement ou son évitement.
e) élaboration d'une représentation graphique en trois dimensions de l'engin robotisé et de l'objet précédemment désigné,
f) superposition de cette représentation graphique à l'image issue directement du moyen de vision et comportant notamment l'engin robotisé et l'objet désigné.
g) animation de la représentation graphique de l'engin robotisé en fonction de consignes données par un opérateur ou d'informations reçues de l'objet et de son environnement.
Selon un mode de réalisation, la détermination des coordonnées de différents points de l'objet est effectuée par télémétrie à l'aide d'un télémètre laser.
Selon un autre mode de réalisation, la détermination des coordonnées de différents points de l'objet est effectuée par stéréoscopie à l'aide de deux moyens de vision distincts.
L'invention concerne également un dispositif d'aide à la commande à distance d'engins robotisés dont l'évolution, dans un environnement comportant au moins un objet inconnu, s'effectue sous le contrôle d'un moyen de vision et qui comporte un ensemble de synthèse d'images destiné à élaborer une représentation graphique à 3 dimensions d'une scène comportant au moins l'engin motorisé et l'objet désigné à l'image du moyen de vision et une unité d'incrustation destinée à effectuer la synchronisation et la superposition de cette représentation graphique avec l'image de la scène délivrée directement par le moyen de vision.
L'ensemble de synthèse d'images comporte d'une part deux cartes graphiques qui sauvegardent chacune successivement une représentation graphique de la scène, la sélection de l'une ou l'autre représentation étant commandée par une première unité de traitement reliée à chacune de ces deux cartes graphiques par un premier bus de liaison et d'autre part une seconde unité de traitement reliée par un second bus de liaison à la première unité de traitement.
L'unité d'incrustation comporte d'une part un ensemble de synchronisation de la seconde carte graphique avec la première carte de façon à mettre en phase les signaux de synchronisation composite délivrés par ces deux cartes graphiques et d'autre part un premier multiplexeur qui reçoit d'une part un premier signal vidéo de la première carte graphique et d'autre part un second signal vidéo de la seconde carte graphique et délivre l'un ou l'autre de ces deux signaux, en fonction d'un signal de commande issu de la première unité de traitement, à un second multiplexeur qui reçoit également un signal vidéo en provenance du moyen de vision et délivre à un écran de visualisation graphique selon le niveau du signal vidéo composite de la carte graphique sélectionnée, l'un ou l'autre de ces deux signaux réalisant ainsi leur superposition.
D'autres caractéristiques et avantages ressortiront mieux de la description qui va suivre, faite à titre indicatif et non limitatif, en regard des dessins annexés sur lesquels - la figure 1 montre l'architecture matérielle du dispositif selon l'invention, - la figure 2 représente l'ensemble de synthèse d'images du dispositif selon l'invention, - la figure 3 montre l'ensemble de synchronisation des cartes graphiques de l'ensemble de synthèse d'images, - la figure 4 montre l'ensemble de mixage des signaux vidéo du dispositif selon l'invention, - la figure 5 représente l'architecture logicielle du dispositif selon l'invention.
La figure 1 montre l'architecture générale matérielle du dispositif d'aide à la commande à distance selon l'invention. Cette architecture est organisée autour de deux sites pouvant être séparés l'un de l'autre par une très grande distance. Le premier site ou site objet est celui sur lequel on désire opérer. Il peut être tout à fait quelconque et recéler nombre d'objets dont on ignore la configuration et notamment un objet inconnu 1. Dans ce site se trouve également un dispositif motorisé et articulé 2 dont l'évolution dépendra des différents objets rencontrés. Cette évolution est observée grâce à un moyen de vision, une caméra 3, la position de l'objet étant déterminée par télémétrie grâce à un télémètre laser 4. Sur le second site ou site opérateur se trouve un ensemble de contrôle et de commande 5 manipulé par un opérateur 6. Celui-ci dispose d'un matériel de saisie 7 pour assurer, comme il sera décrit plus avant, la calibration de la caméra et construire l'image d'objets connus et éventuellement d'objets inconnus, d'une poignée de manipulation ou syntaxeur 8 pour commander l'orientation du faisceau du télémètre laser 4 et d'un écran de visualisation graphique 9 pour visualiser l'objet inconnu 1 ainsi que son environnement saisis par la caméra 3.
A l'image de cet objet 1 est superposée, par l'intermédiaire d'une unité d'incrustation 10, une image élaborée dans un ensemble de synthèse d'images 11 depuis à la fois les informations entrées au niveau du matériel de saisie 7 et les informations issues de différents capteurs placés sur le site objet soit au niveau de l'engin motorisé 2, ces capteurs seront alors appelés proprioceptifs, soit au niveau de l'objet lui-même, ils seront alors dits extéroceptifs. Un dispositif de stockage 12 contient sous une forme de données images outre une représentation de l'engin motorisé, les éléments qui peuvent être préalablement connus des différents environnements à explorer.
Les figures 2 à 4 montrent plus en détail la réalisation matérielle de l'ensemble de synthèse d'images 11 et de l'unité d'incrustation 10 qui constituent l'unité de visualisation.
L'ensemble de synthèse 11 est organisé autour de deux cartes graphiques 110 et 111 (voir figure 2) qui peuvent chacune sauvegarder une image synthétique. Ainsi, le passage d'une image synthétique à la suivante s'effectue par sélection successive de ces deux cartes graphiques. Ce dispositif dit à deux pages graphiques évite le clignotement rencontré habituellement dans les systèmes de création graphique à une seule page, l'effacement de l'image précédente se faisant simultanément avec la construction d'une nouvelle image. Le confort visuel de l'opérateur est de ce fait grandement amélioré, de même que la commutation rapide d'une carte à l'autre permet de ne pas attendre la fin d'exécution d'une commande par une carte graphique pour lancer la suivante. En outre, la visualisation étant distincte de la construction de l'image, cette dernière peut être effectuée plus rapidement, améliorant ainsi nettement les performances globales de l'ensemble et notamment autorisant des vitesses de traitement compatibles avec une application temps réel. La commutation des deux cartes graphiques 110 et 111 ainsi que la création des images est effectuée depuis une première unité de traitement 112 reliée par un premier bus 113 à chacune de ces deux cartes.
Dans un premier mode que l'on qualifiera de local ou d'autonome et qui est notamment nécessaire pendant une phase de mise au point, la première unité de traitement est reliée à une première unité de saisie et de visualisation 114 permettant ainsi une création d'image indépendante. Dans un second mode que l'on pourra appelé mode piloté, la première unité de traitement 112 est commandée directement au travers d'un second bus de liaison 116 par une seconde unité de traitement 115 dont la commande sera réalisée depuis le matériel de saisie 7 créant ainsi une véritable architecture multiprocesseur.
Dans un exemple de réalisation, les première et seconde unités de traitement sont respectivement constituées par des unités à microprocesseur du type 68010 et 68030 au standard VME et les cartes graphiques, au standard G64, possèdent chacune un processeur graphique du type EF 9366. Le passage d'un standard à l'autre se fait très simplement par une interface dont la réalisation est à la portée de tout homme de l'art. Dans ce même exemple de réalisation chaque carte graphique peut gérer 3 plans mémoires (R,V,B) et 8 couleurs, la définition d'une image étant de 512 x 256 ou de 512 x 512 pixels en utilisation noir et blanc.
Il est évident que les éléments précédents sont donnés à titre indicatif et qu'ils ne sont aucunement limitatifs.
Les avantages précédemment décrits de cette technique double page ne peuvent exister que si une synchronisation du signal vidéo, tant au niveau ligne qu'au niveau trame, est réalisée au niveau de chaque carte graphique. La figure 3 montre un exemple de réalisation d'une telle synchronisation. Cet ensemble de synchronisation inclu dans l'unité d'incrustation 10 comporte un séparateur 120 qui permet l'extraction des signaux de synchronisation ligne et trame des signaux de vidéo composite 121 et 122 délivrés respectivement par des cartes graphiques 110 et 111. Ce séparateur peut être réalisé simplement par un monostable pour l'extraction de la synchro-ligne et par un filtre passe-bas pour celle de la synchro-trame. Les signaux de synchronisation trame 123 et 124 de chaque carte graphique et le signal de synchronisation ligne 125 de la première carte graphique 110 constituent les entrées d'un dispositif de synchronisation trame 126 et d'un dispositif de synchronisation ligne 127, ce dernier recevant également le signal de vidéo composite 122 de la seconde carte graphique 111. La synchronisation de ces deux cartes graphiques qui consiste à retarder ou avancer l'horloge 128 de la seconde carte graphique 111 afin de mettre en phase le signal de vidéo composite 122 de cette carte avec celui de la première carte graphique 110 est commandée par la sortie du dispositif de synchronisation ligne 127, la sortie du dispositif de synchronisation trame 126 venant au travers d'une porte logique
ET 129 inhiber l'horloge 128 à chaque nouvelle trame. Cette figure montre également les deux sorties vidéos 130 et 131 des cartes graphiques 110 et 111 dont le traitement sera décrit au regard de la figure 4.
Revenons maintenant à la figure 2. L'unité d'incrustation 10 comporte comme il a été vu précédement, un ensemble de synchronisation des cartes graphiques à partir des signaux de vidéo composite 121, 122 de chacune d'elles mais aussi un ensemble de mixage des trois signaux vidéo, le premier signal 130 et le second signal 131, provenant des cartes graphiques 110 et 111 tandis que le troisième signal 132 provient de la caméra 3. En outre, pour permettre un fonctionnement correct de l'ensemble, un signal de synchronisation externe 133 de la caméra est relié à une sortie de synchronisation générale de l'ensemble de synchronisation.
La figure 4 montre plus en détail l'ensemble de mixage des signaux vidéo. Celui ci comporte un premier multiplexeur 135 qui reçoit sur ses deux entrées les signaux vidéo 130 et 131 des cartes graphiques, la sélection de l'un ou l'autre de ces deux signaux étant effectuée par un signal de commande 136 en provenance de la première unité de traitement 112. La sortie de ce premier multiplexeur constitue un signal d'entrée 134 pour un second multiplexeur 137 dont l'autre entrée reçoit le signal vidéo 132 en provenance de la caméra 3. La sélection de l'un ou l'autre de ces deux derniers signaux 132, 134 est effectuée à partir du signal vidéo composite 121 ou 122 de la carte graphique active et sélectionnée. Lorsque le signal vidéo 134 issu du premier multiplexeur 135 est suffisant, il est transmis à l'écran de visualisation graphique, dans le cas contraire, c'est le signal vidéo 132 issu de la caméra qui est transmis à cet écran.
Une autre configuration de l'unité de visualisation est envisageable ; elle consiste à utiliser un dispositif de traitement d'image associé à l'ensemble de synthèse d'images 11. Le dispositif de traitement d'image numérise l'image vidéo issue de la caméra, la superposition des deux images est alors réalisée numériquement directement dans les plans images communs au dispositif de traitement et à l'ensemble de synthèse.
La figure 5 représente l'architecture générale logicielle du dispositif d'aide à la téléopération selon l'invention. Cette architecture est constituée, outre un premier module classique d'initialisation 20 dans lequel est mis à la disposition de l'opérateur un ensemble de menus permettant l'accès aux fonctions du logiciel, de trois principaux modules 21, 22 et 23 et d'un module de visualisation 24. Un premier module 21 effectue la calibration de la caméra 200, c'est-à-dire la détermination de sa situation par rapport à l'environnement, compte tenu de données externes 201 fournies par l'opérateur 6 ou par un dispositif de traitement automatique de l'image puis, lorsque celle-ci est bonne 202, provoque la mise en oeuvre d'un second module 22 qui à partir de ces mêmes données externes 201 et de données internes 211 issues du dispositif de stockage 12, réalise l'acquisition des données images 210. Lorsque cette acquisition est bonne 212, il est procédé à la construction, la modélisation 213, de l'environnement de l'objet, la scène dans laquelle il évolue.
A ce stade, il est possible d'effectuer une première visualisation de l'image de synthèse par appel au module de visualisation 24. La modélisation de la scène ayant été effectuée, il est procédé à l'acquisition et au traitement des informations reçues des différents capteurs 220, qu'il s'agisse de capteurs proprioceptifs 221, liés au robot, ou de capteurs extéroceptifs 222, liés à l'objet à manipuler. L'exploitation de ces informations permet alors ensuite l'animation du modèle graphique (l'image de synthèse) 223, laquelle peut aussi être visualisée par le module de visualisation 24. Il est à noter que cette animation est effectuée en temps réel par opposition aux précédentes qui peuvent s'effectuer indépendamment de l'exécution de la tâche demandée au robot manipulateur 2.
A l'exception des modules d'initialisation ou de visualisation qui ne nécessitent pas de description particulière, étant de conception évidente pour tout homme de l'art, il sera maintenant décrit plus précisément les différentes fonctionnalités des trois autres modules.
La première étape consiste dans le calibrage du moyen de vision, c'est-à-dire de la caméra. Celui-ci, effectué par le module de calibration 21, est nécessaire pour permettre une superposition exacte entre l'image de synthèse qui constitue la représentation graphique de la scène et l'image issue de la caméra. Elle a pour but de déterminer la position et l'orientation de la caméra par rapport à un référentiel lié à cette scène. Cette détermination est effectuée par l'intermédiaire de l'opérateur 6 qui fournit certaines données 201 au module de calibration. Ces données consistent dans les coordonnées de 4 points distincts non alignés et coplanaires situés sur la scène. Ces points désignés à l'écran par l'opérateur, avec un réticule par exemple, possèdent des coordonnées 3D dans le référentiel de la scène qui sont connues, à défaut une mesure par le télémètre 4 pourrait les déterminer ; il est alors simple par une opération matricielle de lier ces coordonnées 3D avec les coordonnées 2D de ces mêmes points définis dans le plan image de la caméra. Il doit être noté que la méthode préconisée est donnée à titre indicatif et qu'il serait en effet également possible de procéder au calibrage précité en désignant 6 points ou plus non coplanaires. De même, l'intervention de l'opérateur peut être évitée par un traitement automatique de l'image.
La seconde étape consiste dans la modélisation géométrique de la scène. Lorsque celle-ci comporte un certain nombre d'objets connus, leur configuration, c'est-à-dire leurs paramètres géométriques et topologiques, est entrée au niveau du matériel de saisie 7 par l'opérateur 6 ou est sélectionnée parmi un ensemble de modèles disponibles sur l'organe de stockage 12 (ce sont les données internes 211). Lorsque les objets sont inconnus c'est, ici encore, l'opérateur 6 qui, en désignant le contour de ces objets, permet leur représentation bidimensionnelle, l'acquisition des coordonnées 3D de ces objets étant obtenue par l'intermédiaire du télémètre.
Pour cela, l'opérateur, grâce au syntaxeur 8, oriente le faisceau laser du télémètre vers les points de l'objet qui l'intéressent et qui apparaissent comme des points brillants au niveau de son écran de visualisation 9. Les coordonnées 3D du point désigné sont alors déduites de l'orientation du faisceau laser par rapport à l'axe optique de la caméra et des coordonnées du point image de l'impact du faisceau laser sur l'objet. Il faut noter qu'il est également possible, en commandant en site et en azimut le télémètre laser, d'effectuer un balayage de la zone, définie par l'opérateur, où est situé l'objet et de permettre alors un relevé automatique des coordonnées 3D de l'objet, en son entier. De même, si l'acquisition des coordonnées 3D de l'objet par télémétrie constitue le moyen le plus simple, il est malgré tout également possible de procéder par stéréoscopie, cette méthode nécessitant alors l'utilisation d'une caméra supplémentaire.
Par ailleurs, il est possible d'utiliser un dispositif commandé en site et azimut, mesurant la distance dispositif-objet par mesure du temps de vol d'une impulsion ou du déphasage d'une onde stationnaire. Les coordonnées du point sont alors obtenues en coordonnées polaires dans le repère du télémètre, elles peuvent être transposées facilement dans le repère de la caméra en coordonnées cartésiennes par exemple.
Dans le cadre de la procédure manuelle, mais cela est aussi possible après le relevé automatique, le logiciel établit alors un modèle graphique de l'objet sous la forme d'un volume englobant élémentaire, comme un cylindre ou un parallélépipède par exemple. Cette représentation surfacique des objets facilite la mise en oeuvre d'algorithmes de suivi de trajectoire très utilisés dans les applications robotiques notamment. En outre, il est possible d'assembler ces différents volumes élémentaires pour aboutir à des formes plus complexes selon les besoins de l'opérateur mais alors au détriment de l'animation.
En fonction de la tâche à exécuter par l'engin robotisé, l'opérateur affecte alors à l'objet précédemment désigné un potentiel attractif (objet à saisir) ou répulsif (objet à éviter) ainsi éventuellement qu'un coût dans le cas d'une planification de trajectoire par l'intermédiaire de la théorie des graphes.
La troisième et dernière étape, réalisée au niveau du module d'animation 23, consiste dans l'animation de l'image de synthèse grâce aux informations issues des différents capteurs de la scène mais grâce également aux consignes que l'opérateur envoie à l'engin motorisé notamment à chacune de ses articulations.
La structure particulière multiprocesseur du dispositif selon l'invention permet de réaliser une animation temps réel dont l'actualisation est réalisée au rythme de 5 à 8 images par seconde. Les données 3D sont ensuite mises en correspondance avec l'image caméra par projection dans le plan d'affichage. Il est ainsi possible lorsque cette image caméra est très dégradée ou que les communications entre la caméra 3 et l'ensemble de contrôle et de commande 5 sont mauvaises voire intermittantes, de poursuivre la tâche en cours et donc de commander tout de même l'engin motorisé et articulé 2.
La réalisation en totalité des étapes définies précédemment n'est pas obligatoire pour toutes les applications et n'est justifiée en fait que dans le cas d'une commande de l'engin robotisé avec une représentation graphique complète c'est-à-dire présentant une animation de l'image de synthèse. Au contraire, dans d'autres cas, certaines des fonctionnalités précédentes peuvent être omises. Il peut par exemple être fait abstraction de l'animation de l'image de synthèse, l'engin motorisé étant commandé après la simple observation de la superposition image de synthèse-image caméra. De façon plus simple encore, il est possible d'envisager une commande de l'engin sans visualisation graphique, les objets de la scène interférant avec la tâche à réaliser étant modélisés et emmagasinés dans l'organe de stockage puis dotés de propriétés (évitement ou saisie par exemple). La simple désignation de l'objet concerné suffit alors pour permettre une commande automatique de l'engin manipulateur.

Claims (15)

REVENDICATIONS
1. Procédé d'aide à la commande à distance d'engins robotisés dont l'évolution dans un environnement comportant au moins un objet inconnu s'effectue sous le contrôle d'un moyen de vision, caractérisé en ce qu'il comporte les étapes suivantes
a ) calibrage du moyen par détermination de sa position et de son orientation par rapport à un référentiel lié à l'environnement dans lequel évolue l'engin robotisé,
b) détermination dans ce même référentiel des coordonnées de l'objet par désignation,sur sur l'image de cet objet obtenue par le moyen de vision, d'au moins 3 points distincts de cet objet,
c) affectation à cet objet d'un potentiel déterminé attractif ou répulsif,
d) commande de l'engin motorisé en correspondance avec ce potentiel affecté à l'objet afin d'obtenir respectivement son saisissement ou son évitement.
2. Procédé selon la revendication 1, caractérisé en ce qu'il comporte en outre les étapes suivantes
e) élaboration d'une représentation graphique en trois dimensions de l'engin robotisé et de l'objet précédemment désigné,
f) superposition de cette représentation graphique à l'image issue directement du moyen de vision et comportant notamment l'engin robotisé et l'objet désigné.
3. Procédé selon la revendication 1 ou la revendication 2, caractérisé en ce qu'il comporte en outre l'étape suivante
g) animation de la représentation graphique de l'engin robotisé en fonction de consignes données par un opérateur ou d'informations reçues de l'objet et de son environnement.
4. Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en ce que la détermination des coordonnées de différents points de l'objet est effectuée par télémétrie à l'aide d'un télémètre laser.
5. Procédé selon la revendication 4, caractérisé en ce que les différents points sont choisis en commandant l'orientation du faisceau laser du télémètre sur l'objet, le moyen de vision permettant de contrôler cette orientation.
6. Procédé selon la revendication 4, caractérisé en ce que les différents points sont relevés automatiquement par balayage d'une zone de l'image du moyen de vision définie au préalable par l'opérateur.
7. Procédé selon l'une quelconque des revendications 1 à 3 caractérisé en ce que la détermination des coordonnées de différents points de l'objet est effectuée par stéréoscopie à l'aide de deux moyens de vision distincts.
8. Dispositif d'aide à la commande à distance d'engins robotisés dont l'évolution dans un environnement comportant au moins un objet inconnu s'effectue sous le contrôle d'un moyen de vision, caractérisé en ce qu'il comporte un ensemble de synthèse d'images (11) destiné à élaborer une représentation graphique à 3 dimensions d'une scène comportant au moins l'engin motorisé (2) et l'objet (1) désigné à l'image du moyen de vision (3) et une unité d'incrustation (10) destinée à effectuer la synchronisation et la superposition de cette représentation graphique avec l'image de la scène délivrée directement par le moyen de vision (3).
9. Dispositif selon la revendication 8, caractérisé en ce que l'ensemble de synthèse d'images (11) comporte deux cartes graphiques (110 ; 111) qui sauvegardent chacune successivement une représentation graphique de la scène, la sélection de l'une ou l'autre représentation étant commandée par une première unité de traitement (112) reliée à chacune de ces deux cartes graphiques par un premier bus de liaison (113).
10. Dispositif selon la revendication 8 ou la revendication 9, caractérisé en ce que l'unité d'incrustation (10) réalise la synchronisation de la seconde carte graphique (111) avec la première carte graphique (110) de façon à mettre en phase les signaux de vidéo composites (121,122) délivrés par ces deux cartes graphiques.
11. Dispositif selon la revendication 10, caractérisé en ce que cette synchronisation consiste à retarder ou à avancer l'horloge (128) de la seconde carte graphique (121).
12. Dispositif selon la revendication 8 ou la revendication 9, caractérisé en ce que l'unité d'incrustation (10) comporte un premier multiplexeur (135) qui reçoit d'une part un premier signal vidéo (130) de la première carte graphique (110) et d'autre part un second signal vidéo (131) de la seconde carte graphique (111) et délivre l'un ou l'autre de ces deux signaux, en fonction d'un signal de commande (136) issu de la première unité de traitement (112), à un second multiplexeur (137) qui reçoit un troisième signal vidéo (132) en provenance du moyen de vision (3) et délivre à un écran de visualisation graphique (9) selon le niveau du signal vidéo composite (121,122) de la carte graphique sélectionnée, l'un ou l'autre de ces deux signaux réalisant ainsi leur superposition.
13. Dispositif selon la revendication 12, caractérisée en ce que le moyen de vision (3) comporte une entrée de synchronisation externe (133) reliée à un signal de synchronisation délivré par l'unité d'incrustation (10).
14. Dispositif selon la revendication 8 ou la revendication 9, caractérisé en ce que l'unité d'incrustation 10 comporte un dispositif de traitement numérique de l'image vidéo, associé au dispositif de synthèse d'images (11), l'incrustation des deux images étant réalisée directement dans les plans images communs aux deux dispositifs.
15. Dispositif selon l'une quelconque des revendications 9 à 14, caractérisé en ce que l'ensemble de synthèse d'images (11) comporte en outre une seconde unité de traitement (115) reliée par un second bus de liaison (116) à la première unité de traitement (112).
FR9111160A 1991-09-10 1991-09-10 Procede et dispositif d'aide a la commande a distance d'engins robotises lors d'un processus de teleoperation effectue en environnement hostile. Expired - Fee Related FR2681162B1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR9111160A FR2681162B1 (fr) 1991-09-10 1991-09-10 Procede et dispositif d'aide a la commande a distance d'engins robotises lors d'un processus de teleoperation effectue en environnement hostile.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR9111160A FR2681162B1 (fr) 1991-09-10 1991-09-10 Procede et dispositif d'aide a la commande a distance d'engins robotises lors d'un processus de teleoperation effectue en environnement hostile.

Publications (2)

Publication Number Publication Date
FR2681162A1 true FR2681162A1 (fr) 1993-03-12
FR2681162B1 FR2681162B1 (fr) 1995-03-17

Family

ID=9416797

Family Applications (1)

Application Number Title Priority Date Filing Date
FR9111160A Expired - Fee Related FR2681162B1 (fr) 1991-09-10 1991-09-10 Procede et dispositif d'aide a la commande a distance d'engins robotises lors d'un processus de teleoperation effectue en environnement hostile.

Country Status (1)

Country Link
FR (1) FR2681162B1 (fr)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0674977A1 (fr) * 1994-03-29 1995-10-04 General Electric Company Système de maintenance
EP0674974A1 (fr) * 1994-03-29 1995-10-04 General Electric Company Système de maintenance
EP0674976A1 (fr) * 1994-03-29 1995-10-04 General Electric Company Sytème de maintenance
EP0674975A1 (fr) * 1994-03-29 1995-10-04 General Electric Company Système de maintenance
FR2722443A1 (fr) * 1994-07-13 1996-01-19 Centre Ind Dispositif de traitement de surface

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110480657A (zh) * 2019-08-13 2019-11-22 北京控制工程研究所 一种复杂结构环境空间机器人天地遥操作系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2349184A1 (fr) * 1976-04-23 1977-11-18 Materiel Telephonique Systeme de simulation de scenes animees
EP0263952A2 (fr) * 1986-10-15 1988-04-20 Mercedes-Benz Ag Robot avec des parties de manipulation mobiles
JPH0269615A (ja) * 1988-09-05 1990-03-08 Kobe Steel Ltd 立体画像装置
EP0411498A2 (fr) * 1989-07-31 1991-02-06 Kernforschungszentrum Karlsruhe Gmbh Système de manipulation dans des lieux de travail non accessibles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2349184A1 (fr) * 1976-04-23 1977-11-18 Materiel Telephonique Systeme de simulation de scenes animees
EP0263952A2 (fr) * 1986-10-15 1988-04-20 Mercedes-Benz Ag Robot avec des parties de manipulation mobiles
JPH0269615A (ja) * 1988-09-05 1990-03-08 Kobe Steel Ltd 立体画像装置
EP0411498A2 (fr) * 1989-07-31 1991-02-06 Kernforschungszentrum Karlsruhe Gmbh Système de manipulation dans des lieux de travail non accessibles

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
1989 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS, NOVEMBER 14-17, 1989, CAMBRIDGE, MASSACHUSETTS, US vol. 3, pages 1072 - 1077; HARI DAS ET AL.: 'Kinematic Control And Visual Display Of Redundant Teleoperators' *
PATENT ABSTRACTS OF JAPAN vol. 14, no. 258 (P-1055)4 Juin 1990 & JP-A-2 069 615 ( KOBE STEEL LTD ) 8 Mars 1990 *
PROCEEDINGS 1988 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION, APRIL 24-29, 1988, PHILADELPHIA, PENNSYLVANIA, US vol. 1, pages 593 - 595; LAWRENCE W. STARK ET AL.: 'Cooperative Control in Telerobotics' *
PROCEEDINGS 1989 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION, MAY 15-19, 1989, US vol. 3, pages 1327 - 1332; WON S. KIM ET AL.: 'Cooperative Control Of Visual Displays For Telemanipulation' *
PROCEEDINGS 1990 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION, MAY 13-18, 1990, CINCINNATI, OHIO, US pages 546 - 551; ANTAL K. BEJCZY ET AL.: 'The Phantom Robot : Predictive Displays for Teleoperation with Time Delay' *
PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS, AUGUST 8-12, 1988, BEIJING AND SHENYANG, CHINA vol. 1, pages 126 - 130; WON S. KIM ET AL.: 'On-The-Screen Visual Enhancements For A Telerobotic Vision System' *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0674977A1 (fr) * 1994-03-29 1995-10-04 General Electric Company Système de maintenance
EP0674974A1 (fr) * 1994-03-29 1995-10-04 General Electric Company Système de maintenance
EP0674976A1 (fr) * 1994-03-29 1995-10-04 General Electric Company Sytème de maintenance
EP0674975A1 (fr) * 1994-03-29 1995-10-04 General Electric Company Système de maintenance
FR2722443A1 (fr) * 1994-07-13 1996-01-19 Centre Ind Dispositif de traitement de surface
WO1996002365A1 (fr) * 1994-07-13 1996-02-01 Centre Industrie Dispositif de traitement de surface

Also Published As

Publication number Publication date
FR2681162B1 (fr) 1995-03-17

Similar Documents

Publication Publication Date Title
Bodenmann et al. Generation of high‐resolution three‐dimensional reconstructions of the seafloor in color using a single camera and structured light
CN104067144B (zh) 施工机械用周边监控装置
EP0511101B1 (fr) Procédé de modélisation d'un système de prise de vues et procédé et système de réalisation de combinaisons d'images réelles et d'images de synthèse
Sequeira et al. Automated 3D reconstruction of interiors with multiple scan views
CN107660337A (zh) 用于从鱼眼摄像机产生组合视图的系统及方法
KR20200093414A (ko) 재료 파일의 3차원 재구성 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 매체
US20050190181A1 (en) Image processing method and apparatus
US20080284797A1 (en) System and method for registration of cubic fisheye hemispherical images
FR2751067A1 (fr) Systeme et sous-systeme de determination de l'attitude d'une camera a l'interieur d'un objet
AU2018436279B2 (en) System and method of operation for remotely operated vehicles for simultaneous localization and mapping
JP2000512790A (ja) データ処理システムおよび方法
EP2791914A1 (fr) Système de tournage de film vidéo
EP0268509B1 (fr) Procédé et dispositif opto-électronique de mesure en temps réel de mouvements d'une structure solide soumise à l'effet d'un fluide
Prados et al. Image blending techniques and their application in underwater mosaicing
FR2681162A1 (fr) Procede et dispositif d'aide a la commande a distance d'engins robotises lors d'un processus de teleoperation effectue en environnement hostile.
US20180101934A1 (en) Device and a method for creating an image
CA2543150A1 (fr) Procede et dispositif de capture d'une image grand champ et d'une region d'interet de celle-ci
EP3712551B1 (fr) Procédé de pointage et d'acquisition de cible pour une plateforme, nacelle et dispositif permettant la mise en oeuvre de ce procédé
EP0547635A2 (fr) Méthode et appareil pour l'exploration d'une scène tri-dimensionnelle
Jiang et al. Real-time panoramic system for underwater cleaning robot
Vergauwen et al. A stereo vision system for support of planetary surface exploration
FR3023643A1 (fr) Equipement optronique aeroporte pour l'imagerie, la surveillance et/ou la designation de cibles
Köser et al. Robustly removing deep sea lighting effects for visual mapping of abyssal plains
Son et al. Detection of nearby obstacles with monocular vision for earthmoving operations
FR3026500A1 (fr) Systeme integre d'aide a la conduite et a la navigation d'un navire de combat

Legal Events

Date Code Title Description
ST Notification of lapse
ST Notification of lapse