FR2773937A1 - Procede et dispositif de poursuite automatique d'une cible - Google Patents
Procede et dispositif de poursuite automatique d'une cible Download PDFInfo
- Publication number
- FR2773937A1 FR2773937A1 FR9800662A FR9800662A FR2773937A1 FR 2773937 A1 FR2773937 A1 FR 2773937A1 FR 9800662 A FR9800662 A FR 9800662A FR 9800662 A FR9800662 A FR 9800662A FR 2773937 A1 FR2773937 A1 FR 2773937A1
- Authority
- FR
- France
- Prior art keywords
- target
- image
- images
- video camera
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
L'invention concerne un dispositif et un procédé de poursuite automatique d'une cible évoluant dans un milieu fermé, au moyen d'au moins une caméra vidéo (4) montée sur un support mobile (5) et transmettant des images de la cible sur un écran de contrôle (6),caractérisé en ce qu'il consiste : - en un traitement des couleurs des images prises par la caméra vidéo, de façon à identifier la cible dans l'image; - en une localisation de la position de la cible dans un plan image et une définition d'une position de consigne; et- en une commande du positionnement du support mobile en fonction de la position de la cible et de la position de consigne.Application à la télémanipulation en enceinte de confinement.
Description
/1
PROCEDE ET DISPOSITIF DE POURSUITE AUTOMATIQUE
D'UNE CIBLE
DESCRIPTION
Domaine de l'invention L'invention concerne un procédé de poursuite automatique d'une cible par une caméra vidéo
pouvant être munie d'un objectif à focale variable.
Elle concerne également un dispositif de mise en oeuvre
de ce procédé.
L'invention trouve des applications dans de nombreux domaines et, en particulier, dans l'industrie nucléaire, pour la manipulation de matières
radioactives placées en zone de confinement.
Etat de la technique Dans l'industrie nucléaire, les manipulations de matières radioactives, les opérations de maintenance, d'intervention ou de démantèlement, sont réalisées à distance, au moyen de télémanipulateurs de type maitre- esclave. L'opérateur est alors situé à l'extérieur de la zone de confinement, dans laquelle se trouvent les matières radioactives, et visualise l'environnement de travail soit directement à travers un hublot, soit au moyen de
caméras vidéo.
Lors d'une téléintervention, l'opérateur effectue, sur le bras maître situé à l'extérieur de l'enceinte de confinement, des mouvements qui sont intégralement reproduits par un bras esclave situé dans la zone de confinement. L'organe terminal du bras esclave, c'est-à-dire la pince, est alors considéré
comme le prolongement direct de la main de l'opérateur.
Un retour sensoriel vers l'opérateur assure une téléprésence (ou immersion) de l'opérateur dans la zone
de confinement par l'intermédiaire du poste de travail.
Dans le milieu nucléaire, ces retours sont de types auditif, tactile, ou visuel. La sensation auditive est réalisée au moyen de microphones situés au voisinage du bras esclave; la sensation tactile est transmise par des systèmes de retour d'effort; et les sensations visuelles sont généralement collectées par vision directe à travers un hublot, ou au moyen d'une
ou de plusieurs caméras vidéo.
Dans ce cas, la ou les caméras vidéo sont fixées chacune sur un support mobile, tel qu'une tourelle équipée de moteurs, permettant à la caméra vidéo d'effectuer un balayage horizontal (appelé "azimut") et un balayage vertical (appelé "site") de la
zone de travail.
Au cours de la manipulation, l'organe terminal du bras esclave (appelé aussi "pince" dans la
suite de la description) peut être amené à sortir du
champ de vision de la caméra. L'opérateur doit alors agir sur le pupitre de commande de la tourelle, pour
réorienter la caméra en direction de la pince.
Le travail de l'opérateur comporte ainsi, en plus de la tâche de télémanipulation proprement dite, une tâche de réglage du dispositif de vision. En effet, si au cours de la télémanipulation, la pince sort du champ de vision de la caméra, l'opérateur doit arrêter son travail de télémanipulation pour réorienter la tourelle supportant la caméra vidéo en direction de
la pince.
Sur la figure 1, on a représenté schématiquement, un opérateur en train d'effectuer une télémanipulation dans l'enceinte de confinement, en visionnant le déplacement du bras esclave sur un écran de contrôle. Sur cette figure, le bras esclave porte la référence 1; la pince fixée au bout de ce bras est référencée 2; le bras maître est référencé 3; une caméra vidéo, référencée 4, est montée sur une tourelle et transmet des images de la scène de travail à un écran de contrôle 6. Sur cette figure 1, on a représenté également un dispositif de prise de son 7, qui peut être utilisé, dans certains cas, pour
retransmettre des sensations auditives à l'opérateur.
On comprend aisément qu'une automatisation de la tâche de réglage du dispositif de vision permettrait d'alléger le travail de l'opérateur en lui supprimant cette tâche, ce qui assurerait, notamment, une meilleure concentration de l'opérateur sur sa tâche de télémanipulation et, par conséquence, une
amélioration de la sécurité des installations.
Une telle automatisation peut consister à commander de façon automatique l'orientation de la tourelle supportant la caméra, de façon à ce que l'image de la pince soit conservée dans la zone
centrale de l'écran de contrôle.
Il existe, actuellement, des dispositifs de poursuite automatique de cibles, de type militaire, pour lesquels la localisation spatiale de la cible est assurée par l'exploitation d'un signal vidéo et parfois d'un signal provenant d'autres capteurs (tels qu'un radar, une caméra infrarouge, etc.). Ces dispositifs utilisent également des traducteurs de position, comme cela est décrit dans le document "Development of a vision guided target detector and tracker", documentation technique Imago, Société IMAGO MACHINE VISION INC., Ottawa, 1992. De tels dispositifs ont l'avantage d'être précis et d'avoir une portée pouvant atteindre plusieurs kilomètres; mais ils présentent un
coût très élevé (supérieur à 400 KF).
Il existe, par ailleurs, des dispositifs conçus pour la vidéo professionnelle, ou la visioconférence. Ces dispositifs réalisent le suivi d'un orateur, muni d'un émetteur infrarouge, ce qui permet sa localisation par rapport à une base (ou tourelle). Ces dispositifs sont étudiés de façon à obtenir un cadrage correct de l'orateur, lors d'une visioconférence, sans toutefois qu'un spécialiste pilote la tourelle. Cependant, la portée de tels dispositifs n'excède pas 30 m. De plus, ces dispositifs ne sont pas prévus pour fonctionner en ambiance
industrielle et encore moins en ambiance radioactive.
D'autre part, un système de poursuite automatique de cibles, dédié à la téléopération est décrit dans l'article de Ji SUP YOON, intitulé "Developement of camera auto tracking system for telemanipulator", Transaction of the Korean society of
mechanical engineers, p. 2373 à 2380, Septembre 1993.
Ce système est basé sur l'exploitation d'un signal vidéo issu d'une caméra à tube. Plus précisément, ce système permet le suivi d'une cible noire, sur un
arrière-plan blanc, et évoluant à une distance connue.
Lorsque la signature de la cible (transition blanc/noir, puis noir/blanc) est détectée dans le signal vidéo, le dispositif relève les tensions aux bornes des bobines de déviation horizontale et verticale de la caméra à tube. Ces tensions
correspondent à la position de la cible dans l'espace.
Cependant, un tel système présente des inconvénients: d'une part, il nécessite une phase de calibration très précise et, d'autre part, la signature de la cible doit
être unique et connue a priori.
Un autre dispositif de poursuite automatique de cible est décrit par Odile HORN dans le document "Etude et mise en oeuvre d'un algorithme de poursuite de cible par analyse d'image", thèse de doctorat Institut National Polytechnique de Lorraine, 1989. Ce dispositif comporte un capteur "net/flou" composé de deux caméras. Plus précisément, le signal lumineux provenant de l'objet passe à travers un séparateur afin d'être envoyé simultanément sur deux photodétecteurs, l'un recevant une image nette, l'autre une image floue. Cette image floue est obtenue par défocalisation de la deuxième caméra. Ensuite, une soustraction entre l'image nette et l'image floue génère un tracé de contour. Un opérateur de corrélation permet alors l'identification de la cible dans l'image de contour. Cependant, la poursuite de la cible doit être initialisée manuellement en délimitant la fenêtre de référence qui sera prise comme modèle pour l'opération de corrélation. Ensuite, à chaque localisation de la cible, le modèle est réactualisé pour l'acquisition suivante. Ce dispositif présente un inconvénient majeur en ce sens qu'il n'est pas utilisable dans tous les cas de comportement de cible; en effet, lorsque la cible est partiellement cachée, ce qui peut être le cas pour la télémanipulation en enceinte de confinement, le modèle mis à jour comprend l'objet occultant la cible. Lors de l'acquisition suivante, il est possible que le pic de corrélation
soit localisé sur l'obstacle et non sur la cible.
En outre, ce dispositif implique que la cible soit blanche et le fond noir. Or, dans le contexte de notre invention, le problème consiste tout d'abord à discerner la cible par rapport à son environnement. De plus, la cible évolue dans les trois dimensions et la distance la séparant de la caméra
n'est, a priori, pas connue.
Tous les dispositifs décrits précédemment sont prévus pour fonctionner avec des tourelles équipées de capteurs de recopie de position (qui sont généralement des potentiomètres ou des codeurs), alors que la plupart des tourelles utilisées en ambiance
radioactive en sont dépourvues.
Par ailleurs, Il existe, actuellement, un dispositif de poursuite automatique de cible, appelé "télévise" , développé pour le télémanipulateur MA 23 et distribué par la Société CYBERNETIX. Ce système est décrit par P. KUSPRIYANTO dans "Contribution à l'amélioration des performances d'un système de téléopération par asservissement adaptatif d'une caméra sur l'outil manipulé par le bras esclave", thèse de doctorat, Montpellier, 1981. Ce système de poursuite automatique de cibles réalise une fonction de suivi de la pince d'un bras télémanipulateur, en utilisant des informations de position délivrées par des codeurs placés sur le bras télémanipulateur. Ces informations sont transmises à un calculateur qui génère la commande du système de suivi. Cependant, ce dispositif n'est pas indépendant des informations propres à la configuration
du bras télémanipulateur (codeur, etc.).
D'autre part, dans les zones o la radioactivité est importante, les faces intérieures de l'enceinte de confinement sont recouvertes d'une peau en inox. L'omniprésence de l'inox, ainsi que la conception des dispositifs d'éclairage engendrent des images pauvres en couleurs, o les objets en mouvement peuvent apparaître tour à tour très sombres ou très lumineux. Les phénomènes d'ombres et de reflets sont aussi très importants. Classiquement, les procédés de poursuite de cible utilisant le traitement d'image adaptent l'éclairage de la scène de travail de façon à ce qu'il soit isotrope et stable dans le temps. Or, dans le cas d'interventions ou d'inspections extérieures, l'éclairage est très variable et il ne
peut être réglé de façon optimum.
Exposé de l'invention L'invention a justement pour but de remédier aux inconvénients des différents dispositifs de poursuite automatique de cibles, décrits précédemment. A cette fin, elle propose un dispositif de poursuite automatique de cibles adapté à la télémanipulation en milieu nucléaire. Ce dispositif met en oeuvre un procédé de poursuite automatique d'une cible, basé essentiellement sur le traitement des couleurs des images réalisées par une caméra vidéo pouvant être munie d'un objectif à focale variable, de façon à identifier la cible, dans l'ensemble de la scène de travail, quel que soit l'éclairage de celle-ci et quel que soit la structure de la cible (déformable
ou non) et son orientation par rapport à la caméra.
Les caméras vidéo à objectif à focale variable (appelé aussi zoom) sont particulièrement bien adaptés pour les opérations qui doivent être réalisées, car elles permettent, par un effet "loupe", d'obtenir
des images nettes de vues pertinentes.
De façon plus précise, l'invention concerne un procédé de poursuite automatique d'une cible évoluant dans un milieu fermé, au moyen d'au moins une caméra vidéo montée sur un support mobile et transmettant des images de la cible sur un écran de contrôle. Ce procédé se caractérise par le fait qu'il consiste: - en un traitement des couleurs des images prises par la caméra vidéo, de façon à identifier la cible dans l'image; - en une localisation de la position de la cible dans un plan image et une définition d'une position de consigne; et - en une commande du positionnement du support mobile en fonction de la position de la cible
et de la position de consigne.
Avantageusement, le procédé de l'invention consiste à utiliser une caméra vidéo équipée d'un objectif à focale variable et à effectuer un traitement de cette focale, avant l'étape de localisation de la
position de la cible dans le plan image.
Par ailleurs, le traitement des couleurs des images prises par la caméra vidéo consiste, avantageusement, à: - représenter les couleurs de la cible suivant un mode HSL relatif à des paramètres de teinte, de saturation et de luminance pour identifier la cible indépendamment des variations d'éclairage dans le milieu o elle évolue; et - transformer les images de mode HSL en images binaires pour distinguer, parmi tous les pixels de l'image, les pixels de même valeur binaire
représentatifs de la cible.
Selon l'invention, le traitement des couleurs des images consiste à: agrandir la partie de l'image binaire représentant la cible et regrouper des pixels isolés de même valeur binaire de façon à préciser la géométrie de ladite cible; puis - éroder cette partie d'image agrandie afin
de revenir aux dimensions initiales de l'image.
Selon un mode de réalisation de l'invention, le traitement des couleurs des images consiste en un filtrage du bruit de l'image binaire selon un critère géométrique prédéfini, de façon à déterminer des pixels de même valeur binaire que ceux représentant la cible et qui sont adjacents à ces
derniers, mais qui ne représentent pas la cible.
Selon une variante de l'invention, le procédé comporte une étape de minimisation du temps de traitement des couleurs des images prises par la caméra vidéo consistant à réduire la zone à traiter de l'image et à sous-échantillonner cette zone de l'image. Plus précisément, la minimisation du temps de traitement consiste à prédire la position future de la cible dans l'image en déterminant les coordonnées Mk+1 du barycentre de la cible à cette position future:
[ T2
Xk+l =F - + Vxk.T + Xk Fxk 2 M k +1 =Y Yk+l = Fy - + Vyk T + Yk
2 VY2 '
o Fk et yk sont l'accélération de la cible dans le plan image, V et Vy, sont la vitesse de la cible dans ce plan image, Xk et Yk sont les coordonnées de la cible à un instant présent et T est une période d'échantillonnage. Selon l'invention, la localisation de la cible consiste à déterminer un écart entre les coordonnées du barycentre de la cible dans le plan image et les coordonnées de la position de consigne; la commande de positionnement du support mobile consiste à générer des rotations dudit support, verticalement et horizontalement, destinées à annuler l'écart entre la position de la cible et la position de consigne. L'invention concerne également un dispositif de mise en oeuvre du procédé ci-dessus. Ce dispositif comporte: - au moins une caméra vidéo montée sur un support mobile horizontalement et verticalement, et transmettant des images de la cible sur un écran de contrôle: - des moyens de traitement de ces images; et - des moyens de commande de la position du support mobile, l1 caractérisé en ce que la caméra vidéo est équipée d'un objectif à focale variable et en ce que les moyens de commande comportent un générateur de consignes apte à déterminer, à partir d'informations relatives à l'écart entre la position de la cible et la position de consigne, des consignes de motorisation du support mobile.
Brève description des figures
- La figure 1 représente schématiquement un opérateur visualisant, sur un écran de controle une scène de travail à l'intérieur d'une enceinte de confinement; - la figure 2 représente schématiquement une image binaire de la pince du télémanipulateur; - la figure 3 représente schématiquement un mode de réalisation de la commande de la tourelle; - la figure 4 représente schématiquement un autre mode de réalisation de la commande de la tourelle; et - la figure 5 représente schématiquement un exemple de modèle cinématique d'un ensemble caméra-tourelle.
Description détaillée de modes de
réalisation de l'invention L'invention propose, tout d'abord, un procédé de poursuite automatique d'une cible évoluant dans une enceinte de confinement. Ce procédé consiste à effectuer des prises de vues de la scène de travail (contenant la cible), puis à effectuer, sur ces prises de vues, un traitement d'image permettant de distinguer la cible quel que soit l'éclairage de la scène de travail, c'est-à-dire quel que soit l'éclairage de la cible. De plus, ce traitement d'image tient compte du fait que la cible peut être de type tout à fait différent, selon le cas de la télémanipulation (structure déformable ou non) et que son orientation
par rapport à la caméra peut varier.
En d'autres termes, le procédé de l'invention propose de discriminer la cible par rapport à son environnement, essentiellement par sa couleur. Le traitement d'images du procédé de l'invention est donc un traitement des couleurs des images réalisées par la
caméra vidéo.
On rappelle que toute couleur est le résultat d'un mélange pondéré de trois composantes de base: le rouge, le vert et le bleu. Cette représentation rouge, vert, bleu (appelée "représentation RGB") revient physiquement à prendre trois images de la même scène, en intercalant devant l'objectif successivement un filtre rouge, un filtre vert et un filtre bleu. Pour chacune des prises d'image, l'information recueillie par un pixel de la caméra (ou capteur CCD) dépend de la teinte du point correspondant sur la scène, mais aussi de l'énergie
lumineuse incidente qui éclaire ce point.
Par ailleurs, toute couleur peut être caractérisée par sa teinte, sa saturation et sa luminance. La teinte désigne la couleur dominante mesurée à partir de longueurs d'ondes prédominantes des substances coloriées. La saturation représente l'intensité de la couleur (en particulier: 100 % donne l'intensité maximum et 0 % donne du gris). La luminance définit la part de blanc (ou de noir) dans la couleur (ce qui correspond aux notions "clair" et "foncé"). Ce paramètre mesure l'intensité énergique globale de la
lumière reçue.
La représentation HSL (teinte, saturation et luminance) permet d'identifier un objet indépendamment des variations d'éclairage. Pour cela, il suffit de ne pas borner l'intervalle de tolérance pour le critère relatif à la luminance. En fait, seuls les critères de teinte et de saturation sont discriminant pour l'identification de la couleur de la cible. Le procédé de l'invention consiste donc, tout d'abord, à transformer les trois plans R, G et B (rouge, vert et bleu) en trois autres plans H, S et L
(teinte, saturation et luminance).
Lorsque cette transformation de l'image a été effectuée, le procédé de l'invention consiste à binariser, par la couleur, l'image de mode HSL. La binarisation d'une image consiste à transformer l'image couleur en une image binaire (c'est-à-dire, par exemple, noir et blanc) dans laquelle tous les pixels susceptibles de représenter la cible ont une même valeur binaire (blanc ou noir) et se distinguent du reste de la -scène de travail représentée par l'autre
valeur binaire.
Sur la figure 2, on a représenté un exemple d'image binarisée. On voit sur cette image, plusieurs zones noircies, susceptibles de représenter la cible qui est, sur cette figure, une pince de télémanipulateur; la zone blanche représente la scène de travail autour de la cible. Pour des raisons de représentation, les zones de couleur (par exemple noire) sont schématisées, sur la figure 2, par des
zones tramées (ou mouchetées).
Pour effectuer la binarisation d'une image, il faut identifier, dans l'image, les pixels présentant des caractéristiques de teinte et de saturation similaires à celles de la cible. Autrement dit, une valeur binaire (par exemple 0) est affectée à tous les points de l'image dont les caractéristiques H (teinte) et S (saturation) sont à l'intérieur d'intervalles de tolérance. Tous les autres pixels prennent l'autre valeur binaire (par exemple 1, c'est-à-dire la couleur blanche). Une fois la binarisation des couleurs effectuée, on remarque que l'image binaire obtenue comporte souvent plusieurs entités très proches. Par exemple, l'image de la figure 2 comporte: - une entité A qui correspond au corps de pince, et à deux doigts de cette pince; - une entité B et une entité C, détachées de l'entité A, qui correspondent à deux autres doigts de la pince; et - d'autres entités, référencées D, E, F, G et H, détachées de la pince et dont on ne sait pas, à priori, si elles font parties ou non de la pince. Or, ces entités sont gênantes pour la détermination du
centre de gravité de la pince.
Le procédé de l'invention propose, dans ce cas, d'effectuer une succession de dilatations (ou agrandissements) de façon à connecter les entités (ou objets) voisines. Une dilatation consiste à grossir les objets d'une épaisseur préalablement définie, ce qui permet de remplir certains trous et de connecter des objets, ou entités, très proches. Sur l'image de la figure 2, par exemple, l'entité D sera rattachée à l'entité B; l'entité B, elle-même, ainsi que l'entité C, seront rattachées à l'entité A. Le procédé de l'invention consiste ensuite à effectuer autant d'érosions qu'il y a eu de dilatations, de façon à revenir à la taille initiale des objets. L'érosion est l'opération inverse de la dilatation; elle permet d'éroder le pourtour des
objets d'une épaisseur préalablement définie.
Ces opérations de dilatation/érosion ont ainsi permis de regrouper les entités A, B, C et D qui constituent alors l'image de la pince. C'est le centre de gravité (ou barycentre) de cette image de la pince
que l'on va chercher à déterminer par la suite.
L'image alors obtenue est une image binaire dans laquelle toutes les zones de pixels noirs adjacents (appelées "entités") sont susceptibles d'appartenir à la cible. Ces entités sont caractérisées
par leur surface.
Par contre, les images ainsi obtenues sont souvent des images bruitées, c'est-à-dire qu'elles comportent des entités adjacentes de même couleur (noire), de faibles dimensions, qui n'appartiennent pas à la cible. Le procédé de l'invention propose donc d'effectuer un filtrage de ces entités à l'aide d'un
critère géométrique prédéfini pour éliminer ce bruit.
Ce critère géométrique est le suivant: l'entité est considérée comme appartenant à l'image de la cible si sa surface est contenue dans un intervalle "Smir, Smax" de tolérance. Cet intervalle est défini par l'opérateur. Après cette étape de traitement des couleurs de l'image, le procédé de l'invention consiste à localiser la position de la cible dans le plan image et à définir une position de consigne. Plus précisément, selon le procédé de l'invention, cette dernière est définie en fonction de la focale utilisée, ce qui permet de connaître, avec une précision de l'ordre du millimètre, la position de la cible dans l'espace. La cible identifiée dans l'image, par le traitement des couleurs, peut être localisée par les coordonnées de son centre de gravité (ou barycentre) dans le plan image. Par ailleurs, l'opérateur définit une position de consigne dans le plan image. Cette position de consigne est la position à laquelle l'opérateur souhaite visualiser la cible sur son écran
de contrôle.
L'écart entre les coordonnées du centre de gravité de la cible dans le plan image et les coordonnées de la position de consigne dans ce plan image (qui correspond souvent au centre de l'image) est communiqué à un programme informatique chargé de commander la tourelle supportant la caméra vidéo. La commande de la tourelle génère alors des rotations en site (c'est-à-dire verticales) et en azimut
(c'est-à-dire horizontales) annulant cet écart.
Autrement dit, la numérisation de l'image couleur consiste à convertir cette image en trois matrices de pixels qui correspondent aux trois plans teinte (H), saturation (S) et luminance (L). Or, le temps de numérisation d'une image couleur dépend de la taille de ces matrices. Le procédé de l'invention propose donc de minimiser ce temps de traitement en minimisant la taille de la zone d'image à traiter et en sous- échantillonnant l'image. Pour cela, le procédé de l'invention génère une fenêtre d'acquisition dont les dimensions dépendent du résultat de la recherche précédente: * une fenêtre de prélocalisation est employée lorsque la cible n'est pas présente dans l'image précédemment traitée; dans ce cas, la recherche doit être réalisée sur la totalité du champ
image, mais seul un pixel sur dix est pris en compte.
On parle, pour cette opération, de prélocalisation; * par contre, si la cible est présente dans l'image précédemment traitée, alors sa position à l'instant précédent est connue. Il est donc possible de prédire la position future de la cible dans l'image et de centrer une fenêtre d'intérêt (appelée "fenêtre de poursuite") de dimensions réduites, sur cette prédiction. Dans ce cas, le traitement consiste à
prendre en compte un pixel sur quatre.
Pour la prédiction de position, on considère que le centre de gravité de la cible est
animé d'un mouvement dans l'image de type rectiligne.
De plus, on suppose, pour cette prédiction de position, que ce mouvement est uniformément accéléré entre deux périodes d'échantillonnage: - la position à l'instant k du barycentre de la cible dans l'image est: Mk (X k) tYk) - sa vitesse à l'instant k est exprimée par: Yk = LVYJk Xk -Xk1
avec Vxk = k k-
T Yk Yk - 1 et VYk = T T o T est la période d'échantillonnage; l'accélération, supposée constante entre deux périodes d'échantillonnage, est: rk + 1 = k= ( avec Fxk k - Vx k - V 1 T avec Fxk =T VYk - VYk - 1 et Fyk =T T La fenêtre de poursuite à l'instant k + 1 est centrée sur le point de l'image correspondant à la position prédite (Mk+l) du barycentre de la cible. Ces coordonnées sont données par: T2 Xk+ xk - + Vxk T + Xk k+1+ T2 1 Yk + 1 ryk -* + Vyk T + L'invention concerne également un dispositif de poursuite automatique de cible, qui met en oeuvre le procédé décrit précédemment. Comme représenté sur la figure 1, le dispositif de l'invention comporte au moins une caméra vidéo 4 montée sur une tourelle d'orientation 5; il comporte également un écran de contrôle 6 sur lequel l'opérateur peut visualiser ce qui se passe à l'intérieur de
l'enceinte de confinement.
La tourelle 5 comporte deux moteurs commandés par un générateur de consigne dont le rôle est d'interpréter les informations relatives à l'écart entre la position du barycentre de la cible et la position de consigne, issues du traitement d'image et
de générer, à sa sortie, des consignes de motorisation.
Deux types de tourelles peuvent être utilisées dans l'invention: des tourelles possédant des capteurs de recopie de position, ou bien des tourelles qui ne sont pas équipées de ces capteurs de
recopie de position.
Dans le cas d'une tourelle démunie de ces capteurs, la commande des moteurs de la tourelle est réalisée en boucle ouverte, grâce à des ordres "haut/bas/droite/gauche". Le signal de commande est un échelon de valeur figée. Le générateur de consignes, appelé "générateur tout ou rien" reçoit, en entrée, les informations relatives à l'écart déterminé par le traitement des images. Une comparaison par rapport à des seuils permet de générer, en sortie, des contacts secs, ou relais, réalisant des déplacements vers le
haut, vers le bas, vers la droite, ou vers la gauche. Le générateur de consignes comporte aussi une zone morte qui permet
d'augmenter le confort de l'utilisateur en évitant les recalages pour de faibles écarts. Ainsi, les moteurs ne sont pas commandés lorsque la valeur absolue de l'écart déterminé est
inférieure à un seuil.
La caméra vidéo peut, selon un mode de
réalisation, être équipée d'un objectif à focale fixe.
Selon le mode de réalisation préféré de l'invention, la caméra vidéo est équipée d'un objectif à focale variable, appelé aussi "zoom" instrumenté. Cet objectif à focale variable peut être, par exemple, un zoom 10/100 mm de CANON équipé d'un capteur de recopie de position. Ce dernier peut être réalisé au moyen d'un potentiomètre muni d'une roue dentée et positionné sur
la bague de réglage de focale du zoom.
Avec un tel objectif, la taille T de l'objet, en pixels, est déterminée en fonction de la tension U du potentiomètre de recopie, appelée "tension focale". On a donc l'expression: T = f(U), qui peut être modélisée par le polynôme de degré 6 suivant: y = a(1)=x6+ a(2) x5+a(3)x4+a(4)x3+a(5)x2+a(6)x+ a(7) avec: a(1)=-0.00144114 a(2)=0.042621661 a(3)=-0.48031974 a(4)=2.487458035 a(5)=-5. 08805253 a(6)=-1.87607132 a(7)=15.87820305. On peut alors déterminer le coefficient de grossissement qui correspond à la tension focale et, ainsi, ramener les informations extraites de l'image de la caméra avec zoom à celles qui correspondent à une
image d'une caméra à focale fixe.
Le procédé est ainsi ramené au procédé conforme au premier mode de réalisation, décrit
précédemment, dans lequel l'objectif a une focale fixe.
La figure 3 représente schématiquement la commande en boucle ouverte d'une tourelle démunie de
capteurs de recopie de position.
Plus précisément, sur cette figure, on a représenté la caméra 4 montée sur une tourelle 5a. La caméra 4 fournit à une unité de traitement d'image, référencée 8, un signal vidéo S. Ce signal vidéo S est traité par l'unité de traitement d'image 8 qui détermine un écart A(x, y) entre la position du barycentre de la cible et la position de consigne. Cet écart A est introduit dans le générateur de consigne 9a qui détermine des ordres h(haut) et b(bas) qui représentent une information relative au site et des ordres d(droite) et g(gauche) qui représentent une information relative à l'azimut. Ces informations en site et en azimut sont retransmises à la tourelle 5a qui peut alors modifier sa position et, par conséquent, l'orientation de la caméra 4 en fonction de ces informations. Dans le cas de tourelles équipées de potentiomètres de recopie de positions (ou capteurs de recopie de positions), un asservissement de position est réalisé. Dans ce cas, le générateur de consignes est un générateur de consignes articulaires, qui interprète les informations relatives à l'écart A et qui génère, en sortie, les positions en site et en azimut que doit atteindre la tourelle pour orienter la
caméra en direction de la cible.
Sur la figure 4, on a représenté un schéma de commande -du dispositif de l'invention lorsque la
tourelle est munie de capteurs de recopie de positions.
Selon le mode de réalisation de l'invention montré sur cette figure, la caméra vidéo 4 est positionnée sur une tourelle, référencée 5b. Le signal vidéo S provenant de la caméra 4 est envoyé à une unité de traitement d'image 8 qui fournit, à sa sortie, une information relative à l'écart A(p, q, z) entre la position du barycentre de la cible et une position de consigne. Cet écart dépend de la focale variable utilisée selon le procédé de l'invention. Cet écart A est introduit dans le générateur de consigne articulaire 9b qui fournit, en sortie, une valeur angulaire a et une valeur de rotation 0, la valeur 0 correspond à la position en site et la valeur a correspond à la position en azimut. Ces deux valeurs de consigne a et 0 sont introduites, respectivement, dans un correcteur 10b et dans un correcteur 10a, reliés chacun à un ensemble amplificateur et moteur, référencés, respectivement, llb et lia. Pour la boucle de commande relative à la valeur de consigne 0, le moteur est un moteur en site lla; pour la boucle de commande relative à la valeur de consigne a, le moteur est un moteur d'azimut llb. En sortie de chacun des moteurs lla et llb se trouve un potentiomètre, respectivement, 12a et 12b, dont la sortie est connectée sur l'entrée du correcteur, respectivement
a et 10b, par l'intermédiaire d'un soustracteur.
De façon plus précise, le rôle du générateur de consignes articulaires 9b est de transformer les données d'écart issues de l'unité de traitement d'image 8 en consignes articulaires permettant la commande des moteurs de site 10a et d'azimut 10b. Ce générateur de consignes articulaires nécessite, tout d'abord, de calculer des coordonnées de
la cible dans le repère lié à la caméra.
On rappelle qu'une image est une représentation, dans un espace à deux dimensions, d'une scène en trois dimensions. Il y a donc une perte de
l'information de distance entre la caméra et l'objet.
Pour exprimer les coordonnées de la cible dans le repère de la caméra, Rc, il faut, d'une part, modéliser la caméra et, d'autre part, estimer la distance entre
la cible et la caméra.
La caméra est modélisée par une projection en perspective. Le modèle utilisé est un modèle géométrique direct appelé "pin-hole". L'identification des paramètres de ce modèle permet d'établir la correspondance entre la position d'un point dans le plan image, exprimée en pixel et sa position réelle dans la scène de travail. Pour effectuer cette modélisation, on choisit plusieurs hypothèses: - le centre de projection est situé à l'origine du repère de la caméra Rc (Xc, Yc, Zc); la distance du centre de projection au plan image (Oc, Oi) est la distance focale, notée f; - l'axe (0oc, Xc) est orienté comme les abscisses du plan image et l'axe (Oc, Yc) comme les ordonnées; - l'intersection de l'axe (Oc, Z) avec le
plan image est suposé être au centre de l'image.
En outre, on considère que le barycentre de la cible est le point M de coordonnées (Xm, Ym, Zm); sa représentation dans l'image est Mi (Pi, Qi), Pi et Qi
étant des pixels (des entiers relatifs).
Pour cette modélisation, on considère ainsi que tout point M de la scène de travail ayant pour coordonnées Xm, Ym et Zm, se projette sur le plan image en un point Mi (Pi, Qi) avec: xm f Pi z. Lx et Qi = -Y, Zm Ly o Lx et Ly correspondent aux dimensions d'un pixel élémentaire. D'autre part, la modélisation par le modèle géométrique nécessite une estimation de la distance qui sépare la caméra de la cible; celle-ci est réalisée en mesurant la dimension, dans l'image, d'un objet de taille connue. En effet, la taille d'un objet dans l'image est proportionnelle à son éloignement par rapport à la caméra. On peut, par exemple, utiliser comme objet, la zone inférieure du fût télescopique du télémanipulateur qui est un cylindre repéré par une couleur spécifique. Ce cylindre est qualifié de cible secondaire, par opposition à la pince qui est la cible prioritaire et que l'on appelle, dans tout le texte,
simplement "cible".
Le modèle géométrique direct permet de calculer la position du barycentre de la cible dans le repère atelier à l'aide des données caractérisant la position courante (coordonnées du barycentre de la cible exprimées dans le repère caméra, position en site
et position en azimut).
Sur la figure 5, on a représenté schématiquement un exemple de modèle cinématique liant les différents repères cités précédemment, dans le cas du mode de réalisation de la figure 4. Cette figure 5 montre comment est situé, par exemple, l'axe passant par le moteur azimut llb par rapport à l'axe passant par le moteur site lia, dans le repère atelier Ra. Elle montre également la position du repère atelier Ra par rapport au repère Rs lié au centre instantané de rotation du moteur site et par rapport au repère Rc de
la caméra.
Les coordonnées d'un point M dans le repère atelier Ra, en fonction de ses coordonnées dans le repère caméra Rc, sont déterminées à partir des matrices suivantes: * le passage du repère Rc vers le repère Ra: 10. translation Toe/os exprimée par:
1 0 0 0
0 1 0 0
O0 1 ci'
0 00 1
o c est la distance Os ; rotation site Rot(Xs, a) d'angle a autour de Xs:
1 0 0 0
0 Ca -Sa O 0 O Sxa Ca O
0 0 1
o Ca est le cosinus de l'angle a et Sa est le sinus de l'angle a; translation Tos/oa exprimée par: 1 0 0 b
0 1 0 0
0 0 1 a i001
0O 0 1
o a et b sont, respectivement, les distances OaC et COs rotation azimut Rot(Ya, 0) d'angle e autour de Ya: CO O se O
0 1 0 0
-Se O Ce O'
0 00 1
o CO et Se sont, respectivement, le cosinus et le sinus de l'angle e. D'autre part, on rappelle que les coordonnées du point M, dans le repère Ra, sont: XM M=ZM i Ra et les coordonnées du point M, dans le repère Rc, sont
M = Y"
zm Rc L'ensemble des relations qui permettent d'exprimer la situation de la cible en fonction des coordonnées articulaires de la structure (a, e, Xm, Ym et Zm) constitue le modèle géométrique direct, qui s'écrit: XM CO. (xM + b) + SO. Sa. y, + Se. COE. (c + zm) + a.SO
YM = CC. Ym -- Sa. (C + Zm).
ZM Ra -SO.(xm + b) +.Co. S . Ym CC. +(c zC) a. CO Si l'on contraint l'écart horizontal et l'écart vertical à zéro, afin d'obtenir une image au centre de l'écran (xm = Ym = 0) et si ZM2 est quelconque, alors le modèle géométrique direct devient: XM SO. C. (c + Zm2) + -. SO + b.CO
= -Sa. (c + Zm2).
ZM Ra CO. C. (c + Zm2) + a. CO - b. SO En outre, en posant: SO = 2. t 1 + t2 et cO- -t2= 1et CO + t2 avec t = t2) on en déduit la consigne azimut 0 et la consigne articulaire site a suivantes: = 2. arct -ZM Z + XM - b b + XM eta = arctX.M - a
SO. XM + C(O ZM
Ces positions en site et en azimut sont donc les positions à atteindre pour obtenir une image centrée. Le procédé et le dispositif qui viennent d'être décrits peuvent être utilisés pour une
luminosité pouvant varier de 500 LUX.
Ils permettent aussi à l'opérateur de disposer d'une image pertinente de la zone de travail, sans que l'opérateur ait à agir sur un pupitre de commande, d'o un allégement de la charge de travail de l'opérateur. Le procédé et le dispositif de l'invention ont été décrits, dans ce texte, en utilisant, comme exemple de cible, une pince de télémanipulateur; ce procédé et ce dispositif peuvent toutefois s'adapter à tout autre type de cible, préalablement désignée par l'opérateur. Le suivi de la cible étant indépendant des informations propres à la configuration du bras télémanipulateur, le procédé et le dispositif de5 l'invention peuvent être utilisés aussi bien lors d'interventions ou d'inspections extérieures que sur
une installation à demeure sur un poste de travail.
Claims (9)
1. Procédé de poursuite automatique d'une cible évoluant dans un milieu fermé, au moyen d'au moins une caméra vidéo (4) montée sur un support mobile (5) et transmettant des images de la cible sur un écran de contrôle (6), caractérisé en ce qu'il consiste: - en un traitement des couleurs des images prises par la caméra vidéo, de façon à identifier la cible dans l'image; - en une localisation de la position de la cible dans un plan image et une définition d'une position de consigne; et - en une commande du positionnement du support mobile en fonction de la position de la cible
et de la position de consigne.
2. Procédé selon la revendication 1, caractérisé en ce qu'il consiste à utiliser une caméra vidéo équipée d'un objectif à focale variable et à effectuer un traitement de cette focale, avant l'étape de localisation de la position de la cible dans le plan image.
3. Procédé selon la revendication 1 ou 2, caractérisé en ce que le traitement des couleurs des images prises par la caméra vidéo consiste à: - représenter les couleurs de la cible suivant un mode HSL relatif à des paramètres de teinte, de saturation et de luminance pour identifier la cible indépendamment des variations d'éclairage dans le milieu o elle évolue; et - transformer les images de mode HSL en des images binaires pour distinguer, parmi tous les pixels de l'image, les pixels de même valeur binaire
représentant la cible.
4. Procédé selon la revendication 3, caractérisé en ce que le traitement des couleurs des images consiste à: - agrandir la partie de l'image binaire représentant la cible afin de préciser la géométrie de ladite cible en regroupant des pixels isolés de même valeur binaire; puis éroder cette partie d'image agrandie afin
de revenir aux dimensions initiales de l'image.
5. Procédé selon l'une quelconque des
revendications 3 et 4, caractérisé en ce que le
traitement des couleurs des images consiste en un filtrage du bruit de l'image binaire selon un critère géométrique prédéfini, pour déterminer des pixels de même valeur binaire que ceux représentant la cible et adjacents à ces derniers mais qui ne représentent pas
la cible.
6. Procédé selon l'une quelconque des
revendications 1 à 5, caractérisé en ce qu'il consiste
à minimiser le temps de traitement des couleurs des images prises par la caméra vidéo en réduisant la zone à traiter de l'image au moyen d'une fenêtre d'acquisition et en sous-échantillonnant cette zone de l'image.
7. Procédé selon la revendication 6, caractérisé en ce que la minimisation du temps de traitement consiste à prédire la position future de la cible dans l'image en déterminant les coordonnées Mk+1 du barycentre de la cible à cette position future: T2 Xk+l1 = - - + VXk. T + Xk Mk+l T2 Yk+1 rY- 2-+ VykT + Yk o rF, et y sont l'accélération de la cible dans le plan image, V et Vy sont la vitesse de la cible dans ce plan image, et Xk et Yk sont les coordonnées de la cible à un instant présent et T et une période d'échantillonnage.
8. Procédé selon l'une quelconque des
revendications 1 à 7, caractérisé en ce que la
localisation de la cible consiste à déterminer un écart (A) entre les coordonnées du barycentre de la cible dans le plan image et les coordonnées de la position de consigne et en ce que la commande de positionnement du support mobile consiste à générer des rotations dudit support verticalement et horizontalement destinées à annuler l'écart entre la position de la cible et la
position de consigne.
9. Dispositif de mise en oeuvre du procédé
selon l'une quelconque des revendications 2 à 8,
comportant: - au moins une caméra vidéo (4) montée sur un support (5) mobile horizontalement et verticalement, et transmettant des images de la cible sur un écran de contrôle (6): - des moyens (8) de traitement de ces images; et - des moyens (9-12) de commande de la position du support mobile, caractérisé en ce que la caméra vidéo est équipée d'un objectif à focale variable et en ce que les moyens de commande comportent un générateur de consignes (9a, 9b) apte à déterminer, à partir d'informations relatives à l'écart (A) entre la position de la cible et la position de consigne, des consignes (h, b, d, g, 0, a) de motorisation du support mobile.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9800662A FR2773937B1 (fr) | 1998-01-22 | 1998-01-22 | Procede et dispositif de poursuite automatique d'une cible |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9800662A FR2773937B1 (fr) | 1998-01-22 | 1998-01-22 | Procede et dispositif de poursuite automatique d'une cible |
Publications (2)
Publication Number | Publication Date |
---|---|
FR2773937A1 true FR2773937A1 (fr) | 1999-07-23 |
FR2773937B1 FR2773937B1 (fr) | 2000-02-18 |
Family
ID=9522037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR9800662A Expired - Fee Related FR2773937B1 (fr) | 1998-01-22 | 1998-01-22 | Procede et dispositif de poursuite automatique d'une cible |
Country Status (1)
Country | Link |
---|---|
FR (1) | FR2773937B1 (fr) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1311123A1 (fr) * | 2001-10-29 | 2003-05-14 | Samsung Electronics Co., Ltd. | Commande d'une caméra vidéo |
CN118383820A (zh) * | 2024-06-28 | 2024-07-26 | 杭州市余杭区第一人民医院 | 一种手术室护理的寻针设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0795462A (ja) * | 1993-09-25 | 1995-04-07 | Sony Corp | 目標追尾装置 |
JPH0795461A (ja) * | 1993-09-25 | 1995-04-07 | Sony Corp | 目標追尾装置 |
FR2725062A1 (fr) * | 1994-09-23 | 1996-03-29 | Douard Pierre Rene | Procede et dispositif de telesurveillance par cameras mobiles sur rails |
-
1998
- 1998-01-22 FR FR9800662A patent/FR2773937B1/fr not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0795462A (ja) * | 1993-09-25 | 1995-04-07 | Sony Corp | 目標追尾装置 |
JPH0795461A (ja) * | 1993-09-25 | 1995-04-07 | Sony Corp | 目標追尾装置 |
FR2725062A1 (fr) * | 1994-09-23 | 1996-03-29 | Douard Pierre Rene | Procede et dispositif de telesurveillance par cameras mobiles sur rails |
Non-Patent Citations (1)
Title |
---|
PATENT ABSTRACTS OF JAPAN vol. 095, no. 007 31 August 1995 (1995-08-31) * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1311123A1 (fr) * | 2001-10-29 | 2003-05-14 | Samsung Electronics Co., Ltd. | Commande d'une caméra vidéo |
US7248286B2 (en) | 2001-10-29 | 2007-07-24 | Samsung Electronics Co., Ltd. | Apparatus and method for controlling a camera using a video compression algorithm |
CN118383820A (zh) * | 2024-06-28 | 2024-07-26 | 杭州市余杭区第一人民医院 | 一种手术室护理的寻针设备 |
Also Published As
Publication number | Publication date |
---|---|
FR2773937B1 (fr) | 2000-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5497188A (en) | Method for virtualizing an environment | |
CN208672539U (zh) | 一种基于图像采集的片状玻璃边缘瑕疵检测装置 | |
US10101572B2 (en) | Variable focal length lens system with multi-level extended depth of field image processing | |
JP2022509034A (ja) | ニューラルネットワークを使用した輝点除去 | |
CN110142785A (zh) | 一种基于目标检测的巡检机器人视觉伺服方法 | |
CN110599546A (zh) | 一种获取三维空间数据的方法、系统、装置和存储介质 | |
EP1511300A1 (fr) | Dispositif et procede de traitement d'image, programme, support d'enregistrement de programme, structure de donnees et support d'enregistrement de donnees | |
US20140340648A1 (en) | Projecting device | |
FR2912274A1 (fr) | Procede de commande a partir d'un signal oculaire volontaire, notamment pour une prise de vues | |
EP0940979A1 (fr) | Procédé et dispositif de remplacement de panneaux cibles dans une séquence vidéo | |
WO2013088076A1 (fr) | Système de tournage de film vidéo | |
CA2870480A1 (fr) | Suivi de precision hybride | |
US5369430A (en) | Patter correlation type focus detecting method and focus detecting apparatus | |
JP6529411B2 (ja) | 移動体識別装置及び移動体識別方法 | |
FR2773937A1 (fr) | Procede et dispositif de poursuite automatique d'une cible | |
CN104002020A (zh) | 基于焊接熔池的数字相机自动对焦系统及其自动聚焦方法 | |
US7035479B2 (en) | Graded zooming | |
CN112601007B (zh) | 一种特征区域的图像采集方法及设备 | |
EP0789846A2 (fr) | Procede relatif a un systeme d'enregistrement d'images | |
Vasylenko et al. | Image Depth Detection System | |
WO2008081115A2 (fr) | Procede et dispositif pour la realisation de prises de vues a l'aide d'une pluralite de capteurs optoelectroniques | |
EP4075115A1 (fr) | Procédé de détection d'aberrations optiques et appareil de détection d'aberrations optiques | |
US11978214B2 (en) | Method and apparatus for detecting edges in active stereo images | |
CN119064375B (zh) | 高速光模块的端面质量检测装置及方法 | |
Akhmerov et al. | Feature Extraction Enhancement Using Near-Infrared Light for Multiview Metallic Surface Image Fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ST | Notification of lapse |