FR2751453A1 - METHOD FOR REPLACING AN IMAGE IN RELATION TO ANOTHER IMAGE, AND DEVICE FOR IMPLEMENTING SAID METHOD - Google Patents
METHOD FOR REPLACING AN IMAGE IN RELATION TO ANOTHER IMAGE, AND DEVICE FOR IMPLEMENTING SAID METHOD Download PDFInfo
- Publication number
- FR2751453A1 FR2751453A1 FR8608920A FR8608920A FR2751453A1 FR 2751453 A1 FR2751453 A1 FR 2751453A1 FR 8608920 A FR8608920 A FR 8608920A FR 8608920 A FR8608920 A FR 8608920A FR 2751453 A1 FR2751453 A1 FR 2751453A1
- Authority
- FR
- France
- Prior art keywords
- image
- values
- cor
- luminance
- elements
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000005314 correlation function Methods 0.000 claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 36
- 230000015654 memory Effects 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 7
- 230000003111 delayed effect Effects 0.000 claims 2
- 230000002123 temporal effect Effects 0.000 abstract 1
- 230000033001 locomotion Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
Abstract
L'invention concerne le recalage d'une image, dite image à recaler (2), par rapport à une autre image, dite image de référence (1), le fond de l'image à recaler (2) ayant subi une translation par rapport au fond de l'image de référence (1). Le procédé consiste à: - définir une fonction de corrélation, fonction des coordonnées des éléments de l'image à recaler (2) et des éléments de l'image de référence (1) ayant un fort gradient de luminance, c'est-à-dire correspondant à des contours, et fonction des composantes DELTAx et DELTAy d'un vecteur de translation d'une fenêtre de corrélation (7, 3) découpées dans les images (1, 2); - calculer des valeurs Tx et Ty des composantes DELTAx et DELTAy , telles que la fonction de corrélation soit maximale, ce calcul étant affiné par une interpolation du second ordre; - calculer des valeurs de luminance des éléments dune image dite recalée, en fonction des valeurs de luminance des éléments de l'image à recaler (2) et en fonction des valeurs Tx et Ty . Application au suivi temporel d'un objet dans une suite d'images.The invention relates to the registration of an image, called the image to be registered (2), with respect to another image, called the reference image (1), the background of the image to be registered (2) having undergone a translation by compared to the background of the reference image (1). The method consists in: - defining a correlation function, a function of the coordinates of the elements of the image to be registered (2) and of the elements of the reference image (1) having a strong luminance gradient, that is to say say corresponding to contours, and function of the components DELTAx and DELTAy of a translation vector of a correlation window (7, 3) cut out in the images (1, 2); - calculate Tx and Ty values of the components DELTAx and DELTAy, such that the correlation function is maximum, this calculation being refined by a second order interpolation; - calculating luminance values of the elements of a so-called readjusted image, as a function of the luminance values of the elements of the image to be readjusted (2) and as a function of the Tx and Ty values. Application to the temporal tracking of an object in a series of images.
Description
Procédé de recalage d'une image par rapport à une autre image, etMethod of resetting an image with respect to another image, and
dispositif pour la mise en oeuvre de ce procédé L'invention concerne un procédé permettant de recaler une image par rapport à une autre image, ces deux images représentant un même objet à deux instants différents. Le contenu des deux images est différent parce que l'objet représenté s'est déplacé dans l'espace et parce que la caméra fournissant les images s'est déplacée aussi, notamment dans le cas The invention relates to a method for resetting an image with respect to another image, these two images representing the same object at two different times. The content of the two images is different because the object represented has moved in space and because the camera providing the images has moved too, especially in the case
o elle a pour rôle de suivre l'objet d'image à image. o Its role is to follow the image-to-image object.
Dans de nombreuses applications, telles que la détection du mouvement de l'objet représenté par une suite d'images, il est nécessaire de recaler une image par rapport à une autre image, c'est-à-dire d'annuler le mouvement du fond de ces images afin de détecter seulement le In many applications, such as detecting the motion of the object represented by a sequence of images, it is necessary to re-align an image with respect to another image, that is to say to cancel the movement of the image. background of these images in order to detect only the
mouvement de l'objet représenté dans cette suite d'images. Pour l'applica- movement of the object represented in this sequence of images. For the application
tion au suivi d'un objet, il est nécessaire de réaliser un recalage tracking object, it is necessary to perform a registration
particulièrement précis.particularly accurate.
Les procédés connus consistent, pour la plupart, à définir une fonction de corrélation, fonction des valeurs de luminance des éléments des deux images successives, puis à déterminer les composantes d'un vecteur de translation telles que la fonction de corrélation entre ces deux images est maximale. Ces procédés sont très souvent complexes à mettre en oeuvre et, surtout, ne fournissent pas un recalage de précision suffisante notamment pour l'application au suivi cd'un objet cPd'image à image. L'erreur de recalage doit alors être inférieure à la distance entre The known methods consist, for the most part, in defining a correlation function, a function of the luminance values of the elements of the two successive images, and then in determining the components of a translation vector such that the correlation function between these two images is Max. These methods are very often complex to implement and, most importantly, do not provide a sufficient precision registration especially for the application to the c monitoring of a cP image image object. The registration error must then be less than the distance between
deux éléments d'image.two picture elements.
Le but de l'invention est de résoudre ce problème de précision par des moyens simples. L'objet de l'invention est un procédé consistant essentiellement à définir une fonction de corrélation qui est fonction des du module du gradient de la luminance des éléments d'image en ne prenant The object of the invention is to solve this problem of precision by simple means. The object of the invention is a method consisting essentially of defining a correlation function which is a function of the modulus of the luminance gradient of the image elements by not taking
en compte que les éléments o ce module est élevé, c'est-à-dire corres- account that the elements where this module is high, that is, correspond to
pondant à des contours. Une amélioration supplémentaire consiste à rechercher le maximum de la fonction de corrélation par une interpolation du second ordre. L'invention a aussi pour objet un dispositif pour la mise laying to contours. A further improvement is to search the maximum of the correlation function by second-order interpolation. Another subject of the invention is a device for setting
en oeuvre de ce procédé.of this process.
Selon l'invention, un procédé de recalage d'une image, dite image a recaler, par rapport à une autre image, dite image de référence, le fond de l'image à recaler ayant subi une translation par rapport au fond de l'image de référence, chaque image étant analysée comme une suite d'éléments d'image, chaque élément dimage étant représenté par la valeur numérique de sa luminance, consistant à: - définir une fonction de corrélation, fonction des coordonnées d'éléments de l'image à recaler et d'éléments de l'image de référence, et fonction des composantes Ax et Ay d'un vecteur de translation dune xy fenêtre de corrélation découpée dans les images; - calculer des valeurs Tx et Ty des composantes Ax et Ay du vecteur de translation de la fenêtre de corrélation, telles que la fonction de corrélation soit maximale; - calculer des valeurs de luminance d'éléments dune image dite recalée, en fonction des valeurs de luminance des éléments de l'image à recaler et en fonction des valeurs T et Ty; est caractérisé en ce que les éléments de l'image à recaler et les éléments de l'image de référence qui sont considérés pour définir la fonction de corrélation sont des éléments o le gradient de luminance a un According to the invention, a method of resetting an image, called the image to be recalibrated, with respect to another image, called the reference image, the background of the image to be recalibrated having been translated relative to the background of the image. reference image, each image being analyzed as a sequence of image elements, each image element being represented by the numerical value of its luminance, consisting of: - defining a correlation function, a function of the element coordinates of the image to be recalibrated and elements of the reference image, and function of the components Ax and Ay of a translational vector of a xy correlation window cut in the images; calculating Tx and Ty values of the components Ax and Ay of the translation vector of the correlation window, such that the correlation function is maximal; calculating luminance values of elements of a so-called recaled image, as a function of the luminance values of the elements of the image to be recalibrated and as a function of the values T and Ty; is characterized in that the elements of the image to be recalibrated and the elements of the reference image which are considered to define the correlation function are elements where the luminance gradient has a
module supérieur à un seuil fixé. module higher than a fixed threshold.
L'invention sera mieux comprise et dautres caractéristiques appa- The invention will be better understood and other characteristics
raîtront à l'aide de la description ci-dessous et des figures l'accompa- with the description below and the figures accompanying it.
gnant: - la figure 1 représente un exemple de deux images dont l'une est à recaler par rapport à l'autre; - les figures 2 à 6 illustrent deux étapes d'un exemple de mise en oeuvre du procédé selon l'invention; - la figure 7 représente le schéma synoptique d'un exemple de FIG. 1 represents an example of two images, one of which is to be repositioned relative to the other; - Figures 2 to 6 illustrate two steps of an exemplary implementation of the method according to the invention; FIG. 7 represents the block diagram of an example of
réalisation du dispositif selon l'invention. embodiment of the device according to the invention.
La figure I représente deux images consécutives extraites dune suite d'images numérisées. L'image 2 est l'image à recaler. L'image 1 constitue l'image de référence pour recaler l'image 2. L'objet de l'image I comporte notamment un mobile 4, en déplacement par rapport à un arbre , et par rapport à la crête dune colline 6. Pendant la durée séparant les images 1 et 2, le mobile 4 s'est déplacé et, d'autre part, le champ de prise de vue de la caméra a été déplacé. L'objet de l'image 2 comporte encore Figure I shows two consecutive images extracted from a sequence of digitized images. Image 2 is the image to be recalibrated. The image 1 constitutes the reference image to readjust the image 2. The object of the image I comprises in particular a mobile 4, moving relative to a tree, and with respect to the crest of a hill. the time between images 1 and 2, the mobile 4 has moved and, on the other hand, the camera's field of view has been moved. The object of image 2 still has
le mobile 4, la crête 6, et l'arbre 5, mais avec des positions différentes. the mobile 4, the peak 6, and the shaft 5, but with different positions.
La crête 6 et l'arbre 5 ont des contours qui constituent des éléments caractéristiques du fond de l'image. Dans tout ce qui suit il est supposé que le déplacement du fond de l'image 2 par rapport au fond de l'image 1 est composé uniquement d'une translation représentable par un vecteur (Tx, Ty). Le recalage de l'image 2 par rapport à l'image I consiste à déterminer les valeurs des composantes T et T de ce vecteur de x y translation, puis à déterminer les valeurs de luminance dune image dite recalée, en fonction de ces composantes et en fonction des valeurs de The ridge 6 and the shaft 5 have contours which constitute characteristic elements of the background of the image. In all that follows, it is assumed that the displacement of the background of the image 2 with respect to the background of the image 1 is composed solely of a translation that can be represented by a vector (Tx, Ty). The registration of the image 2 with respect to the image I consists in determining the values of the components T and T of this vector of xy translation, then in determining the luminance values of a so-called recalibrated image, as a function of these components and in function of the values of
luminance des éléments de l'image 2. luminance of the elements of the image 2.
La mise en oeuvre du procédé selon l'invention consiste tout The implementation of the method according to the invention consists of
d'abord à définir une fonction de corrélation qui est fonction des coor- first to define a correlation function that is a function of the coordi-
données d'éléments d'image correspondant à des contours situés à l'inté- picture element data corresponding to contours within the
rieur d'une fenêtre de corrélation 3 dans l'image à recaler 2 et d'une fenêtre de corrélation 7 dans l'image de référence. La fenêtre 3 étant translatée d'un vecteur de translation (Ax, Ay) par rapport à la fenêtre 7, déterminer le vecteur de translation (Tx, Ty) du fond de l'image 2 par rapport au fond de l'image I revient à déterminer des valeurs de Ax et Ay xy a correlation window 3 in the image to be reset 2 and a correlation window 7 in the reference image. The window 3 being translated from a translation vector (Ax, Ay) with respect to the window 7, determining the translation vector (Tx, Ty) of the bottom of the image 2 relative to the background of the image I returns to determine values of Ax and Ay xy
telles que la corrélation entre les deux fenêtres soit maximale. such that the correlation between the two windows is maximum.
Dans un exemple de mise en oeuvre, les images considérées sont analysées par une caméra de télévision classique réalisant un balayage constitué de trames impaires et de trames paires entrelacées. Dans cet exemple, chaque trame est considérée comme une image indépendante qui est recalée par rapport à la trame de même parité, qui la précède immédiatement. La fenêtre de corrélation 3 est constituée de 128 x 128 éléments d'image et située au centre géométrique de la trame constituant l'image 2. La fenêtre de corrélation 7 dans l'image 1 est alors constituée, par exemple, de 128 x 128 éléments d'image décalés horizontalement de -Ax et verticalement de -Ay par rapport aux éléments homologues de la fenêtre 3 dans l'image 2. Les contours situés à l'intérieur de ces deux fenêtres 3 et 7 permettent de déterminer le vecteur de translation T de l'image 1 à l'image 2. Ces fenêtres doivent être suffisamment grandes pour contenir en majorité des contours appartenant au fond de l'image et en minorité des contours appartenant au mobile 4. Cependant il est nécessaire de limiter la surface des fenêtres 3 et 7 pour ne pas augmenter exagérément la quantité des calculs de corrélation nécessaires pour In an exemplary implementation, the images considered are analyzed by a conventional television camera performing a scan consisting of odd fields and interleaved pairs frames. In this example, each frame is considered as an independent image that is recalibrated with respect to the frame of the same parity, which immediately precedes it. The correlation window 3 consists of 128 x 128 pixels and located at the geometric center of the frame constituting the image 2. The correlation window 7 in the image 1 is then constituted, for example, of 128 × 128 horizontally offset image elements of -Ax and vertically -Ay relative to the homologous elements of the window 3 in the image 2. The contours located inside these two windows 3 and 7 make it possible to determine the translation vector T from image 1 to image 2. These windows must be large enough to contain mostly outlines belonging to the bottom of the image and in the minority of outlines belonging to the mobile 4. However it is necessary to limit the surface of windows 3 and 7 so as not to overly increase the amount of correlation computations needed to
déterminer le vecteur de translation. determine the translation vector.
Chaque point dune image est repéré par des coordonnées (x, y) dans un repère (Ox, Oy), l'axe Ox étant horizontal et orienté de gauche à droite et l'axe Oy étant vertical et orienté de haut en bas. L'unité sur chaque axe correspond à un élément d'image, tel que déterminé par l'analyse et l'échantillonnage des images. Les coordonnées du centre de chaque élément d'image sont donc respectivement égales au numéro de Each point of an image is marked by coordinates (x, y) in a coordinate system (Ox, Oy), the axis Ox being horizontal and oriented from left to right and the axis Oy being vertical and oriented from top to bottom. The unit on each axis corresponds to a picture element, as determined by image analysis and sampling. The coordinates of the center of each image element are therefore respectively equal to the number of
colonne et au numéro de ligne de cet élément. column and the line number of this element.
Pour déterminer les composantes (Tx, Ty) avec une erreur infé- To determine the components (Tx, Ty) with an error
rieure au demi-pas des éléments d'image, il est avantageux de procéder en deux étapes: déterminer leurs parties entières (ex, ey) correspondant à un nombre entier d'éléments d'images puis déterminer des résidus positifs ou négatifs, (rx, ry), correspondant à des fractions d'élément d'image. Ces y deux étapes sont réalisées au moyen d'une même fonction de corrélation qui est exprimée sous deux formes différentes par deux fonctions du vecteur (Ax' Ay) et des coordonnées des points à fort gradient de y than the half-pitch of the picture elements, it is advantageous to proceed in two steps: to determine their integer parts (ex, ey) corresponding to an integer number of picture elements then to determine positive or negative residues, (rx , ry), corresponding to picture element fractions. These two steps are realized by means of the same correlation function which is expressed in two different forms by two functions of the vector (Ax 'Ay) and coordinates of the points with a strong gradient of y
luminance dans les deux fenêtres de corrélation 3 et 7. luminance in both correlation windows 3 and 7.
L'analyse de chaque élément d'image détermine la luminance The analysis of each image element determines the luminance
moyenne d'un ensemble de points infiniment petits constituant cet élé- average of a set of infinitely small points constituting this
ment dimage, et chaque élément est repéré par les coordonnées (i, j) de son centre, qui sont des valeurs entières. Le procédé consiste à considérer les valeur COR(p,q) d'une première fonction COR(Ax,Ay) pour des valeurs entières p et q des composantes Ax et Ay; à déterminer, parmi l'ensemble des valeurs entières p et q, deux valeurs ex et ey telles que pour p = ex et q = ey la fonction COR(p,q) passe par un maximum; puis ensuite à réaliser une interpolation du second ordre de la fonction de corrélation, au image, and each element is identified by the coordinates (i, j) of its center, which are integer values. The method consists in considering the values COR (p, q) of a first function COR (Ax, Ay) for integer values p and q of the components Ax and Ay; to determine, from the set of integer values p and q, two values ex and ey such that for p = ex and q = the function COR (p, q) passes through a maximum; then to perform a second-order interpolation of the correlation function, at
voisinage de e et ey, pour affiner la détermination du vecteur transla- neighborhood of e and ey, to refine the determination of the translational vector
tion. Cette interpolation du second ordre consiste à représenter la fonction de corrélation par un polynôme du second ordre, P(Ax, Ay), et à calculer des résidus rx et ry tels que pour Ax = e + rx et Ay = ey + ry les x y x xx y y y tion. This second-order interpolation consists in representing the correlation function by a polynomial of the second order, P (Ax, Ay), and in calculating residues rx and ry such that for Ax = e + rx and Ay = ey + ry the xyx xx yyy
polynômes P(ex, Ay) et P(Ax, ey) passent par un maximum. Les compo- polynomials P (eg, Ay) and P (Ax, ey) pass through a maximum. The components
santes T et T du vecteur translation recherché sont alors égales à T and T of the desired translation vector are then equal to
e x et ey + ry avec une bonne précision. e x and ey + ry with good precision.
ex+ rxet ey + ry avec une bonne précision. ex + rxet ey + ry with good accuracy.
Le procédé consiste donc, tout d'abord, à détecter les éléments de l'image I situés dans la fenêtre 3 et les éléments de l'image 2 situés dans la fenêtre 3, o le gradient de luminance a une valeur élevée. Cette détection est réalisée en considérant successivement chaque élément situé dans les fenêtres 3 et 7, dans l'ordre o ces points ont été analysés. Un point courant est alors considéré comme un point à fort gradient de luminance si la valeur absolue de la différence entre sa luminance et celle du point voisin immédiatement précédent sur la même ligne est supérieure à une valeur de seuil fixé S ou si la valeur absolue de la différence de sa valeur de luminance par rapport à celle du point voisin qui est son homologue sur la ligne immédiatement précédente est supérieure à la valeur de seuil S. Cette valeur de seuil est choisie de l'ordre de 10% de la dynamique de la luminance. Les éléments d'image situés dans la fenêtre 3 de l'image de référence 1 sont représentés chacun par une valeur binaire Gl(i,j), de valeur 1 si l'élément comporte un fort gradient de luminance, et de valeur 0 dans le cas contraire; i et j étant respectivement le numéro de colonne et le numéro de ligne de l'élément dans la trame constituant l'image 1. De même, chaque élément de l'image à recaler 2 est représenté par une valeur binaire G2(ij) ayant la valeur 1 si l'élément comporte un fort gradient de luminance, ou la valeur 0 dans le cas contraire. Le procédé consiste ensuite à définir une première expression de la fonction de corrélation: COR(AX,Ay), mise en oeuvre seulement pour des valeurs entières p et q de Ax et Ay: COR(pq) = G2(i,j) x G(i-p-q) (1) La figure 2 représente un tableau donnant les valeurs de la fonction de corrélation COR(p,q) pour un exemple dimage, en calculant systématiquement chaque valeur de cette fonction de corrélation, pour p = - 5 à + 5 et pour q = - 5 à + 5. Une comparaison de toutes ces valeurs entre elles permet de déterminer que la plus grande est égale à 22595 et correspond à une translation de vecteur (4,0). La partie entière ex et ey des composantes T et T est donc constituée par les valeurs 4 et 0. Il x y The method therefore consists, first of all, in detecting the elements of the image I located in the window 3 and the elements of the image 2 located in the window 3, where the luminance gradient has a high value. This detection is performed by successively considering each element located in the windows 3 and 7, in the order where these points were analyzed. A current point is then considered as a point with a high luminance gradient if the absolute value of the difference between its luminance and that of the immediately preceding neighbor point on the same line is greater than a fixed threshold value S or if the absolute value of the difference of its luminance value with respect to that of the neighboring point which is its counterpart on the immediately preceding line is greater than the threshold value S. This threshold value is chosen on the order of 10% of the dynamics of the luminance. The image elements located in the window 3 of the reference image 1 are each represented by a binary value Gl (i, j), of value 1 if the element has a strong luminance gradient, and of value 0 in the opposite case; i and j being respectively the column number and the line number of the element in the frame constituting the image 1. Similarly, each element of the image to be recalibrated 2 is represented by a binary value G2 (ij) having the value 1 if the element has a strong luminance gradient, or the value 0 in the opposite case. The method then consists in defining a first expression of the correlation function: COR (AX, Ay), implemented only for integer values p and q of Ax and Ay: COR (pq) = G2 (i, j) x G (ipq) (1) Figure 2 shows a table giving the values of the correlation function COR (p, q) for an example image, by systematically calculating each value of this correlation function, for p = - 5 to + 5 and for q = - 5 to + 5. A comparison of all these values between them makes it possible to determine that the largest is equal to 22595 and corresponds to a vector translation (4,0). The integer part ex and ey of the components T and T is constituted by the values 4 and 0. Il x y
reste ensuite à déterminer les résidus r et r de ces composantes. It remains to determine the residues r and r of these components.
La détermination des parties entières ex et ey des composantes du La détermination des parties entières ex et ey des composantes du vecteur de translation est réalisée, en pratique, sans avoir à calculer toutes les valeurs de la fonction COR(p,q) représentée sur la figure 2. En effet, il existe un pic de corrélation unique à l'intérieur des fenêtres de corrélation 3 et 7, et il est possible de le localiser par un algorithme à convergence rapide mettant à profit la monotonie de la fonction de corrélation. Cet algorithme à convergence rapide consiste à rechercher une première valeur maximale COR(p0,q0) de la fonction de corrélation parmi neuf valeurs obtenues pour p = -1, 0, 1 et q = - 1, 0, 1, puis à déterminer une deuxième valeur maximale COR(pl,qI) de la fonction de corrélation, parmi neuf autres valeurs obtenues pour p = p0- 1, p0, p0+1 l et pour q = q0-l y q0 q0+1l; p0 et q0 étant les valeurs de p et q The determination of the integer parts ex and ey of the components of the determination of the integer parts ex and ey of the components of the translation vector is carried out, in practice, without having to calculate all the values of the function COR (p, q) represented on the Indeed, there is a unique correlation peak within the correlation windows 3 and 7, and it is possible to locate it by a fast convergence algorithm taking advantage of the monotony of the correlation function. This fast convergence algorithm consists in finding a first maximum value COR (p0, q0) of the correlation function among nine values obtained for p = -1, 0, 1 and q = - 1, 0, 1, and then determining a second maximum value COR (pl, qI) of the correlation function, among nine other values obtained for p = p0-1, p0, p0 + 1 l and for q = q0-l y q0 q0 + 1l; p0 and q0 being the values of p and q
correspondant à la première valeur maximale COR(p0,q0) trouvée précé- corresponding to the first maximum value COR (p0, q0) found above
demment. Il consiste ensuite à déterminer une troisième valeur maximale COR(p2,q2) de la fonction de corrélation, parmi neuf valeurs obtenues pour p= pl-l, p1 Pl+l, et q= ql-l q l ql+l; p1 et ql étant les valeurs de p et q correspondant à la seconde valeur maximale COR(pl,q1) déterminée précédemment. Ces calculs sont réitérés pour déterminer COR(Pk+l, qk+l), COR(pk±, qk+l), COR(pk+i+l, qk+l), COR(Pk+, qk+l-l), COR(pk+l, qk+1+1), puis déterminer la valeur maximale Mk+, parmi ces valeurs, Pk+l et qk+l étant les valeurs de p et q correspondant à la valeur maximale Mk obtenue antérieurement, jusqu'à ce que la valeur maximale Mk obtenue corresponde à un déplacement nul, c'est-à-dire est égale à COR(pk +l, qk+l). La valeur de ex est alors prise égale à Pk+l et la valeur e est prise égale à qk+l. Sinon, les calculs précédents sont y réitérés avec p = Pk+2 et q = qk+2 qui correspondent à la valeur maximale ously. It then consists in determining a third maximum value COR (p2, q2) of the correlation function, among nine values obtained for p = p1-1, p1 P1 + 1, and q = q1-1 q1 q1 + 1; p1 and ql being the values of p and q corresponding to the second maximum value COR (pl, q1) determined previously. These calculations are reiterated to determine COR (Pk + 1, qk + 1), COR (pk +, qk + 1), COR (pk + i + 1, qk + 1), COR (Pk +, qk + 11), COR (pk + 1, qk + 1 + 1), then determine the maximum value Mk +, from these values, Pk + 1 and qk + 1 being the values of p and q corresponding to the maximum value Mk obtained previously, until that the maximum value Mk obtained corresponds to a zero displacement, that is to say is equal to COR (pk + 1, qk + 1). The value of ex is then taken equal to Pk + l and the value e is taken equal to qk + l. Otherwise, the previous calculations are reiterated with p = Pk + 2 and q = qk + 2 which correspond to the maximum value
Mk+1 obtenue.Mk + 1 obtained.
La figure 3 représente un tableau des valeurs COR(p,q) de la fonction de corrélation qu'il est nécessaire de calculer pour déterminer selon cet algorithme, la partie entière ex et ey des composantes du vecteur de translation dans le même exemple d'image que celui utilisé pour le tableau de la figure 2. Les valeurs encadrées sont les valeurs FIG. 3 represents a table of the values COR (p, q) of the correlation function which it is necessary to calculate in order to determine according to this algorithm, the integer part ex and ey of the components of the translation vector in the same example of image used for the table in Figure 2. The framed values are the values
maximales obtenues successivement: 16574, 18607, 21901, 22595, 19043. maximum obtained successively: 16574, 18607, 21901, 22595, 19043.
Cet algorithme à convergence rapide permet donc de déterminer, dans cet exemple, la valeur maximale 22595 en ne calculant que 21 valeurs de la fonction de corrélation, au lieu de 121 valeurs comme c'est le cas si l'on calcule toutes les valeurs COR(p,q) correspondant à p = - 5 à 5 et q = - 5 à 5. D'une façon générale, le nombre de valeurs à calculer ne dépasse pas This fast convergence algorithm therefore makes it possible to determine, in this example, the maximum value 22595 by calculating only 21 values of the correlation function, instead of 121 values, as is the case if all the COR values are calculated. (p, q) corresponding to p = - 5 to 5 and q = - 5 to 5. In general, the number of values to be calculated does not exceed
, avec cet algorithme., with this algorithm.
Il reste à calculer les résidus r et r des composantes T et T du x y x y vecteur translation. Une seconde expression de la fonction de corrélation, mise en oeuvre seulement pour les valeurs non entières de Ax et Ay, dans un voisinage de ex et ey, est constituée par un polynôme du second degré P(AxA y). Si Ay est supposée constante et égale à ey ce polynôme prend la forme suivante: P(Ax,ey) = al.(Ax)2 + blx +C (2) Si à est supposée constante et égale à e ce polynôme prend la x x forme suivante: P(exAy) = a2(A y) + b2.Ay + c2 (3) Les coefficients a1, a2, b1, b2, c1, c2 ne sont pas connus a priori mais sont tels que: COR(Ax, ey) = P(AX,e pour Ax entier et voisin de ex, c'est-à-dire It remains to compute the residuals r and r of the T and T components of the x y x y translation vector. A second expression of the correlation function, implemented only for the non-integer values of Ax and Ay, in a neighborhood of ex and ey, is constituted by a polynomial of the second degree P (AxA y). If Ay is assumed to be constant and equal to ey this polynomial takes the following form: P (Ax, ey) = al (Ax) 2 + blx + C (2) If a is assumed constant and equal to e this polynomial takes the xx following form: P (exAy) = a2 (A y) + b2.Ay + c2 (3) The coefficients a1, a2, b1, b2, c1, c2 are not known a priori but are such that: COR (Ax, ey) = P (AX, e for Ax integer and neighbor of ex, that is to say
pour Ax = e, ex + 1, et ex - 1.for Ax = e, ex + 1, and ex - 1.
et COR(ey,Ay) = P(ey,A y) pour Ay entier et voisin de ey, c'est-à- dire and COR (ey, Ay) = P (ey, A y) for Ay integer and neighbor of ey, i.e.
pourAy = yey e+ 1, etey- 1.for Ay = yey e + 1, etey- 1.
Dans un repère cartésien à trois axes Ax, Ay, COR(AX,A y), le graphe de COR(p,q), pour toutes les valeurs p et q entières appartenant à la fenêtre de corrélation, est une surface constituée de points discontinus et ayant un pic au voisinage du point (exey). Les graphes des fonctions x P(ex,Ay) et P(Ax,ey) sont des courbes continues du second degré qui ont chacune un maximum au voisinage du point (exey) et elles passent par les points de la surface qui sont situés au voisinage du pic. Ces points ont pour ordonnées COR(ex± 1,ey) et COR(ex,e t+ 1). L'interpolation du y X y second ordre consiste à déterminer les coordonnées e + r et e + r des x x y y maxima de ces deux courbes, car elle sont égales aux coordonnées du pic de la surface, avec une très faible erreur. Ces coordonnées constituent In a cartesian coordinate system with three axes Ax, Ay, COR (AX, A y), the graph of COR (p, q), for all the values p and q integers belonging to the correlation window, is a surface constituted of points discontinuous and having a peak near the point (exey). The graphs of the functions x P (ex, Ay) and P (Ax, ey) are continuous curves of the second degree which each have a maximum in the vicinity of the point (exey) and they pass through the points of the surface which are situated at neighborhood of the peak. These points are ordered COR (ex ± 1, ey) and COR (ex, e t + 1). The interpolation of the y X y second order consists in determining the coordinates e + r and e + r of the x x y y maxima of these two curves, because they are equal to the coordinates of the peak of the surface, with a very small error. These coordinates constitute
donc les composantes (TX,Ty) recherchées. therefore the components (TX, Ty) sought.
La figure 4 représente les valeurs des fonctions COR(Ax,ey) et FIG. 4 represents the values of the functions COR (Ax, ey) and
P(Ax,ey) pour l'exemple d'image correspondant aux figures 2 et 3, c'esta- P (Ax, ey) for the exemplary image corresponding to FIGS. 2 and 3, it is
dire pour ey = 0. Sur la figure 4, les croix représentent les valeurs de la say for ey = 0. In Figure 4, the crosses represent the values of the
fonction COR(A xey=O) pour des valeurs entières de Ax égales à 3, 4 et 5. COR function (A xey = O) for integer values of Ax equal to 3, 4 and 5.
Il n'existe qu'une courbe du second degré ayant pour équation P(Ax,O) = 0 et passant par ces trois points. Cette courbe a un maximum. L'abscisse de ce point constitue, avec une bonne approximation, la valeur Tx = e + r x x x recherchée. Il est possible de démontrer mathématiquement que rx est égale a: COR(ex- l,ey)- COR(ex+l,ey) 2(COR(ex- l,ey) - 2COR(ex,ey) + COR(ex+ l,ey)) La figure 5 représente les valeurs des fonctions COR(ey,Ay) et There is only a second degree curve with the equation P (Ax, O) = 0 and passing through these three points. This curve has a maximum. The abscissa of this point constitutes, with a good approximation, the value Tx = e + r x x x sought. It is possible to demonstrate mathematically that rx is equal to: COR (ex-, ey) - COR (ex + l, ey) 2 (COR (ex-, ey) - 2COR (ex, ey) + COR (ex + l, ey)) FIG. 5 represents the values of the functions COR (ey, Ay) and
P(ex,Ay) pour l'exemple dimage correspondant aux figures 2 et 3, c'est-à- P (ex, Ay) for the example image corresponding to Figures 2 and 3, that is,
dire pour e = 4.say for e = 4.
y, Sur la figure 5, les croix représentent les valeurs de la fonction COR(ex = 4,Ay) pour des valeurs entières de Ay égales à -1, 0, +1. Il n'existe qu'une courbe du second degré, ayant une équation de la forme In FIG. 5, the crosses represent the values of the function COR (ex = 4, Ay) for integer values of Ay equal to -1, 0, +1. There is only one curve of the second degree, having an equation of form
P(4,Ay) = 0 et passant ces trois points. Cette courbe a un maximum. P (4, Ay) = 0 and passing these three points. This curve has a maximum.
L'abscisse de ce point constitue, avec une bonne approximation, la valeur T = e + r recherchée. Il est possible de démontrer mathématiquement y y y que r est égale à: Y COR(exey- 1) - COR(exey+ l) 2(COR(exey- 1) 2COR(exey) + COR(exey+ 1)) The abscissa of this point constitutes, with a good approximation, the value T = e + r sought. It is possible to prove mathematically y y that r is equal to: Y COR (exey-1) - COR (exey + 1) 2 (COR (exey-1) 2COR (exey) + COR (exey + 1))
Dans l'exemple des figures 2 et 3, Tx = 3,66 et T = 0,02. In the example of Figures 2 and 3, Tx = 3.66 and T = 0.02.
x y Le procédé selon l'invention consiste ensuite à calculer une valeur de luminance L'(i,j) pour chaque élément de l'image recalée, cet élément étant repéré par un indice de colonne i et un indice de ligne j dans l'image recalée. Cette valeur de luminance est calculée en fonction des valeurs de luminance des éléments de l'image à recaler 2, et en fonction des composantes T et T du vecteur translation du fond de l'image 2 par x y rapport au fond de l'image 1. La détermination de la valeur de luminance The method according to the invention then consists in calculating a luminance value L '(i, j) for each element of the imaged image, this element being identified by a column index i and a line index j in the image recaled. This luminance value is calculated as a function of the luminance values of the elements of the image to be recalibrated 2, and as a function of the components T and T of the translation vector of the background of the image 2 by xy relative to the background of the image 1 Determining the luminance value
L'(i,j) est réalisée en deux étapes successives. The (i, j) is carried out in two successive stages.
Dans une première étape, une valeur approximative est constituée par la valeur, notée L(i-ex, j-ey), d'un élément de l'image à recaler, 2, correspondant à l'élément de coordonnées (i,j) de l'image 1 par une translation dont le vecteur a pour composante (ex, ey), c'est-à-dire les valeurs entières des composantes T et T. x y Dans une seconde étape, une interpolation linéaire est réalisée au voisinage de l'élément de coordonnées (i-ex, j-ey), et consiste à calculer y une combinaison linéaire des valeurs de luminance des quatre éléments de In a first step, an approximate value is constituted by the value, denoted L (i-ex, j-ey), of an element of the image to be shifted, 2, corresponding to the element of coordinates (i, j ) of the image 1 by a translation whose vector has component (ex, ey), that is to say the integer values of the components T and T. xy In a second step, a linear interpolation is carried out in the vicinity of the coordinate element (i-ex, j-ey), and consists in calculating y a linear combination of the luminance values of the four elements of
l'image 2 les plus proches du point ayant pour coordonnées (i-Tx, j-Ty). image 2 closest to the point having coordinates (i-Tx, j-Ty).
Ces valeurs de luminance sont notées: L(i-ex, j-ey), W1, W2, et W3. La valeur de luminance L'(i,j) est calculée selon la formule: L'(i,j) = (le).(l-X).L(i-exj-ey) + X.(1-E).W1 + X.a.W2 + X.(1-a).W3 (6) o X et ca sont respectivement les valeurs absolues des résidus r et r. Il x y est possible de réaliser une interpolation linéaire entre quatre points selon These luminance values are noted: L (i-ex, j-ey), W1, W2, and W3. The luminance value L '(i, j) is calculated according to the formula: L' (i, j) = (le). (LX) .L (i-exj-ey) + X. (1-E). W1 + XaW2 + X. (1-a) .W3 (6) where X and ca are respectively the absolute values of residues r and r. It is possible to perform a linear interpolation between four points according to
d'autres formules légèrement différentes. other slightly different formulas.
La figure 6 représente un point PC de l'image à recaler 2, dont les coordonnées sont (i-ex,j-ey) et les huit points immédiatement voisins: A qui précède PC, et E qui suit PC sur la même ligne d'indice j-e; B, C, D qui sont homologues A, PC, sur la igne immdiatement prcdente;y et H G F qui sont homologues à A, PC, E, sur la ligne immédiatement précédente et H, G, F qui sont homologues à A, PC, E, sur, la ligne immédiatement suivante. Les valeurs de luminance W1, W2, W3 sont choisies, en fonction de rx et de ry, selon les règles suivantes: FIG. 6 represents a PC point of the image to be recalibrated 2, whose coordinates are (i-ex, j-ey) and the eight immediately adjacent points: A which precedes PC, and E which follows PC on the same line d 'index me; B, C, D which are counterparts A, PC, on the immediately preceding sign; y and HGF which are homologous to A, PC, E, on the immediately preceding line and H, G, F which are homologous to A, PC, E, on, the line immediately following. The luminance values W1, W2, W3 are chosen, as a function of rx and ry, according to the following rules:
W1 = L(i-ex, j-ey-1) = L(C) si ry est négatif. W1 = L (i-ex, j-ey-1) = L (C) if ry is negative.
WI = L(i-ex, j-ey+l) = L(G) si ry est positif. WI = L (i-ex, j-ey + l) = L (G) if ry is positive.
W2 = L(i-ex-, j-ey-) = L(B) si rx est négatif et si ry est négatif. W2 = L (i-ex-, j-ey-) = L (B) if rx is negative and if ry is negative.
W2 = L(i-ex±l, j-ey-1) = L(B) si rx est nposigatif et si ry est négatif. W2 = L (i-ex ± 1, j-ey-1) = L (B) if rx is nposigative and if ry is negative.
W2 = L(i-ex+l, j-ey+l) = L(F) si rx est positif et si ry est positif. W2 = L (i-ex + l, j-ey + l) = L (F) if rx is positive and if ry is positive.
W2 = L(i-ex-1, j-ey+l) = L(H) si rx est négatif et si ry est positif. W2 = L (i-ex-1, j-ey + l) = L (H) if rx is negative and if ry is positive.
W3 = L(i-ex+l, j-ey) = L(E) si r est positif. W3 = L (i-ex + l, j-ey) = L (E) if r is positive.
W3 = L(i-ex- 1, j-ey) = L(A) si rx est négatif. W3 = L (i-ex-1, j-ey) = L (A) if rx is negative.
La figure 7 représente le schéma synoptique d'un exemple de réalisation dun dispositif de recalage d'une image, dite image à recaler, par rapport à une autre image, dite image de référence, pour la mise en FIG. 7 represents the block diagram of an exemplary embodiment of a device for resetting an image, called the image to be readjusted, with respect to another image, called the reference image, for the implementation
oeuvre du procédé selon l'invention. Cet exemple de réalisation com- process of the invention. This exemplary embodiment
porte: une borne d'entrée 11 recevant une suite de valeurs numériques gate: an input terminal 11 receiving a series of numerical values
représentant les valeurs de luminance des éléments de l'image de réfé- representing the luminance values of the elements of the reference image.
rence puis des éléments de l'image à recaler; des moyens 12 de détection des éléments d'image o le gradient de luminance a un module supérieur à un seuil fixé; une mémoire de contours 16; des moyens de calcul 15 pour calculer des valeurs T et T du vecteur de translation d'une fenêtre de x y corrélation; une mémoire d'image 17; des moyens 18 pour déterminer les valeurs de luminance des éléments d'une image recalée; une borne de sortie 19 fournissant une suite de valeurs de luminance de cette image recalée; une borne d'entrée 13 recevant des signaux de synchronisation; et un générateur 14 de signaux d'horloge. Le générateur 14 fournit un signal d'horloge HP dont le rythme correspond au rythme des valeurs de luminance appliquées à la borne d'entrée Il et un signal d'horloge HT dont le rythme correspond à celui des trames constituant chacune des images traitées par le dispositif de recalage. Le recalage de chaque image consiste à recaler la trame paire par rapport à la trame paire de l'image précédente et à recaler la trame then elements of the image to be reset; means 12 for detecting the image elements where the luminance gradient has a modulus greater than a fixed threshold; a contour memory 16; calculating means 15 for calculating values T and T of the translation vector of a window of x y correlation; an image memory 17; means 18 for determining the luminance values of the elements of a recalibrated image; an output terminal 19 providing a sequence of luminance values of this recalibrated image; an input terminal 13 receiving synchronization signals; and a generator 14 of clock signals. The generator 14 supplies an HP clock signal whose rhythm corresponds to the rhythm of the luminance values applied to the input terminal 11 and a clock signal HT whose rate corresponds to that of the frames constituting each of the images processed by the resetting device. The registration of each image consists in resetting the even field with respect to the even field of the previous image and in setting the frame
impaire par rapport à la trame impaire de l'image précédente. odd relative to the odd field of the previous image.
Les moyens 12 réalisent la détection des éléments à fort gradient de luminance par un procédé très simple consistant à comparer la valeur de luminance d'un élément courant, par rapport à celle de l'élément immédiatement précédent sur la même ligne et par rapport à celle de l'élément homologue sur la ligne précédente dans la même trame. Ils comportent: un registre 21 ayant une capacité d'une valeur; un registre à décalage 22 ayant une capacité correspondant à une ligne d'image moins un élément; deux comparateurs 33 et 34; et une porte logique OU 25. Les registres 21 et 22 sont reliés en série, une entrée du registre 21 étant reliée à la borne d'entrée Il pour recevoir les valeurs de luminance, une The means 12 perform the detection of high luminance gradient elements by a very simple method of comparing the luminance value of a current element, with respect to that of the immediately preceding element on the same line and with respect to that of the peer element on the previous line in the same frame. They comprise: a register 21 having a capacity of a value; a shift register 22 having a capacity corresponding to an image line minus one element; two comparators 33 and 34; and an OR logic gate 25. The registers 21 and 22 are connected in series, an input of the register 21 being connected to the input terminal 11 to receive the luminance values, a
sortie du registre 21 étant reliée à une entrée de données du registre 22. output of the register 21 being connected to a data input of the register 22.
Les registres 21 et 22 possèdent chacun une entrée d'horloge recevant le signal d'horloge HP pour décaler les valeurs de luminance au rythme de cette horloge. Le comparateur 23 possède une première et une seconde entrée reliées respectivement à l'entrée et à la sortie du registre 21. Le comparateur 24 possède une première et une seconde entrée reliées respectivement à l'entrée et à une sortie du registre 22. Les comparateurs 23 et 24 possèdent chacun une entrée à laquelle est appliquée une valeur de seuil S et possèdent une sortie reliée à une entrée de la porte logique 25. La sortie de la porte 25 constitue une sortie des moyens 12 reliée à une entrée de données de la mémoire de contours 16 et à une première entrée des moyens 15. Le comparateur 23 a pour fonction de comparer la valeur de luminance d'un élément courant avec celle d'un élément voisin immédiatement précédent sur la même ligne, et de fournir sur sa sortie un signal logique lorsque la valeur absolue de la différence de ces deux valeurs de luminance est supérieure à la valeur de seuil S. Le comparateur 24 a pour fonction de comparer la valeur de luminance de l'élément courant avec celle de l'élément homologue voisin sur la ligne immédiatement précédente et de fournir sur sa sortie un signal logique si la valeur absolue de la différence de ces valeurs de luminance est supérieure à la valeur de seuil S. La porte 25 transmet les signaux logiques fournis par les comparateurs 23 ou 24 à la première entrée des moyens 15 et à la mémoire de contours 16 o une valeur binaire G2(i,j) est stockée pour chacun des éléments de l'image de référence 1. Cette mémoire 16 stocke donc les contours de l'image de The registers 21 and 22 each have a clock input receiving the HP clock signal to shift the luminance values at the rate of this clock. The comparator 23 has a first and a second input respectively connected to the input and the output of the register 21. The comparator 24 has a first and a second input respectively connected to the input and to an output of the register 22. Comparators 23 and 24 each have an input to which a threshold value S is applied and have an output connected to an input of the logic gate 25. The output of the gate 25 constitutes an output of the means 12 connected to a data input of the Contour memory 16 and a first input of the means 15. The function of the comparator 23 is to compare the luminance value of a current element with that of an immediately preceding neighbor element on the same line, and to provide on its output a logic signal when the absolute value of the difference of these two luminance values is greater than the threshold value S. The function of the comparator 24 is to compare the value luminance of the current element with that of the neighboring homologous element on the immediately preceding line and to provide on its output a logic signal if the absolute value of the difference of these luminance values is greater than the threshold value S The gate 25 transmits the logic signals supplied by the comparators 23 or 24 to the first input of the means 15 and to the contour memory 16 where a binary value G 2 (i, j) is stored for each of the elements of the image of reference 1. This memory 16 thus stores the contours of the image of
référence et notamment les contours du fond de cette image. reference and in particular the outlines of the background of this image.
La mémoire 16 possède une entrée de commande recevant le signal d'horloge HP pour inscrire ces valeurs binaires au rythme o elles sont fournies par les moyens 12. Elle reçoit aussi sur une autre entrée de commande le signal d'horloge HT. Ces signaux d'horloge actionnent un compteur d'adresse, non représenté, qui détermine l'adresse d'écriture des valeurs binaires. La mémoire de contours 16 possède aussi une entrée d'adresse reliée à une sortie des moyens 15 et recevant des adresses de lecture, de valeur (i-p, j-q). La mémoire 16 possède une sortie reliée à The memory 16 has a control input receiving the clock signal HP to register these binary values at the rate where they are provided by the means 12. It also receives on another control input the clock signal HT. These clock signals operate an address counter, not shown, which determines the write address of the binary values. The contour memory 16 also has an address input connected to an output of the means 15 and receiving reading addresses of value (i-p, j-q). The memory 16 has an output connected to
une seconde entrée des moyens 15.a second input means 15.
A un instant considéré la première entrée des moyens 15 reçoit la valeur binaire G2(i,j) et la seconde entrée reçoit une valeur G1(i-p,j-q) qui correspondent respectivement à un élément courant de l'image à recaler 2 et à un élément, homologue par une translation (p,q) dans l'image de référence I. Ces valeurs indiquent respectivement si ces éléments ont un At a given instant the first input of the means 15 receives the binary value G2 (i, j) and the second input receives a value G1 (ip, jq) which respectively correspond to a current element of the image to be recalibrated 2 and to a element, homologous by a translation (p, q) in the reference image I. These values respectively indicate whether these elements have a
fort gradient de luminance ou pas.strong luminance gradient or not.
Les moyens 15 comportent: un dispositif 30 de multiplication; un dispositif 31 de calcul de la fonction COR(p,q); un dispositif 32 de détermination d'un maximum; et un dispositif 33 de calcul de résidus. Le The means 15 comprise: a multiplication device 30; a device 31 for calculating the function COR (p, q); a device 32 for determining a maximum; and a device 33 for calculating residues. The
dispositif de multiplication 30 possède deux entrées constituant respecti- multiplier device 30 has two inputs respectively constituting
vement la première et la seconde entrée des moyens 15, et possède une sortie reliée à une première entrée du dispositif de calcul 31. Le dispositif 31 possède une seconde entrée reliée à une première sortie du dispositif 32 de détermination d'un maximum, pour recevoir des valeurs p et q. Le dispositif 31 possède une première sortie reliée à l'entrée d'adresse de lecture de la mémoire de contours 16 pour lui fournir une valeur d'adresse de lecture (i-p,j-q), et possède une seconde sortie reliée à une entrée du dispositif 32 et à une entrée du dispositif 33. Le dispositif 32 possède une deuxième sortie reliée à une seconde entrée du dispositif 33 et à une première entrée du dispositif 18 de détermination d'une imagé recalée. Il possède une troisième sortie reliée à une troisième entrée du dispositif 33 et à une entrée du dispositif 18. Le dispositif 33 possède deux sorties first and second input means 15, and has an output connected to a first input of the computing device 31. The device 31 has a second input connected to a first output of the device 32 for determining a maximum, to receive p and q values. The device 31 has a first output connected to the read address input of the edge memory 16 to provide a read address value (ip, jq), and has a second output connected to an input of the device. 32 and an input of the device 33. The device 32 has a second output connected to a second input of the device 33 and a first input of the device 18 for determining a rectified image. It has a third output connected to a third input of the device 33 and to an input of the device 18. The device 33 has two outputs
reliées respectivement à deux entrées du dispositif 18. connected respectively to two inputs of the device 18.
La mémoire d'image 17 possède: une entrée de données reliée à la borne d'entrée 11, une sortie reliée à une entrée du dispositif 18, deux entrées de commande recevant respectivement les signaux d'horloge HP et HT, et une entrée d'adresse de lecture, reliée à une sortie du dispositif 18. Le dispositif 18 possède une sortie reliée à la borne de sortie 19 du dispositif de décalage pour lui fournir une suite de valeurs de luminance The image memory 17 has: a data input connected to the input terminal 11, an output connected to an input of the device 18, two control inputs receiving respectively the clock signals HP and HT, and an input of read address, connected to an output of the device 18. The device 18 has an output connected to the output terminal 19 of the shifter to provide a sequence of luminance values
L'(i,j) d'une image recalée.The (i, j) of a recaled image.
Le dispositif de multiplication 30 réalise le calcul du produit G2(i,j) x Gl(i-p,j-q) et le fournit à la première entrée du dispositif de calcul 31. Ce dernier fournit une suite d'adresses de lecture (i-p,j-q) à la mémoire de contours 16 pour permettre au dispositif de multiplication 30 de calculer successivement tous les termes de la formule: COR(p,q) = G2(i,j) x Gl(i-p,j-q) (1) en faisant varier i et j de 0 à 127, les valeurs p et q étant fixées et fournies à la seconde entrée du dispositif 31 par ledispositif 32. Le dispositif 32 fournit une suite de couples de valeurs (p,q) qui est fonction de la suite de valeurs COR(p,q) calculées antérieurement, car le dispositif 32 met en oeuvre l'algorithme à convergence rapide décrit précédemment dans un exemple de mise en oeuvre du procédé selon l'invention. Lorsque le dispositif 32 a détecté que la suite des valeurs COR(p,q) a atteint son maximum, il fournit des valeurs e et e sur sa deuxième sortie et sur sa x y troisième sortie respectivement. Ces valeurs constituent la partie entière des composantes du vecteur de translation du fond de l'image à recaler 2, par rapport au fond de l'image de référence 1. Le dispositif 33 de calcul de résidus reçoit lui aussi, sur sa première entrée, la suite des valeurs COR(p,q) et met en oeuvre le procédé d'interpolation du second ordre, décrit précédemment, pour calculer des valeurs de résidus r et r et les x y fournir respectivement sur sa première et sur sa seconde sortie. Le dispositif de calcul 33 calcule ces résidus selon les formules (4) et (5) The multiplication device 30 calculates the product G2 (i, j) x G1 (ip, jq) and supplies it to the first input of the computing device 31. The latter provides a sequence of read addresses (ip, jq). ) to the contour memory 16 to allow the multiplying device 30 to successively calculate all the terms of the formula: COR (p, q) = G2 (i, j) x Gl (ip, jq) (1) by varying i and j from 0 to 127, the values p and q being fixed and supplied to the second input of the device 31 by the device 32. The device 32 provides a series of pairs of values (p, q) which is a function of the sequence of COR values (p, q) calculated previously, since the device 32 implements the fast convergence algorithm described above in an exemplary implementation of the method according to the invention. When the device 32 has detected that the sequence of the values COR (p, q) has reached its maximum, it supplies values e and e on its second output and on its x y third output respectively. These values constitute the entire part of the components of the translation vector of the background of the image to be shifted 2, relative to the background of the reference image 1. The device 33 for calculating residues also receives, on its first input, following the values COR (p, q) and implements the interpolating method of the second order, described above, to calculate residue values r and r and xy provide respectively on its first and on its second output. The computing device 33 calculates these residues according to formulas (4) and (5)
mentionnées précédemment.previously mentioned.
Le dispositif de multiplication 30 est un circuit logique de réalisation très simple puisqu'il peut être constitué d'une simple porte logique ET. Le dispositif de calcul 31 peut être constitué de mémoires vives à accès aléatoires et d'additionneurs, agencés pour réaliser le calcul selon la formule (1). Sa réalisation est à la portée de l'homme de l'art. Le dispositif 32 de détermination d'un maximum et le dispositif 33 de calcul The multiplication device 30 is a very simple logic circuit since it can consist of a simple AND logic gate. The computing device 31 may consist of random access random access memories and adders, arranged to perform the calculation according to the formula (1). Its realization is within the reach of those skilled in the art. The device 32 for determining a maximum and the computing device 33
de résidus peuvent être constitués par un microprocesseur unique pro- of residues can be constituted by a single microprocessor
grammé pour réaliser la recherche d'un maximum selon P'algorithme à convergence rapide mentionné précédemment et pour réaliser un calcul de résidu selon les formules (4) et (5). Cette programmation mettant en oeuvre des calculs arithmétiques très classiques, est à la portée de grammed to perform the search for a maximum according to the aforementioned fast convergence algorithm and to perform a residue calculation according to formulas (4) and (5). This programming, using very classical arithmetic calculations, is within the reach of
l'homme de P'art.the man of P'art.
La mémoire d'image 17 stocke les valeurs de luminance de l'image à recaler, au rythme o elles sont appliquées à la borne d'entrée 11, à des adresses qui sont fournies par un compteur non représenté, actionnées par le signal d'horloge HP et remis à zéro par le signal d'horloge HT. Pour chaque élément de l'image recalée, la mémoire 17 est lue successivement à quatre adresses fournies par le dispositif 18 pour obtenir quatre valeurs The image memory 17 stores the luminance values of the image to be readjusted, at the rate where they are applied to the input terminal 11, to addresses which are provided by a counter, not shown, actuated by the signal of FIG. HP clock and reset by the HT clock signal. For each element of the recalibrated image, the memory 17 is read successively at four addresses provided by the device 18 to obtain four values
de luminance: L(i-ex,j-ey), W1, W2, et W3, ces adresses étant détermi- luminance values: L (i-ex, j-ey), W1, W2, and W3, these addresses being determined
nées en fonction du signe de rx et de ry conformément aux règles logiques born according to the sign of rx and ry according to the logical rules
mentionnées dans la description d'un exemple de mise en oeuvre du mentioned in the description of an example of implementation of the
procédé.process.
Le dispositif 18 calcule une valeur de luminance L'(i,j) conformé- The device 18 calculates a luminance value L '(i, j) according to
ment à la formule (6). La réalisation du dispositif 18 peut être faite au moyen de mémoires vives à accès aléatoires et de circuits additionneurs, les mémoires vives étant chargées par des tables de valeurs: (1X).(l-E).L stockées à des adresses L = O à 255; de valeurs ot.(1- X).W1 stockées à des adresses W1 = 0 à 255; de valeurs l.a.W2 stockées à des adresses W2 = 0 in formula (6). The embodiment of the device 18 can be made by means of random access random access memories and add-on circuits, the RAMs being loaded by tables of values: (1X). (1E) .L stored at addresses L = 0 to 255 ; values ot. (1- X) .W1 stored at addresses W1 = 0 to 255; l.a.W2 values stored at addresses W2 = 0
à 255; et de valeurs X.(l-c).W3 stockées à des adresses W3 = 0 à 255. at 255; and X. (1-c) .W3 values stored at addresses W3 = 0 to 255.
Dans cet exemple de réalisation ces valeurs sont calculées une seule fois pour traiter toute une trame d'image, sitôt que les signes de rx et de ry sont connus. Le calcul de ces tables de valeurs peut être réalisé au moyen In this embodiment, these values are calculated once to process an entire image frame, as soon as the signs of rx and ry are known. The calculation of these tables of values can be carried out by means of
du même microprocesseur constituant les dispositifs 32 et 33. La réalisa- the same microprocessor constituting the devices 32 and 33.
tion du programme correspondant au calcul de ces tables est à la portée de l'homme de l'art puisqu'il s'agit de faire de simples opérations de tion of the program corresponding to the calculation of these tables is within the reach of those skilled in the art since it is a question of making simple operations of
multiplication et de chargement dans des mémoires vives. multiplication and loading in RAMs.
Le procédé et le dispositif selon l'invention peuvent être appliqués notamment à la poursuite de cibles. Selon une variante de réalisation, le recalage peut ne concerner qu'une seule trame par image. Selon une autre variante, l'image de référence 1 peut être séparée de l'image à recaler 2 The method and the device according to the invention can be applied in particular to tracking targets. According to an alternative embodiment, the registration may relate to only one frame per image. According to another variant, the reference image 1 can be separated from the image to be reset 2
par un intervalle de temps correspondant à plusieurs images. by a time interval corresponding to several images.
Claims (9)
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR8608920A FR2751453A1 (en) | 1986-06-20 | 1986-06-20 | METHOD FOR REPLACING AN IMAGE IN RELATION TO ANOTHER IMAGE, AND DEVICE FOR IMPLEMENTING SAID METHOD |
| IT8767525A IT8767525A0 (en) | 1986-06-20 | 1987-06-18 | PROCEDURE PROCEDURE TO REDEFINE AN IMAGE WITH RESPECT TO ANOTHER IMAGE AND DEVICE TO IMPLEMENT THIS |
| DE19873720377 DE3720377A1 (en) | 1986-06-20 | 1987-06-19 | Method for realigning an image with respect to another image and device for carrying out the method |
| GB8714370A GB2315946B (en) | 1986-06-20 | 1987-06-19 | Process for the motion compensation of an image with respect to another image, and device for the implementation of this process. |
| SE8702600A SE8702600D0 (en) | 1986-06-20 | 1987-06-22 | CORRELATION OF IMAGES |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR8608920A FR2751453A1 (en) | 1986-06-20 | 1986-06-20 | METHOD FOR REPLACING AN IMAGE IN RELATION TO ANOTHER IMAGE, AND DEVICE FOR IMPLEMENTING SAID METHOD |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR2751453A1 true FR2751453A1 (en) | 1998-01-23 |
Family
ID=9336517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR8608920A Pending FR2751453A1 (en) | 1986-06-20 | 1986-06-20 | METHOD FOR REPLACING AN IMAGE IN RELATION TO ANOTHER IMAGE, AND DEVICE FOR IMPLEMENTING SAID METHOD |
Country Status (5)
| Country | Link |
|---|---|
| DE (1) | DE3720377A1 (en) |
| FR (1) | FR2751453A1 (en) |
| GB (1) | GB2315946B (en) |
| IT (1) | IT8767525A0 (en) |
| SE (1) | SE8702600D0 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100255648B1 (en) * | 1997-10-10 | 2000-05-01 | 윤종용 | Video motion detection apparatus and method by gradient pattern matching |
| DE19834465A1 (en) * | 1998-07-30 | 2015-05-28 | LFK Lenkflugkörpersysteme GmbH | Device and method for track point shifting |
| RU2468437C2 (en) * | 2009-07-14 | 2012-11-27 | Тагир Данилович Гильфанов | Method to increase resolution of video sequence |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3828122A (en) * | 1970-09-29 | 1974-08-06 | Bendix Corp | Tv area correlation tracker |
| FR2538653B1 (en) * | 1982-05-28 | 1989-03-31 | Thomson Csf | METHOD FOR ESTIMATING TRANSLATIONS SUBJECT TO OBJECTS REPRESENTED IN A SEQUENCE OF IMAGES AND DEVICE IMPLEMENTING THIS METHOD |
-
1986
- 1986-06-20 FR FR8608920A patent/FR2751453A1/en active Pending
-
1987
- 1987-06-18 IT IT8767525A patent/IT8767525A0/en unknown
- 1987-06-19 GB GB8714370A patent/GB2315946B/en not_active Expired - Fee Related
- 1987-06-19 DE DE19873720377 patent/DE3720377A1/en not_active Ceased
- 1987-06-22 SE SE8702600A patent/SE8702600D0/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| IT8767525A0 (en) | 1987-06-18 |
| DE3720377A1 (en) | 1998-05-07 |
| SE8702600D0 (en) | 1987-06-22 |
| GB8714370D0 (en) | 1998-01-07 |
| GB2315946B (en) | 1998-06-24 |
| GB2315946A (en) | 1998-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR920008901B1 (en) | Detecting method of picture moving vector | |
| EP0128789B1 (en) | Method for realising a geometrical tranformation on a video picture, and device for carrying out this method | |
| EP0368747B1 (en) | Movement estimation method for at least one target in a picture string, and device for carrying out this method | |
| EP0369854B1 (en) | Method and circuit for block-processing an animated picture bidimensional signal | |
| WO1999046730A1 (en) | Edge-dependent interpolation method for color reconstruction in image processing devices | |
| FR2766946A1 (en) | PRETREATMENT METHOD AND DEVICE FOR MOTION ESTIMATION | |
| EP0114559B1 (en) | Method for the continuous colour correction in video imaging, and system for carrying out this method | |
| McClure et al. | Resolving depth-measurement ambiguity with commercially available range imaging cameras | |
| EP1746486B1 (en) | Process for detecting movement of an entity fitted with an image sensor and a device for implementing it | |
| FR2751453A1 (en) | METHOD FOR REPLACING AN IMAGE IN RELATION TO ANOTHER IMAGE, AND DEVICE FOR IMPLEMENTING SAID METHOD | |
| WO2014198029A1 (en) | Image completion based on patch offset statistics | |
| EP1998288A1 (en) | Method for determining the movement of an entity equipped with an image sequence sensor, associated computer program, module and optical mouse. | |
| EP0926625B1 (en) | Image processing method incuding spatio-temporal noise filtering steps and medical imaging apparatus applying this method | |
| EP0125989B1 (en) | Method of generating a video picture comprising a geometric figure, and form generator carrying out this method | |
| EP0769760B1 (en) | Method of automatically detecting evaluation zones in images of mechanical parts | |
| EP0294282B1 (en) | Method for the temporal interpolation of pictures, and apparatus for carrying out this method | |
| FR2966257A1 (en) | METHOD AND APPARATUS FOR CONSTRUCTING A RELIEVE IMAGE FROM TWO-DIMENSIONAL IMAGES | |
| EP0219435B1 (en) | Image contours detection method and local estimation of their parameters in a space with at least three dimensions, and arrangement using this method | |
| EP1746487B1 (en) | Process and device for detection of movement of an entity fitted with an image sensor | |
| CA2354569C (en) | Aiming aid method and system for a light weapon | |
| EP1535463B1 (en) | Method and sensor for determining the local contrast of an observed scene by detection of the luminance from said scene | |
| JP2851629B2 (en) | Image motion vector detection device | |
| EP0113269B1 (en) | Method for discriminating noise and movement in a video image sequence and movement detecting device for carrying out the method | |
| FR2623927A1 (en) | METHOD AND DEVICE FOR DETECTING AND LOCATING AN IMAGE PORTION | |
| FR3073068A1 (en) | METHOD FOR RESTORING IMAGES |