FR2733110A1

FR2733110A1 - Image resetting method for radar image

Info

Publication number: FR2733110A1
Application number: FR8812131A
Authority: FR
Inventors: Thierry Plassard; Alain Ferre; Gilles Champain
Original assignee: Thomson CSF SA
Current assignee: Thales SA
Priority date: 1988-09-16
Filing date: 1988-09-16
Publication date: 1996-10-18
Also published as: IT8967766A0; GB8920821D0

Abstract

The method involves comparing relational structure extracts of images. Two images with a structural relationship and a number of segments (n,p) are fed into an initialisation sequence (161) and an initial matrix (C0(n,p)) is formed. In a second step (162), a relational structure (Ct(n,p) is created between the two images, by iteration. During a classification step (163), segment couples from each image are compared, and the classification types produced. Finally (164) correlation takes place and the images are separated and classified. The method uses contour extraction and shape to produce image segments to compare with a classification list.

Description

Procédé et dispositif de recalage d'images,
par mise en correspondance de structures relationnelles.Method and device for resetting images,
by mapping relational structures.

L'invention se rapporte au domaine du traitement d'images, et plus particulièrement au recalage d'images de façon à en extraire les différences significatives. The invention relates to the field of image processing, and more particularly to the registration of images so as to extract significant differences.

D'une manière générale, une opération de recalage d'images consiste à comparer deux images pour estimer le modèle de déformation permettant de passer d'une image à l'autre, puis à mettre les deux images dans le même référentiel. In general, an image registration operation consists in comparing two images to estimate the deformation model making it possible to go from one image to another, and then to put the two images in the same reference frame.

Différentes méthodes de recalage existent suivant la nature des informations extraites de l'image et qui vont servir à les comparer. En effet, une image peut etre décrite de plusieurs façons
- sous la forme d'un tableau de points affectés d'une valeur de luminance (amplitude d'un signal radar par exemple),
- sous la forme d'un ensemble de primitives extraites de l'image, caractéristiques de contours et/ou de régions d'images,
- ou sous la forme d'un graphe relationnel décrivant la structure de l'image.Different registration methods exist depending on the nature of the information extracted from the image and which will be used to compare them. Indeed, an image can be described in many ways
in the form of an array of points assigned a luminance value (amplitude of a radar signal for example),
in the form of a set of primitives extracted from the image, characteristics of contours and / or regions of images,
- or in the form of a relational graph describing the structure of the image.

A chaque type de description correspondent des méthodes de recalage différentes
- A partir des valeurs de luminance (ou à partir de la luminance filtrée), les méthodes de recalage peuvent utiliser la corrélation (lourd en temps de calcul), ou une approche par modèle de déformation (sensible au bruit).Each type of description corresponds to different registration methods
- From the luminance values (or from the filtered luminance), the resetting methods can use the correlation (heavy in computation time), or a deformation model approach (sensitive to noise).

- A partir des primitives ou segments de l'image, c'està-dire d'ensembles de données correspondant à des contours et/ou à des régions uniformes, les méthodes de recalage utilisées peuvent partir de la structure relationnelle de l'image; la complexité peut être importante mais ce type de méthodes ne nécessite pas de connaissances a priori sur le contenu de l'image. - From the primitives or segments of the image, that is to say data sets corresponding to contours and / or uniform regions, the resetting methods used can start from the relational structure of the image; complexity can be important, but this type of method does not require prior knowledge about the content of the image.

- A partir d'une description de l'image sous forme d'un graphe, la méthode de recalage utilisée peut être une méthode utilisant la reconnaissance de forme, mais elle nécessite des connaissances a priori sur le contenu de l'image. From a description of the image in the form of a graph, the resetting method used may be a method using shape recognition, but it requires knowledge a priori of the content of the image.

L'invention se rapporte a une méthode de recalage d'ima- ges utilisant des "primitives" extraites des images caractéristiques de contours ou de réglons uniformes, et utilisant les structures relationnelles de l'image. Cette méthode nécessite d'abord une opération de segmentation, pour extraire de l'image l'information pertinente (primitives) : dans le cas d'une image radar, et pour obtenir un recalage, cette information pertinente est relative aux contours et aux régions. The invention relates to an image registration method using "primitives" extracted from the characteristic images of uniform contours or rulers, and using the relational structures of the image. This method first requires a segmentation operation, in order to extract from the image the relevant information (primitives): in the case of a radar image, and to obtain a registration, this relevant information relates to contours and regions .

L'invention a pour objet un procédé de recalage d'images par création et mise en correspondance de structures relationnelles dans les images à comparer , qui comporte, après traitement initial, segmentation, et création de structures relationnelles propres à chaque image, une phase de mise en correspondance comportant des étapes successives d'initialisation, de relaxation, de classification, et de corrélation, et qui permet, par l'estimation de la déformation entre images, une mise en correspondance efficace des structures relationnelles propres à chaque image, et détermine de façon automatique, plus précisément et plus sûrement que par les méthodes antérieures, les paramètres nécessaires au recalage des images. The subject of the invention is a method of image registration by creation and mapping of relational structures in the images to be compared, which comprises, after initial processing, segmentation, and creation of relational structures specific to each image, a phase of mapping comprising successive steps of initialization, relaxation, classification, and correlation, and which makes it possible, by estimating the deformation between images, an efficient matching of the relational structures specific to each image, and determines Automatically, more precisely and more surely than by the previous methods, the parameters necessary for the registration of the images.

Suivant l'invention un procédé de recalage d'images par mise en correspondance de structures relationnelles extraites de ces images, le recalage étant effectué par transformation d'une image selon un modèle affine issu de cette mise en correspondance décomposable en une rotation d'angle e et une translation de vecteur A , comportant une première phase de segmentation des images par contours d'ou résulte, pour chaque image, un fichier de segments avec leurs attributs, est caractérisé en ce que, à l'issue de cette phase de segmentation, une phase de création de structures relationnelles est mise en oeuvre pour associer des segments voisins par couples dans chacune des images traitées, puis une phase de mise en correspondance (160) de ces structures relationnelles extraites de chaque image, pour l'estimation des paramètres du modèle de déformation comportant les étapes successives suivantes
- une étape d'initialisation dans laquelle un coût d'affectation d'un segment quelconque Ni de l'image 1, à un segment quelconque M. de l'image 2 est calculé en fonction de la coïncidence des attributs décrivant ces segments, et de la coïncidence d'angles entre ces segments et des segments associés dans les images auxquelles ces segments appartiennent, cette phase aboutissant à la création d'une matrice de coûts initiaux cO(n,p) de dimensions n.p si n segments ont été retenus dans l'image 1 et p segments ont été retenus dans l'image 2 pour la mise en correspondance,
- une étape de relaxation qui met en oeuvre un procédé itératif d'évolution des coûts d'affectation initiaux calculés à l'étape précédente tenant compte des relations entre les segments établies dans la phase de création des structures relationnelles, et qui aboutit à une matrice de coûts Ct(n,p), puis pour chaque segment à une affectation de chaque segment de l'image 1, N., à un segment de l'image 2, M. de meilleur coût dans la matrice,
- une étape de classification des couples de segments affectés, à condition que les angles entre ces segments et respectivement des segments associés dans les images respectives 1 et 2 soient égaux, cette classification étant effectuée à partir de toutes les associations possibles entre couples de segments appartenant respectivement aux images 1 et 2, et chaque classe étant associée à un jeu de paramètres de transformation et à la liste des couples de segments qu'elle contient,
- et une étape de corrélation qui sélectionne une classe parmi les classes résultant de étape de classification précédente, et qui affine les paramètres du modèle de transformation, d'où résulte le modèle M( A ,e) utilisé pour le recalage. According to the invention, a method for resetting images by mapping relational structures extracted from these images, the registration being performed by transforming an image according to an affine model resulting from this decomposable mapping into an angle rotation. e and a vector translation A, comprising a first phase of segmentation of the out-of-line images resulting in, for each image, a segment file with their attributes, is characterized in that, at the end of this phase of segmentation , a relational structure creation phase is implemented to associate neighboring segments in pairs in each of the processed images, then a matching phase (160) of these relational structures extracted from each image, for the estimation of the parameters. the deformation model comprising the following successive steps
an initialization step in which a cost of assigning any segment Ni of the image 1 to any segment M of the image 2 is calculated according to the coincidence of the attributes describing these segments, and the coincidence of angles between these segments and associated segments in the images to which these segments belong, this phase resulting in the creation of an initial cost matrix cO (n, p) of dimensions np if n segments were retained in image 1 and p segments were retained in image 2 for mapping,
a relaxation step which implements an iterative process of evolution of the initial allocation costs calculated in the preceding step taking into account the relationships between the segments established in the phase of creation of the relational structures, and which results in a matrix of costs Ct (n, p), then for each segment to an assignment of each segment of the image 1, N., to a segment of the image 2, M. of better cost in the matrix,
a step of classifying the pairs of segments affected, provided that the angles between these segments and respectively associated segments in the respective images 1 and 2 are equal, this classification being made from all the possible associations between couples of segments belonging to respectively to the images 1 and 2, and each class being associated with a set of transformation parameters and the list of the pairs of segments that it contains,
and a correlation step which selects a class among the classes resulting from the preceding classification step, and which refines the parameters of the transformation model, which results in the model M (A, e) used for the registration.

L'invention a également pour objet le dispositif destiné à la mise en oeuvre de ce procédé de recalage d'images. The invention also relates to the device for implementing this image registration method.

L'invention sera mieux comprise et d'autres caractéristiques apparaîtront à l'aide de la description qui suit en référence aux figures annexées. The invention will be better understood and other characteristics will become apparent with the aid of the description which follows with reference to the appended figures.

La figure 1 est un schéma synoptique du procédé de recalage d'images suivant l'invention;
La figure 2 est le schéma synoptique général de l'estima- tion des paramètres utilisés pour le recalage d'images
La figure 3 est le schéma du procédé de segmentation d'images utilisé pour l'estimation des paramètres
Les figures 4, 5, 6 et 7 représentent respectivement une image à traiter, la même image après feuillage, la même image binaire après filtrage, et la même image à l'issue de la phase de segmentation
Les figures 8, 9 et 10 sont des diagrammes explicatifs, représentant schématiquement respectivement une image binaire, l'image binaire après pontage, et une image de régions
La figure 11 est un schéma synoptique plus détaillé de la phase de recalage des structures relationnelles (150) utilisée pour 11 estimation des paramètres
Les figures 12a et 12b représentent respectivement un ensemble de segments et le graphe correspondant des arcs caractéristiques des positions relatives de ces segments
Les figures 13a et 13b représentent respectivement deux segments, et le graphe associé des distances entre ces deux segments
La figure 14 est un schéma synoptique plus détaillé de la phase de mise en correspondance de structures relationnelles, utilisée pour l'estimation des paramètres
Les figures 15a et 15b représentent respectivement des ensembles de segments, dans les images 1 et 2 respectivement, dont la correspondance est analysée
La figure 16 illustre les conditions relatives aux segments considérés dans une image pour la phase de mise en correspondance
Les figures 17a et 17b sont également des schémas explicitant notamment le voisinage d'un segment M. dans l'image 2
Les figures 18 et 19 illustrent respectivement un cas où la correspondance entre deux couples de segments appartenant respectivement aux images 1 et 2 est acceptée et un cas où la correspondance est refusée
La figure 20 illustre un segment considéré pour la mise en correspondance et la figure 21 illustre deux couples de segments.Figure 1 is a block diagram of the image registration method according to the invention;
Figure 2 is the general block diagram of the estimation of parameters used for image registration.
FIG. 3 is the schematic diagram of the image segmentation method used to estimate the parameters
FIGS. 4, 5, 6 and 7 respectively represent an image to be processed, the same image after foliage, the same binary image after filtering, and the same image at the end of the segmentation phase
FIGS. 8, 9 and 10 are explanatory diagrams, schematically representing respectively a binary image, the binary image after bridging, and an image of regions.
Fig. 11 is a more detailed block diagram of the relational structure registration phase (150) used to estimate the parameters.
FIGS. 12a and 12b respectively represent a set of segments and the corresponding graph of the characteristic arcs of the relative positions of these segments
FIGS. 13a and 13b respectively represent two segments, and the associated graph of the distances between these two segments
Figure 14 is a more detailed block diagram of the relationship structure mapping phase used for parameter estimation
Figures 15a and 15b respectively represent sets of segments, in the images 1 and 2 respectively, whose correspondence is analyzed
Figure 16 illustrates the conditions relating to the segments considered in an image for the mapping phase
FIGS. 17a and 17b are also diagrams that explain in particular the neighborhood of a segment M in image 2
Figures 18 and 19 respectively illustrate a case where the correspondence between two pairs of segments respectively belonging to the images 1 and 2 is accepted and a case where the correspondence is refused
Figure 20 illustrates a segment considered for matching and Figure 21 illustrates two pairs of segments.

La figure 22 est le schéma synoptique détaillé de la phase de classification utilisée dans la phase de mise en correspondance de structures relationnelles
La figure 23 est un schéma détaillé illustrant la phase de corrélation utilisée dans la phase de mise en correspondance de structures relationnelles.Figure 22 is the detailed synoptic diagram of the classification phase used in the relational structure mapping phase
Fig. 23 is a detailed diagram illustrating the correlation phase used in the mapping phase of relational structures.

Les figures 24 à 28 sont des photos illustrant les résultats obtenus par le procédé. Figures 24 to 28 are photographs illustrating the results obtained by the method.

Les différentes phases du procédé de recalage d'images suivant l'invention vont être détaillées ci-après en référence aux figures qui permettent de l'expliciter. D'une manière conventionnelle, sur ces figures, les données et/ou résultats ont été mentionnés dans des trapèzes, tandis que les phases de procédé c'est-à-dire les différentes étapes de traitement sont représentées dans des rectangles. The different phases of the image registration method according to the invention will be detailed below with reference to the figures that make it possible to explain it. In a conventional manner, in these figures, the data and / or results have been mentioned in trapezes, while the process phases, that is to say the different processing steps are represented in rectangles.

L'invention concerne une méthode de recalage d'images utilisant des structures relationnelles extraites des images à partir de primitives contours et nécessite l'extraction de longs contours à forte probabilité. Ces contours existent dans des fortes transitions de luminance entre des zones homogènes. Pour cela, des masques de convolution de grande taille sont utilisés. The invention relates to a method of image registration using relational structures extracted from the images from contour primitives and requires the extraction of long contours with high probability. These contours exist in strong luminance transitions between homogeneous zones. For this, large convolution masks are used.

La figure 1 est le schéma fonctionnel général du procédé de recalage d'images suivant l'invention. Dans une application particulière à l'image radar, le bruit inhérent aux images de ce type (speckle) nécessite avant toute opération de segmentation un prétraitement ou "filtrage", non pour améliorer la qualité visuelle des images mais pour permettre une bonne segmentation. Figure 1 is the general block diagram of the image registration method according to the invention. In a particular application to the radar image, the noise inherent in images of this type (speckle) requires, before any segmentation operation, a pretreatment or "filtering", not to improve the visual quality of the images but to allow a good segmentation.

I1 est possible par exemple d'utiliser un filtre moyenneur qui remplace la valeur de luminance d'un pixel par une valeur moyenne tenant compte des valeurs de luminance des pixels du voisinage dans une fenêtre de dimension pré définie. Ce type de filtrage est bien adapté aux opérations de segmentation qui suivent, destinées à extraire de longs segments à forte probabilité. A partir de deux images 1 et 2, Iml et Im2, après un filtrage selon la méthode indiquée ci-dessus,non représenté, les paramètres d'un modèle de déformation sont estimés par comparaison de ces deux images dans une premiere phase symbolisée dans le rectangle 100 de la figure 1.A partir de l'estimation de ce modèle de déformation, les deux images sont recalées, c'est-à-dire mises dans le même référentiel par transformation de l'une, Im2' suivant les paramètres de déformation estimés, au cours d'une deuxième phase, 200. Puis l'image 2 recalée,
IR-2, est comparée à l'image 1, Iml, au cours d'une phase de détection de différence, 300, de laquelle résulte une image différence ID(1, 2) qui correspond strictement à l'évolution entre les prises de vue 1 et 2, puisque tenant compte de la déformation.It is possible, for example, to use an averaging filter which replaces the luminance value of a pixel with an average value taking into account the luminance values of the pixels of the neighborhood in a window of pre-defined dimension. This type of filtering is well adapted to the segmentation operations that follow, intended to extract long segments with high probability. From two images 1 and 2, Im1 and Im2, after a filtering according to the method indicated above, not shown, the parameters of a deformation model are estimated by comparison of these two images in a first phase symbolized in FIG. rectangle 100 of FIG. 1. Starting from the estimation of this model of deformation, the two images are recaled, that is to say put in the same reference by transformation of the one, Im2 'according to the parameters of deformation estimated, during a second phase, 200. Then the image 2 recaled,
IR-2, is compared with the image 1, Im1, during a difference detection phase, 300, from which results a difference image ID (1, 2) which corresponds strictly to the evolution between the taps view 1 and 2, since taking into account the deformation.

La figure 2 est le schéma général de la phase d'estimation des paramètres de déformation, 100, mentionnée sur la figure 1. Pour cette estimation des paramètres, les images 1 et 2, Iml et Im2 sont segmentées au cours d'une phase de segmentation, 110, de laquelle résulte pour chacune des images un fichier de segments, respectivement Segl et Seg2. Ces fichiers de segments sont traités au cours d'une phase 150 de recalage de structures relationnelles explicitée ci-après en référence à la figure 11. FIG. 2 is the general diagram of the estimation phase of the deformation parameters, 100, mentioned in FIG. 1. For this estimation of the parameters, the images 1 and 2, Im1 and Im2 are segmented during a phase of segmentation, 110, from which results for each of the images segment file, respectively Segl and Seg2. These segment files are processed during a phase 150 of relational structure registration explained below with reference to FIG. 11.

Dans l'application envisagée, on estime que la transformation fait intervenir uniquement des translations et des rota tions et qu'il n'y a pas de problème de grossissement. En effet, soit les deux images comparées sont acquises à la même résolution, soit il y a un changement de résolution entre les deux images et le facteur de grossissement est alors une donnée a priori du problème. In the application envisaged, it is considered that the transformation involves only translations and rotations and that there is no problem of magnification. Indeed, either the two compared images are acquired at the same resolution, or there is a change in resolution between the two images and the magnification factor is then a given a priori problem.

Suivant cette hypothèse, la transformation entre les deux images est donc un modèle affine dont on cherche à estimer les paramètres. Pour l'estimation de la transformation, les images étant bruitées et non nécessairement très proches, la méthode consiste à mettre en correspondance un des points d'une image avec leurs homologues dans l'autre image. Pour cela, un certain nombre de structures extraites d'une image sont recherchées dans l'autre image, et à partir de ces informations, on estime les paramètres du modèle de déformation. Cette phase de recalage de structures relationnelles aboutit au modèle de transfor mation M( 8, 0) qu'on estime par ses paramètres, ,5 vecteur translation, et e, angle de rotation. According to this hypothesis, the transformation between the two images is therefore an affine model whose parameters we seek to estimate. For the estimation of the transformation, the images being noisy and not necessarily very close, the method consists of matching one of the points of an image with their counterparts in the other image. For this purpose, a certain number of structures extracted from an image are searched for in the other image, and from this information, the parameters of the deformation model are estimated. This phase of registration of relational structures leads to the transformation model M (8,0) estimated by its parameters,, vector translation, and e, angle of rotation.

La phase de segmentation, 110, mentionnée sur la figure 2 est détaillée sur la figure 3. The segmentation phase, 110, mentioned in FIG. 2 is detailed in FIG.

La méthode de segmentation est particulièrement adaptée au procédé de recalage suivant l'invention en ce sens que son niveau de complexité n'est pas trop grand : on utilise seulement deux masques de convolution binaires en chaque point (au lieu par exemple de 6 dans un algorithme dit de NEVATIA décrit par NEVATIA et BABU dans un article intitulé "Linear feature extraction and description", pages 257 à 269 du volume 13 de "Computer graphics and image processing", ces masques étant de taille variable pour s'adapter au contour. The segmentation method is particularly suitable for the registration method according to the invention in that its level of complexity is not too great: only two binary convolution masks are used at each point (instead of for example 6 in a NEVATIA algorithm described by NEVATIA and BABU in an article entitled "Linear feature extraction and description", pages 257 to 269 of volume 13 of "Computer graphics and image processing", these masks being of variable size to fit the contour.

Cette méthode de segmentation est du type "recherche de discontinuités" (approche contour) et non "recherchée d'homogénéité" (approche régions). Ses différentes étapes sont une extraction de contours, un suivi de contours, une approximation linéaire des contours et un pontage sur les contours proches. This segmentation method is of the "discontinuity search" type (approach contour) and not "sought homogeneity" (approach regions). Its different steps are contour extraction, contour tracking, linear approximation of contours, and bridging on nearby contours.

La phase d'extraction de contours, 111 sur la figure 3 est donc effectuée par convolution de l'image avec deux masques binai res de taille variable, N, et d'orientation 0 et 900. Par exemple, pour N = 5, ces masques sont les suivants
-1 -1 0 1 1
-1 -1 0 1 1 M(OO) : -1 -1 0 1 1
-1 -1 0 1 1
-1 -1 0 1 1 et
-1 -1 -1 -1 -1
-1 -1 -1 -1 -1
M(900) : 0 0 0 0 0
1 1 1 1 1
1 1 1 1 1
Soient R1 et R2 les résultats de convolution de l'image par ces masques, l'amplitude et l'orientation du contour au point courant sont respectivement définis par

The contour extraction phase 111 in FIG. 3 is thus carried out by convolution of the image with two binary masks of variable size, N, and of orientation 0 and 900. For example, for N = 5, these masks are as follows
-1 -1 0 1 1
-1 -1 0 1 1 M (OO): -1 -1 0 1 1
-1 -1 0 1 1
-1 -1 0 1 1 and
-1 -1 -1 -1 -1
-1 -1 -1 -1 -1
M (900): 0 0 0 0 0
1 1 1 1 1
1 1 1 1 1
Let R1 and R2 be the results of convolution of the image by these masks, the amplitude and the orientation of the contour at the current point are respectively defined by

ORI = Arctg(R1/R2) ; cette orientation est ensuite ramenée à une valeur discrète multiple de 300. ORI = Arctg (R1 / R2); this orientation is then reduced to a discrete value multiple of 300.

Un point est alors un point de contour si l'amplitude est supérieure à un seuil, et supérieure à celle des deux points voisins dans une direction normale à celle du contour au point considéré. On dispose alors d'une image binaire Imb, et un suivi de contours permet d'écarter les lignes contours inférieures à un seuil et d'effectuer une approximation linéaire de la ligne contour. A point is then an edge point if the amplitude is greater than a threshold, and greater than that of the two neighboring points in a direction normal to that of the contour at the point considered. We then have a binary image Imb, and contour tracking allows to discard contour lines below a threshold and to make a linear approximation of the contour line.

A la fin de cette phase d'extraction on dispose donc de l'image binaire Imb et d'un ensemble de segments dont les attributs peuvent être les suivants
- Début et fin
- Nombre de points
- Amplitude moyenne du gradient
- Orientation
Cette liste n'est pas limitative. Ces segments sont stockés dans un fichier appelé liste de segments LSeg.At the end of this extraction phase we have the binary image Imb and a set of segments whose attributes can be as follows:
- Beginning and end
- Number of points
- Average amplitude of the gradient
- Orientation
This list is not exhaustive. These segments are stored in a file called LSeg segment list.

La phase suivante est une opération de pontage, 112 sur la figure 3, réalisée de la manière suivante : la sélection des ponts possibles entre segments est effectuée à partir du fichier
LSeg ; la recherche d'un chemin optimal est effectuée sur l'image binaire Imb dans des fenêtres adaptées aux distances entre les extrémités proches de deux segments
La sélection des ponts possibles est effectuée d'abord sur des segments colinéaires, puis sur les segments proches, et enfin, pour la recherche des ponts en "T", sur les segments orthogonaux. Pour la recherche du chemin optimal entre les deux points de départ et d'arrivée du pont, une fenêtre carrée adaptée à la distance entre ces deux points est analysée en utilisant l'image d'amplitude du gradient de luminance.Un chemin est validé dans cette fenêtre si la somme des amplitudes des gradients pour les points du chemin rapportée à l'amplitude maximale du gradient multipliée par le nombre de points sur ce chemin est supérieure à un seuil.The next phase is a bridging operation, 112 in FIG. 3, carried out as follows: the selection of possible bridges between segments is made from the file
LSeg; the search for an optimal path is performed on the binary image Imb in windows adapted to the distances between the ends close to two segments
The selection of the possible bridges is done first on collinear segments, then on the close segments, and finally, for the search for "T" bridges, on the orthogonal segments. For the search of the optimal path between the two points of departure and arrival of the bridge, a square window adapted to the distance between these two points is analyzed using the amplitude image of the luminance gradient. A path is validated in this window if the sum of the amplitudes of the gradients for the points of the path related to the maximum amplitude of the gradient multiplied by the number of points on this path is greater than a threshold.

Après décision l'image binaire est réactualisée ou non, et il en résulte une image binaire de contours pontés, Imb-CP. After decision the binary image is updated or not, and results in a binary image of bridged contours, Imb-CP.

Si nécessaire il est possible à partir de ces contours pontés d'effectuer une extraction de régions 113 si une image de régions IR est recherchée.If necessary it is possible from these bridged contours to extract regions 113 if an image of IR regions is sought.

L'opérateur de recalage nécessite en entrée un fichier de segments. Il est donc nécessaire, après pontage, de réaliser un nouveau suivi de contours, et une nouvelle approximation linéaire pour obtenir une liste de segments après pontage LSP, et donc un fichier de segments avec les attributs associés, Seg. The registration operator requires a segment file as input. It is therefore necessary, after bridging, to perform a new edge tracking, and a new linear approximation to obtain a list of segments after LSP bridging, and therefore a segment file with the associated attributes, Seg.

Les figures 4 à 10 illustrent les résultats des différentes étapes de ce procédé de segmentation
la figure 4 représente une image source à traiter Im
la figure 5 représente la même image, après "seuillage", c'est-à-dire l'image binaire dans laquelle le niveau 0 est affec té à tous les points qui ne sont pas des points de contours, et le niveau 1 est affecté aux points de contours.Figures 4 to 10 illustrate the results of the different steps of this segmentation method
FIG. 4 represents a source image to be processed Im
FIG. 5 represents the same image, after "thresholding", that is to say the binary image in which the level 0 is affected at all the points which are not edge points, and the level 1 is assigned to the outlines.

La figure 6 représente la même image binaire en cours de pontage, et la figure 7 représente la même image après pontage, résultat de la segmentation. Figure 6 shows the same binary picture being bridged, and Figure 7 shows the same picture after bridging, the result of segmentation.

La figure 8 représente schématiquement une image binaire par segments avant pontage, la figure 9 l'image binaire après pontage les ponts possibles ayant été effectués, et la figure 10 l'image de régions (non directement utile au recalage). FIG. 8 schematically represents a binary image by segments before bridging, FIG. 9 the binary image after bridging the possible bridges having been made, and FIG. 10 the image of regions (not directly useful for resetting).

Pour le recalage d'images, seuls les segments "longs" sont utiles, et donc sélectionnés dans les fichiers de segments Segl et Seg2 à l'issue de la phase de segmentation. For the registration of images, only the "long" segments are useful, and therefore selected in the Segl and Seg2 segment files at the end of the segmentation phase.

Les fichiers de segments Segl et Seg2 résultant de la segmentation qui comportent donc un ensemble de segments avec différents attributs sont utilisés pour le recalage de structures relationnelles, 150 sur la figure 2 qui aboutit au modèle de transformation M( 8 ,8). La figure 11 illustre ce procédé de recalage de structures relationnelles : ce procédé comporte une phase de création, 155, de structures relationnelles à partir des données contenues dans les fichiers de segments, Segl et
Seg2.Ces structures relationnelles sont créées de la manière suivante : l'image segmentée est décrite sous forme d'une structure relationnelle par un ensemble de noeuds et d'arcs : chaque segment correspond à un noeud, et une relation entre deux segments correspond à un arc qui décrit la position relative de deux noeuds par deux paramètres, type et distance.Segment segmentation files Segl and Seg2 which thus comprise a set of segments with different attributes are used for the relational structure registration, 150 in Figure 2 which leads to transformation model M (8, 8). FIG. 11 illustrates this method of relational structure registration: this method comprises a creation phase, 155, of relational structures from the data contained in the segment files, Segl and
These relational structures are created in the following way: the segmented image is described as a relational structure by a set of nodes and arcs: each segment corresponds to a node, and a relation between two segments corresponds to an arc that describes the relative position of two nodes by two parameters, type and distance.

Un noeud est décrit par une liste d'attributs
- un nom symbolique;
- une force, fonction du contraste,
- une direction fonction du sens de transition noir-blanc
- les positions des extrémités, qui permettent de calculer l'orientation et la longueur du segment. A node is described by a list of attributes
- a symbolic name;
a force, depending on the contrast,
- a direction according to the direction of transition black-white
the positions of the ends, which make it possible to calculate the orientation and the length of the segment.

Un arc décrit la position relative de deux noeuds et est noté (Ni-Nj). La position relative est décrite par deux paramètres
- Le type : parallèle colinéaire noté Pc, parallèle non-colinéaire "droit" note P d > parallèle non-colinéaire "gauche" noté Pg, sécant "devant" noté Sdt' sécant "derrière" noté Sde, et sécant "sur" noté 5se Les attributs droit/gauche définissent la position du premier segment par rapport au second, et les attributs devant/derrière/sur définissent la position de l'intersection des droites portant les segments par rapport au second segment.An arc describes the relative position of two nodes and is denoted (Ni-Nj). The relative position is described by two parameters
- The type: colinear parallel noted Pc, parallel non-collinear "right" note P d> parallel non-collinear "left" noted Pg, secant "before" noted Sdt 'secant "behind" noted Sde, and secant "on" noted 5se The right / left attributes define the position of the first segment with respect to the second, and the attributes in front / behind / on define the position of the intersection of the lines carrying the segments with respect to the second segment.

- la distance : la distance dij du noeud Ni au noeud N. est caractérisée par un ensemble de couples (d lp), ou d définit la position d'un cadre autour du segment corres p pondant au noeud N., et où 1 est la longueur du segment cor p respondant au noeud N. incluse dans le cadre. the distance: the distance dij from the node Ni to the node N. is characterized by a set of pairs (d lp), where d defines the position of a frame around the segment corresponding to the node N., and where 1 is the length of the segment corresponding to the node N included in the frame.

Les figures 12a et 12b et 13a et 13b illustrent la création de ces structures relationnelles : sur la figure 12a ont été représentés quatre segments, No, N-1, N2, N3 avec pour chacun ses deux extrémités et son sens. Ces quatre segments, ou (noeuds) sont associés à la structure relationnelle représentée sur la figure 12b ; ce graphe montre qu'entre les segments noeuds N1 et N2, parallèles et colinéaires, les arcs reliant N1 et N2 sont notés Pc. Entre Ng et N2 par exemple, qui sont sécants, l'arc entre Ng et N2 est noté
Sdt et à l'inverse entre N2 et Ng l'arc est noté Sde,
N2 croisant Ng en un point situé en avant de N2 par rapport à la direction de N2, alors que ce point d'intersection est situé en arrière de N0 par rapport à sa direction. Ng et
N3 sont parallèles non-colinéaires, N0 étant à gauche de
N3, par rapport à la direction commune et inversement N3 étant à droite de N, toujours par rapport à cette direction.Figures 12a and 12b and 13a and 13b illustrate the creation of these relational structures: in Figure 12a have been represented four segments, No, N-1, N2, N3 with each its two ends and its meaning. These four segments, or (nodes) are associated with the relational structure shown in Figure 12b; this graph shows that between the parallel and collinear N1 and N2 nodes, the arcs connecting N1 and N2 are denoted Pc. Between Ng and N2 for example, which are secant, the arc between Ng and N2 is noted
Pte and conversely between N2 and Ng the arc is noted Sde,
N2 crossing Ng at a point ahead of N2 with respect to the direction of N2, while this point of intersection is behind N0 with respect to its direction. Ng and
N3 are parallel non-collinear, N0 being on the left of
N3, with respect to the common direction and conversely N3 being to the right of N, always with respect to this direction.

Le graphe de la figure 12b représente tous les arcs avec les types correspondants. The graph of Figure 12b represents all the arcs with the corresponding types.

En ce qui concerne les distances, les figures 13a et 13b illustrent les mesures de distance et le graphe correspondant obtenu entre deux noeuds Ni et N. Pour cela, on définit autour du noeud de départ Ni des cadres Vi0, Vi1, Vi2 à des distances do, d1, d2 etc.. La distance dit... With regard to the distances, FIGS. 13a and 13b illustrate the distance measurements and the corresponding graph obtained between two nodes Ni and N. For this, around the starting node Ni are defined frames Vi0, Vi1, Vi2 at distances do, d1, d2 etc. The distance says ...

d'un noeud Ni au noeud Nj est la longueur du segment correspondant au noeud N. incluse dans le cadre : soit Lg associée au cadre Vi0, à une distance do du segment Ni, LL1 associée à la distance d1, L2 associée à la distance D2.from a node Ni to the node Nj is the length of the segment corresponding to the node N included in the frame: let Lg be associated with the frame Vi0, at a distance do of the segment Ni, LL1 associated with the distance d1, L2 associated with the distance D2.

On voit sur cet exemple que pour des distances supérieures à
D2, les longueurs sont constantes et égales à la longueur du segment L2. Le graphe correspondant est représenté sur la figure 13b. Le graphe complet qui résulte de la combinaison des figures 12b et 13b est donc composé de deux informations
- noeuds et attributs associés
- arcs de deux natures : type (sécant, parallèle, etc...), et distance.We see in this example that for distances greater than
D2, the lengths are constant and equal to the length of the segment L2. The corresponding graph is shown in Figure 13b. The complete graph resulting from the combination of FIGS. 12b and 13b is thus composed of two pieces of information
- nodes and associated attributes
- arcs of two natures: type (secant, parallel, etc ...), and distance.

Les structures relationnelles étant ainsi établies pour l'ensemble des segments de l'image 1 et de l'image 2 respectivement, la phase suivante 160 représentée sur la figure 11 est la mise en correspondance de ces structures relationnelles. Un schéma plus détaillé de cette phase de mise en correspondance de structures relationnelles, 160, est représenté sur la figure 14. Cette phase de mise en correspondance, consiste à repérer les parties communes entre les deux structures relationnelles, ou graphes (attribut, arc (type, distance)), en autorisant éventuellement la réunion de deux ou plusieurs noeuds en un seul. Relational structures are thus established for all segments of image 1 and image 2 respectively, the next phase 160 shown in Figure 11 is the mapping of these relational structures. A more detailed diagram of this phase of mapping of relational structures, 160, is shown in FIG. 14. This matching phase consists in locating the common parts between the two relational structures, or graphs (attribute, arc ( type, distance)), possibly allowing the union of two or more nodes into one.

Pour la mise en correspondance, une solution en quatre phases a été retenue
- phase 161 initialisation : elle consiste à calculer un coût d'affectation du noeud Ni de l'image 1 au noeud M. de
i J l'image 2, en fonction des attributs décrivant chaque noeud.For mapping, a four-phase solution was selected
phase 161 initialization: it consists of calculating a cost of assignment of the node N1 of the image 1 to the node M. of
Image 2, according to the attributes describing each node.

- phase 162 relaxation : cette phase met en oeuvre un procédé itératif d'évolution des coûts calculés à l'étape précédente, suivant la coïncidence des types d'arcs liant les noeuds. phase 162 relaxation: this phase implements an iterative process of evolution of the costs calculated in the preceding step, according to the coincidence of the types of arcs linking the nodes.

- phase 163 classification : cette phase permet de regrouper les différentes affections en classes : chaque classe est caractérisée par des paramètres de transformation (rotation et translation) d'une image à l'autre. - phase 163 classification: this phase makes it possible to group the different affections into classes: each class is characterized by transformation parameters (rotation and translation) from one image to another.

- phase 164 corrélation : cette phase permet de sélectionner la "meilleure" classe parmi celles déterminées à la phase précédente. - phase 164 correlation: this phase makes it possible to select the "best" class among those determined in the previous phase.

La transformation ainsi obtenue à l'issue du procédé de recalage permet d'effectuer la transformation de la deuxième image selon ces paramètres de façon à obtenir une image comparable directement à l'image initiale. La différence point à point entre ces deux images permet alors d'obtenir une image "différence" caractéristique des paramètres qui ont varié entre les deux acquisitions. Ces quatre phases d'élémentaires sont décrites en détails ci-après
Dans la phase d'initialisation 161, un coût d'affectation du noeud Ni de l'image 1 au noeud M. de l'image 2 est calculé en fonction des attributs décrivant chaque noeud. Pour pouvoir exploiter les attributs directions et angles des noeuds et obtenir des résultats suffisamment discriminants pour les phases suivantes, il est nécessaire, en cas de rotation, de travailleur par couples de noeuds.Le coût C. j est donc calculé suivant la coïncidence entre les attributs - du noeud N. et du noeud M.,
i J - du noeud N k et du noeud - du noeud N1 et du noeud Mr, où N k et M sont respectivement des noeuds "associés" res p pectivement aux noeuds N. et M. (le choix de ces noeuds "associés" aux noeuds pour lesquels une éventuelle correspondance est recherchée est explicité ci-après), et M et N p sont des noeuds voisins des noeuds N k et M
r respectivement (la définition du voisinage est faite ci-après).Ces différents noeuds des images 1 et 2 sont représentés sur les figures 15a et 15b respectivement. The transformation thus obtained at the end of the registration process makes it possible to perform the transformation of the second image according to these parameters so as to obtain an image comparable directly to the initial image. The point-to-point difference between these two images then makes it possible to obtain a "difference" image characteristic of the parameters that have varied between the two acquisitions. These four elementary phases are described in detail hereinafter
In the initialization phase 161, an assignment cost of the node N1 of the image 1 to the node M of the image 2 is calculated according to the attributes describing each node. To be able to exploit the attributes directions and angles of the nodes and to obtain sufficiently discriminating results for the following phases, it is necessary, in case of rotation, of worker in pairs of nodes. The cost C. j is thus calculated according to the coincidence between the attributes - of node N and node M,
i J - of the node N k and the node - of the node N1 and of the node Mr, where N k and M are respectively "associated" nodes respectively with the nodes N. and M. (the choice of these "associated" nodes to the nodes for which a possible correspondence is sought is explained below), and M and N p are neighboring nodes of the nodes N k and M
respectively (the definition of the neighborhood is made hereinafter). These different nodes of the images 1 and 2 are shown in FIGS. 15a and 15b respectively.

Le noeud N k "associé" au noeud Ni de la même image doit vérifier les deux conditions suivantes, illustrées par la figure 16
- une première condition sur la longueur : la longueur 1k du segment correspondant au noeud Nk, incluse dans le voisinage V. de Ni à la distance d k doit être supérieure à un seuil, seuil 1
- une condition d'angle ; l'angle 0ik entre le segment correspondant au noeud Ni et le segment correspondant au noeud associé N k doit être supérieur à un seuil, seuil 0, proche de 900.The node N k "associated" with the node Ni of the same image must verify the two following conditions, illustrated by FIG. 16
a first condition on the length: the length 1k of the segment corresponding to the node Nk, included in the neighborhood V. of Ni at the distance dk must be greater than a threshold, threshold 1
- an angle condition; the angle θk between the segment corresponding to the node Ni and the segment corresponding to the associated node N k must be greater than a threshold, threshold 0, close to 900.

Un noeud N. n'ayant pas de voisins satisfaisant ces deux critères nn participe pas à la mise en correspondance
Pour examiner la correspondance du noeud N. avec le noeud Mj, on recherche un noeud M dans le voisinage
J p
Vjk de M. à la distance d les noeuds qui appartiennent au voisinage Vjk de M. sont les noeuds dont les segments correspondants ont une partie à l'intérieur du cadre tracé autour de M. à une distance dk. La figure 17a représente, dans une image 1, le segment N. et le segment N k faisant un angle #ik et le voisinage Vik, à une distance dk, autour de Ni.La figure 17b représente dans l'image 2 le segment
M. dont on souhaite analyser la correspondance avec Ni, son voisinage Vjk à une distance d k et les segments dans le voisinage de M. : Mg, M1, M2, et M3. A node N having no neighbors satisfying these two criteria does not participate in the mapping
To examine the correspondence of the node N. with the node Mj, we look for a node M in the vicinity
J p
Vjk of M. at the distance d the nodes which belong to the neighborhood Vjk of M. are the nodes whose corresponding segments have a part inside the frame drawn around M. at a distance dk. FIG. 17a represents, in an image 1, the segment N and the segment N k making an angle #ik and the neighborhood Vik, at a distance dk, around Ni. FIG. 17b represents in image 2 the segment
M. We want to analyze the correspondence with Ni, its neighborhood Vjk at a distance dk and the segments in the neighborhood of M.: Mg, M1, M2, and M3.

Le coût d'affectation du noeud N. au noeud M. est
i J calculé en considérant
- la coïncidence des attributs de N. et M.
The cost of assigning node N to node M. is
i J calculated considering
- the coincidence of the attributes of N. and M.

i J
- la coïncidence des attributs de N k (associé à N.) et de Mp, Mp étant le noeud correspondant à N k du voisinage de M. défini par dk, dont les attributs vérifient au mieux la coïncidence avec ceux de Nk et la coïncidence d'angle entre (Ni, Nk) et (Mj, Mp) : sur la figure 17b
Mp = M3. i J
the coincidence of the attributes of N k (associated with N.) and of Mp, Mp being the node corresponding to N k of the neighborhood of M. defined by dk, whose attributes best verify the coincidence with those of Nk and the coincidence angle between (Ni, Nk) and (Mj, Mp): in Figure 17b
Mp = M3.

- la coïncidence des attributs de Nl et M (associé à
r
Mj), N1 correspondant à M r étant dans le voisinage de
Ni défini par dr, Vir, et dont les attributs vérifient au mieux la coïncidence avec ceux de Mr, et la coïncidence d'angle entre (Ni, N) et (Mj, Mr)
Les noeuds M p et N1 "correspondants" respectivement aux noeuds Nk et M r respectivement associés aux noeuds N. et Mj étant ainsi choisis, le coût Ci,j entre deux noeuds Ni et M. est alors calculé. Trois attributs sont considérés : l'attribut direction, l'attribut longueur, et l'attribut angle.- the coincidence of the attributes of Nl and M (associated with
r
Mj), N1 corresponding to M r being in the vicinity of
Neither defined by dr, Vir, whose attributes best match the coincidence with those of Mr, and the coincidence of angle between (Ni, N) and (Mj, Mr)
The nodes M p and N1 "corresponding" respectively to the nodes Nk and M r respectively associated with the nodes N. and Mj being thus chosen, the cost Ci, j between two nodes Ni and M. is then calculated. Three attributes are considered: the direction attribute, the length attribute, and the angle attribute.

En ce qui concerne l'attribut direction, la correspondance entre le couple (Ni, Nk) et le couple (Mj, M ), j p suivant l'attribut direction est égal à 1 si les directions sont compatibles et vaut 0 si les directions ne sont pas compatibles. With regard to the direction attribute, the correspondence between the pair (Ni, Nk) and the pair (Mj, M), jp following the direction attribute is equal to 1 if the directions are compatible and is equal to 0 if the directions are not compatible.

La figure 18 montre un cas où la correspondance est égale à 1, (Ni, Nk) # (Mj, Mp), les directions des couples de noeuds étant compatibles, et la figure 19 montre un exemple où les couples de noeuds ne sont pas compatibles en direction, (Ni, Nk) 4 (Mj > Mp) la correspondance étant égale à 0.Figure 18 shows a case where the correspondence is equal to 1, (Ni, Nk) # (Mj, Mp), the directions of the pairs of nodes being compatible, and Figure 19 shows an example where the pairs of nodes are not compatible in the direction, (Ni, Nk) 4 (Mj> Mp) the correspondence being equal to 0.

L'attribut longueur est utilisé de deux manières : une utilisation directe pour interdire de fausses correspondances, et le calcul d'une fonction de tolérance, pour la mise en correspondance d'angles effectuée ensuite. The length attribute is used in two ways: a direct use to prohibit false matches, and the calculation of a tolerance function, for the subsequent matching of angles.

Pour l'utilisation directe, ce mode attribut/longueur est considéré lorsque le segment analysé est limité de part et d'autre de ses extrémités par deux autres segments, N0 et N1, comme représenté sur la figure 20, qui vérifient les conditions suivantes - longueurs associées à N0 et N1 supérieures à un seuil; - angles e0 = (N0, Ni) et 91 = (Ni, N1) supérieur à un seuil. For direct use, this attribute / length mode is considered when the analyzed segment is bounded on both sides by two other segments, N0 and N1, as shown in FIG. 20, which satisfy the following conditions - lengths associated with N0 and N1 greater than a threshold; angles e0 = (N0, Ni) and 91 = (Ni, N1) greater than a threshold.

Le segment correspondant alors au noeud Ni peut être associé uniquement à un segment de longueur inférieure ou égale à celle de ce segment. Le coût C. j vaut 0 pour les autres cas. The segment then corresponding to the node Ni can be associated only with a segment of length less than or equal to that of this segment. The cost C. j is 0 for the other cases.

Lorsqu'on utilise la longueur pour déterminer une fonction de tolérance pour la mise en correspondance d'angles, la longueur est introduite pour tenir compte des différentes erreurs de segmentation et de linéarisation. Un petit segment peut être entaché d'une erreur importante sur l'angle ; par contre un angle déterminé à partir d'un long segment est plus fiable. La fonction de tolérance exprime cette réalité. When using the length to determine a tolerance function for angle matching, the length is introduced to account for different segmentation and linearization errors. A small segment may be marred by a significant angle error; on the other hand, an angle determined from a long segment is more reliable. The tolerance function expresses this reality.

Pour l'attribut angle, le coût C. . est calculé suivant la coïncidence des angles des couples (Ni, Nk) et(Mj, Mr), tels que représentés sur la figure 21. La coïncidence est évaluée suivant deux paramètres : la tolérance liée aux deux couples, et la coïncidence entre e1 et e2. Soit
Lmin= min(li, k, 1j., 1r) où Lmin est la longueur mini
j 1r male parmi les longueurs li, lk, I et lc des
i j c segments associés aux noeuds Ni, Nk, M j et Mr, et soit
F(Lmin) = Lmin/Lmax, où Lmax est la longueur maximale des segments, le coût C. j est défini par - C. =O si l'attribut direction ou longueur génère une incompatibilité
Ci j = (1-((e1-e2)/90) X)F(Lmin), dans les autres cas, avec x = 1-0.7(F(Lmin)).For the angle attribute, the cost C. is calculated according to the coincidence of the angles of the pairs (Ni, Nk) and (Mj, Mr), as shown in Figure 21. The coincidence is evaluated according to two parameters: the tolerance related to the two pairs, and the coincidence between e1 and e2. Is
Lmin = min (li, k, 1j., 1r) where Lmin is the minimum length
1r male among lengths li, lk, I and lc of
ijc segments associated with the nodes Ni, Nk, M j and Mr, and either
F (Lmin) = Lmin / Lmax, where Lmax is the maximum segment length, the cost C. j is defined by - C = O if the direction or length attribute generates an incompatibility
Ci j = (1 - ((e1-e2) / 90) X) F (Lmin), in other cases, with x = 1-0.7 (F (Lmin)).

Les différents coûts C. j sont normalisés entre 0 et 1. The different costs C. j are normalized between 0 and 1.

A la fin de cette phase on dispose donc d'une matrice de coûts
Ci,j, de n lignes et p colonnes notée C (n,p), si n est le nombre de segments du fichier Seg 1 et p le nombre de segments du fichier Seg 2, correspondant aux coûts d'affectation des noeuds N. de l'image 1 aux noeuds M. de l'image 2.At the end of this phase we have a cost matrix
Ci, j, of n lines and p columns denoted C (n, p), if n is the number of segments of the file Seg 1 and p the number of segments of the file Seg 2, corresponding to the costs of assignment of the nodes N. from image 1 to the nodes M. of image 2.

i J
A partir de cette matrice de coûts initiaux, obtenue à l'issue de la phase d'initialisation 161 figure 14, la phase de relaxation 162 est mise en oeuvre. En effet, pour lever l'ambiguïté de certaines affectations, il est nécessaire de prendre en compte l'environnement du noeud. Une évolution des coûts d'affectation des noeuds est effectuée suivant la coïncidence des arcs et la coïncidence des attributs des noeuds liés par ces arcs. Pour éviter un calcul coûteux par rapport aux résultats à obtenir, une limitation aux noeuds "les plus proches" a été effectuée. La relaxation consiste donc à tester la compatibilité des voisinages de noeuds de l'image 1 et des voisinages de noeuds de l'image 2, et à faire évoluer, en fonction de la compatibilité, les coûts d'affectation.i J
From this initial cost matrix obtained at the end of the initialization phase 161, FIG. 14, the relaxation phase 162 is implemented. Indeed, to remove the ambiguity of certain assignments, it is necessary to take into account the environment of the node. An evolution of the node assignment costs is performed according to the coincidence of the arcs and the coincidence of the attributes of the nodes linked by these arcs. To avoid a costly calculation with respect to the results to be obtained, a limitation to the "nearest" nodes has been made. The relaxation therefore consists of testing the compatibility of the node neighborhoods of the image 1 and the node neighborhoods of the image 2, and to change, according to the compatibility, the allocation costs.

La proximité d'un noeud est définie de la manière suivante : les noeuds "proches" d'un noeud N. sont les noeuds compris (ayant une certaine longueur) dans le cadre autour du noeud Ni à la distance d telle que
d. = min(d. tel que q
i ue L(d.) > seuil) où L(dj) correspond à la longueur du noeud N k dans le voisinage à la distance d. du noeud N., suivant les nota tions explicitées ci-dessus. Il s'agit donc de trouver une distance d. telle que le voisinage contienne suffisamment d'informations, c'est-à-dire suffisamment de noeuds Nk.A chaque noeud N. de l'image 1, respectivement M. de l'image 2, est
i j associé un ensemble de noeuds Nk, respectivement Mr, définis par une distance quantifiée d. A chaque noeud N k correspond une longueur Lk(di), longueur du segment correspond du noeud Nk pour un cadre à une distance d.. L'ensemble des noeuds N k associés au noeud Ni est le "voisinage" de N k à la distance d..The proximity of a node is defined as follows: the nodes "close" to a node N are the nodes included (having a certain length) in the frame around the node Ni at the distance d such that
d. = min (d) such that q
i ue L (d.)> threshold) where L (dj) corresponds to the length of the node N k in the neighborhood at distance d. of the node N., according to the notations explained above. It is therefore a question of finding a distance d. such that the neighborhood contains enough information, i.e., enough nodes Nk.A each node N of image 1, respectively M. of image 2, is
ij associated a set of nodes Nk, respectively Mr, defined by a quantified distance d. At each node N k corresponds a length Lk (di), length of the segment corresponds to the node Nk for a frame at a distance d .. The set of nodes N k associated with the node Ni is the "neighborhood" of N k at the distance from ..

Comme indiqué ci-dessus, la compatibilité est de deux sortes
- compatibilité des arcs
- compatibilité des noeuds.As stated above, the compatibility is of two kinds
- compatibility of arcs
- compatibility of the nodes.

En ce qui concerne la compatibilité des arcs une valeur arbitraire a été introduite - la valeur 1 correspond à une parfaite compatibilité de la nature des arcs (mêmes attributs de relation) - la valeur 0 correspond à une incompatibilité (Sdt et Sde, ou Pd et P g - la valeur 0,5 correspond à un doute (Pd (ou P ) et P g
Sécant et parallèle, etc..). As regards the compatibility of the arcs an arbitrary value has been introduced - the value 1 corresponds to a perfect compatibility of the nature of the arcs (same attributes of relation) - the value 0 corresponds to an incompatibility (Sdt and Sde, or Pd and P g - the value 0.5 corresponds to a doubt (Pd (or P) and P g
Secant and parallel, etc.).

Cette dernière valeur a été introduite pour rendre compte des possibles erreurs de linéarisation lors de la phase de segmentation. Par exemple, un segment parallèle à un autre peut devenir sécant suite à une erreur de linéarisation. Ces valeurs de compatibilité pourraient être optimisées en introduisant un facteur fonction de l'angle. Mais les résultats obtenus étant corrects, cette optimisation n'a pas été effectuée.This last value was introduced to account for possible linearization errors during the segmentation phase. For example, a segment parallel to another may become secant due to a linearization error. These compatibility values could be optimized by introducing a factor depending on the angle. But the results obtained being correct, this optimization was not carried out.

En ce qui concerne la compatibilité des noeuds, le coût initial Ci,j) tient lieu de compatibilité initiale. Elle est ensuite modifiée itérativement en fonction de la compatibilité des arcs. Ainsi, l'évolution du coût d'affectation du noeud
N. au noeud M. à l'itération t est fonction du coût d'affec
i J tation à l'itération t- 1 et de la compatibilité qui varie entre t-1 -1 et +1 ct = Ct-1(l+COMP(I,J)), avec COMP(I,J)= -1 si la compatibilité du voisinage est nulle et + 1 si la compatibilité du voisinage est forte et d'une manière générale la compatibilité des voisinages est calculée par

As regards the compatibility of the nodes, the initial cost Ci, j) takes the place of initial compatibility. It is then modified iteratively according to the compatibility of the arcs. Thus, the evolution of the cost of assignment of the node
N. at the node M. at the iteration t is a function of the cost of affec
I at t-1 iteration and compatibility that varies between t-1 -1 and +1 ct = Ct-1 (1 + COMP (I, J)), with COMP (I, J) = - 1 if the compatibility of the neighborhood is zero and + 1 if the compatibility of the neighborhood is strong and generally neighborhood compatibility is calculated by

- où V. et V. sont les voisinages des noeuds N. et Mj tels que définis ci-dessus, et V'i et V'j respective ment les voisinages homologues de V. (du noeud N. de
J i l'image 1) dans l'image 2, et de V. (du noeud M j de l'image 2) dans l'image 1 respectivement
- où rel(IK, JN) est la valeur issue du tableau de compatibilité des arcs décrit ci-dessus entre le type de l'arc IK (du noeud Ni au noeud Nk) et celui de l'arc JN (du noeud M. au noeud Mn)
- et où Ctkn est la valeur de compatibilité normalisée à l'itération (t-1) entre le noeud Nk et le noeud
Mon.Cette normalisation est obtenue par application d'une
n fonction affine sur les compatibilités calculées à la fin de chaque itération de telle façon que le maximum des C kn soit égal à 1 et le minimum à -1. A l'issue de cette phase de relaxation qui comporte un nombre d'itérations convenable, par exemple 3, on dispose d'une matrice de coûts à n lignes et p colon nes notée C Ct(n,p) de laquelle on déduit pour chaque noeud une fonction d'affectation : Affect(Ni) = M. si le noeud
Ni de l'image 1 a un coût d'affection maximal pour le noeud M j de l'image 2.where V. and V. are the neighborhoods of the nodes N. and Mj as defined above, and V'i and V'j respectively the homologous neighborhoods of V. (of the node N. of
J i image 1) in image 2, and V. (from node M j of image 2) in image 1 respectively
where rel (IK, JN) is the value from the arc compatibility table described above between the type of the arc IK (from node Nk to node Nk) and that of arc JN (from node M. at the node Mn)
where Ctkn is the normalized compatibility value at the iteration (t-1) between the node Nk and the node
This standardization is obtained by application of a
n affine function on the calculated computations at the end of each iteration so that the maximum of C kn is equal to 1 and the minimum to -1. At the end of this relaxation phase, which includes a suitable number of iterations, for example 3, we have a cost matrix with n rows and p colon nes denoted C Ct (n, p) from which we deduce for each node an assignment function: Affect (Ni) = M. if the node
Neither of the image 1 has a maximum cost of affection for the node M j of the image 2.

La phase suivante de la mise en correspondance des structures relationnelles est une phase de classification, 163 sur la figure 14. Cette phase de classification est détaillée sur la figure 22. En effet, à l'issue de la phase de relaxation, on dispose pour chaque noeud N. de l'image 1, de son affectation, c'est-à-dire d'un noeud M. de l'image 2. A partir de ces informations, il s'agit de déterminer les paramètres d'un modèle de déformation entre les deux images. Pour cela, à un couple C1(Ni, Nk) de l'image 1, on associe un couple C2(Mj,
Mp) de l'image 2 si
M. = Affect(Ni); M = Affect(Nk)
j i p fect(N)
et Angle (Ni, Nk) Angle (M., Mp). The next phase of the mapping of the relational structures is a classification phase, 163 in Figure 14. This classification phase is detailed in Figure 22. Indeed, at the end of the relaxation phase, it is possible to each node N. of the image 1, its assignment, that is to say a node M. of the image 2. From this information, it is necessary to determine the parameters of a model of deformation between the two images. For this, at a pair C1 (Ni, Nk) of the image 1, a pair C2 (Mj,
Mp) of image 2 if
M. = Affect (Ni); M = Affect (Nk)
jip fect (N)
and Angle (Ni, Nk) Angle (M., Mp).

A chaque association (C1, C2) correspond une estimation des paramètres de la transformation affine (0, 8 ), calculés à partir des points d'intersection des segments. Pour cela, toutes les associations possibles entre les couples de noeuds de l'image 1 et les couples de noeuds de l'image 2 sont formées: phase (163)1 sur la figure 22. Puis l'espace P A des paramè tres (0k k > Z k(Uk > Vk)) résultant est partitionné en classes, phase (163)2 sur la figure 22 : chaque classe est caractérisée par ses paramètres de transformation, rotation et translation, et par la liste des associations (C1, C2) la constituant.Pour partitionner l'ensemble des paramètres en classes, l'invention utilise la méthode de classification non hiérarchique, selon l'algorithme dit "des nuées dynamiques". Cet algorithme peut être appliqué à la partition de l'ensemble des paramètres PA, comme suit.With each association (C1, C2) corresponds an estimate of the parameters of the affine transformation (0, 8), calculated from the points of intersection of the segments. For this, all the possible associations between the pairs of nodes of the image 1 and the pairs of nodes of the image 2 are formed: phase (163) 1 in the figure 22. Then the PA space parameters (0k k> Z k (Uk> Vk)) resulting is partitioned into classes, phase (163) 2 in Figure 22: each class is characterized by its parameters of transformation, rotation and translation, and by the list of associations (C1, C2 The component uses the non-hierarchical classification method, according to the algorithm called "dynamic clouds" to partition the set of parameters into classes. This algorithm can be applied to the partition of all PA parameters, as follows.

Les paramètres résultant de la mise en correspondance des couples sont composés - d'une rotation #k - d'une translation de vecteur #k(Uk, Vk) les "éléments" E k à classer sont donc des triplets (#k,
Uk vk), ces paramètres étant centrés et normalisés : par exemple :uk =U-E(Uk))/Var(Uk), où E(Uk) est la moyenne des Uk et Var(Uk) est la variance des Uk.The parameters resulting from the matching of the pairs are composed of - a rotation #k - of a vector translation #k (Uk, Vk) the "elements" E k to be classified are therefore triplets (#k,
Uk vk), these parameters being centered and normalized: for example: uk = UE (Uk)) / Var (Uk), where E (Uk) is the average of Uk and Var (Uk) is the variance of Uk.

Chaque "élément" est affecté d'une "masse" m(Ek) égale par définition, au produit des coûts d'affectation des noeuds. Each "element" is assigned a "mass" m (Ek) equal, by definition, to the product of the allocation costs of the nodes.

Un "centre de classe" C est un centre de gravité défi
c ni par un triplet (uc, vc, e où uc = (I/# m(Ek))(# ukm(Ek)),
vc (1/# m(Ek))(# #km(Ek)),
#C = (1/# m(Ek))(# #km(Ek)), les sommes # portant sur tous les éléments Ek appartenant à une classe CL de paramètres (u, vc, Oc).
A "class center" C is a center of gravity challenge
c or by a triplet (uc, vc, e where uc = (I / # m (Ek)) (# ukm (Ek)),
vc (1 / # m (Ek)) (# #km (Ek)),
#C = (1 / # m (Ek)) (# #km (Ek)), the sums # relating to all elements Ek belonging to a class CL of parameters (u, vc, Oc).

c c c c
Deux éléments E k et E de "plus" fortes masses sont p choisis arbitrairement comme centres de classes. On dispose donc de 2 classes
CLk de paramètres Ek(uk, vk > #k)
CLp de paramètres Ep(up, v Op)
Tous les éléments E. à classer sont alors classés soit dans
CLk, soit dans CL suivant les valeurs des distances eucli
p diennes entre Ei et Ek, et entre Ei et Ep, la dis tance euclidienne Mjk d'un élément Ei à l'élément Ek étant calculée comme suit
Mîk = ((u. - uk)2 + (v. - 2 + -
I I Uk 1 uk)2
De nouveaux centres de gravité sont alors calculés pour les deux classes CL. et CLp, les premiers centres étant conservés. Tous les éléments E. sont alors classés dans les quatre classes, et quatre autres centres de gravité sont calculés à l'issue de cette seconde classification ; les quatre anciennes classes étant conservées, on dispose alors de huit classes. Ce nombre est apparu comme optimal dans cette application pour obtenir une bonne classification dans un temps assez court.cccc
Two elements E k and E of "plus" strong masses are arbitrarily chosen as class centers. So we have 2 classes
CLk of parameters Ek (uk, vk>#k)
Parameters CLp Ep (up, v Op)
All the elements E. to be classified are then classified either in
CLk, ie in CL according to the values of the distances eucli
between Ei and Ek, and between Ei and Ep, the Euclidean Mjk difference of an element Ei to the element Ek being calculated as follows
Mîk = ((u - uk) 2 + (v. - 2 + -
II Uk 1 uk) 2
New centers of gravity are then calculated for the two CL classes. and CLp, the first centers being preserved. All the elements E. are then classified in the four classes, and four other centers of gravity are calculated at the end of this second classification; the four old classes are preserved, so we have eight classes. This number appeared as optimal in this application to obtain a good classification in a fairly short time.

Une nouvelle partition est alors effectuée dans ces huit classes. Les centres sont à nouveau calculés, puis une autre partition est effectuée etc... jusqu'à ce que la partition entre les classes soit stable.A new partition is then performed in these eight classes. The centers are again calculated, then another partition is done etc ... until the partition between the classes is stable.

On dispose donc à l'issue de cette phase de huit classes
CL. avec pour chacune les paramètres de son centre de gravité (8cJ t c) et les couples qu'elle contient.We therefore have at the end of this phase eight classes
CL. with for each the parameters of its center of gravity (8cJ tc) and the couples it contains.

La phase suivante de mise en correspondance des structures relationnelles, est la phase de corrélation, 164 sur la figure 14, qui comporte deux phases explicitées ci-après en référence a la figure 23. Cette phase de corrélation consiste dans un premier temps à choisir une classe de paramètres de transformation, phase (164)1 puis à affiner les paramètres du modèle de déformation phase (164)2. Pour la sélection d'une classe de paramètres, chaque classe CL. , définie par un jeu de paramètres de transformation ( a i #i), contient un ensemble de k couples. Le but dans une première phase est de choisir le couple qui fournit la corrélation maximale. Pour cela l'ensemble des couples est balayé et un couple est retenu: pour ce couple on calcule la corrélation avec le modèle de déformation associé à cette classe.La même opération est effectuée pour toutes les classes. Puis parmi l'ensemble des modèles associés aux classes, le modèle retenu, associé à sa classe est celui correspondant à la corrélation maximale : soient CLr et (Cr, C'r) la classe et le couple retenus. Pour le couple retenu dans cette classe on effectue alors un affinage des paramètres de translation u0 et v0 et à l'issue de cette étape on dispose d'un jeu de paramètres 00 et
L'affinage des paramètres du modèle de déformation, phase 1642 sur la figure 23 s'effectue alors en deux étapes dans une première étape on sélectionne des fenêtres de corrélation ; deux fenêtres de corrélation sont nécessaires pour estimer les paramètres du modèle.Le choix de ces fenêtres s'effectue ainsi
- avec les paramètres e0 et a 0 on trie l'ensem- ble des couples de la classe retenue dans la phase de sélection précédente par ordre de corrélation décroissante
- un test de proximité impose à deux fenêtres d'être situées à une distance maximale;
- un test de validité de la fonction de corrélation impose aux maxima de corrélation d'être supérieurs à un seuil prédéterminé. En fonction de la position des maxima des différentes fenêtres de corrélation, il est possible estimer les para mètres définitifs du modèle de déformation M( , > e). The following phase of matching the relational structures, is the correlation phase, 164 in Figure 14, which comprises two phases explained below with reference to Figure 23. This correlation phase consists in a first step to choose a class of transformation parameters, phase (164) 1 and then to refine the parameters of the phase deformation model (164) 2. For the selection of a class of parameters, each CL class. , defined by a transformation parameter set (ai #i), contains a set of k couples. The goal in a first phase is to choose the couple that provides the maximum correlation. For this, the set of couples is scanned and a pair is retained: for this pair, the correlation with the deformation model associated with this class is calculated. The same operation is performed for all the classes. Then among the set of models associated with the classes, the selected model associated with its class is that corresponding to the maximum correlation: let CLr and (Cr, C'r) be the class and the couple retained. For the pair retained in this class, the translation parameters u0 and v0 are then refined and at the end of this step a set of parameters 00 and
The refinement of the parameters of the deformation model, phase 1642 in FIG. 23 is then carried out in two steps in a first step, correlation windows are selected; two correlation windows are needed to estimate the parameters of the model. The choice of these windows is thus
with the parameters e0 and a 0, the set of pairs of the class selected in the preceding selection phase is sorted in descending order of correlation
- a proximity test requires two windows to be located at a maximum distance;
a validity test of the correlation function requires the correlation maxima to be greater than a predetermined threshold. Depending on the position of the maxima of the different correlation windows, it is possible to estimate the definitive parameters of the deformation model M (,> e).

Il faut remarquer que dans tous les traitements précédents, quand il s'agit de calculer la fonction de corrélation, pour une classe donnée (8i, n i), et pour un couple donné, deux cas sont envisagés
- si 3i est inférieur au seuil un modèle li- néaire de déformation n'est pas appliqué à une image.It should be noted that in all previous treatments, when it comes to calculating the correlation function, for a given class (8i, ni), and for a given pair, two cases are considered.
if 3i is below the threshold, a linear model of deformation is not applied to an image.

- si e. est supérieur à un seuil: un modèle li- néaire de déformation est dans un premier temps appliqué à l'image d'arrivée pour créer une image intermédiaire, le calcul de la fonction de corrélation est effectué alors entre l'image 1 et l'image intermédiaire. - if e. is greater than a threshold: a linear model of deformation is first applied to the image of arrival to create an intermediate image, the computation of the correlation function is then carried out between the image 1 and the intermediate image.

Les résultats obtenus à l'issue du procédé de recalage d'image suivant l'invention, utilisant le modèle de déformation ainsi obtenu pour le traitement représenté sur la figure 1, sont illustrés par les figures 24 à 29. Les figures 24 et 25 montrent des images "sources" Iml et Im2 testées ; les figures 26 et 27 illustrent le contenu des fichiers Seg 1 et Seg 2, à l'issue de la phase de segmentation utilisés pour la création et la mise en correspondance de structures relationnelles dans ces images ; la figure 28 montre > après recalage, l'image différence sur la luminance ID(1, 2) entre l'image 1, lm1, et l'image 2 recalée IR(2). The results obtained at the end of the image registration method according to the invention, using the deformation model thus obtained for the treatment shown in FIG. 1, are illustrated in FIGS. 24 to 29. FIGS. 24 and 25 show Iml and Im2 "source" images tested; Figures 26 and 27 illustrate the content of Seg 1 and Seg 2 files, at the end of the segmentation phase used for the creation and matching of relational structures in these images; Figure 28 shows> after resetting, the image difference on the luminance ID (1, 2) between the image 1, 1m1, and the image 2 recalibrated IR (2).

Claims

1. Method for resetting images (Im1, Im2) by mapping relational structures extracted from these images, the registration being performed by transforming an image according to an affine model resulting from this decomposable mapping into a rotation of angle e and a vector translation,, comprising a first phase of segmentation (110) of the outlines images from which results, for each image, a segment file with their attributes (Seg 1,

Seg 2), characterized in that, at the end of this segmentation phase, a relational structure creation phase (155) is implemented to associate neighboring segments in pairs in each of the images processed, then a phase of mapping (160) of these relational structures extracted from each image, for estimating the parameters of the deformation model comprising the successive steps

- initialization (161) in which an allocation cost of any segment N of the image 1, to any segment M of the image 2 is calculated according to the coincidence of the attributes describing these segments , and the coincidence of angles between these segments and associated segments in the images to which these segments belong, this phase resulting in the creation of an initial cost matrix C (n, p) of dimensions np if n segments were retained in the image 1 and p segments were retained in the image 2, for the mapping,

- relaxation (162) which implements an iterative process of evolution of the initial allocation costs calculated in the previous step taking into account the relationships between the segments established in the phase of creation of the relationship structures, and which leads to a cost matrix C t (n, p), then for each segment to an assignment of each segment of image 1 Ni, to a segment of image 2, M; better cost in the matrix

classification (163) of the pairs of segments (Ni,

Nk) affected, provided that the angles between these segments and respectively associated segments in the respective images 1 and 2 are equal, this classification being made from all possible associations between couples of segments respectively belonging to the images 1 and 2, and each class being associated with a set of transformation parameters and the list of segment pairs that it contains,

and correlation (164) which selects a class among the classes resulting from the preceding classification step, and which refines the parameters of the transformation model, which results in the model M (A, e) used for the registration.

2. Method according to claim 1, characterized in that the segmentation phase implements the successive steps

- contour extraction,

- contour tracking,

- linear approximation of the contours in segments,

- bridging on the near edge segments, ending after new contour tracking and new linear approximation, to a segment file assigned their attributes, end coordinates, length, direction, direction.

3. Method according to claim 2, characterized in that, for the extraction of the contours, the method implements only two binary convolution masks corresponding to two orthogonal transitions, the convolution results obtained at the current point making it possible simultaneously to determine a orientation and a transition amplitude at this point, the image points being retained as contour points when their amplitudes are greater than a threshold and those of the two neighboring points in a direction normal to that of the contour at the point considered.

4. Method according to claim 1, characterized in that the relational structure creation phase (155) processes each of the segment files (Seg 1 and Seg 2) to translate it into nodes and arcs, each node being a segment, and the arcs being the links between each of the nodes and all the others, arcs characterizing the relative positions of the corresponding segments and their distance> that is to say the lengths li of the segment corresponding to the arrival node in a frame surrounding the segment corresponding to the starting node at a distance d ..

5. The method as claimed in claim 4, characterized in that the mapping phase (160) of the relational structures processes pairs of associated segments in each image (Ni, Nk) since the length lk of the segment N k in the frame at distance d. around the segment Nk being greater than a threshold, and forming between them a rather large angle, greater than a threshold close to 900, segments having no neighbors satisfying these two criteria are not treated.

6. Method according to claim 5, characterized in that during initialization step (161), the initial cost

C i, j of assignment of a segment N. of the image 1 to a segment M j of the image 2, is function

- the coincidence of the attributes of N i and M.,

the compatibility of the directions of pairs of segments N and N associated with, and M and M correspond to

i Jant "to the segment N k in the other image, that is to say whose attributes best match the coincidence with those of N k associated with N. and the coincidence of angles (Ni, Nk) and (M., Mp),

- compatibility of lengths,

- and a tolerance function related to the lengths of the segments.

7. Method according to claim 6, characterized in that: C.. = 0 if the direction and length attributes generate incompatibilities, and Ci j = (1 - ((31-82) / 9o) / F (Lmin) in other cases, where F (Lmin) = Lmin / Lmax Lmin and

Lmax being the lengths of the shortest segment and the longest segment respectively of the two pairs, and with x = 1-0 7 (F (Lmin).

8. Method according to one of claims 4 to 7, characterized in that the relaxation step (162) takes into account the environment of each segment by testing the compatibility of the neighborhood V1 of a segment N. with the neighborhood associated V'i around M., thus limiting itself to the segments having a certain length in a frame around Ni, respectively M. at a distance di, and taking into account the compatibility of the segments and the compatibility of the connecting arcs these neighborhood segments at Ni, respectively M.,

and in that an assignment function is then defined for each segment from the resulting cost matrix.

9. Method according to claim 8, characterized in that the classification phase (163) uses an algorithm called dynamic clouds to classify all possible pairs of possible segments in a limited number of classes, two pairs being associated when the segments are assigned two by two and when the angle formed in one image is equal to the angle formed in the other, each possible association being characterized by a set of transformation parameters (0i, calculated from the attributes of the segments.

10. Method according to claim 9, characterized in that the correlation phase (164) consists first of all in selecting the class and the set of transformation parameters associated with it for which the correlation between the central element of the class, which provides the maximum correlation with the model associated with it, is the largest of all the classes, then in a second step (164) 2 to refine the parameters of the transformation model by using correlation windows to obtain the final parameters.

11. Image registration device for image processing console, characterized in that it comprises a processing processor for implementing the image registration method, according to one of the preceding revendictions.