FR2912239A1

FR2912239A1 - Boundary determining method for e.g. image sequence post production application, involves applying iterative process on modified initial contour of object such that initial contour includes constraint point at each iteration

Info

Publication number: FR2912239A1
Application number: FR0755995A
Authority: FR
Inventors: Clerc Francois Le; Pierrick Jouet; Philippe Robert
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2007-06-25
Filing date: 2007-06-25
Publication date: 2008-08-08

Abstract

The method involves determining an initial contour of an object in an image, and applying an iterative process e.g. active contour process, to displace the contour such that the contour is connected to a real contour of the object at each iteration. A constraint point in the image is determined. The initial contour is modified such that the initial contour includes the constraint point. The process is applied on the modified contour such that the initial contour includes the constraint point at each iteration. An independent claim is also included for an image processing device for determining a boundary between an object and a remaining part of a digitized image.

Description

PROCEDE ET DISPOSITIF DE DETERMINATION DU CONTOUR D'UN OBJET DANS UNEMETHOD AND DEVICE FOR DETERMINING THE CONTOUR OF AN OBJECT IN A

IMAGEPICTURE

1. Domaine de l'invention L'invention se rapporte au domaine général de la segmentation et du suivi d'objets sémantiques (i.e. représentatifs d'entités sémantiques) dans une image respectivement une séquence d'images. L'invention concerne, plus particulièrement, un procédé et un dispositif de détermination, dans une image numérisée, de la frontière entre un objet et le reste de l'image. FIELD OF THE INVENTION The invention relates to the general field of segmentation and tracking of semantic objects (i.e. representative of semantic entities) in an image respectively a sequence of images. More particularly, the invention relates to a method and a device for determining, in a digitized image, the boundary between an object and the rest of the image.

2. Etat de l'art De nombreuses applications, notamment dans le domaine de la post-production, du codage vidéo et de l'indexation vidéo, nécessitent de segmenter un ou plusieurs objets dans une image et éventuellement de suivre ces objets dans une séquence d'images. La segmentation et le suivi d'objets qui peuvent être de forme complexe constituent deux problèmes du traitement d'image qui sont, actuellement, imparfaitement résolus. En effet, les solutions actuelles ne permettent pas d'atteindre par des traitements automatisés le degré de précision et de robustesse requis notamment pour les applications de post-production. Ainsi, les outils de segmentation et de suivi disponibles dans les plate-formes de post-production, notamment pour les applications dédiées à la correction de couleur, sont d'utilisation lente et fastidieuse. L'assistance d'un opérateur humain est nécessaire pour obtenir des résultats de qualité acceptable. Généralement, la segmentation d'un objet dans une image est réalisée à la main, l'opérateur venant ajuster une courbe paramétrée (typiquement un polygone, une courbe spline ou une forme géométrique prédéfinie) sur les contours d'un objet afin d'en obtenir un masque approximatif. 2. State of the art Many applications, particularly in the field of post-production, video coding and video indexing, require segmenting one or more objects in an image and possibly following these objects in a sequence. images. Segmentation and tracking of objects that may be complex in shape are two image processing problems that are currently imperfectly solved. Indeed, the current solutions do not achieve by automated processing the degree of accuracy and robustness required especially for post-production applications. Thus, the segmentation and monitoring tools available in post-production platforms, especially for applications dedicated to color correction, are slow and tedious. The assistance of a human operator is necessary to obtain acceptable quality results. Generally, the segmentation of an object in an image is done by hand, the operator coming to adjust a parameterized curve (typically a polygon, a spline curve or a predefined geometric shape) on the contours of an object in order to get an approximate mask.

Il est également connu des procédés semi-automatiques ou automatiques de suivi d'objets dans une séquence d'images, basés sur le suivi de points d'intérêts locaux. Selon ces procédés, l'utilisateur positionne manuellement dans une image donnée de la séquence, dite image de référence, d'une part, le contour de l'objet à segmenter, et d'autre part, un ensemble de points d'intérêts positionnés au voisinage de points image à fort contraste. Un point d'intérêt est une petite partie rectangulaire de l'image. Chacun des points d'intérêt est suivi individuellement entre l'image de référence et une autre image de la séquence, dite image courante, au moyen d'un algorithme approprié. L'algorithme d'inter-corrélation normalisée décrit dans l'article de J.P. Lewis intitulé Fast Normalized Cross-Correlation , publié dans les actes de la conférence Vision Interface 1995 , pages 120-123 est un exemple d'un tel algorithme. En utilisant l'ensemble des déplacements des points d'intérêt entre l'image courante et l'image de référence, un modèle global de mouvement de l'objet est calculé entre ces deux images. Ce modèle de mouvement est ensuite appliqué au contour fourni par l'utilisateur dans l'image de référence pour estimer le contour réel de l'objet dans l'image courante. Le procédé est ensuite réitéré sur les autres images de la séquence, l'image courante devenant l'image de référence. There are also known semi-automatic or automatic object tracking methods in a sequence of images, based on tracking local points of interest. According to these methods, the user manually positions in a given image of the sequence, called reference image, on the one hand, the contour of the object to be segmented, and on the other hand, a set of points of interest positioned. in the vicinity of image points with high contrast. A point of interest is a small rectangular part of the image. Each of the points of interest is tracked individually between the reference image and another image of the sequence, called the current image, by means of an appropriate algorithm. The standardized inter-correlation algorithm described in J.P. Lewis's article entitled Fast Normalized Cross-Correlation, published in the proceedings of the Vision Interface 1995 conference, pages 120-123 is an example of such an algorithm. By using all the displacements of the points of interest between the current image and the reference image, a global model of movement of the object is calculated between these two images. This motion model is then applied to the user-supplied contour in the reference image to estimate the actual contour of the object in the current image. The process is then reiterated on the other images of the sequence, the current image becoming the reference image.

Il est enfin connu des procédés semi-automatiques ou automatiques de suivi d'objets dans une séquence d'images, basé sur un algorithme de convergence de contour. A cet effet, il est connu d'appliquer un traitement itératif sur un contour initial positionné dans une image courante afin qu'il converge vers le contour réel de l'objet, i.e. vers la frontière entre l'objet et le reste de l'image. Les contours actifs ( active contours ou snakes en anglais) et les ensembles de niveau ( level sets en anglais) fournissent des exemples de tels algorithmes. Un traitement par contours actifs est notamment décrit dans le livre d'A. Blake et al. intitulé Active Contours et édité par Springer Ed. à Londres en 1998. Dans sa forme la plus simple, le contour actif évolue à partir d'une position initiale de manière à se caler sur les fronts dominants les plus proches dans l'image. Généralement, la frontière entre l'objet et le reste de l'image matérialise un changement de texture et / ou de couleur qui se traduit par la présence d'un front sur l'image. Si le contour initial est proche de ce front, le contour actif converge naturellement vers ce front et le procédé de suivi fournit en général un résultat correct. Si l'image courante est la première image traitée d'une séquence, alors le contour initial est positionné par l'opérateur au voisinage du contour réel de l'objet à segmenter. Si, en revanche, l'image courante suit une image, dite image de référence, dans laquelle un contour réel, dit contour de référence, a déjà été déterminé, alors le contour initial dans l'image courante est, par exemple, déterminé à partir du contour de référence et d'un modèle de mouvement global déterminé entre l'image de référence et l'image courante. Plus précisément, le contour initial est obtenu par projection compensée en mouvement du contour de référence. L'article de C. Gu et M.C. Lee intitulé Semiautomatic Segmentation and Tracking of Semantic Viedo Objects , paru dans le journal IEEE Transactions on Circuits and Systems for Video Technology , Vol. 8 no. 5, pp. 572-584, en septembre 1998, décrit un exemple de mise en oeuvre de cette technique de projection, puis convergence du contour. De tels procédés automatiques ou semi-automatiques de segmentation et de suivi d'objets présentent l'inconvénient de ne pas fonctionner correctement, i.e. de fournir un contour erroné par rapport au contour réel de l'objet, notamment dans les situations suivantes : - les occultations : en raison de la présence d'un objet d'avant-plan venant masquer progressivement l'objet à traiter dans l'image courante, le déplacement du contour de l'objet d'une image à la suivante est important, et ne peut pas être prédit à l'aide d'un modèle de mouvement global. Dans ce cas, le contour initial déterminé dans l'image courante, à partir du contour de référence et d'un modèle de mouvement global, est éloigné du contour réel de l'objet. Dès lors, le risque est grand que le contour actif soit attiré par des fronts de l'image situés au voisinage du contour initial mais qui ne correspondent pas au contour réel de l'objet. - le croisement de l'objet avec un objet d'arrière-plan : lorsque l'objet d'arrière-plan comporte des fronts importants, ceux-ci peuvent, du fait du mouvement relatif entre les deux objets, se trouver momentanément très proches de la frontière de l'objet suivi. Le contour actif est alors susceptible de s'accrocher sur ces fronts parasites, englobant ainsi une partie de l'arrière-plan dans l'objet estimé. Une telle erreur peut se propager sur plusieurs images. Ce dernier cas est illustré sur la figure 1. Sur cette figure est représenté, dans une image courante, un objet au voisinage duquel existe un front parasite, i.e. un fort gradient. En l'absence de traitement particulier et partant du contour initial issu de la projection compensée en mouvement du contour de référence, le contour actif a une forte probabilité de converger vers ce front parasite. En effet, ce dernier présente un gradient plus important que celui de la frontière entre l'objet et l'arrière-plan. Dans ce cas, le contour réel de l'objet dans l'image courante est incorrectement estimé comme l'illustre la figure 2. 3. Résumé de l'invention L'invention a pour but de pallier au moins un des inconvénients de l'art antérieur L'invention concerne notamment un procédé de détermination, dans une image numérisée, de la frontière entre un objet et le reste de l'image, frontière dite contour réel de l'objet. Le procédé comprend les étapes suivantes : - déterminer un contour du objet, dit contour initial, dans l'image; et - appliquer un traitement itératif apte à déplacer le contour initial pour que le contour déplacé se rapproche du contour réel de l'objet à chaque itération. Selon une caractéristique essentielle de l'invention, le procédé comprend en outre les étapes suivantes : -déterminer au moins un point image, dit point de contrainte, dans l'image; - modifier le contour initial de telle sorte qu'il comprenne le point de 20 contrainte ; et - appliquer le traitement itératif sur le contour initial modifié, le traitement étant adapté pour qu'à chaque itération le contour déplacé comprenne le point de contrainte. Avantageusement, le procédé permet de fournir un contour réel de 25 l'objet correct dans des situations particulières, comme par exemple en présence d'un fort gradient externe à l'objet, qui généralement viennent perturber le traitement itératif de convergence du contour initial. Selon une caractéristique particulière de l'invention, le traitement itératif est un traitement par contours actifs. 30 Selon une autre caractéristique particulière, le point de contrainte est positionné sur le contour réel de l'objet. Selon une caractéristique particulièrement avantageuse, le point de contrainte est en outre positionné au voisinage d'un contour externe à l'objet. It is finally known semi-automatic or automatic methods of tracking objects in an image sequence, based on a contour convergence algorithm. For this purpose, it is known to apply iterative processing on an initial contour positioned in a current image so that it converges towards the real contour of the object, ie toward the boundary between the object and the rest of the object. picture. Active contours (active contours or snakes in English) and level sets (English sets) provide examples of such algorithms. Active edge processing is described in particular in the book of A. Blake et al. entitled Active Contours and edited by Springer Ed. in London in 1998. In its simplest form, the active contour evolves from an initial position so as to lock onto the nearest dominant fronts in the image. Generally, the border between the object and the rest of the image materializes a change of texture and / or color that results in the presence of a front on the image. If the initial contour is close to this edge, the active contour converges naturally to this edge and the tracking method generally provides a correct result. If the current image is the first processed image of a sequence, then the initial contour is positioned by the operator in the vicinity of the actual contour of the object to be segmented. If, on the other hand, the current image follows an image, referred to as the reference image, in which a real contour, referred to as the reference contour, has already been determined, then the initial contour in the current image is, for example, determined at from the reference contour and a global motion model determined between the reference image and the current image. More precisely, the initial contour is obtained by motion-compensated projection of the reference contour. The article by C. Gu and M.C. Lee titled Semiautomatic Segmentation and Tracking of Semantic Viedo Objects, published in the journal IEEE Transactions on Circuits and Systems for Video Technology, Vol. 8 no. 5, pp. 572-584, in September 1998, describes an example of implementation of this projection technique, then convergence of the contour. Such automatic or semi-automatic methods of segmentation and object tracking have the disadvantage of not functioning properly, ie of providing an erroneous contour with respect to the real contour of the object, in particular in the following situations: occultations: due to the presence of a foreground object gradually masking the object to be treated in the current image, moving the outline of the object from one image to the next is important, and not can not be predicted using a global motion model. In this case, the initial contour determined in the current image, from the reference contour and a global motion model, is away from the actual contour of the object. Therefore, the risk is high that the active contour is attracted by fronts of the image located in the vicinity of the initial contour but which do not correspond to the actual contour of the object. - crossing the object with a background object: when the background object has important fronts, they can, because of the relative movement between the two objects, be momentarily very close the border of the object being tracked. The active contour is then likely to cling to these parasitic fronts, thus encompassing part of the background in the estimated object. Such an error can spread across multiple images. This latter case is illustrated in FIG. 1. In this figure, an object in the vicinity of which there is a parasitic front, i.e. a strong gradient, is represented in a current image. In the absence of particular processing and starting from the initial contour resulting from the motion-compensated projection of the reference contour, the active contour has a high probability of converging towards this parasitic front. Indeed, the latter presents a gradient greater than that of the boundary between the object and the background. In this case, the actual contour of the object in the current image is incorrectly estimated as illustrated in FIG. 2. Summary of the invention The object of the invention is to overcome at least one of the disadvantages of the The invention relates in particular to a method for determining, in a digitized image, the boundary between an object and the remainder of the image, said border real contour of the object. The method comprises the following steps: determining an outline of the object, called initial contour, in the image; and - applying an iterative process able to move the initial contour so that the displaced contour approaches the actual contour of the object at each iteration. According to an essential characteristic of the invention, the method further comprises the following steps: determining at least one image point, called the constraint point, in the image; modifying the initial contour so that it includes the point of stress; and - applying the iterative processing on the modified initial contour, the processing being adapted so that at each iteration the displaced contour comprises the constraint point. Advantageously, the method makes it possible to provide a real contour of the correct object in particular situations, for example in the presence of a strong gradient external to the object, which generally disrupt the iterative convergence processing of the initial contour. According to a particular characteristic of the invention, the iterative treatment is a treatment by active contours. According to another particular characteristic, the point of stress is positioned on the real contour of the object. According to a particularly advantageous characteristic, the stress point is furthermore positioned in the vicinity of a contour external to the object.

Selon un autre aspect de l'invention, le procédé est appliqué à une image d'une séquence de plusieurs images, dite image courante. Dans ce cas, le contour initial est déterminé dans l'image courante à partir d'un contour du objet préalablement déterminé dans une autre image de la séquence, dite image de référence et d'un modèle de mouvement global du contour de l'objet préalablement déterminé entre l'image de référence et l'image courante. Selon une caractéristique particulière, le point de contrainte est déterminé dans l'image courante à partir du point de contrainte préalablement déterminé dans l'image de référence et d'un algorithme de suivi local, par exemple un algorithme d'inter-corrélation normalisé. L'invention concerne également un dispositif de traitement d'image apte à déterminer, dans une image numérisée, la frontière entre un objet et le reste de l'image, frontière dite contour réel de l'objet. Le dispositif comprend : - des moyens pour déterminer un contour du objet, dit contour initial, dans l'image; et - des moyens pour appliquer un traitement itératif apte à modifier le contour initial pour que le contour déplacé se rapproche du contour réel de l'objet à chaque itération. According to another aspect of the invention, the method is applied to an image of a sequence of several images, called the current image. In this case, the initial contour is determined in the current image from a contour of the object previously determined in another image of the sequence, called reference image and a global motion model of the object contour. previously determined between the reference image and the current image. According to a particular characteristic, the constraint point is determined in the current image from the stress point previously determined in the reference image and from a local tracking algorithm, for example a standardized inter-correlation algorithm. The invention also relates to an image processing device capable of determining, in a digitized image, the boundary between an object and the rest of the image, said border real contour of the object. The device comprises: - means for determining an outline of the object, said initial contour, in the image; and means for applying an iterative process able to modify the initial contour so that the displaced contour approaches the real contour of the object at each iteration.

Selon une caractéristique essentielle de l'invention, le dispositif comprend en outre: - des moyens pour déterminer au moins un point image, dit point de contrainte, dans l'image selon un premier critère prédéfini ; - des moyens pour modifier le contour initial de telle sorte qu'il comprenne le 25 point de contrainte ; et - des moyens pour appliquer le traitement itératif sur le contour initial modifié, le traitement étant adapté pour qu'à chaque itération le contour déplacé comprenne le point de contrainte. According to an essential characteristic of the invention, the device further comprises: means for determining at least one image point, called the constraint point, in the image according to a first predefined criterion; means for modifying the initial contour so that it comprises the point of stress; and means for applying the iterative processing to the modified initial contour, the processing being adapted so that at each iteration the displaced contour comprises the constraint point.

30 L'invention concerne, en outre, un dispositif de post-production de séquences d'images qui comprend des moyens de traitement des images de la séquence, et un dispositif de traitement d'images selon l'invention apte à déterminer, dans une image numérisée, la frontière entre un objet et le reste de l'image. The invention furthermore relates to an image sequence post-production device which comprises means for processing the images of the sequence, and an image processing device according to the invention capable of determining, in a digitized image, the border between an object and the rest of the image.

Selon un aspect particulier de l'invention, les moyens de traitement sont aptes à corriger la couleur des images de la séquence. According to a particular aspect of the invention, the processing means are able to correct the color of the images of the sequence.

4. Listes des fiqures L'invention sera mieux comprise et illustrée au moyen d'exemples de modes de réalisation et de mise en oeuvre avantageux, nullement limitatifs, en référence aux figures annexées sur lesquelles : la figure 1 représente un objet à suivre au voisinage duquel existe un front parasite; la figure 2 représente le contour d'un objet déterminé selon un procédé de l'état de l'art, objet au voisinage duquel existe un front parasite; la figure 3 illustre un procédé de segmentation d'un objet dans une image selon l'invention; la figure 4 illustre une image de référence dans laquelle le contour d'un objet ainsi que des points de contrainte ont été déterminés; la figure 5 illustre une image courante dans laquelle, d'une part, la position des points de contrainte a été estimée par un algorithme de suivi de ces points de contrainte et, d'autre part, une prédiction du contour de l'objet a été calculée par projection compensée en mouvement du contour de l'objet dans l'image de référence; la figure 6 illustre une image courante dans laquelle la prédiction du contour de l'objet a été modifiée pour y inclure les points de contrainte; la figure 7 illustre une image courante dans laquelle l'estimation finale du contour réel d'un objet a été déterminée selon le procédé de suivi de l'invention; la figure 8 représente une vue du contour actif et du contour de l'objet que l'on cherche à déterminer ; la figure 9 illustre un procédé de suivi d'un objet dans une séquence d'images selon l'invention; la figure 10 illustre un dispositif de suivi d'objet selon l'invention; et la figure 11 illustre un dispositif de post-production selon l'invention. 4. LIST OF FIGURES The invention will be better understood and illustrated by means of examples of advantageous embodiments and implementations, in no way limiting, with reference to the appended figures in which: FIG. 1 represents an object to be followed in the vicinity of which there is a parasitic front; FIG. 2 represents the outline of an object determined according to a method of the state of the art, an object in the vicinity of which a parasitic front exists; FIG. 3 illustrates a method of segmentation of an object in an image according to the invention; FIG. 4 illustrates a reference image in which the contour of an object as well as stress points have been determined; FIG. 5 illustrates a current image in which, on the one hand, the position of the stress points has been estimated by an algorithm for monitoring these stress points and, on the other hand, a prediction of the contour of the object has calculated by motion-compensated projection of the object's contour in the reference image; Figure 6 illustrates a current image in which the prediction of the contour of the object has been modified to include the constraint points; FIG. 7 illustrates a current image in which the final estimate of the real contour of an object has been determined according to the tracking method of the invention; FIG. 8 represents a view of the active contour and the contour of the object that is to be determined; FIG. 9 illustrates a method of tracking an object in an image sequence according to the invention; Figure 10 illustrates an object tracking device according to the invention; and Figure 11 illustrates a post-production device according to the invention.

5. Description détaillée de l'invention En référence à la figure 3, l'invention concerne un procédé de détermination du contour réel d'un objet dans une image, i.e. de la frontière entre cet objet et le reste de l'image. A l'étape 10, un contour de l'objet, dit contour initial, est déterminé dans l'image, par exemple par un opérateur qui positionne manuellement dans l'image un contour approximant le contour réel de l'objet à segmenter. Généralement, ce contour initial est formé de points image dits points de contrôle reliés entre eux par des segments de droite. A l'étape 11, un ou plusieurs points de contrainte P; (p.ex. PI et P2 sur la figure 4) sont déterminés dans l'image. Ces points de contrainte sont préférentiellement positionnés sur les portions du contour réel de l'objet où la convergence du contour est susceptible d'échouer, par exemple, à proximité d'un fort gradient dans l'arrière-plan, dit gradient parasite, situé au voisinage du contour réel de l'objet. 5. DETAILED DESCRIPTION OF THE INVENTION With reference to FIG. 3, the invention relates to a method for determining the real contour of an object in an image, i.e., of the boundary between this object and the rest of the image. In step 10, an outline of the object, called the initial contour, is determined in the image, for example by an operator who manually positions in the image a contour approximating the real contour of the object to be segmented. Generally, this initial contour is formed of image points called control points connected to each other by line segments. In step 11, one or more stress points P; (eg PI and P2 in Fig. 4) are determined in the image. These stress points are preferably positioned on the portions of the real contour of the object where the convergence of the contour is likely to fail, for example, near a strong gradient in the background, said parasite gradient, located near the actual contour of the object.

A l'étape 12, le contour initial est modifié de manière à ce qu'il comprenne les points de contrainte P; identifiés dans l'image. A cet effet, chaque point de contrainte P; est inséré entre le couple de points de contrôle du contour initial dont il est le plus proche comme illustré sur la figure 6. A l'étape 13, un traitement itératif est appliqué sur le contour initial ainsi modifié. Ce traitement est adapté pour faire converger le contour initial modifié vers le contour réel de l'objet de telle sorte qu'à chaque itération le contour initial modifié passe par les points de contrainte qui restent fixes à chaque itération comme illustré sur la figure 7. Plus précisément, à chaque itération, la position de chaque point de contrôle du contour initial est modifiée de telle sorte que ledit contour se rapproche du contour réel de l'objet à l'exception de la position des points de contrôle insérés à l'étape 12 et correspondant aux points de contrainte. Par exemple, si l'algorithme des contours actifs est utilisé pour estimer la frontière de l'objet, chaque point de contrôle du contour est déplacé de manière à minimiser la fonctionnelle d'énergie du contour actif, à l'exception des points de contraintes, qui restent fixes. Le procédé selon l'invention, permet de résoudre les problèmes de l'état de l'art notamment dans le cas d'occultations ou de croisement de l'objet à segmenter avec un objet de l'arrière-plan en forçant localement l'accrochage du contour actif sur les points de contrainte situés à la frontière de l'objet à proximité du front parasite. Les contraintes de régularité (énergies de tension et de courbure) imposées au contour actif favorisent l'accrochage sur la frontière de l'objet plutôt que sur le front parasite. Ainsi, à partir du contour initial représenté sur la figure 6, où le passage par les points de contrainte P1 et P2 est imposé, ces contraintes de régularité vont forcer le contour actif à converger vers le contour réel dans les voisinages de P1 et P2, et vont fortement pénaliser un accrochage sur le front parasite entre ces deux points, qui conduirait à un contour bien moins régulier que le contour correct, représenté sur la figure 7. Au besoin, pour pénaliser encore plus l'accrochage sur le front parasite, on peut rajouter des points de contrainte intermédiaires ou augmenter le poids des termes d'énergie de régularisation sur les points de contrôle du contour actif situés au voisinage des points de contrainte. Le traitement par contour actif est décrit en relation avec la figure 8. La figure 8 représente le contour réel 30 de l'objet à segmenter et le contour actif 31 au début du processus de convergence ou à un stade intermédiaire de celui-ci. Le contour actif est défini par un certain nombre de points de contrôle V; correspondant aux extrémités des arcs formant ce contour actif. Dans le cas où le contour actif est modélisé par un polygone, ces arcs sont des segments de droite, et l'ensemble des points de contrôle est constitué par les extrémités de ces segments. Le nombre de points de contrôle, référencés V; sur la figure 3, varie en fonction de la complexité du contour de l'objet. Un contour actif est défini comme une courbe paramétrée dans une image, qui approche itérativement le contour d'un objet sous l'influence de forces internes, calculées à partir de la courbe de contour actif elle-même, et de forces externes, qui dépendent de l'image. Les forces internes contraignent la forme de la courbe à satisfaire des contraintes de régularité, les forces externes optimisent le positionnement de la courbe relativement au contenu de l'image. L'application de ces forces se traduit par la minimisation d'une fonctionnelle appelée énergie. Bien qu'il soit théoriquement possible de rechercher une convergence simultanée de l'ensemble des points de contrôle en effectuant une minimisation globale de la fonctionnelle d'énergie, la convergence du contour actif est en pratique réalisée à l'aide d'un algorithme glouton ( greedy algorithm en anglais) proposé initialement dans l'article de D.J. Williams et M. Shah, intitulé A Fast Algorithm for Active Contours and Curvature Estimation , paru dans la revue CVGIP : Image Understanding, volume 55 n 1, Janvier 1992, pages 14 à 26. Selon cet algorithme, la minimisation de l'énergie est effectuée itérativement sur chacun des points de contrôle, jusqu'à la stabilisation du contour actif. En référence à la figure 8, V; représente la position courante d'un point de contrôle du contour actif. L'algorithme glouton consiste donc à faire converger V; vers le contour de l'objet en calculant, pour chaque point Vi d'une fenêtre de recherche F; définie au voisinage de V;, l'énergie du contour actif obtenu en remplaçant V; par Vi, et en sélectionnant comme nouveau point de contrôle celui, situé dans la fenêtre F;, qui fournit l'énergie minimale. Chaque point à l'intérieur de cette fenêtre est un point candidat pour la position du nouveau point de contrôle. Le point de contrôle est donc déplacé dans la fenêtre vers le point candidat pour lequel l'énergie est minimale. Ce processus est appliqué successivement sur tous les points de contrôle, jusqu'à convergence du contour actif. Le seuillage de la somme des déplacements des points de contrôle, pour une itération donnée du contour actif, peut, par exemple, fournir un exemple de critère d'arrêt pour sa convergence. La taille de la fenêtre peut, par exemple, être fixée à 21 pixels sur 21 pixels. Dans d'autres modes de réalisation, la taille de la fenêtre peut être différente. La taille de la fenêtre à utiliser dépend de l'application visée et de la résolution de l'image traitée. Typiquement, la fenêtre sera d'autant plus grande que la résolution est élevée, de manière à maintenir à un niveau raisonnable le degré de précision requis pour l'approximation initiale. In step 12, the initial contour is modified so that it comprises the stress points P; identified in the image. For this purpose, each stress point P; is inserted between the pair of control points of the initial contour which it is closest to as illustrated in Figure 6. In step 13, iterative processing is applied to the initial contour thus modified. This processing is adapted to converge the modified initial contour to the real contour of the object so that at each iteration the modified initial contour passes through the constraint points which remain fixed at each iteration as illustrated in FIG. 7. More specifically, at each iteration, the position of each control point of the initial contour is modified so that said contour approximates the real contour of the object with the exception of the position of the control points inserted in step 12 and corresponding to the stress points. For example, if the active edge algorithm is used to estimate the boundary of the object, each contour control point is moved so as to minimize the active contour energy function, except for stress points. , which remain fixed. The method according to the invention makes it possible to solve the problems of the state of the art, in particular in the case of occultations or crossing of the object to be segmented with an object of the background by locally forcing the object. snapping of the active edge on the stress points located at the boundary of the object near the parasitic front. The regularity constraints (voltage and curvature energies) imposed on the active contour favor the snapping on the boundary of the object rather than on the parasitic front. Thus, from the initial contour shown in FIG. 6, where the passage through the stress points P1 and P2 is imposed, these regularity constraints will force the active contour to converge towards the real contour in the neighborhoods of P1 and P2, and will strongly penalize an attachment on the parasitic front between these two points, which would lead to a contour much less regular than the correct contour, shown in FIG. 7. If necessary, to penalize still more the attachment on the parasitic front, one can add intermediate stress points or increase the weight of the regulation energy terms on the active contour control points in the vicinity of the stress points. Active contour processing is described in connection with Fig. 8. Fig. 8 shows the actual contour of the object to be segmented and the active contour 31 at the beginning of the convergence process or at an intermediate stage thereof. The active contour is defined by a number of control points V; corresponding to the ends of the arcs forming this active contour. In the case where the active contour is modeled by a polygon, these arcs are straight line segments, and the set of control points is constituted by the ends of these segments. The number of control points, referenced V; in Figure 3, varies according to the complexity of the contour of the object. An active contour is defined as a parameterized curve in an image, which iteratively approaches the contour of an object under the influence of internal forces, calculated from the active contour curve itself, and external forces, which depend on of the image. The internal forces force the shape of the curve to satisfy regularity constraints, the external forces optimize the positioning of the curve relative to the content of the image. The application of these forces results in the minimization of a functional called energy. Although it is theoretically possible to search for a simultaneous convergence of all the control points by performing an overall minimization of the energy functional, the convergence of the active contour is in practice carried out using a greedy algorithm. (greedy algorithm in English) originally proposed in the article by DJ Williams and M. Shah, titled A Fast Algorithm for Active Contours and Curvature Estimation, published in the journal CVGIP: Image Understanding, volume 55 n 1, January 1992, pages 14 to 26. According to this algorithm, the energy minimization is performed iteratively on each of the control points, until the stabilization of the active contour. With reference to FIG. 8, V; represents the current position of an active contour control point. The greedy algorithm therefore consists of converging V; to the contour of the object by calculating, for each point Vi of a search window F; defined in the vicinity of V ;, the energy of the active contour obtained by replacing V; by Vi, and selecting as a new control point the one, located in the window F ;, which provides the minimum energy. Each point within this window is a candidate point for the position of the new control point. The control point is moved in the window to the candidate point for which the energy is minimal. This process is applied successively to all the control points, until convergence of the active contour. The thresholding of the sum of the displacements of the control points, for a given iteration of the active contour, can, for example, provide an example of a stop criterion for its convergence. The size of the window may, for example, be set at 21 pixels by 21 pixels. In other embodiments, the size of the window may be different. The size of the window to use depends on the intended application and the resolution of the processed image. Typically, the larger the window, the higher the resolution, so as to maintain a reasonable level of precision required for the initial approximation.

L'énergie E(i, V) du point de contrôle V; est définie par exemple, pour chaque point candidat Vi au voisinage de V;, comme étant la somme pondérée ou combinaison linéaire des trois termes suivants : un terme de continuité Econnuie,Vj) favorisant un espacement constant entre points de contrôle, ce terme peut par exemple être défini en fonction de la distance de Vi aux points de contrôle adjacents V;_1 et V;+1 et de la distance moyenne d entre points de contrôle : E continuité (, ,) 2 2 -2 Vj ù + Vj ù V+i -2d Max Econtinuité (i , Vk k un terme de régularisation de deuxième ordre Ecourbure(i,Vj) visant à éviter des courbures trop prononcées du contour actif, que l'on peut définir, approximant la courbure par des différences finies, comme: 2 Ecourbure9 Vj )ùù1 ù 2Vj +V+1 Max Ecourbure (Z , Vk k un terme de gradient Egradient(i,Vj) qui attire le contour actif vers des fronts de l'image (zones de l'image correspondant à de forts gradients), en privilégiant les fronts dont la direction est parallèle au contour estimé : ce terme peut être calculé en fonction du vecteur gradient G(Vi) au voisinage de Vi et de la normale extérieure next(i) au contour actif en V; par : (( nextO)•G(Vj) Egradient \l , V j) Max G(Vk ) k La pondération de ces termes est définie par l'utilisateur en fonction des propriétés du contour de l'objet. Il peut, par exemple, réduire le poids du terme de régularisation dans le cas de formes très irrégulières. The energy E (i, V) of the control point V; is defined, for example, for each candidate point Vi in the neighborhood of V ;, as being the weighted sum or linear combination of the following three terms: a continuity term Econnuie, Vj) favoring a constant spacing between control points, this term can by example be defined as a function of the distance from Vi to the adjacent control points V; _1 and V; +1 and the average distance d between control points: E continuity (,,) 2 2 -2 Vj ù + Vj ù V + i -2d Max Econtinuity (i, Vk k a second order regularization term Ecourbure (i, Vj) aiming at avoiding too pronounced curvatures of the active contour, which can be defined, approximating the curvature by finite differences, such as: 2 Curvature9 Vj) ùù1 ù 2Vj + V + 1 Max Curvature (Z, Vk k a gradient term Egradient (i, Vj) which draws the active contour to fronts of the image (areas of the image corresponding to strong gradients), favoring fronts whose direction is parallel to the con estimated round: this term can be calculated as a function of the gradient vector G (Vi) in the neighborhood of Vi and of the outside normal next (i) to the active V contour; by: ((nextO) • G (Vj) Egradient \ l, V j) Max G (Vk) k The weighting of these terms is defined by the user according to the properties of the object's contour. It can, for example, reduce the weight of the regularization term in the case of very irregular shapes.

Le procédé de segmentation par contours actifs, tel que décrit ci-dessus, repose essentiellement sur la détection du contour de l'objet. Avantageusement, on peut rajouter un terme supplémentaire favorisant l'homogénéité de la distribution des couleurs et de la texture de part et d'autre de la courbe de contour actif afin d'améliorer la qualité et la robustesse de la segmentation obtenue. Dans un grand nombre de situations, l'approche des contours actifs permet de faciliter en l'automatisant le processus de segmentation. Ne requérant que la donnée d'un contour approximatif et simplifié de l'objet à segmenter, il évite à l'opérateur de devoir positionner précisément un contour suivant fidèlement la frontière de l'objet, tâche qui se révèle très souvent longue et fastidieuse. En référence à la figure 9, l'invention concerne également un procédé de suivi d'un objet dans une séquence de plusieurs images. A cet effet, lors d'une phase d'initialisation, non représentée sur la figure 9, un contour réel de l'objet, dit contour de référence, ainsi que des points de contrainte positionnés sur ce contour réel, sont déterminés dans une image donnée de la séquence, dite image courante, généralement la première image de la séquence. Ce contour est, par exemple, déterminé en appliquant à cette image les étapes 10 à 13 du procédé de segmentation décrit précédemment. La figure 9 présente la succession des étapes nécessaires pour déterminer le contour réel de l'objet et la position des points de contrainte dans une autre image de la séquence, dite image courante, à partir du contour de référence et des points de contraintes déterminés dans l'image de référence comme illustré sur la figure 4. Le plus souvent, l'image courante est l'image de la séquence qui suit immédiatement l'image de référence, mais il est possible d'appliquer le procédé faisant l'objet de l'invention à une image courante et une image de référence distantes de plusieurs images. Il est également possible d'effectuer un suivi arrière du contour, dans lequel les contours des images précédentes, dans l'ordre de la séquence, sont calculés à partir de ceux des images suivantes. Dans cette configuration, l'image courante précède l'image de référence. Dans le but de clarifier l'explication, mais sans limitation de la portée de l'invention, on utilisera dans la description qui suit le terme image (N-1) pour désigner l'image de référence, et le terme image N pour désigner l'image courante. Ces termes sont également ceux utilisés dans les figures 4 à 7, référencées dans la description. A l'étape 20, un modèle de mouvement global du contour de l'objet est déterminé entre l'image N-1 et l'image N. A cet effet, un algorithme d'estimation d'un tel modèle est appliqué, par exemple, à l'ensemble des points image situés à l'intérieur du contour de référence dans l'image (N-1). Ce modèle de mouvement peut être, par exemple, un modèle affine à 6 paramètres (ao, a,, a2, bo, bl, b2,), où chaque point image de coordonnées (x,y) dans l'image (N-1) est transformé en un point image dont les coordonnées (x',y') dans l'image N sont définies par : Jx'= ao+aux+azy y'= bo+blx+bey Un algorithme permettant l'estimation d'un tel modèle de mouvement global est décrit dans l'article de J.M. Odobez et P. Bouthemy intitulé Robust Multiresolution Estimation of Parametric Motion Models , paru dans le Journal of Visual Communication and Image Understanding , volume 6 n 4, pages 348 à 365, en décembre 1995. A l'étape 21, le modèle de mouvement global déterminé à l'étape 20 est utilisé pour projeter dans l'image N chacun des points de contrôle définissant le contour à l'image (N-1). Les nouveaux points de contrôle ainsi obtenus fournissent une prédiction du contour dans l'image (N), dit contour initial, représenté sur la figure 5. Cette prédiction ne peut toutefois pas rendre compte les déformations locales du contour qui pourraient résulter, par exemple, d'une rotation de l'objet hors du plan de la caméra, ou d'une occultation. Le traitement itératif qui fait l'objet de l'invention, et qui est décrit dans les étapes suivantes, permet de raffiner cette prédiction afin de la faire converger vers le contour réel de l'objet à l'image N. A l'étape 22, les positions des points de contrainte dans l'image N sont déterminées à partir de celles, connues, dans l'image (N-1), en utilisant un algorithme de suivi local, tel que l'algorithme d'inter-corrélation normalisé référencé dans la section état de l'art . A chaque point de contrainte est généralement associée une petite zone de suivi local comprenant ce point. Sur la figure 4, ces zones de suivi local sont dénommées ZSL1 et ZSL2. Le suivi d'un point de contrainte consiste à rechercher dans l'image N, au voisinage de la position du point de contrainte tel que connu dans l'image (N-1), la fenêtre de même taille que la zone de suivi local dont le contenu correspond le mieux au contenu de la zone de suivi local dans l'image (N-1). Le critère de correspondance entre les zones des images (N-1) et N peut, par exemple, être la minimisation de la somme des valeurs absolues des différences pixel à pixel entre ces deux fenêtres, ou la maximisation de l'inter-corrélation bidimensionnelle entre les deux fenêtres, éventuellement normalisée par les dispersion des valeurs de luminance dans les deux fenêtres. Les points de contrainte conservent le même positionnement relatif à l'intérieur de leur zone de suivi local d'image à image. Les positions des points de contrainte dans l'image N sont donc déduites des positions des zones de suivi local ZLS1 et ZLS2 déterminées dans l'image N. Un choix judicieux des points de contrainte, au voisinage de zones suffisamment texturées de l'image, garantit habituellement un suivi correct de ces points : chaque point reste alors positionné, tout le long de la séquence traitée, sur le même point physique de l'objet suivi. Dans le cas où le suivi échouerait, l'opérateur a la possibilité soit de modifier la taille de la zone de suivi local, soit de déplacer le point de contrainte vers une zone d'image plus fortement texturée, afin d'assurer que les points de contrainte restent correctement positionnées sur le contour réel de l'objet traité tout au long de la séquence. A l'étape 23, la prédiction du contour à l'image N est modifiée de la même manière qu'à l'étape 12, en y incorporant les points de contrainte, dont la position dans l'image N a été calculée à l'étape précédente 22. A cet effet, chaque point de contrainte P; est inséré entre le couple de points de contrôle dela prédiction du contour à l'image N dont il est le plus proche, comme illustré sur la figure 6. The active edge segmentation method, as described above, is essentially based on the detection of the contour of the object. Advantageously, it is possible to add an additional term promoting the homogeneity of the distribution of colors and texture on either side of the active contour curve in order to improve the quality and the robustness of the segmentation obtained. In a large number of situations, the active contours approach makes it easier to automate the segmentation process. Requiring only the data of an approximate and simplified contour of the object to be segmented, it avoids the operator having to precisely position a contour following faithfully the border of the object, a task which proves very often long and tedious. With reference to FIG. 9, the invention also relates to a method of tracking an object in a sequence of several images. For this purpose, during an initialization phase, not shown in FIG. 9, a real contour of the object, referred to as the reference contour, as well as constraint points positioned on this real contour, are determined in an image. given sequence, said current image, usually the first image of the sequence. This contour is, for example, determined by applying to this image the steps 10 to 13 of the segmentation method described above. FIG. 9 shows the succession of steps necessary to determine the real contour of the object and the position of the stress points in another image of the sequence, called the current image, from the reference contour and from the constraint points determined in FIG. the reference image as illustrated in FIG. 4. Most often, the current image is the image of the sequence immediately following the reference image, but it is possible to apply the method that is the subject of the the invention to a current image and a reference image distant from several images. It is also possible to perform a contour follow-up, in which the outlines of the previous images, in sequence order, are calculated from those of the following images. In this configuration, the current image precedes the reference image. In order to clarify the explanation, but without limiting the scope of the invention, the following description will use the term image (N-1) to designate the reference image, and the term image N to designate the current image. These terms are also those used in Figures 4 to 7, referenced in the description. In step 20, a global movement model of the object contour is determined between the image N-1 and the image N. For this purpose, an estimation algorithm of such a model is applied, for example for example, to all the image points located inside the reference contour in the image (N-1). This model of motion can be, for example, an affine model with 6 parameters (ao, a ,, a2, bo, b1, b2,), where each image point of coordinates (x, y) in the image (N- 1) is transformed into an image point whose coordinates (x ', y') in the image N are defined by: Jx '= ao + aux + azy y' = bo + blx + bey An algorithm allowing the estimation of such a global motion model is described in the article by JM Odobez and P. Bouthemy entitled Robust Multiresolution Estimation of Parametric Motion Models, published in the Journal of Visual Communication and Image Understanding, Volume 6, No. 4, pages 348 to 365, in December 1995. In step 21, the global motion model determined in step 20 is used to project into image N each of the control points defining the image contour (N-1). The new control points thus obtained provide a prediction of the contour in the image (N), called the initial contour, represented in FIG. 5. This prediction can not, however, account for the local deformations of the contour which could result, for example, a rotation of the object out of the plane of the camera, or an occultation. The iterative processing which is the subject of the invention, and which is described in the following steps, makes it possible to refine this prediction in order to converge it to the real contour of the object in the N-image. 22, the positions of the stress points in the image N are determined from those known in the (N-1) image, using a local tracking algorithm, such as the inter-correlation algorithm standardized referenced in the state of the art section. At each point of stress is generally associated a small local tracking area including this point. In Figure 4, these local tracking areas are referred to as ZSL1 and ZSL2. The follow-up of a constraint point consists of searching in the image N, in the vicinity of the position of the constraint point as known in the image (N-1), the window of the same size as the local monitoring area. whose content best matches the content of the local tracking area in the (N-1) image. The criterion for correspondence between the zones of the (N-1) and N images may, for example, be the minimization of the sum of the absolute values of the pixel-to-pixel differences between these two windows, or the maximization of the two-dimensional inter-correlation. between the two windows, possibly normalized by the dispersion of the luminance values in the two windows. The constraint points maintain the same relative position within their local image-to-image tracking area. The positions of the stress points in the image N are therefore deduced from the positions of the local tracking areas ZLS1 and ZLS2 determined in the image N. A judicious choice of the stress points, in the vicinity of sufficiently textured areas of the image, usually guarantees a correct follow-up of these points: each point then remains positioned, all along the processed sequence, on the same physical point of the tracked object. In the event that the tracking fails, the operator can either change the size of the local tracking area or move the constraint point to a more heavily textured image area to ensure that the points constraints remain correctly positioned on the actual contour of the object treated throughout the sequence. In step 23, the prediction of the contour at the image N is modified in the same way as in step 12, by incorporating therein the constraint points, the position of which in the image N has been calculated at the same time. previous step 22. For this purpose, each point of stress P; is inserted between the pair of contour prediction control points to the nearest N image, as shown in Figure 6.

A l'étape 24, de la même manière qu'à l'étape 13, un traitement itératif est appliqué sur la prédiction modifiée du contour à l'image N, de façon à le faire converger vers le contour réel de l'objet à cette image. Lors de ce processus de convergence, les points de contrainte restent fixes à chaque itération, comme illustré sur la figure 7. Par exemple, l'algorithme des contours actifs est appliqué sur le contour initial modifié à l'étape 23, en traitant normalement tous les points de contrôle, à l'exception des points de contraintes, qui restent fixes. Les étapes 20 à 24 du procédé sont ensuite réitérées sur les autres images de la séquence afin de suivre l'objet le long de ladite séquence, l'image courante devenant l'image de référence. Le procédé selon l'invention, permet de résoudre les problèmes de l'état de l'art notamment dans le cas d'occultations ou de croisement de l'objet à segmenter avec un objet de l'arrière-plan, en forçant localement l'accrochage du contour actif sur des points de contrainte dont on est certain qu'ils appartiennent au contour réel de l'objet. In step 24, in the same way as in step 13, an iterative processing is applied on the modified prediction of the contour to the image N, so as to make it converge towards the real contour of the object to this image. In this convergence process, the stress points remain fixed at each iteration, as shown in FIG. 7. For example, the active edge algorithm is applied to the initial contour modified in step 23, normally treating all the control points, with the exception of the stress points, which remain fixed. Steps 20 to 24 of the method are then reiterated on the other images of the sequence in order to follow the object along said sequence, the current image becoming the reference image. The method according to the invention makes it possible to solve the problems of the state of the art, in particular in the case of occultations or crossing of the object to be segmented with an object of the background, by locally forcing the gripping of the active contour on stress points of which we are certain that they belong to the real contour of the object.

La présente invention concerne également un dispositif de segmentation et de suivi d'objets référencé 40 sur la figure 10 qui implémente le procédé décrit précédemment. Sur cette figure, les modules représentés sont des unités fonctionnelles, qui peuvent ou non correspondre à des unités physiquement distinguables. Par exemple, ces modules ou certains d'entre eux peuvent être regroupés dans un unique composant, ou constituer des fonctionnalités d'un même logiciel. A contrario, certains modules peuvent éventuellement être composés d'entités physiques séparées. Seuls les éléments essentiels du dispositif sont représentés sur la figure 4. Le dispositif 40 comprend notamment: une mémoire vive 42 (RAM ou composant similaire), une mémoire morte 43 (disque dur ou composant similaire), une unité de traitement 44 telle qu'un microprocesseur ou un composant similaire, une interface d'entrée/sortie 45 et une interface homme-machine 46. Ces éléments sont reliés entre eux par un bus d'adresse et de données 41. La mémoire morte 43 contient les algorithmes mettant en oeuvre les étapes 10 à 18 du procédé selon l'invention. A la mise sous tension, l'unité de traitement 44 charge et exécute les instructions de ces algorithmes. La mémoire vive 42 comprend notamment les programmes de fonctionnement de l'unité de traitement 44 qui sont chargés à la mise sous tension de l'appareil, ainsi que les images à traiter. L'interface d'entrées/sorties 45 a pour fonction de recevoir le signal d'entrée (i.e. la séquence d'images source) et sort le résultat du suivi d'objets selon les étapes 10 à 13 et 20 à 24 du procédé de l'invention. L'interface homme-machine 46 du dispositif permet à l'opérateur d'interrompre le traitement et d'ajuster manuellement le contour d'un objet à chaque étape du procédé, dès que survient une perte de précision sur le contour qui n'est pas compatible avec ses exigences. Les résultats de la segmentation dans chaque image sont stockés en mémoire vive puis transférés en mémoire morte pour être archivés en vue de traitements ultérieurs. L'interface homme-machine 46 comprend notamment un panneau de contrôle et un écran de visualisation. Dans le cas d'un dispositif dédié aux applications de correction de couleur, le panneau de contrôle est un clavier amélioré qui peut comprendre des éléments d'interface tels que stylo graphique et boules permettant le réglage des gains des composantes de couleur. The present invention also relates to an object segmentation and tracking device referenced 40 in FIG. 10 which implements the method described above. In this figure, the modules shown are functional units, which may or may not correspond to physically distinguishable units. For example, these modules or some of them may be grouped into a single component, or be functionalities of the same software. On the other hand, some modules may be composed of separate physical entities. Only the essential elements of the device are shown in FIG. 4. The device 40 comprises in particular: a random access memory 42 (RAM or similar component), a read-only memory 43 (hard disk or similar component), a processing unit 44 such as a microprocessor or a similar component, an input / output interface 45 and a human-machine interface 46. These elements are interconnected by an address and data bus 41. The read-only memory 43 contains the algorithms implementing steps 10 to 18 of the process according to the invention. On power up, the processing unit 44 loads and executes the instructions of these algorithms. The RAM 42 includes in particular the operating programs of the processing unit 44 which are loaded when the device is turned on, as well as the images to be processed. The function of the input / output interface 45 is to receive the input signal (ie the source image sequence) and outputs the object tracking result according to steps 10 to 13 and 20 to 24 of the method of the invention. The human-machine interface 46 of the device allows the operator to interrupt the processing and manually adjust the contour of an object at each stage of the process, as soon as a loss of precision occurs on the contour which is not not compatible with its requirements. Segmentation results in each image are stored in RAM and transferred to read-only memory for archiving for further processing. The human-machine interface 46 comprises in particular a control panel and a display screen. In the case of a device dedicated to color correction applications, the control panel is an improved keyboard which may include interface elements such as graphic pen and balls for adjusting the gains of the color components.

Bien entendu, l'invention n'est pas limitée aux exemples de réalisation mentionnés ci-dessus. Of course, the invention is not limited to the embodiments mentioned above.

En particulier, l'homme du métier peut apporter toute variante dans les modes de réalisation exposés et les combiner pour bénéficier de leurs différents avantages. Notamment, le nombre de points de contrainte, le modèle de contour (par exemple courbes B-spline ou courbes de Bezier), l'algorithme utilisé pour le suivi des points de contrainte, l'algorithme utilisé pour l'estimation du modèle de mouvement global du contour, l'algorithme utilisé pour obtenir la convergence du contour initial ou prédit vers le contour réel (par exemple utilisation des courbes de niveaux), sont susceptibles de varier. In particular, those skilled in the art can make any variant in the exposed embodiments and combine them to benefit from their various advantages. In particular, the number of stress points, the contour model (for example B-spline curves or Bezier curves), the algorithm used for the monitoring of the stress points, the algorithm used to estimate the motion model overall contour, the algorithm used to obtain the convergence of the initial or predicted contour to the actual contour (eg use of contour lines), are likely to vary.

Le dispositif de segmentation et de suivi d'objets peut également être utilisé dans un dispositif de post-production de séquences d'images référencé 50 sur la figure 11. Dans ce cas, l'information fournie par le dispositif de suivi 40 est utilisée pour traiter une séquence vidéo û par exemple un film û en post-production à l'aide de moyens de traitement 51. Ces moyens peuvent permettre d'effectuer l'un des traitements suivants: -correction de couleur secondaire qui consiste à modifier l'apparence d'un objet dans une scène (par exemple un visage) ; - mixage vidéo ( compositing en anglais) qui consiste à extraire un objet particulier dans une scène pour l'insérer dans une autre scène; - effets spéciaux (par exemple, suppression d'un objet de premier plan et remplacement par l'arrière-plan) ; et/ou - restauration de films, et plus particulièrement suppression de zones dégradées dans l'image résultant, par exemple, de défauts sur la pellicule. The object segmentation and tracking device may also be used in an image sequence post-production device referenced 50 in FIG. 11. In this case, the information provided by the tracking device 40 is used to processing a video sequence - for example a film - in post-production using processing means 51. These means can make it possible to carry out one of the following treatments: secondary color correction which consists in modifying the appearance an object in a scene (for example a face); - video mixing (compositing in English) which consists of extracting a particular object in one scene to insert it into another scene; - special effects (for example, deleting a foreground object and replacing it with the background); and / or - restoring films, and more particularly removing degraded areas in the resulting image, for example, defects on the film.

L'invention ne se limite pas aux applications de post-production mais peut être utilisé également pour diverses autres applications telles que : Codage vidéo : amélioration du taux de compression en codant l'objet dans une seule image puis en ne transmettant que ses variations de forme et de position ; Indexation : extraction d'informations sémantiquement pertinentes sur le contenu des images ; et Plus généralement, tous les processus qui nécessitent un traitement adapté à chacun des objets dans l'image. The invention is not limited to post-production applications but can be used also for various other applications such as: Video coding: improvement of the compression ratio by coding the object in a single image and then transmitting only its variations of shape and position; Indexing: extracting semantically relevant information about the content of images; and more generally, all the processes that require a treatment adapted to each of the objects in the image.

Claims

claims

1. A method for determining, in a digitized image, the boundary between an object and the rest of the image, said boundary real contour of the object, comprising the following steps: - determining (10, 21) a contour of said object , said initial contour, in said image; applying (13, 24) an iterative process able to move said initial contour so that said displaced contour approaches said real contour of the object at each iteration; said method being characterized in that it further comprises the following steps: - determining (11, 22) at least one image point, said stress point, in said image; modifying (12, 23) said initial contour so that it comprises said stress point; and - applying (13, 24) said iterative processing to said modified initial contour, said processing being adapted so that at each iteration said displaced contour comprises said constraint point.

The method of claim 1, wherein said iterative processing is an active edge processing.

The method of claim 1 or 2, wherein said stress point is positioned on the actual contour of the object.

4. The method of claim 3, wherein said stress point is further positioned in the vicinity of a contour external to said object.

5. Method according to one of claims 1 to 4, which method is applied to an image of a sequence of several images, said current image, said initial contour being determined (21) in said current image from an outline said object previously determined in another image of the sequence, said reference image and a global motion model around the previously determined object (20) between said reference image and said current image.

The method of claim 5, wherein said constraint point is determined (22) in said current image from the previously determined constraint point in said reference image and a local tracking algorithm.

The method of claim 6, wherein said local tracking algorithm is a normalized inter-correlation algorithm.

8. An image processing device (40) capable of determining, in a digitized image, the boundary between an object and the remainder of the image, said boundary real boundary of the object, comprising: - means for determining ( 42, 43, 44) a contour of said object, said initial contour, in said image; means for applying (42, 43, 44) an iterative process able to modify said initial contour so that said displaced contour approaches said real contour of the object at each iteration; said device being characterized in that it further comprises: means for determining (42, 43, 44) at least one image point, said constraint point, in said image according to a first predefined criterion; means for modifying (42, 43, 44) said initial contour so that it comprises said stress point; and - means for applying (42, 43, 44) said iterative processing to said modified initial contour, said processing being adapted so that at each iteration said displaced contour comprises said constraint point. 12. An image sequence post-production device characterized in that it comprises means (51) for processing images of said sequence, and an image processing device (40) according to claim 8. 13 Device according to Claim 9, characterized in that the processing means (51) are capable of correcting the color of the images of said sequence.