FR2890514A1 - Procede de suivi d'au moins un objet deformable dans une sequence d'images, systeme et programme d'ordinateur correspondants - Google Patents

Abstract

L'invention concerne un procédé de suivi d'au moins un objet déformable dans une séquence d'images (51), comprenant une étape d'initialisation au cours de laquelle est définie une surface contenant sensiblement ledit objet, appelée cible (50), dans une première image (Il) de ladite séquence, et une étape de prédiction d'un vecteur d'état (xt) de ladite cible dans au moins une image suivante (It,) de ladite séquence (51).Selon l'invention, ladite étape de prédiction comprend des étapes de :- association à ladite cible d'un ensemble de vecteurs d'état potentiels déterminés à partir d'au moins une image (It-l) précédent ladite image suivante ;- comparaison d'un premier sous-ensemble desdits vecteurs d'état potentiels à au moins un modèle de référence fixe (h*ref) construit (E52) à partir de ladite cible dans ladite première image ;- comparaison d'un deuxième sous-ensemble desdits vecteurs d'état potentiels à au moins un modèle de référence adaptatif (h*obs) construit (E55) à partir d'un vecteur d'état prédit de ladite cible dans au moins une image (It-l) précédent ladite image suivante ;- détermination (E57) d'un vecteur d'état prédit (xt) de ladite cible tenant compte du résultat desdites comparaisons.

Description

Procédé de suivi d'au moins un objet déformable dans une séquence

d'images, système et programme d'ordinateur correspondants.

1. Domaine de l'invention Le domaine de l'invention est celui du traitement des images fixes ou animées. Plus précisément, l'invention concerne une technique de suivi d'objets déformables dans une séquence d'images, et plus particulièrement dans une séquence vidéo.

De telle images peuvent être mono ou multi-spectrales, et englobent donc aussi bien les séquences vidéo en couleurs que les images radar par exemple.

Les objets à suivre sont déformables, c'est-à-dire qu'ils sont soumis à de fortes variations de forme, de couleur, ainsi qu'à des occultations temporaires pouvant être totales.

La technique de l'invention trouve notamment, mais non exclusivement, des applications dans le domaine de l'asservissement visuel (en matière de robotique), de la vidéo-surveillance, des interfaces homme-machine avancées commandées par le geste, de l'édition vidéo, et de l'imagerie médicale et météorologique.

2. Solutions de l'art antérieur En raison des nombreuses applications possibles, le suivi de cibles dans des séquences d'images fait l'objet de nombreuses recherches et publications depuis plusieurs années.

Parmi celles-ci, on peut citer notamment l'article de P. Pérez, C. Hue, J. Vermaak et M. Gangnet intitulé "Color-based probabilistic tracking" (In Eur. Conf. On Computer Vision, ECCV'2002, LNCS 2350, pages 661-675, Copenhague, Danemark, Juin 2002).

La technique de suivi décrite dans ce document consiste à sélectionner une région de l'image, appelée cible, de forme fixe, et englobant l'objet à suivre dans la première image de la séquence. Elle repose ensuite sur une approche probabiliste pour résoudre le problème de suivi de la cible dans les images suivantes, et met en oeuvre un filtre de Monte-Carlo séquentiel basé sur un échantillonnage de particules, encore appelé filtrage particulaire.

Cette approche consiste à modéliser explicitement et de façon probabiliste le lien temporel entre l'état de la cible dans une image précédente et l'état de la cible dans l'image courante à l'aide d'un modèle dynamique et de règles d'inférences Bayésiennes. Le problème de suivi se pose alors sous la forme d'une recherche probabiliste de l'hypothèse de configuration la plus vraisemblable par rapport au modèle prédéfini de l'objet, compte tenu des observations réalisées jusqu'à l'image courante.

La détermination de la cible dans l'image courante est effectuée par calcul de similarité entre la référence initiale de la cible et les mesures apparentes extraites des images successives de la séquence. Plus précisément, ce calcul de similarité repose sur une comparaison des caractéristiques colorimétriques, sous la forme d'un histogramme h* couleur, d'une région R(x,) identifiée par un vecteur d'état x, dans une image courante, et d'un modèle de référence associé à la cible.

Ce vecteur d'état x, spécifie la position et éventuellement la taille et/ou l'orientation de la région R(x,) à l'instant t.

L'histogramme h* est obtenu à partir de l'espace colorimétrique HSV, en quantifiant chaque valeur de pixel sur NH, NS et Nv niveaux. Les classes de l'histogramme bidimensionnel NH*NS sont concaténées à celles de l'histogramme monodimensionnel N,, menant à un histogramme h* de taille NH*Ns+Nv.

Le modèle de référence associé à la cible est défini à partir de la première image de la séquence: h* = h (x; ) , et est invariant tout au long du procédé de suivi.

La mesure de similarité permettant de quantifier la ressemblance entre l'histogramme de référence h* et un histogramme h(xr) observé à l'instant t à l'état x est construite à l'aide du coefficient de similarité de Bhattacharyya p et s 'z s'exprime sous la forme: D(h,h(x)) = (1 p) 2 = 1 1. ih1; (x) La distance de Bhattacharyya permet de définir la vraisemblance colorimétrique p(ylx) disposant de l'observation y (soit h(x)), de l'état x et de la référence h* : p(ylx) a exp(-AD' (h',h(x))) , où a, est pris égal à 20.

Enfin, cette technique de Pérez et al. propose de prédire et de modéliser le mouvement associé aux objets à suivre en mettant en uvre un système dynamique auto-régressif du premier ou du second ordre. Les paramètres de ce modèle dynamique sont déduits d'un apprentissage préalable.

D'autres techniques de suivi d'objets dans des séquences d'images ont également été décrites dans les articles cités en annexe 1, qui fait partie intégrante de la présente description.

Ainsi, dans "Data fusion for visual tracking with particles" (Proc. IEEE, 92(3) :495-513, 2004), P. Pérez, J. Vermaak et A. Blake proposent, pour construire l'histogramme h*, d'utiliser l'espace colorimétrique RGB et de différencier chacune des bandes pour en déduire trois histogrammes qK, qG, q;, qui sont ensuite combinés lors du calcul de la mesure de similarité. Dans "On-line selection of discrminative tracking features" (in Proceedings of the 2003 International Conference of Computer Vision (ICCV'03), October 2003), R. Collins et Y. Liu proposent quant à eux d'utiliser une combinaison linéaire des bandes colorimétriques R, G et B pour constituer 49 nouveaux espaces colorimétriques sur lesquels sont calculés l'histogramme h*.

3. Inconvénients de l'art antérieur La technique de suivi d'objets de Pérez et al. décrite ci-dessus repose donc sur une mesure de similarité entre une mesure de référence h*, acquise au démarrage de la séquence et qui demeure invariante tout au long du processus de suivi, et une mesure des observations h(x) relevées tout au long du suivi. On détermine donc la position de la cible dans les différentes images de la séquence, en évaluant sa similarité à la cible initiale, définie dans la première image.

Un inconvénient de cette technique de l'art antérieur est que, lorsque les conditions de prise de vue (éclairage de la scène, paramètres de la caméra, etc.) varient rapidement au cours du suivi, la similarité de la cible avec le modèle de référence initial fixe peut chuter très rapidement, au point qu'il ne devient plus possible de discerner la cible de son environnement.

La technique proposée par R. Collins et Y. Liu dans "On-line selection of discrminative tracking features" permet de prolonger le suivi, en choisissant de manière adaptative le meilleur espace colorimétrique, en fonction d'un contraste local: l'objet est correctement différencié de son fond, ce qui permet un meilleur positionnement de la cible.

Cependant, cette approche ne garantit pas une meilleure similarité de la cible avec le modèle de référence initial fixe. Or, si le calcul de similarité (sous forme de vraisemblance colorimétrique comme indiqué cidessus) ne donne pas de valeur significative, le suivi de l'objet est définitivement perdu et ce, même si la cible se différencie nettement de son environnement.

Les figures 1 et 2 illustrent plus en détail cet inconvénient des techniques antérieures fondées sur l'utilisation d'un modèle de référence initial fixe, en cas de rapides variations colorimétriques des images.

La figure 1 présente les images n 1, n 30, n 80, n 125 et n 160 d'une séquence vidéo représentative d'un match de rugby. L'objet à suivre est l'un des joueurs, identifié par une région englobante rectangulaire, ou cible 10. Cette cible 10 passe donc, en l'espace de quelques images (des images n 75 à 85 environ) d'une région du terrain très éclairée 11 à une région très sombre 12.

La figure 2 illustre l'évolution du coefficient de Bhattacharyya (p) calculé 20 sur les bandes R, G, B et H individuellement, puis en moyenne sur RGBH, en fonction du numéro des images de la séquence vidéo de la figure 1.

Comme indiqué par cette figure 2, chacune des bandes R, G, B et H contribue différemment en fonction du temps au suivi global: alors que la teinte (H) apporte la similarité maximale en début de suivi, elle chute de façon très importante lors du passage de la zone de lumière 11 à la zone d'ombre 12. De même, la bande R présente une meilleure similarité par rapport aux bandes G et B. Le gain automatique de la caméra fait également évoluer les propriétés colorimétriques: ainsi, entre l'image n 1 et l'image n 30, l'objet 10 se trouve dans les mêmes conditions réelles d'illumination, mais l'image apparente fournie par la vidéo montre des distributions différentes.

La figure 3 illustre le résultat du suivi de la cible 10 par un algorithme de suivi qui ne prend en compte qu'un modèle de référence initial fixe, défini sur la première image de la séquence (ce qui est le cas de l'algorithme proposé par Pérez et al. cité ci-dessus). Ce comportement est plus généralement observé pour toutes les méthodes de suivi de l'art antérieur qui ne prennent pas en considération les observations successives réalisées sur les images de la séquence lors du suivi d'un objet. Comme on peut le constater, dès l'image n 96 (196) correspondant au passage du joueur à suivre dans la zone d'ombre 12, le suivi perd en précision, et la cible 10 identifiée dans l'image n 110 (1110) n'englobe plus le joueur suivi. Le suivi dérive totalement, jusqu'à identifier comme cible 10 dans l'image n 160 (I160) un spectateur du public.

Afin de remédier à cet inconvénient de la technique de P. Pérez et al. décrite ci-dessus, et conserver une similarité suffisante entre le modèle de référence et la mesure observée, d'autres approches ont été proposées, qui consistent à mettre à jour le modèle de référence au cours du suivi. On obtient ainsi un modèle de référence adaptatif, qui évolue en fonction des observations successives réalisées à partir de chacune des images de la séquence. La mise à jour du modèle de référence tout au long du suivi permet en effet à l'outil de suivi de s'adapter aux conditions changeantes de l'environnement au sein duquel évolue la cible.

On peut différencier deux types d'approches: - une première approche combinant le modèle de référence initial fixe h," à la dernière observation h: : h,+, - (1 a)h,' + ah: Cette première approche a notamment été proposée par R. Collins et Y. Liu, dans "On-line selection of discriminative tracking features" (Proceedings of the 2003 International Conference of Computer Vision (ICCV '03), Octobre 2003).

- une seconde approche procédant par accumulation des observations de 0 à t: h,+, -(1-a)h;,+ah: Un inconvénient de cette seconde approche de l'art antérieur est qu'elle induit un effet de dérive particulièrement néfaste à la qualité du suivi. En effet, l'accumulation des observations offre de mauvais résultats car une cible qui s'écarte légèrement de sa trajectoire idéale pollue progressivement le modèle de référence initial jusqu'à le rendre inopérant pour le suivi.

La première approche, proposée par R. Collins et Y. Liu, permet de limiter l'effet de dérive occasionné par la seconde, mais ne donne cependant pas de résultats satisfaisants. Notamment, et comme illustré ci- dessous en relation avec la figure 4, elle ne résiste pas à de brusques variations colorimétriques, telles qu'un rapide passage d'une zone d'ombre à une zone de lumière par exemple (ou inversement).

En effet, toutes les approches visant à mettre à jour le modèle d'apparence sont globalement inefficaces pour les raisons suivantes: l'histogramme réel observé à l'instant t ne correspond pas à une combinaison linéaire des histogrammes aux instants initiaux et t-1. E n pratique, il s'agit en effet plutôt d'un mélange de modes de l'histogramme, c'est-à-dire des pics représentatifs des couleurs dominantes; - lors d'un changement d'apparence rapide et très marqué, la similarité avec la mesure initiale h, est très faible, créant ainsi une pollution du modèle de référence adaptatif résultant de la mise à jour.

La figure 4 illustre le résultat du suivi d'un joueur de rugby dans la séquence vidéo des figures 1 et 3 à partir de la technique de R. Collins et Y. Liu, consistant à utiliser un modèle de référence adaptatif mis à jour, à l'instant t, à partir du modèle à t-1. Le coefficient a retenu vaut 0,5: h,+, F- (1 - a)h; + ah; . A nouveau, la cible 10 évolue sur un terrain qui peut être coupé en deux parties de caractéristiques colorimétriques très différentes, à savoir une zone sombre 12 et une zone très éclairée 11. Si cette technique de suivi permet d'obtenir de meilleurs résultats que celle de P. Pérez et al. (figure 3), elle n'est cependant pas suffisamment robuste aux variations colorimétriques présentes dans la scène. Dès l'image n 110 (I110), la cible 10 identifiée n'englobe plus le joueur à suivre, et dérive: le suivi est perdu.

Un autre inconvénient de ces techniques antérieures consistant à mettre à jour un modèle de référence adaptatif (et tout particulièrement celles de ces techniques qui privilégient l'adaptation du modèle) est qu'elles ne résistent pas aux phénomènes d'occultation. En effet, lorsqu'une cible est intégralement cachée par un autre objet, une adaptation trop rapide du modèle de référence perturbe ce dernier au point que l'objet occultant l'objet à suivre devient lui-même la référence. L'objet d'intérêt est alors perdu au détriment de l'objet occultant, dont on assure alors à tort le suivi.

4. Objectifs de l'invention L'invention a notamment pour objectif de pallier ces inconvénients de l'art antérieur.

Plus précisément, un objectif de l'invention est de fournir une technique de suivi d'objets dans une séquence d'images mono ou multi-spectrales, qui soit plus fiable que les techniques de l'art antérieur.

Notamment, un objectif de l'invention est de proposer une telle technique qui soit adaptée au suivi d'objets déformables, y compris en cas de fortes variations de leur forme.

Un autre objectif de l'invention est de proposer une telle technique qui soit robuste, et résiste notamment aux occultations passagères, éventuellement totales, des objets à suivre sur une ou plusieurs images successives.

L'invention a encore pour objectif de fournir une telle technique qui résiste à de fortes et rapides variations d'illumination et de colorimétrie des objets et des images de la séquence.

Un autre objectif de l'invention est de proposer une telle technique qui soit simple à mettre en oeuvre et ne nécessite pas de capacités de calcul prohibitives.

5. Exposé de l'invention Ces objectifs, ainsi que d'autres qui apparaîtront par la suite, sont atteints à l'aide d'un procédé de suivi d'au moins un objet déformable dans une séquence d'images, comprenant une étape d'initialisation au cours de laquelle est définie une surface contenant sensiblement ledit objet, appelée cible, dans une première image de ladite séquence, et une étape de prédiction d'un vecteur d'état de ladite cible dans au moins une image suivante de ladite séquence.

Selon l'invention, ladite étape de prédiction comprend des étapes de: association à ladite cible d'un ensemble de vecteurs d'état potentiels déterminés à partir d'au moins une image précédent ladite image suivante; - comparaison d'un premier sous-ensemble desdits vecteurs d'état potentiels à au moins un modèle de référence fixe construit à partir de ladite cible dans ladite première image; - comparaison d'un deuxième sousensemble desdits vecteurs d'état potentiels à au moins un modèle de référence adaptatif construit à partir d'un vecteur d'état prédit de ladite cible dans au moins une image précédent ladite image suivante; détermination d'un vecteur d'état prédit de ladite cible tenant compte du résultat desdites comparaisons.

Ainsi, l'invention repose sur une approche tout à fait nouvelle et inventive du suivi d'objets déformables dans une séquence d'images. En effet, l'invention propose, pour identifier une cible dans une image de la séquence, d'utiliser conjointement un modèle de référence fixe, identifié sur la cible dans la première image, et un modèle de référence adaptatif, encore appelé observé, obtenu à partir d'observations de la cible dans des images précédentes de la séquence. Cette combinaison d'un modèle de référence initial fixe et d'un modèle de référence adaptatif s'avère particulièrement inventive et constitue le coeur de la présente invention. Elle permet avantageusement de résister aux occultations de l'objet à suivre (grâce à l'utilisation du modèle de référence initial fixe) et de suivre un objet soumis à d'importants changements colorimétriques (grâce à l'utilisation du modèle de référence adaptatif).

La technique de l'invention présente des performances sensiblement accrues par rapport aux techniques antérieures.

Avantageusement, ladite étape de détermination d'un vecteur d'état prédit privilégie une similarité entre lesdits vecteurs d'état potentiels et ledit modèle de référence fixe, par rapport à une similarité entre lesdits vecteurs d'état potentiels et ledit modèle de référence adaptatif. On résiste ainsi mieux aux occultations.

Préférentiellement, un tel procédé met en oeuvre une approche probabiliste de type filtrage particulaire, associant une pluralité de particules à ladite cible, et chacun desdits vecteurs d'état potentiels est associé à une desdites particules.

Le filtrage particulaire est en effet un outil efficace pour résoudre le problème de suivi, et permet des résultats plus performants que les approches déterministes. En outre, il est bien adapté au caractère multimodal des observations et à la non-linéarité du modèle dynamique du système.

De façon avantageuse, un vecteur d'état de ladite cible comprend au moins un des éléments appartenant au groupe comprenant: - une position de ladite cible dans ladite image; - une taille de ladite cible; - une orientation de ladite cible dans ladite image; - une forme de ladite cible; - une texture de ladite cible, et il comprend également un indice d'attachement auxdits modèles de référence fixe et adaptatif.

Préférentiellement, ledit modèle de référence fixe, respectivement adaptatif, est un modèle de couleur et est construit à partir d'un histogramme colorimétrique d'un ensemble de pixels appartenant à ladite cible, respectivement à une surface définie par ledit vecteur d'état prédit de ladite cible, et lesdites étapes de comparaison mettent en oeuvre une comparaison d'un histogramme colorimétrique associé à chacun desdits vecteurs d'état potentiels de ladite cible et desdits histogrammes colorimétriques desdits modèles de référence fixe et adaptatif.

On pourrait bien sûr également choisir un modèle représentatif de la forme (noeuds du contour - topologie et position) ou de la texture (coefficients d'une transformée de Gabor) de l'objet, sans sortir du cadre de l'invention. Le modèle colorimétrique présente cependant l'avantage d'être résistant à d'éventuelles variations de forme et d'échelle des objets à suivre.

Selon une caractéristique avantageuse de l'invention, lors de ladite étape d'initialisation, on associe à ladite cible une pluralité de particules définies chacune par un desdits vecteurs d'état potentiels et on réalise, pour chacun desdits vecteurs d'état potentiels, un tirage aléatoire dudit indice d'attachement associé, de façon à déterminer si ledit vecteur d'état potentiel doit être comparé audit modèle de référence fixe ou audit modèle de référence adaptatif lors de ladite étape de prédiction. Les probabilités de tirage associées à chaque modèle sont préalablement définies.

Avantageusement, ladite étape de prédiction est réalisée de manière itérative pour chacune desdites images de ladite séquence et comprend également des étapes de: - calcul dudit modèle de référence adaptatif à partir dudit vecteur d'état de ladite cible dans l'image courante, prédit à l'itération précédente; - prédiction d'un nouveau vecteur d'état de ladite cible dans ladite image suivante, connaissant ledit état prédit de ladite cible dans l'image courante, mettant en oeuvre: - une modification en position et en taille de chacun desdits vecteurs d'état potentiels selon un modèle dynamique de prédiction gaussien; une modification dudit indice d'attachement de chacun desdits vecteurs d'état potentiels, de façon à ce que, pour un vecteur d'état potentiel, la probabilité de passer d'un attachement audit modèle de référence adaptatif à un attachement audit modèle de référence fixe soit supérieure à la probabilité de passer d'un attachement audit modèle de référence fixe à un attachement audit modèle de référence adaptatif, délivrant un ensemble de vecteurs d'état potentiels modifiés, mise à jour de ladite prédiction en fonction de ladite image suivante, 30 mettant en oeuvre un calcul d'un poids associé à chacun desdits vecteurs d'état potentiels modifiés, ledit poids dépendant du résultat de ladite étape de comparaison dudit vecteur d'état potentiel modifié et dudit modèle de référence fixe ou adaptatif qui lui est attaché, et ladite étape de détermination dudit vecteur d'état prédit de ladite cible dans ladite image suivante met en oeuvre une sommation pondérée de chacun desdits vecteurs d'états potentiels modifiés.

Selon une caractéristique avantageuse, lors de ladite étape de détermination dudit vecteur d'état prédit de ladite cible, on détermine: un premier vecteur d'état intermédiaire, par sommation pondérée de chacun desdits vecteurs d'état potentiels modifiés attachés audit modèle de référence fixe, et dont un poids cumulé est égal à la somme des poids de chacun desdits vecteurs d'états potentiels correspondants; - un second vecteur d'état intermédiaire, par sommation pondérée de chacun desdits vecteurs d'état potentiels modifiés attachés audit modèle de référence adaptatif, et dont un poids cumulé est égal à la somme des poids de chacun desdits vecteurs d'état potentiels modifiés correspondants, et ledit vecteur d'état prédit est celui desdits premier et second vecteurs d'états intermédiaires présentant le poids cumulé le plus élevé.

Ainsi, au lieu de déterminer l'état résultant par une somme pondérée des états associés à chacune des particules, on introduit deux états résultants intermédiaires, associés chacun à l'un des modèles de référence fixe ou adaptatif. Ceci permet d'apporter une solution au cas où l'ensemble des particules associées au modèle de référence fixe et l'ensemble des particules associées au modèle de référence adaptatif ne présentent pas de caractère homogène, ce qui survient par exemple lors d'une occultation où l'objet suivi est caché.

Avantageusement, un tel procédé comprend également, entre deux itérations successives de ladite étape de prédiction, une étape de rééchantillonnage desdites particules en fonction des poids desdits vecteurs d'états potentiels associés.

Selon une caractéristique optionnelle de l'invention, un tel procédé comprend également une étape d'amélioration desdits modèles de référence fixe et/ou adaptatif par soustraction audit modèle de référence d'au moins un élément de ladite cible n'appartenant pas audit objet suivi. On accroît ainsi la sélectivité du modèle, et sa capacité à discriminer l'objet d'intérêt de son environnement. En outre, on évite ainsi les phénomènes de dérive, en réduisant la similarité au fond du modèle de référence, ce qui permet un suivi plus robuste et mieux positionné.

De manière préférentielle, ladite étape d'amélioration comprend des sousétapes de: - détermination d'une surface de ladite image englobant ladite cible et 10 présentant une intersection nulle avec ladite cible, appelée surface englobante; - détermination d'un histogramme colorimétrique associé à ladite surface englobante; - déduction dudit histogramme de ladite surface englobante dudit histogramme colorimétrique associé audit modèle de référence, de façon à obtenir un histogramme colorimétrique amélioré pour ledit modèle de référence.

L'invention concerne aussi un système de suivi d'au moins un objet déformable dans une séquence d'images, comprenant des moyens d'initialisation permettant de définir une surface contenant sensiblement ledit objet, appelée cible, dans une première image de ladite séquence, et des moyens de prédiction d'un vecteur d'état de ladite cible dans au moins une image suivante de ladite séquence. Selon l'invention, lesdits moyens de prédiction mettent en oeuvre des moyens de: - association à ladite cible d'un ensemble de vecteurs d'état potentiels déterminés à partir d'au moins une image précédent ladite image suivante; - comparaison d'un premier sous-ensemble desdits vecteurs d'état potentiels à au moins un modèle de référence fixe construit à partir de ladite cible dans ladite première image; - comparaison d'un deuxième sous-ensemble desdits vecteurs d'état potentiels à au moins un modèle de référence adaptatif construit à partir d'un vecteur état prédit de ladite cible dans au moins une image précédent ladite image suivante; - détermination d'un vecteur d'état prédit de ladite cible tenant compte du résultat desdites comparaisons.

L'invention concerne également un produit programme d'ordinateur téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, qui comprend des instructions de code de programme pour la mise en oeuvre des étapes du procédé de suivi d'au moins un objet déformable tel que décrit précédemment.

6. Liste des figures D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description suivante d'un mode de réalisation préférentiel, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels: - la figure 1, déjà décrite en relation avec l'art antérieur, présente un exemple de suivi optimal d'un joueur de rugby sur une séquence vidéo d'un match qui se déroule sur un terrain découpé en une zone d'ombre et une zone de lumière; - la figure 2 illustre l'évolution du coefficient de Bhattacharyya sur la séquence vidéo de la figure 1; la figure 3 décrit le résultat du suivi d'un joueur dans la séquence de la figure 1 pour une technique de l'art antérieur utilisant un modèle de référence fixe construit à partir de la première image de la séquence; - la figure 4 illustre le résultat du suivi d'un joueur dans la séquence de la figure 1 pour la technique de l'art antérieur de R. Collins et Y. Liu utilisant un modèle de référence adaptatif construit à partir des observations successives dans la séquence; - la figure 5 présente un synoptique détaillé des différentes étapes du procédé de suivi de l'invention; - la figure 6 présente une technique d'amélioration du modèle de référence par soustraction du fond; - la figure 7 illustre les résultats de suivi d'un joueur de rugby au long d'une séquence vidéo selon la technique de l'invention; - la figure 8 présente la structure d'un système de suivi d'objet déformable dans une séquence d'images selon l'invention.

7. Description d'un mode de réalisation de l'invention Le principe général de l'invention repose sur l'utilisation combinée d'un modèle de référence initial fixe, obtenu à partir de la cible dans la première image de la séquence, et d'un modèle de référence adaptatif tenant compte des observations successives de la cible dans les images de la séquence. Il repose également sur une approche probabiliste de type filtrage particulaire qui permet de réaliser un choix pondéré de la cible dans une image.

Plus précisément, une particularité de l'invention est de toujourschercher de prime abord à reconnaître la similarité avec la cible à la première image, ce qui offre une garantie contre la dérive, puis, lorsque cette similarité n'est pas significative, à poursuivre le suivi au regard de la cible sur la dernière image.

Le résultat obtenu par la technique de l'invention est donc un suivi résistant aux occultations et efficace tant que la cible reste contrastée. En outre, on privilégie toujours la référence initiale dès lors que les conditions apparentes le permettent.

On présente, dans toute la suite du document, un mode de réalisation particulier de l'invention dans le contexte du suivi de joueurs dans une séquence vidéo sportive soumise à de fortes variations colorimétriques. Plus précisément, le mode de réalisation décrit ci-après concerne le suivi de rugbymen lors d'une rencontre de jour, où l'ombre portée du stade sépare le terrain de rugby en deux régions très distinctes, présentant des caractéristiques de couleur et d'éclairage très différentes.

L'Homme du Métier étendra sans difficulté cet enseignement à tout autre type d'objet déformable, dans tout autre contexte d'application.

7.1 Présentation des paramètres et méthodes utilisés 7.1.1 Rappel sur le filtrage particulaire Comme indiqué ci-dessus, la technique de l'invention propose de résoudre le problème de suivi au moyen d'une approche probabiliste qui permet de prendre en compte l'historique des observations réalisées lors de la recherche d'une cible dans une image.

On rappelle que d'autres approches, dites déterministes, consistent à rechercher chaque nouvelle position de la cible autour de sa position précédente. Ces approches font intervenir une mise en correspondance combinatoire (test de toutes les positions dans un voisinage), ou procèdent de manière itérative par descente de gradient. Cette catégorie de méthodes possède une lacune importante car l'historique des observations n'est pas pris en compte: seul l'état de la cible à l'image précédente est connu pour réaliser le suivi, favorisant ainsi l'échec du suivi lors d'occultations.

L'invention repose au contraire sur une approche probabiliste de type filtrage particulaire, qui semble préférable par rapport à une solution de filtrage Bayésien linéaire tel que le filtrage de Kalman, en raison du caractère multimodal des observations (la cible peut être composée d'une variété de couleurs différentes) et de la non-linéarité de modèle dynamique du système.

Le procédé de suivi retenu est donc un filtre de Monte Carlo séquentiel. Cette approche est connue dans la littérature sous le nom de filtrage "bootstrap", d'algorithme de Condensation (pour CONditionnal DENSity propagaTION) ou encore de filtrage particulaire. D'autres dénominations sont également proposées dans l'article de S. Arulampalam, S. Maskell, N. Gordon et T. Clapp intitulé "A Tutorial on Particle Filters for On-line Non-linear/Non-Gaussian Bayesian Tracking" (IEEE Transactions on Signal Processing 50(2) pp 174-188, Feb 2002).

Le filtrage particulaire revient à estimer l'état caché x, à l'instant t en fonction d'un modèle de prédiction p(x,lx,_,) et d'une série d'observations des instants passés et présent y,, déduites du modèle d'observation p(y,lx). Afin de prendre en compte les multiples modalités de l'état x on cherche à estimer sa fonction de densité de probabilité, encore appelée pdf (pour l'anglais "probability density function").

L'estimation Bayésienne séquentielle consiste en un procédé itératif alternant les phases de prédiction et de mise à jour (ou filtrage) permettant d'estimer la pdf à l'instant t: p(x,ly,,,), à partir de celle disponible à l'instant t-1 (égale à p(x,-,ly,,,_,)) la prédiction à l'instant t: p(x,l y, ,_,) est estimée grâce au modèle dynamique du/ système, en supposant la pdf p(x,_,ly,,,.,) de Pintant t-1 connue: P(x, Y1:l-1) = J p(x, I x,_1)P(x,-1 Yi:,-1)dx,_1; p(Yt IY1:,-1) L'intérêt des approches de Monte Carlo séquentielles est de représenter la pdf par un ensemble de N particules s"' (i=1..N) pondérées par un poids ce, chaque particule s") possédant son vecteur d'état P. Le principe retenu est de démarrer chaque nouvelle itération de l'algorithme avec un ensemble de particules pondérées, co;' i 11N distribuées selon p(x,_, l y, ,_,). Cet ensemble de particules subit l'étape de prédiction, où il est soumis à une densité de proposition dépendante du précédent état et des nouvelles observations: q(x,"x,'' y,) . Chaque poids co;'; est ensuite mis à jour selon la formule: Enfin, une étape de rééchantillonnage des particules est nécessaire pour éviter la dégénérescence de l'ensemble, c'est-à-dire éviter qu'une particule soit affectée du poids 1 alors que toutes les autres ont un poids quasi-nul. Cette étape est réalisée en redistribuant N particules, toutes de poids égal à 1/N, en fonction de la nouvelle densité p(x,l y,).

L'état résultant du suivi de la cible par filtrage particulaire est obtenu en réalisant la somme de chacune des particules pondérées par leurs poids respectifs.

- à l'instant t, où l'observation y, devient disponible, la règle de Bayes permet p(Y,lx,)p(x,lY1.,-1) de mettre à jour la pdf: p(x, I y p(Y, x,)p(x," a 0c;1 t r-, avec (f1 q(x,1) Celui-ci est réalisé avant l'étape de rééchantillonnage.

L'algorithme générique du filtrage particulaire peut donc être exprimé plus généralement sous la forme suivante: Considérant {r'i,CO;'i},,,,, l'ensemble des particules au pas temporel précédent t-1, procéder au pas t suivant de la manière suivante: 1- Proposition: prédire x,) grâce au modèle de prédiction p(e)lx,)

N

2- Mettre a jour les poids selon caf' a Co; ; p(y) avec 1(1),(0 = 1

N

3 Calculer l'état résultant, solution du suivi à l'instant t: xt = 1 co, ')x,') 4- Rééchantillonner)a) }i:,v selon x<<') obéissantà la même N i=1: N densité de probabilité p(xtl yt).

7.1.2 Choix du vecteur d'état Le vecteur d'état spécifie classiquement la position de la cible suivie dans l'image à l'instant t, mais il peut également spécifier une information beaucoup plus riche telle qu'une forme ou encore une texture. Dans le mode de réalisation décrit ci-après à titre d'exemple, on se limite à un vecteur d'état caractérisant position et facteur d'échelle, permettant ainsi de faire varier la taille de la cible suivie. L'invention englobe bien sûr également tout autre type de vecteur d'état associé à la cible.

On peut donc écrire: = [x, y at On peut ainsi définir la région R(x,')) associée à la cible comme étant le rectangle centré en (x't'), y')) de hauteur at(''.h,R et de largeur ar''.l,R (hR et l,R étant les hauteur et largeur initiales de la cible, définies au départ du suivi). 7.1.3 Modèle d'apparence retenu Pour évaluer la similarité d'une cible (c'est-à-dire d'une portion d'une image) d'une image à une autre, un modèle d'apparence est nécessaire. Ce modèle peut être représentatif de la forme, de la texture ou encore de la couleur de l'objet qui constitue la cible. Le modèle de forme peut être constitué des n uds du contour (topologie et position) ; celui de texture peut par exemple être composé des coefficients d'une transformée de Gabor.

Pour pouvoir résister aux fortes variations de forme et d'échelle, on choisit dans la suite de ce document un modèle global basé sur les caractéristiques colorimétriques (généralisable à des images dont les pixels ne sont pas la représentation du spectre visible, telles que les images radar). Le modèle retenu est basé sur un histogramme h* couleur calculé sur une région R(x,) identifiée par le vecteur d'état x,. C'est donc l'histogramme colorimétrique de l'ensemble des pixels appartenant à la surface délimitée par la cible.

Ce vecteur d'état spécifie la position et éventuellement la taille ou/et l'orientation de la région R(x,) à l'instant t.

7.1.3.1 Définition de l'histogramme Dans le mode de réalisation décrit ciaprès, on utilise un histogramme de dimension 256, composé des quatre bandes colorimétriques R (rouge), G (vert), B (bleu) et H (teinte). Chaque bande colorimétrique est donc quantifiée sur 64 classes. L'invention ne se limite bien sûr pas à ce type particulier d'histogramme. Plus généralement, et quels que soient les espaces retenus, on définit le modèle de référence constitué par un ou plusieurs histogrammes h* de dimension B par:

B

h' _1' ....h j avec 1 h;É =1 Pour un état candidat x à l'instant t, un histogramme de couleur sur la région R(x) peut être défini par: h(x) _ (x) ....he (x)] avec h; (x) = K 16, (b(u)) , i=1...B :,Ea(x) Où b(u)e { ...B} représente l'index de la classe de l'histogramme associé à la valeur du pixel de la position u=(x,y) dans l'image considérée. 6, représente la fonction de Kronecker et K est une constante de normalisation telle que:

B

1h, (x)=1 7.1.3.2 Mesure de similarité Le modèle d'apparence nécessite une mesure de similarité permettant de quantifier la ressemblance entre un histogramme de référence h* et un histogramme observé à l'instant t à l'état x. Plusieurs mesures peuvent être utilisées, comme par exemple la distance de Kullback-Leibler.

Dans le mode de réalisation décrit ci-après, on utilise la mesure construite à l'aide du coefficient de similarité de Bhattacharyya p: É g NI/2 D(h*, h(x)) = (1 p= 1 (x) É 1==I / 7.1.3.3 Vraisemblance colorimétrique La distance de Bhattacharyya permet de définir la vraisemblance colorimétrique p(ylx) disposant de l'observation y (soit h(x)), de l'état x et de la référence h*: p(y x) a exp( AD2 (h, h(x))), avec A égal à 20 dans le mode de réalisation ci-après.

Dans le cas où la référence h* est constituée de L histogrammes de référence associées aux bandes CL (par exemple R, G, B ou H...), on a: h* = {h*.c'...h*'c' } et la vraisemblance colorimétrique est égale à : É L P(y x) exp Al D2 (h*'c' , hc (x)) É '=I i 7.1.4 Choix du modèle dynamique Le modèle de mouvement dynamique à utiliser doit pouvoir être appliqué à un grand nombre d'objets de natures différentes (personnes, visages, véhicules...), dont la variabilité des caractéristiques dynamiques est donc importante.

En outre, dans le cas où la séquence d'images considérée est une séquence vidéo, il convient de tenir compte de la manière dont est projeté le mouvement réel tridimensionnel (3D) sur le plan 2D des images de la séquence vidéo analysée. En effet, si la caméra est mobile, le mouvement apparent de l'objet dans la vidéo résulte de la double influence du mouvement de l'objet lui-même et de celui de la caméra.

Pour cette raison, une modélisation adaptée et pertinente du mouvement n'est souvent pas réalisable. On considère donc, dans le mode de réalisation décrit ci-après, que les composantes du modèle sont indépendantes et résultantes d'un déplacement aléatoire de type Gaussien.

On définit alors le modèle dynamique comme x;') = Axe'; + Bw, où la matrice A représente les composantes déterministes du modèle, et B les composantes aléatoires (w, est un vecteur de variables aléatoires indépendantes obéissant à une loi de distribution aléatoire normale). Dans un mode de réalisation préférentiel de l'invention, les composantes du modèle étant indépendantes, la matrice A est une matrice diagonale, que l'on prend égale à la matrice identité : A=I.

7.2 Présentation générale du procédé de suivi de l'invention Le procédé de suivi de l'invention comprend les étapes successives 10 suivantes: - une étape d'initialisation permettant: - de construire un modèle de référence initial, à partir d'une cible définie par l'utilisateur; - de créer un état initial, constitué de la position initiale de la cible définie par l'utilisateur, de sa taille, et éventuellement de son orientation dans l'image. Cet état de la cible est constitué d'un nombre très important de sous-états, pour chacun desquels on effectue en outre un tirage aléatoire du modèle de rattachement, les probabilités de tirage associées à chaque modèle étant préalablement définies. En d'autres termes, chaque sous-état est constitué des paramètres position, taille, et indice d'attachement à un modèle de référence. Par exemple, si l'indice d'attachement vaut 0, le sous-état correspondant est associé au modèle de référence fixe initial, et si cet indice vaut 1, le sous-état est rattaché au modèle de référence adaptatif observé. L'état global de la cible est une somme pondérée de chacun des sous-états; - un procédé itératif, enchaînant pour chaque nouvelle image I,+, de la séquence vidéo: - le calcul d'un modèle de référence adaptatif calculé sur le dernier état global connu de la cible associé à l'image 1, (également appelé 20 25 30 modèle d'observation) ; une prédiction du nouvel état de la cible connaissant le précédent, cette prédiction ayant comme particularité de privilégier l'appartenance au modèle initial au détriment du modèle d'observation. En effet, le modèle de référence adaptatif est par sa nature, toujours plus similaire aux nouvelles observations (1t+,) mais le lien avec le modèle de référence fixe initial doit être fort pour éviter les problèmes de dérive ou d'occultations. Pour cela chaque sous-état voit son attachement au modèle de référence modifié, de telle manière que la probabilité d'être associé au modèle de référence initial soit supérieure à celle d'être associé au modèle de référence adaptatif. Chaque sous-état est également modifié en position et en taille selon un modèle dynamique de prédiction; - une mise à jour de cette prédiction compte tenu des dernières observations, à savoir la nouvelle image I+, de la séquence. Cette mise à jour calcule le poids associé à chaque sous-état au moyen d'une fonction de vraisemblance. Cette dernière constitue une mesure de similarité entre le modèle de référence attaché au sous- état (modèle de référence initial fixe ou adaptatif) et la mesure réalisée sur l'image I,+, à la position spécifiée par ce sous-état; - un calcul de l'état global est réalisé par sommation pondérée de tous les sous-états.

On présente, en relation avec la figure 5, un synoptique plus détaillé des différentes étapes du procédé de suivi de l'invention.

A l'initialisation, l'utilisateur spécifie une cible (x,, y a,) 50 dans la première image I, d'une séquence vidéo 51.

La première étape E52 du suivi consiste à calculer un modèle de référence fixe initial h,.e1 à partir de ces deux informations référencées 50 et 51. Dans l'exemple particulier de réalisation que l'on s'attache à décrire ici, ce modèle de référence initial fixe est l'histogramme colorimétrique h,, acquis sur la première image du suivi. Ce modèle de référence initial hYer peut également être préalablement appris.

Lors d'une deuxième étape E53, un ensemble de N particules de variables 5 d'état 4i) est généré à partir d'une même position (x,, y a) et d'une distribution aléatoire des états Z;') E {ref,obs} (comme décrit plus en détail ci-après, 7.4), selon des probabilités pret, et p,,,,,.

L'étape E54 est la première étape du cycle itératif. Elle consiste à prédire le nouvel état de chaque particule x(,) à partir de x(i) et du modèle de prédiction p(x;' x(';) . On utilise un modèle de prédiction augmenté décrit plus en détail ci- après au 7.6.

L'étape E55 est une étape de calcul du modèle d'observation h:h, , sur l'image courante 1 à partir de l'état résultant du suivi déterminé à l'itération précédente à partir de l'image I. En effet, le modèle de référence adaptatif, noté 15 h",,,. , est une référence issue des observations acquises grâce au suivi réalisé sur le(s) image(s) précédant l'instant courant, que l'on suppose correct. Un mode de réalisation simple, adopté dans la suite de ce document, consiste à prendre h:, égal à ho,,s,_, lors du suivi à l'instant t. L'histogramme h,,,,,,_, correspond à l'histogramme obtenu pour l'état résultant intermédiaire dans l'image t-1, comme on le comprendra mieux à la lecture du 7.5 ci- après. Ce modèle de référence adaptatif h,*,h, alimente ensuite l'étape suivante E56 de mise à jour.

Cette étape E56 de mise à jour, est celle du calcul de vraisemblance.

Connaissant les observations à l'instant t (1,, issue de la séquence vidéo 51) et le modèle de référence associé (modèle de référence fixe initial hYe. calculé lors de la première étape E52 ou modèle de référence adaptatif hh calculé lors de l'étape référencée E55), on évalue le poids w,') de chaque particule i grâce à la vraisemblance colorimétrique.

L'étape E57 consiste ensuite à déterminer l'état résultant de la cible, comme exposé plus en détail ci-après. Elle permet de déduire directement la 30 position de la cible ( c'est-à-dire les composantes du vecteur d'état). On obtient la cible poursuivie 60 sous la forme (x,, y a,).

Une dernière étape E58 est une étape de rééchantillonnage, classique d'un filtrage particulaire (voir 7.1.1 ci-dessus). Après ce rééchantillonnage, on peut passer 59 de l'image courante I, à l'image suivante I,+,, sur laquelle on réitère l'étape de prédiction E54.

Contrairement aux approches de l'art antérieur procédant par mise à jour du modèle d'apparence, on ne constitue donc pas de nouveau modèle de référence, qui correspondrait à un mélange de h,,i. et h, h,.. Au contraire, on introduit dans le vecteur d'état xr'' associé à chaque particule (i) un nouvel état discret permettant à chaque particule d'estimer sa vraisemblance (c'est-à-dire son poids), soit par similarité avec le modèle de référence initial fixe hYer, soit par similarité avec le modèle de référence adaptatif h:h,.. Lors de la phase de mise à jour opérée par le filtrage particulaire, on privilégie ensuite l'hypothèse la plus vraisemblable, en signifiant à l'algorithme quel modèle de référence est le plus adapté en chaque instant du suivi.

En outre, afin de contrebalancer le fait que le modèle de référence adaptatif h:, est globalement plus proche des observations courantes que le modèle de référence initial fixe h1P1 (ce qui pourrait se traduire par un abandon permanent de l'attachement à h1éI au profit de h:,h,, , et ramènerait ainsi à l'approche de l'art antérieur par mise à jour du modèle d'apparence par accumulation), on agit au niveau de la force de proposition lors de l'étape de prédiction E54, pour relever artificiellement la probabilité d'attachement du suivi par le modèle de référence initial fixe h r.

7.3 Amélioration du modèle par soustraction du fond On présente désormais, en relation avec la figure 6, une variante de réalisation de l'invention permettant d'améliorer la qualité du modèle de référence utilisé. Cette variante est plus particulièrement mise en oeuvre lors de l'étape référencée E52 de calcul du modèle de référence initial hèf du synoptique de la figure 5.

En effet, la qualité du suivi d'un objet dans une séquence d'images dépend fortement de la sélectivité du modèle de référence, qui doit pouvoir discriminer l'objet à suivre de son environnement.

La forme de la cible retenue peut également influer sur la qualité du suivi: à titre d'exemple, on a constaté qu'une cible de forme elliptique est plus appropriée pour le suivi d'êtres humains.

Cependant, la méthode d'amélioration du modèle présentée ci-dessous permet d'obtenir des performances de suivi très proches de celles obtenues avec une cible elliptique, mais en utilisant une cible plus simple, de forme rectangulaire.

On procède de la façon suivante, à partir d'une image I,. En plus de la région R"h'(x,) 10 identifiant la cible, on considère la région englobante R'"(x,) 61, présentant une intersection nulle avec R""'(x,) 10. Par exemple, la région englobante Rtd(x,) 61 présente une largeur et une longueur doubles de la largeur et de la longueur de la cible R""'(x,) 10. La méthode d'amélioration du modèle consiste alors à retirer les observations issues de Rtd(x,) 61 du modèle construit grâce à R"''(x,) 10. De manière plus pragmatique, on retire du modèle tout ce qui appartient à son entourage immédiat. Ainsi, si la cible initiale 10 a été approximativement placée, son modèle n'en sera que très peu perturbé.

Plus précisément, on considère d'une part, l'histogramme colorimétrique 62 associé à la cible 10, et d'autre part, l'histogramme colorimétrique 63 associé au fond 61, chacun réalisé sur trois bandes R, G et B. Par soustraction ou division de ces deux histogrammes 63 et 62, on obtient un histogramme colorimétrique résultant 64 sur lequel sont plus particulièrement mises en évidence les caractéristiques colorimétriques du joueur à suivre, et qui peut servir de fondement au modèle de référence initial. On observe notamment que l'histogramme résultant 64 normalisé rnet en évidence des modes minoritaires de l'histogramme original 62.

Soit h""'(x) l'histogramme 62 issu de la région R"''(x), et h0(x) l'histogramme 63 issu de la région R0(x), le nouvel histogramme 64 h(x) est obtenu selon: (x) h(x) = i, (x)....hB (x) avec hi (x) = K ' max, h/' (x) ) où e = min h;td (x) . i=1..B

B

K est une constante de normalisation calculée de telle sorte que: hi (x) = 1. i=1

Cette méthode d'amélioration du modèle de référence permet également d'éviter les phénomènes de dérive, car la similarité au fond déduite du modèle de référence est faible, ce qui induit un suivi plus robuste et mieux positionné.

On notera que cette méthode permet d'obtenir des résultats optimaux lorsque les conditions suivantes sont réunies: - la composition de R''(x,) 61 doit être similaire à celle du fond de R '''(x,) 10, objet suivi exclu. Cette condition est quasiment toujours observée grâce au principe de construction de RJd(x,) qui entoure l'objet d'intérêt; - l'objet doit être contrasté par rapport à son entourage. Si ce n'est pas le cas, cette technique d'amélioration risque d'éliminer toutes les composantes discriminantes du modèle de référence. Il convient donc de veiller à ce que la région Rl'(x,) 61 ne contienne pas une partie de l'objet à suivre lui-même, ou bien tout autre objet aux caractéristiques colorimétriques proches de l'objet d'intérêt.

7.4 Augmentation du vecteur d'état On décrit ci-dessous le vecteur d'état x;i' associé à la cible dans l'image I, pour la particule d'indice i, tel qu'il est défini au cours de l'étape référencée E53 du synoptique de la figure 5. Ce vecteur d'état peut être défini de la manière suivante: x(i) = i) Zo)) ou Xii) = [xil yi) c ü)]T ' E {ref,obs} Z; i' représente une variable discrète à deux états identifiant le modèle de référence utilisé pour la particule d'indice i, à savoir h1ef ou h,'h, . 7.5 Détermination de l'état résultant Une première approche directe pourrait consister à déterminer l'état résultant par sommation pondérée des états associés à chacune des particules: v x = o(')x(t') t i=1 Cependant, cette approche n'est pas adaptée au vecteur d'état augmenté décrit au 7.4 ci-dessus, car les deux ensembles de particules formés par {x,') Z,i' = ref,co,''} et {x," Z,i' = obs,o,''} peuvent ne pas présenter de caractère homogène (par exemple lors d'une occultation où l'objet suivi est caché). Selon l'invention, on décide donc de déterminer deux états résultants intermédiaires: :v _ Kref 1 wrei(r) AV(i) et i=1 N K oh.s i=1 obs(i) x (i t Où: w(i) si Z(i) = ref et 0 sinon si Zi) = obs 0 sinon wrt enn t v lurej et K 's sont deux valeurs obtenues de telle sorte que K rf o; ef (i) =1 et i=1 K "h' wt oh) = 1.

De la même façon, on peut définir les pondérations cumulées associées à 15 chacun des deux états discrets: A' ,v oie/ _ Io'c'I(') et woh, _ 1oohc(i) avec i=1 i=1 o r'f + oohs = 1 r En conséquence, l'état résultant obtenu à chaque itération lors de l'étape référencée E57 de la figure 5 est le suivant: ref} si wtref > Mobs _ xt -obs obs} si wtref < Mohs Ainsi, l'état résultant correspond à la moyenne des particules de l'état dominant. 7.6 Modèle de prédiction augmenté Au vu des informations qui précèdent, on peut décomposer le modèle de prédiction p(x(,'' x' i) de l'invention selon: (,) Plx xt = p(X") ZOx' PZ' r r I) ( r (;)xt-i) Or, on a: P(Z0) ) :P(tO ' =kX01 =lT r 1 r-I t-I k[ où Test la matrice, de taille 2x2, des probabilités de transition entre les valeurs ref 5 et obs de l'état discret, choisie indépendamment de variables continues du modèle (XO').

Comme précédemment évoqué, on veut favoriser l'état ref lors de la proposition, c'est précisément ce que permet cette matrice de transition en choisissant Pol,,-ref =T,, =I3.p,.ef-) h,. avec Pref,oh, =T12 et /3> 1. Les expérimentations ont montré qu'un facteur /3 de 2 à 5 permettait de suffisamment équilibrer la proportion naturelle de l'algorithme à privilégier l'état obs (du fait d'une meilleure similarité aux observations). En effet, le but du procédé est de forcer l'algorithme à établir une similarité avec l'histogramme initial dès que l'objet suivi temporairement grâce aux observations retrouve des conditions d'illumination ou d'occultation plus favorables.

Le modèle de prédiction pour les variables continues est donné par ' Xt-, m) P(Xt") Zr('),x(;), ,r) ; Xo> Zo; = k,Zonr = l Pk[ ( Xr' Sans a priori sur la dynamique des objets suivis ainsi que sur celle du dispositif d'acquisition, on choisit un modèle dynamique simple indépendant de l'état discret Zw: p(X,') . En effet, chaque particule, quel que soit son état discret {ref, obs} obéissant à une dynamique de même nature dans l'application décrite, on a retenu un modèle de prédiction unique. Cependant, des modèles dynamiques distincts associés à chaque état Z(" pourraient également être proposés, comme décrit par Isard et Blake dans "A Mixed-State Condensation Tracker with Automatic Model-Switching" (cité en annexe 1 sous la référence [6]), si l'application le nécessite.

Le modèle de prédiction peut donc s'écrire selon: (XO' X(") X01 XO') Vk,l Pk/ (X X;>) t-I Et est défini selon une loi Gaussienne: p(XlXi"i)= E. est supposée diagonale (les variables de l'état sont donc indépendantes) : EX =diag(a,o,a 2). Les variances sont estimées à partir d'un corpus d'apprentissage. Ces valeurs peuvent éventuellement dynamiquement être modifiées à partir d'une analyse de la séquence d'images, externe au procédé de suivi. En particulier, l'estimation du mouvement de caméra identifiant le zoom opéré par celle-ci pendant le suivi peut faire évoluer ces paramètres: un zoom avant sera ainsi de nature à les augmenter, un zoom arrière les fera au contraire diminuer.

7.7 Extension de l'invention au cas de références initiales multiples L'invention telle que décrite ci-dessus est basée sur un vecteur d'état constitué de seulement deux états discrets Z,') E {ref,obs} . II est cependant possible d'utiliser un nombre quelconque d'états de référence initiaux: c'est notamment le cas lorsqu'on dispose a priori de plusieurs représentations possibles de la cible. Dans ce cas, l'état discret est le suivant: {ref,ref,,...refL,obs} (soit L+1 valeurs possible de cet état).

La matrice T de probabilités de transition entre états discrets est alors de taille L+1 x L+1. Comme précédemment, on choisit poh,-*,.E _ /.p,ef; _oh, avec /3> 1. Les probabilités de transitions entre états {ref,ref,, ...refL} sont choisies égales ou bien pré-calculées par apprentissage si l'outil est utilisé dans un cadre applicatif délimité.

7.8 Performances de la technique de suivi de l'invention La figure 7illustre le résultat du suivi d'un joueur en mouvement dans une séquence nommée Rugby, composée de 160 images et comportant des variations de luminosité très importantes.

L'algorithme de filtrage particulaire utilise un ensemble de N=300 particules, le vecteur d'état x,'' = ()('',Zr'') possède un état discret à deux valeurs possibles: Z," E {ref, obs} . Les valeurs continues de position et de facteur d'échelle sont X = Lx, yr a.

Le modèle utilisé est un histogramme de dimension 256, composé des quatre bandes colorimétriques R (rouge), G (vert), B (bleu) et H (teinte). Chaque bande colorimétrique est donc quantifiée sur 64 classes.

Les probabilités initiales de tirage de l'état discret d'attachement au modèle (étape référencée E53 sur la figure 5) sont les suivantes: P.ef = 0,9 Pnbs = 0,1 La matrice T de probabilités de transition entre états discrets a été choisie de la manière suivante: [0,9 0,1 0,3 0,7 Les valeurs [x, joueur à l'image Il.

Comme on peut le constater sur la figure 7, le joueur à suivre, identifié par la cible 10, est parfaitement suivi tout au long de la séquence. Notamment, le procédé de l'invention permet de maintenir un suivi correct du joueur lors de son passage d'une zone fortement éclairée (images Il à I30) à une zone d'ombre (images I140 à 1160). Les performances sont donc sensiblement accrues par rapport à celles de l'art antérieur, illustrées notamment en figures 3 et 4.

7.9 Structure matérielle d'un système de suivi d'objet On présente désormais, en relation avec la figure 8, la structure matérielle 20 d'un système de suivi d'objet déformable dans une séquence d'images mettant en oeuvre la méthode décrite ci-dessus.

Un tel système de suivi comprend une mémoire M 81, une unité de traitement 80 P, équipée par exemple d'un microprocesseur P, et pilotée par le programme d'ordinateur Pg 82. A l'initialisation, les instructions de code du programme d'ordinateur 82 sont par exemple chargées dans une mémoire RAM avant d'être exécutées par le processeur de l'unité de traitement 80. L'unité de traitement 80 reçoit en entrée une séquence d'images, par exemple une séquence vidéo 83 ainsi que la cible 84 dont il faut réaliser le suivi, et qui a été identifiée dans la première image de la séquence 83 par un utilisateur. Le microprocesseur T= r a, !sont prises de telle manière à englober le Y, pP de l'unité de traitement 80 met en ceuvre les étapes du procédé itératif décrit précédemment en relation avec la figure 5, selon les instructions du programme Pg 82. L'unité de traitement 80 délivre en sortie, pour chaque image de la séquence 83, l'état résultant estimé 85 de la cible 84.

31 ANNEXE 1 1 P. Pérez, C. Hue, J. Vermaak, M. Gangnet.

"Color-based probabilistic tracking".

Eur. Conf. on Computer Vision, ECCV'2002, LNCS 2350, Pages 661-675, Copenhague, Danemark, Juin 2002 2 P. Pérez, J. Vermaak, A. Blake.

"Data fusion for visual tracking with particles".

Proc. IEEE, 92(3):495-513, 2004.

3 R. Collins et Y. Liu.

"On-line selection of discriminative tracking features" Proceedings of the 2003 International Conference of Computer Vision (ICCV '03), October 2003.

4 Y. Rui et Y. Chen "Better proposal distributions: Object tracking using unscented particle filter" Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Kauai, Hawaii, 2001, vol. II, pp. 786.793.

S. Arulampalam, S. Maskell, N. Gordon et T. Clapp.

"A Tutorial on Particle Filters for On-line Non-linear/Non-Gaussian Bayesian Tracking".

IEEE Transactions on Signal Processing 50(2) pp 174-188, Feb 2002 6 Michael Isard et Andrew Blake.

"A Mixed-State Condensation Tracker with Automatic Model-Switching".

ICCV '98: Proceedings of the Sixth International Conference on Computer Vision. 1998 pp 107, Washington, DC, USA

Claims (13)

REVENDICATIONS

1. Procédé de suivi d'au moins un objet déformable dans une séquence d'images (51), comprenant une étape d'initialisation au cours de laquelle est définie une surface 5 contenant sensiblement ledit objet, appelée cible (10; 50), dans une première image (1,) de ladite séquence, et une étape de prédiction d'un vecteur d'état de ladite cible dans au moins une image suivante (1,) de ladite séquence, caractérisé en ce que ladite étape de prédiction comprend des étapes de: - association à ladite cible d'un ensemble de vecteurs d'état potentiels déterminés à partir d'au moins une image (I,_,) précédent ladite image suivante (1,) ; - comparaison d'un premier sous-ensemble desdits vecteurs d'état potentiels à au moins un modèle de référence fixe (h;,f) construit (E52) à partir de ladite cible dans ladite première image (I,) ; - comparaison d'un deuxième sous-ensemble desdits vecteurs d'état potentiels à au moins un modèle de référence adaptatif (h,,,) construit (E55) à partir d'un vecteur d'état prédit de ladite cible dans au moins une image précédent ladite image suivante; - détermination (E57) d'un vecteur d'état prédit (x,) de ladite cible tenant compte du résultat desdites comparaisons.

2. Procédé de suivi selon la revendication 1, caractérisé en ce que ladite étape de détermination d'un vecteur d'état prédit privilégie une similarité entre lesdits vecteurs d'état potentiels et ledit modèle de référence fixe (h,:,,f), par rapport à une similarité entre lesdits vecteurs d'état potentiels et ledit modèle de référence adaptatif ().

3. Procédé de suivi selon l'une quelconque des revendications 1 et 2, caractérisé en ce qu'il met en oeuvre une approche probabiliste de type filtrage particulaire, associant une pluralité de particules à ladite cible, et en ce que chacun desdits vecteurs d'état potentiels est associé à une desdites particules.

4. Procédé de suivi selon l'une quelconque des revendications 1 à 3, caractérisé en ce qu'un vecteur d'état de ladite cible comprend au moins un des éléments appartenant au groupe comprenant: - une position de ladite cible dans ladite image; - une taille de ladite cible; - une orientation de ladite cible dans ladite image; - une forme de ladite cible; - une texture de ladite cible, et en ce qu'il comprend également un indice d'attachement (Z,'') auxdits modèles de référence fixe et adaptatif.

5. Procédé de suivi selon l'une quelconque des revendications 1 à 4, caractérisé en ce que ledit modèle de référence fixe, respectivement adaptatif, est un modèle de couleur et est construit à partir d'un histogramme colorimétrique d'un ensemble de pixels appartenant à ladite cible, respectivement à une surface définie par ledit vecteur d'état prédit de ladite cible, et en ce que lesdites étapes de comparaison mettent en oeuvre une comparaison d'un histogramme colorimétrique associé à chacun desdits vecteurs d'état potentiels de ladite cible et desdits histogrammes colorimétriques desdits modèles de référence fixe et adaptatif.

6. Procédé de suivi selon l'une quelconque des revendications 3 à 5, caractérisé en ce que, lors de ladite étape d'initialisation, on associe à ladite cible une pluralité de particules définies chacune par un desdits vecteurs d'état potentiels et on réalise, pour chacun desdits vecteurs d'état potentiels, un tirage aléatoire dudit indice d'attachement associé, de façon à déterminer si ledit vecteur d'état potentiel doit être comparé audit modèle de référence fixe ou audit modèle de référence adaptatif lors de ladite étape de prédiction.

7. Procédé de suivi selon la revendication 6, caractérisé en ce que ladite étape de prédiction est réalisée de manière itérative pour chacune desdites images de ladite séquence et comprend également des étapes de: calcul (E55) dudit modèle de référence adaptatif à partir dudit vecteur d'état de ladite cible dans l'image courante, prédit à l'itération précédente; prédiction d'un nouveau vecteur d'état de ladite cible dans ladite image suivante, connaissant ledit état prédit de ladite cible dans l'image courante, mettant en oeuvre: - une modification en position et en taille de chacun desdits vecteurs d'état potentiels selon un modèle dynamique de prédiction gaussien; une modification dudit indice d'attachement de chacun desdits vecteurs d'état potentiels, de façon à ce que, pour un vecteur d'état potentiel, la probabilité de passer d'un attachement audit modèle de référence adaptatif à un attachement audit modèle de référence fixe soit supérieure à la probabilité de passer d'un attachement audit modèle de référence fixe à un attachement audit modèle de référence adaptatif, délivrant un ensemble de vecteurs d'état potentiels modifiés, mise à jour (E56) de ladite prédiction en fonction de ladite image suivante, mettant en oeuvre un calcul d'un poids associé à chacun desdits vecteurs d'état potentiels modifiés, ledit poids dépendant du résultat de ladite étape de comparaison dudit vecteur d'état potentiel modifié et dudit modèle de référence fixe ou adaptatif qui lui est attaché, et en ce que ladite étape de détermination dudit vecteur d'état prédit de ladite cible dans ladite image suivante met en oeuvre une sommation pondérée de chacun desdits vecteurs d'états potentiels modifiés.

8. Procédé de suivi selon la revendication 7, caractérisé en ce que lors de ladite étape de détermination dudit vecteur d'état prédit de ladite cible, on détermine: - un premier vecteur d'état intermédiaire (), par sommation pondérée de chacun desdits vecteurs d'état potentiels modifiés attachés audit modèle de référence fixe, et dont un poids cumulé (cv't) est égal à la somme des poids de chacun desdits vecteurs d'états potentiels correspondants; - un second vecteur d'état intermédiaire (Xt'b) , par sommation pondérée de chacun desdits vecteurs d'état potentiels modifiés attachés audit modèle de référence adaptatif, et dont un poids cumulé ((es) est égal à la somme des poids de chacun desdits vecteurs d'état potentiels modifiés correspondants, et en ce que ledit vecteur d'état prédit est celui desdits premier et second vecteurs d'états intermédiaires présentant le poids cumulé le plus élevé.

9. Procédé de suivi selon l'une quelconque des revendications 7 et 8, caractérisé en ce qu'il comprend également, entre deux itérations successives de ladite étape de prédiction, une étape de rééchantillonnage (E58) desdites particules en fonction des poids desdits vecteurs d'états potentiels associés.

10. Procédé de suivi selon l'une quelconque des revendications 1 à 9, caractérisé en ce qu'il comprend également une étape d'amélioration desdits modèles de référence fixe et/ou adaptatif par soustraction audit modèle de référence d'au moins un élément de ladite cible n'appartenant pas audit objet suivi.

11. Procédé de suivi selon la revendication 10, caractérisé en ce que ladite étape d'amélioration comprend des sous-étapes de: -détermination d'une surface (61) de ladite image englobant ladite cible (10) et présentant une intersection nulle avec ladite cible, appelée surface englobante; - détermination d'un histogramme colorimétrique (63) associé à ladite surface englobante; - déduction dudit histogramme (63) de ladite surface englobante dudit histogramme colorimétrique (62) associé audit modèle de référence, de façon à obtenir un histogramme colorimétrique amélioré (64) pour ledit modèle de référence.

12. Système de suivi d'au moins un objet déformable dans une séquence d'images, comprenant des moyens d'initialisation permettant de définir une surface contenant sensiblement ledit objet, appelée cible, dans une première image de ladite séquence, et des moyens de prédiction d'un vecteur d'état de ladite cible dans au moins une image suivante de ladite séquence, caractérisé en ce que lesdits moyens de prédiction mettent en oeuvre des moyens de: - association à ladite cible d'un ensemble de vecteurs d'état potentiels déterminés à partir d'au moins une image précédent ladite image suivante; - comparaison d'un premier sous-ensemble desdits vecteurs d'état potentiels à au moins un modèle de référence fixe construit à partir de ladite cible dans ladite première image; comparaison d'un deuxième sous-ensemble desdits vecteurs d'état potentiels à au moins un modèle de référence adaptatif construit à partir d'un vecteur état prédit de ladite cible dans au moins une image précédent ladite image suivante; - détermination d'un vecteur d'état prédit de ladite cible tenant compte du résultat desdites comparaisons.

13. Produit programme d'ordinateur téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, caractérisé en ce qu'il comprend des instructions de code de programme pour la mise en oeuvre des étapes du procédé de suivi d'au moins un objet déformable selon l'une quelconque des revendications 1 à 11.