FR2833797A1

FR2833797A1 - Procede d'estimation du mouvement dominant dans une sequence d'images

Info

Publication number: FR2833797A1
Application number: FR0116466A
Authority: FR
Inventors: Clerc Francois Le; Sylvain Marrec
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2001-12-19
Filing date: 2001-12-19
Publication date: 2003-06-20
Anticipated expiration: 2021-12-19
Also published as: CN100411443C; JP2005513929A; AU2002364646A1; KR100950617B1; WO2003055228A1; KR20040068291A; FR2833797B1; CN1608380A; JP4880198B2; US20050163218A1; EP1468568A1; MXPA04005991A

Abstract

Le procédé effectuant un calcul (1) d'un champ de vecteurs de mouvement associé à une image, définissant, pour un élément d'image de coordonnées xi, yi, un ou plusieurs vecteurs de mouvement de composantes ui, vi, est caractérisé en ce qu'il réalise également les étapes suivantes : - modélisation du mouvement (2) à partir d'une représentation paramétrique simplifiée : ui = tx + k.xi vi = ty + k.yi avec tx, ty composantes d'un vecteur représentant la composante de translation du mouvement, k facteur de divergence caractérisant la composante de zoom du mouvement,- régression linéaire robuste (3) dans chacun des deux espaces de représentation du mouvement définis par les plans (x, u) et (y, v), x, y, u et v représentant respectivement les axes des variables xi, yi, ui et vi, pour donner des droites de régression, - calcul des paramètres tx, ty, et k (4, 5) à partir des pentes et des ordonnées à l'origine des droites de régression. Les applications concernent la sélection d'images-clés pour l'indexation vidéo ou la génération de méta-données.

Description

L'invention concerne un procédé et dispositif d'estimation du mouvement dominant dans un plan vidéo. Plus précisément, le procédé se base sur l'analyse des champs de mouvement transmis avec la vidéo dans des schémas de compression utilisant une compensation du mouvement. De tels schémas sont mis en oeuvre dans les normes de compression vidéo MPEG-1, MPEG-2 et MPEG-4.

Il est connu des procédés d'analyse de mouvement basés sur l'estimation, à partir des vecteurs de mouvement issus des flux vidéo comprimés de type MPEG, d'un modèle de mouvement qui est le plus souvent affine :

fu (Xi, =axi+byi+c v (xi, yi) = dxi + eyi + f l'1 1 1

où u et v sont les composantes d'un vecteur roi présent à la position (xi, yi) du champ de mouvement. L'estimation des paramètres affines a, b, c, d, e et f du modèle de mouvement s'appuie sur une technique de minimisation des erreurs aux moindres carrés. Un tel procédé est décrit dans l'article de M. A. Smith et T. Kanade Video Skimming and Characterization through the Combination of Image and Language Understanding (actes de IEEE 1998 International Workshop on ContentBased Access of Image and Video Databases, pages 61 à 70). Les auteurs de cet article utilisent les paramètres du modèle affine du mouvement, ainsi que les moyennes Met v des composantes spatiales des vecteurs du champ, pour identifier et classifier le mouvement apparent. Par exemple, pour déterminer si le mouvement est un zoom, ils vérifient qu'il existe un point de convergence, yo) du champ de vecteurs, tel que u (XO'Y0) = 0 et v (xo, yo) = 0, au moyen de la condition suivante :

a b zu d e

Les moyennes des composantes des vecteurs uet v sont analysées pour tester l'hypothèse d'un panoramique.

Il est également connu des procédés d'analyse de mouvement exploitant directement les champs de vecteurs issus du flux vidéo MPEG, sans passer par l'identification d'un modèle de mouvement. L'article de O. N.

Gerek et Y. Altunbasak Key Frame Selection from MPEG Video Data (actes du congrès Visual Communications and Image Processing'97, pages 920 à 925) décrit un tel procédé. La méthode consiste à construire, pour chaque champ de mouvement associé à une image du train binaire MPEG, deux histogrammes du champ de vecteurs, l'un relevant l'occurrence des

vecteurs en fonction de leur direction, et le second en fonction de leur amplitude. Des exemples de tels histogrammes sont représentés sur les figures 1 et 2 : la figure 1 illustre une configuration où le mouvement apparent dans l'image est un zoom, alors que dans la figure 2 le mouvement dominant est un panoramique.

Un seuillage de la variance associée au nombre de vecteurs de mouvement dans chaque classe ( bin en anglais) de l'histogramme, pour chacun des deux histogrammes, est ensuite utilisé pour identifier la présence de mouvements dominants de type"zoom"et"panoramique".

Les méthodes telles que celle proposée par Gerek et Altunbasak fournissent une information purement qualitative sur la catégorie du mouvement dominant, alors qu'une estimation quantitative sur l'amplitude du mouvement est souvent requise. Les méthodes telles que celle proposée par Smith et Kanade basées sur l'estimation d'un modèle paramétrique de mouvement fournissent ces informations quantitatives, mais sont souvent assez peu fiables. En effet, ces méthodes ne prennent pas en compte la présence dans la scène vidéo traitée de plusieurs objets suivant des mouvements apparents différents. La prise en compte des vecteurs associés aux objets secondaires est susceptible de fausser de manière significative l'estimation aux moindres carrés des paramètres du modèle de mouvement dominant. Un objet secondaire est ici défini comme un objet qui occupe sur l'image une surface inférieure à celle d'au moins un autre objet de l'image, l'objet associé au mouvement dominant étant celui qui occupe la plus grande surface dans l'image. Par ailleurs, même en présence d'un seul objet en mouvement dans l'image, les vecteurs du flux vidéo comprimé qui servent de base à l'analyse du mouvement ne reflètent pas toujours la réalité du mouvement apparent réel de l'image. En effet, ces vecteurs ont été calculés dans le but de minimiser la quantité d'information à transmettre après compensation de mouvement, et non d'estimer le mouvement physique des pixels de l'image.

Une estimation fiable d'un modèle de mouvement à partir des vecteurs issus du flux comprimé requiert l'utilisation d'une méthode robuste, éliminant automatiquement du calcul les vecteurs de mouvement relatifs à des objets secondaires ne suivant pas le mouvement dominant, ainsi que les vecteurs ne correspondant pas au mouvement physique de l'objet principal de l'image.

Des méthodes robustes d'estimation d'un modèle paramétrique de mouvement dominant ont déjà été proposées dans des contextes différents de l'utilisation de flux vidéo comprimés. Un exemple en est fourni dans l'article de P. Bouthemy, M. Gelgon et F. Ganansia intitulé A unified approach to shot change detection and camera motion characterization , paru dans la revue IEEE Circuits and Systems for Video Technology volume 9 n 7, Octobre 1999, pages 1030 à 1044. Ces méthodes présentent l'inconvénient d'être très complexes à mettre en oeuvre.

L'invention présentée ici a pour but de pallier les inconvénients des différentes familles de méthodes d'estimation du mouvement dominant présentées ci-dessus.

L'invention a pour objet un procédé de détection d'un mouvement dominant dans une séquence d'images effectuant un calcul d'un champ de vecteurs de mouvement associé à une image, définissant, pour un élément d'image de coordonnées xi, yi, un ou plusieurs vecteurs de mouvement de composantes ui, vi, caractérisé en ce qu'il effectue également les étapes suivantes : - modélisation du mouvement à partir d'une représentation

paramétrique simplifiée :

ui = tx +k. xi vi = ty +k. yi avec tx, ty composantes d'un vecteur représentant la composante de translation du mouvement, k facteur de divergence caractérisant la composante de zoom du mouvement, - régression linéaire robuste dans chacun des deux espaces de représentation du mouvement définis par les plans (x, u) et (y, v), x, y, u et v

représentant respectivement les axes des variables xi, yi, ui et vi, pour donner des droites de régression, - calcul des paramètres tx, ty, et k à partir des pentes et des ordonnées à l'origine des droites de régression.

Selon un mode de mise en oeuvre, la régression robuste est la méthode de la moindre médiane des carrés qui consiste à chercher, parmi un ensemble de droites j, ri, j étant le résidu du ième échantillon de coordonnées xi, ui ou yi, vi, par rapport à une droite j, celle fournissant la

valeur médiane de l'ensemble des carrés des résidus qui est minimale :

min (mehr,,) J i

Selon un mode de mise en oeuvre, la recherche de la moindre médiane des carrés des résidus est appliquée sur un nombre prédéfini de droites déterminées chacune par un couple d'échantillons tirés aléatoirement dans l'espace de représentation du mouvement considéré.

Selon un mode de mise en oeuvre, le procédé effectue, après la régression linéaire robuste, une deuxième régression linéaire non-robuste permettant d'affiner les estimations des paramètres du modèle de mouvement. Cette deuxième régression linéaire peut exclure les points dans les espaces de représentation dont le résidu de régression issu de la première régression robuste excède un seuil prédéterminé.

Selon un mode de mise en oeuvre, le procédé effectue un test d'égalité des coefficients directeurs des droites de régression calculées dans chacun des espaces de représentation, basé sur une comparaison des sommes des carrés des résidus obtenus premièrement en effectuant deux régressions séparées dans chaque espace de représentation, deuxièmement en effectuant une régression de pente globale sur l'ensemble des échantillons des deux espaces de représentation, et, dans le cas où le test est positif, estime le paramètre k du modèle par la moyenne arithmétique des coefficients directeurs des droites de régression obtenues dans chaque espace de représentation.

L'invention concerne également un dispositif comportant des moyens de calcul pour la mise en oeuvre du procédé.

En exploitant un modèle paramétrique très simplifié, mais néanmoins suffisamment réaliste, du mouvement dominant dans une image

vidéo, le procédé permet la mise en oeuvre de méthodes robustes d'identification du modèle de mouvement à un coût réduit. Plus précisément, l'intérêt principal du procédé décrit dans l'invention réside dans l'utilisation d'un espace de représentation judicieux des composantes des vecteurs de mouvement, qui permet de ramener l'identification des paramètres du modèle de mouvement à une double régression linéaire.

D'autres particularités et avantages de l'invention apparaîtront clairement dans la description suivante donnée à titre d'exemple non limitatif et faite en regard des figures annexées qui représentent : - la figure 1, un champ de vecteurs de mouvement théoriques correspondant à un"zoom", - la figure 2, un champ de vecteurs de mouvement théoriques correspondant à une scène pour laquelle le mouvement dominant de l'arrière-plan est de type"panoramique", et qui comporte également un objet secondaire suivant un mouvement distinct du mouvement dominant, - la figure 3, une illustration des espaces de représentation des vecteurs de mouvement utilisés dans l'invention, - le figure 4, la distribution des vecteurs théoriques pour un mouvement de zoom centré dans les espaces de représentation utilisés dans l'invention, -le figure 5, la distribution des vecteurs théoriques pour un mouvement de translation oblique globale de l'image dans les espaces de représentation utilisés dans l'invention, - le figure 6, la distribution des vecteurs théoriques pour un mouvement combiné de translation et zoom dans les espaces de représentation utilisés dans l'invention, - le figure 7, la distribution des vecteurs théoriques pour une scène statique (mouvement nul) dans les espaces de représentation utilisés dans l'invention, - le figure 8, un organigramme de la méthode de détection du mouvement dominant.

La caractérisation du mouvement dominant dans une séquence d'images passe par l'identification d'un modèle paramétrique de mouvement dominant apparent. Dans le contexte de l'exploitation de champs de vecteurs

de mouvement issus de flux vidéo comprimés, ce modèle doit représenter le mouvement apparent dans le plan image 2D. Un tel modèle est obtenu par approximation de la projection sur le plan image du mouvement des objets dans l'espace tri-dimensionnel. A titre d'exemple, le modèle affine à 6 paramètres (a, b, c, d, e, f) présenté plus haut est couramment adopté dans la littérature.

Le procédé proposé consiste, à la base, à identifier ce modèle paramétrique du mouvement, à partir de champs de vecteurs de mouvement qui sont fournis dans le flux vidéo afin d'en effectuer le décodage, lorsque le principe de codage fait appel à des techniques de compensation de mouvement telles qu'exploitées par exemple dans les normes MPEG-1, MPEG-2 et MPEG-4. Toutefois, le procédé décrit dans l'invention est également applicable à des champs de vecteurs de mouvement qui auraient été calculés par un processus séparé à partir des images constituant la séquence vidéo traitée.

Dans le contexte de la présente invention, le modèle de mouvement adopté est dérivé d'un modèle linéaire simplifié à 4 paramètres

(tx, ty, k, 8) que nous appellerons SLM (acronyme de l'expression anglaise Simplified Linear Model), défini par :

WUil Ftxl Fk xj-x v ; ty e k J) yi-yg.

VI ty e k YI Y g avec : (Ui, ; y : composantes du vecteur de mouvement apparent associé au pixel du plan image de coordonnées (x,, y, y, (Xg, y g) t : coordonnées du point de référence pour l'approximation de la scène 3D filmée par la caméra en une scène 2D ; ce point de référence sera assimilé au point de coordonnées (0, 0)'de l'image, (tx, ty) t : vecteur représentant la composante de translation du mouvement, k : terme de divergence représentant la composante de zoom du mouvement,

S : angle de rotation du mouvement autour de l'axe de la caméra.

L'objectif recherché est d'identifier les mouvements dominants provoqués par les déplacements et les transformations optiques des caméras, par exemple un zoom optique, dans les séquences vidéo. Il s'agit en particulier d'identifier les mouvements de caméra qui sont statistiquement les plus répandus dans la composition des documents vidéo, regroupant majoritairement les mouvements de translation et de zoom, leur combinaison, et les absences de mouvement, c'est à dire les plans statiques ou fixes. Les effets de rotation de caméra, très rarement observés en pratique, ne sont pas pris en compte : on restreint donc le modèle aux 3 paramètres (tx, ty, k) en effectuant l'hypothèse que < 9 0.

On a alors deux relations de linéarité entre les composantes

des vecteurs et leur position spatiale dans l'image :

fuj=t+k. X { {v ; =ty +k. yi Vi-ty+k. Yi
L'avantage de cette représentation paramétrique simplifiée du mouvement est que les paramètres tx, ty et k, décrivant respectivement les deux composantes de translation et le paramètre de zoom du modèle de mouvement, peuvent être estimés par régression linéaire dans les espaces

de représentation du mouvement u, =f (x,) et v, =f (y,). Ainsi que l'illustre la figure 3, la représentation d'un champ de vecteurs de mouvement dans ces espaces fournit généralement, pour chacun d'entre eux, un nuage de points distribué autour d'une droite de pente k.

Le processus d'estimation des paramètres du modèle simplifié de mouvement est basé sur l'application d'une régression linéaire de type robuste dans chacun des espaces de représentation du mouvement. La régression linéaire est une opération mathématique qui détermine la droite s'ajustant au mieux à un nuage de points, par exemple en minimisant la somme des carrés des distances de chaque point à cette droite. Cette opération est, dans le contexte de l'invention, mise en oeuvre à l'aide d'une technique d'estimation statistique robuste, de façon à garantir une certaine insensibilité vis-à-vis de la présence de valeurs aberrantes dans les

données. En effet, l'estimation du modèle de mouvement dominant doit s'affranchir : -de la présence dans l'image de plusieurs objets dont certains suivent des mouvements secondaires distincts du mouvement dominant, - de la présence de vecteurs de mouvements ne représentant pas le mouvement physique des objets. En effet, les vecteurs de mouvement transmis dans un flux vidéo comprimé ont été calculés dans le but de minimiser la quantité d'information résiduelle à transmettre après compensation de mouvement et non dans le but de fournir le mouvement réel des objets constituant la scène imagée.

La figure 8 synthétise les différentes étapes de la méthode d'estimation du mouvement dominant dans la séquence. Chacune de ces étapes est décrite plus précisément dans ce qui suit.

Une première étape 1 effectue une normalisation des champs de vecteurs de mouvement associés chacun à une image de la séquence vidéo traitée. Ces champs de vecteurs sont supposés avoir été calculés préalablement à l'application de l'algorithme, à l'aide d'un estimateur de mouvement. L'estimation du mouvement peut être effectuée pour des blocs rectangulaires de pixels de l'image, comme dans les méthodes d'appariement de blocs de pixels dites block-matching , ou fournir un champ de vecteurs dense, où un vecteur est estimé pour chaque pixel de l'image. La présente invention traite préférentiellement, mais non exclusivement, le cas où les champs de vecteurs utilisés ont été calculés par un encodeur vidéo et transmis dans le flux vidéo comprimé à des fins de décodage. Dans le cas typique où le schéma d'encodage utilisé est conforme à une des normes MPEG-1 ou MPEG-2, les vecteurs de mouvement sont estimés pour l'image courante à raison d'un vecteur par bloc rectangulaire de l'image, relativement à une trame de référence dont la distance temporelle à l'image courante est variable. Par ailleurs, pour certaines trames dites B prédites de manière bi-directionnelle, deux vecteurs de mouvement peuvent avoir été calculés pour un même bloc, l'un pointant depuis l'image courante vers une trame de référence passée et l'autre depuis l'image courante vers une trame de référence future. Une étape de normalisation des champs de vecteurs est donc indispensable de façon à traiter, dans les étapes ultérieures, des vecteurs calculés sur des intervalles temporels de durées égales et pointant dans une même direction. Le paragraphe 3.2 de l'article

de V. Kobla et D. Doermann intitulé Compressed domain video indexing techniques using DCT and motion vector information in MPEG video , Proceedings of the SPIE vol. 3022,1997, pages 200 à 211, fournit un exemple de méthode permettant d'effectuer cette normalisation. D'autres techniques plus simples basées sur des approximations linéaires du mouvement sur les intervalles de calcul des vecteurs MPEG peuvent également être utilisées.

La deuxième étape référencée 2 effectue une construction des espaces de représentation du mouvement présentés plus haut. Chaque vecteur Coi du champ de mouvement, de composantes (ui, vi) t et de position (xi, y,) \ est représenté par un point dans chacun des deux espaces u, =f (x,) et vj=f (y,).

Chaque couple de points (x,, u,) et (y ;, v1) correspondant à la représentation d'un vecteur du champ de mouvement peut être modélisé

relativement aux droites de régression dans chacun des espaces par :

i ; a0. xi + b0 + EUj Vi -a1. Yi +b} +EV' 1 ou (ao, bo) sont les paramètres de la droite de régression à calculer dans l'espace ui=f(x@) ; #ui est l'erreur résiduelle correspondante.

(al, bi) sont les paramètres de la droite de régression à calculer dans l'espace vi=f(y@) ; eVI est l'erreur résiduelle correspondante.

La figure 3 illustre des nuages de points obtenus après construction de ces deux espaces à partir d'un champ de vecteurs de mouvement normalisé.

Les paramètres (ao, bo) et (al, b1) obtenus à l'issue des régressions linéaires dans chacun des espaces de représentation fournissent des estimations des paramètres du modèle de mouvement dominant. Ainsi, les pentes ao et a1 correspondent à une double estimation du paramètre de divergence k caractérisant la composante de zoom, alors que les ordonnées à l'origine bo et b1 correspondent à une évaluation des composantes tx et ty de translation.

Les figures 4 à 7 montrent quelques exemples de configurations possibles.

- distribution des données en cas de zoom centré pour la figure 4, - distribution des données en cas de mouvement de translation oblique pour la figure 5, - distribution des données en cas de zoom décentré (mouvement combinant un zoom et une translation) pour la figure 6, - distribution des données en cas d'une absence de mouvement pour la figure 7.

L'étape suivante 3 effectue une régression linéaire robuste pour chacun des espaces de représentation du mouvement, dans le but de séparer les points de données représentatifs du mouvement dominant réel de ceux correspondant, soit au mouvement d'objets secondaires dans l'image, soit à des vecteurs ne traduisant pas le mouvement physique des pixels auxquels ils sont associés.

Il existe plusieurs familles de techniques d'estimation robuste.

Selon un mode préférentiel de réalisation de l'invention, les droites de régression sont calculées de manière à satisfaire le critère de la moindre médiane des carrés. La méthode de calcul, présentée brièvement ci-après, est décrite de manière plus complète au paragraphe 3 de l'article de P. Meer, D. Mintz et A. Rosenfeld Robust Regression Methods for Computer Vision : A Review , paru dans International Journal of Computer Vision, volume 6 n 1,1991, pages 59 à 70.

Appelant r, j te résidu du ième échantillon d'un espace de représentation du mouvement dans lequel on cherche à estimer l'ensemble Ej des paramètres de régression (pente et intercept de la droite de régression), on calcule Ej de manière à satisfaire le critère suivant : min (med r ? j) Ej i
Le résidu r, j correspond à l'erreur résiduelle ou -suivant l'espace de représentation considéré-associée à la modélisation du ieme échantillon par la droite de régression de paramètres Ej. La solution à ce problème de minimisation non-linéaire nécessite une recherche de la droite définie par Ej parmi toutes les droites possibles. Afin de restreindre les calculs, on limite la recherche à un ensemble fini de p droites de régression, définies par p couples de points tirés aléatoirement parmi les échantillons de l'espace de représentation étudié. Pour chacune des p droites, on calcule et

on trie les carrés des résidus de façon à identifier le carré du résidu carré qui présente la valeur médiane. La droite de régression est estimée comme celle qui fournit la plus petite de ces valeurs médianes des carrés des résidus.

Le fait de sélectionner la droite de régression sur l'unique carré du résidu médian, plutôt que sur l'ensemble des résidus, confère au processus de régression son caractère robuste. En effet, il permet de ne pas prendre en compte des résidus de valeurs extrêmes, susceptibles de correspondre à des points de données aberrants et donc de fausser la régression.

En testant par exemple p =12 droites, la probabilité qu'au moins un des p couples soit constitué de deux échantillons non-aberrants, c'est-àdire représentatifs du mouvement dominant, est très proche de 1. Si la proportion d'échantillons aberrants est inférieure à 50%, ce que l'on suppose, un tel couple ne comportant pas d'échantillon aberrant fournit une droite de régression en meilleure adéquation avec le nuage d'échantillons-donc présentant un résidu carré médian plus faible-que n'importe quel couple de points comportant au moins un échantillon aberrant. On est alors quasiment assuré que la droite de régression finalement obtenue est définie par deux échantillons non aberrants, ce qui garantit la robustesse de la méthode vis-àvis des échantillons aberrants.

Les droites de régression obtenues par estimation robuste dans chaque espace de représentation sont ensuite utilisées pour identifier les échantillons aberrants. Dans ce but, on calcule, en fonction de la valeur médiane du carré du résidu correspondant à la meilleure droite de régression trouvée, une estimation robuste à de l'écart-type des résidus associés aux échantillons non aberrants, sous l'hypothèse qu'ils suivent une distribution gaussienne, et on étiquette comme échantillon aberrant tout échantillon dont la valeur absolue du résidu excède K fois c. On peut avantageusement fixer la valeur de K à 2, 5.

Toujours dans cette étape 3, on effectue enfin des régressions linéaires classiques, non robustes, sur les échantillons de chaque espace de représentation, en excluant les échantillons identifiés comme aberrants. Ces régressions fournissent des estimations affinées des paramètres (ao, bo) et (a1, b1) qui seront utilisées dans la suite du procédé.

L'étape suivante 4 effectue un test de linéarité des droites de régression dans chacun des espaces de représentation. Ce test a pour but

de vérifier que les nuages de points dans chaque espace sont effectivement approximativement distribués suivant des droites, ce que ne garantit aucunement l'existence-systématique-d'une droite de régression.

Le test de linéarité est effectué, dans chaque espace de représentation, en comparant à un seuil prédéterminé l'écart type des résidus issus de la régression linéaire portant sur les échantillons non aberrants. La valeur du seuil dépend de la normalisation temporelle appliquée aux vecteurs de mouvement à l'étape 1 du procédé. Dans le cas où, après normalisation, chaque vecteur représente un déplacement correspondant à l'intervalle de temps séparant deux trames entrelacées, soit 40 ms pour une transmission à 50 Hz, ce seuil peut avantageusement être fixé à 6.

Si au moins un des tests de linéarité effectués dans les deux espaces de représentation échoue, on considère que le champ de mouvement correspondant à l'image courante ne permet pas une estimation fiable d'un modèle de mouvement dominant. On positionne alors un drapeau signalant l'échec du processus d'estimation du mouvement dominant, et on traite l'image suivante.

Dans le cas contraire, on passe à l'étape suivante 5, qui consiste à vérifier que les pentes ao et a,, qui fournissent une double estimation du paramètre de divergence k du modèle de mouvement, ne diffèrent pas de manière significative. Le test d'égalité de deux pentes de régression est un problème connu, qui est traité dans certains ouvrages de statistique ; on pourra par exemple consulter le chapitre consacré à l'analyse de variance dans de livre de C. R. Rao Linear Statistical Inference and its Applications paru aux éditions Wiley (2eue édition). On effectue de manière classique ce test en calculant une pente de régression globale portant sur l'ensemble des échantillons non aberrants des deux espaces de représentation du champ de vecteurs de mouvement. On forme ensuite le rapport de la somme des carrés des résidus relative à cette estimation de pente globale sur l'ensemble des données, à la somme sur les deux espaces des sommes des carrés des résidus relatives aux régressions séparées-ne portant que sur les échantillons non aberrants. On compare ce rapport à un seuil prédéterminé ; si le rapport est supérieur au seuil, l'hypothèse d'égalité des pentes de régression dans les deux espaces de représentation du mouvement n'est statistiquement pas valide. On positionne alors un drapeau

signalant l'échec du processus d'estimation du mouvement dominant, et on traite l'image suivante. Dans le cas où le résultat du test est positif, on estime la valeur du coefficient de divergence k du modèle de mouvement dominant par la moyenne arithmétique des pentes de régression ao et a, obtenues dans chacun des espaces de représentation. Les paramètres tx et ty sont estimés respectivement par les valeurs des intercepts bo et b1 issus des régressions linéaires dans les espaces de représentation.

Dans le cas où le modèle de mouvement est considéré comme valide, c'est-à-dire si les tests effectués dans les étapes 4 et 5 ont été passés avec succès, une classification du mouvement dominant est effectuée lors de l'étape suivante référencée 6.

Le vecteur e = (k, tx, ; ty) t des paramètres estimés est exploité pour décider de la catégorie dans laquelle classer le mouvement dominant, à savoir : - statique, - translation pure, - zoom pur, - translation combinée avec un zoom.

L'algorithme de classification est basé sur des tests de nullité des paramètres du modèle, conformément au tableau ci-dessous :

<tb>
<tb> Modèle <SEP> Paramètres
<tb> Statique <SEP> k=0 <SEP> tx <SEP> =0 <SEP> ty=0
<tb> Translation <SEP> k=0 <SEP> (tx, <SEP> ty) <SEP> # <SEP> (0, <SEP> 0)
<tb> Zoom <SEP> kO <SEP> tx=0ty=0
<tb> Zoom <SEP> + <SEP> transtation <SEP> k <SEP> 0 <SEP> (tx, <SEP> ty) <SEP> (0, <SEP> 0)
<tb>

Selon une technique simple, les tests de nullité des estimations des paramètres du modèles peuvent être effectués par simple comparaison à un seuil de leur valeur absolue. Des techniques plus élaborées, basées sur une modélisation statistique de la distribution des données, peuvent également être employées. Dans ce cadre statistique, un exemple d'algorithme de décision de la nullité des paramètres du modèle basé sur des tests de vraisemblance est présenté dans l'article de P. Bouthemy, M.

Gelgon et F. Ganansia intitulé A unified approach to shot change detection and camera motion characterization , paru dans la revue IEEE Circuits and

Systems for Video Technology volume 9 n 7, Octobre 1999, pages 1030 à 1044.

Une application de l'invention concerne l'indexation vidéo à partir de la sélection d'images clés.

En effet, le processus d'indexation vidéo débute généralement par un pré-traitement, qui vise à restreinre le volume des informations à traiter dans le flux vidéo à un ensemble d'images clés sélectionnées dans la séquence. Les traitements d'indexation de la vidéo, et en particulier l'extraction des attributs visuels, s'effectuent exclusivement sur ces images clés, dont chacune est représentative du contenu d'un segment de la vidéo. Idéalement, l'ensemble des images clés doit former un résumé exhaustif de la vidéo, et les redondances entre le contenu visuel des images clés doivent être évitées, de façon à minimiser la charge de calcul du processus d'indexation. Le procédé d'estimation du mouvement dominant à l'intérieur de chaque plan vidéo permet d'optimiser la sélection des images clés, à l'intérieur de chaque plan, vis-à-vis de ces critères, en l'adaptant au mouvement dominant. Il est par exemple possible de cumuler les translations horizontales (respectivement verticales) de l'image, estimées par le paramètre tx (respectivement ty) à l'intérieur d'un plan, et d'échantillonner une nouvelle image clé dès que le cumul dépasse la largeur (respectivement la hauteur) d'une image.

Le procédé décrit peut également être exploité pour la génération de méta-données. Les mouvements dominants coïncident souvent avec les mouvements de caméra lors du tournage de la vidéo.

Certains réalisateurs utilisent des séquences de mouvements de caméra particulières afin de communiquer au spectateur certaines émotions ou sensations. Le procédé décrit dans l'invention peut permettre de détecter ces séquences particulières dans la vidéo, et par conséquent de fournir des méta-données relatives à l'atmosphère créée par le réalisateur dans certains passages de la vidéo.

Une autre application de la détection de mouvement dominant est la détection ou l'aide à la détection de ruptures de plans. En effet, un changement abrupt des propriétés du mouvement dominant dans une séquence ne peut être engendré que par une rupture de plan.

Enfin, le procédé décrit dans l'invention permet l'identification, dans chaque image, du support du mouvement dominant. Ce support

coïncide en effet avec l'ensemble des pixels dont le vecteur associé n'a pas été identifié comme aberrant, au sens du mouvement dominant. La connaissance du support du mouvement dominant fournit une segmentation de l'objet qui suit ce mouvement. Cette segmentation peut être exploitée soit pour effectuer une indexation séparée des objets constituants l'image, ce qui permet le traitement de requêtes partielles portant sur les objets et non sur la totalité des images, soit dans le cadre d'algorithmes de compression vidéo basés sur des objets, tels que par exemple ceux spécifiés dans la norme de compression vidéo MPEG-4.

Claims

REVENDICATIONS

1 Procédé d'estimation d'un mouvement dominant dans une séquence d'images effectuant un calcul (1) d'un champ de vecteurs de mouvement associé à une image, définissant, pour un élément d'image de coordonnées xi, yi, un ou plusieurs vecteurs de mouvement de composantes ui, vi, caractérisé en ce qu'il effectue également les étapes suivantes : - modélisation du mouvement (2) à partir d'une représentation

paramétrique simplifiée :

ui=tx+k. xi vi = ty +k. yi avec tx, ty composantes d'un vecteur représentant la composante de translation du mouvement, k facteur de divergence caractérisant la composante de zoom du mouvement, - régression linéaire robuste (3) dans chacun des deux espaces de représentation du mouvement définis par les plans (x, u) et (y, v), x, y, u et v représentant respectivement les axes des variables xi, yi, ui et vi, pour donner des droites de régression, - calcul des paramètres tx, ty, et k (4,5) à partir des ordonnées à l'origine et pentes des droites de régression.

2 Procédé selon la revendication 1, caractérisé en ce que la régression robuste (3) est la méthode de la moindre médiane des carrés qui consiste à chercher, parmi un ensemble de droites j, ri, j étant le résidu du ième échantillon de coordonnées xi, ui ou yi, vi, par rapport à une droite j, celle fournissant la valeur médiane de l'ensemble des carrés des résidus qui est minimale.

3 Procédé selon la revendication 2, caractérisé en ce que la recherche de la moindre médiane des carrés des résidus (3) est appliquée sur un nombre prédéfini de droites déterminées chacune par un couple

d'échantillons tirés aléatoirement dans l'espace de représentation du mouvement considéré.

3 Procédé selon la revendication 1, caractérisé en ce qu'il effectue, après la régression linéaire robuste (3), une deuxième régression linéaire non-robuste permettant d'affiner les estimations des paramètres du modèle de mouvement.

4 Procédé selon la revendication 3, caractérisé en ce que la deuxième régression linéaire exclut les points dans les espaces de représentation dont le résidu de régression issu de la première régression robuste excède un seuil prédéterminé.

5 Procédé selon la revendication 1, caractérisé en ce qu'il effectue un test d'égalité (5) des coefficients directeurs des droites de régression calculées dans chacun des espaces de représentation (4), basé sur une comparaison des sommes des carrés des résidus obtenus premièrement en effectuant deux régressions séparées dans chaque espace de représentation, deuxièmement en effectuant une régression de pente globale sur l'ensemble des échantillons des deux espaces de représentation,

et, dans le cas où le test est positif, qu'il estime le paramètre k du modèle par la moyenne arithmétique des coefficients directeurs des droites de régression obtenues dans chaque espace de représentation.

6 Procédé selon la revendication 1, caractérisé en ce que le mouvement dominant est classé dans une des catégories : translation, zoom, combinaison d'une translation et d'un zoom, image statique, selon les valeurs de tx, ty et k.

7 Procédé selon la revendication 1, caractérisé en ce que le champ de vecteurs de mouvement est issu de l'encodage de la séquence vidéo considérée par un algorithme de compression utilisant la compensation du mouvement, tel que les algorithmes conformes aux normes de compression MPEG-1, MPEG-2 ou MPEG-4.

8 Application du procédé selon la revendication 1 à la sélection d'images clés, une image étant sélectionnée en fonction du cumul, sur plusieurs images, des informations relatives aux paramètres calculés tx, ty, ou k.

9 Dispositif d'estimation d'un mouvement dominant dans une séquence d'images comportant un circuit de calcul (1) d'un champ de vecteurs de mouvement associé à une image, définissant, pour un élément d'image de coordonnées xi, yi, un ou plusieurs vecteurs de mouvement de composantes ui, vi, caractérisé en ce qu'il comporte également des moyens de calcul pour effectuer : - une modélisation du mouvement (2) à partir d'une représentation paramétrique simplifiée :

ui = tx +k. xi vi = ty +k. yi avec tx, ty composantes d'un vecteur représentant la composante de translation du mouvement, k facteur de divergence caractérisant la composante de zoom du mouvement, - une régression linéaire robuste (3) dans chacun des deux espaces de représentation du mouvement définis par les plans (x, u) et (y, v), x, y, u et v représentant respectivement les axes des variables xi, yi, ui et vi, pour donner des droites de régression, - un calcul des paramètres tx, ty, et k (4,5) à partir des ordonnées à l'origine et pentes des droites de régression.