FR2774493A1 - Procede de segmentation spatiale d'une image en objets visuels et application - Google Patents

Abstract

Pour obtenir des objets ayant une signification sémantique, l'invention comporte la partition de l'image en blocs initiaux prédéterminés, une fusion des régions voisines dont la similarité, selon une fonction de similarité connue, est inférieure à un premier seuil, une fusion des régions de taille inférieure à un deuxième seuil avec la région voisine la plus similaire, puis une représentation de chacune des régions obtenues par un nuage de points (N1 à N6) dans un espace.Cet espace est formé d'au moins deux dimensions de base (R, V, B), caractérisant un signal électromagnétique provenant de cette région, et d'une dimension caractérisant les pixels correspondant aux valeurs considérées dans les dimensions de base. Un ajustement polynomial (P) des points représentant chaque pixel par une suite de valeurs et l'application d'une fonction de similarité entre les deux suites de valeurs permettent de fusionner les régions voisines dont la proximité entre les ajustements est inférieure à un troisième seuil.Application notamment à la caractérisation, à la classification, au stockage, à la détection d'objets, de scènes, de plans ou de groupes de plans, de mouvements de documents multimédias, en particulier de vidéos.

Description

L'invention concerne le domaine de l'analyse de l'information contenue dans les images couleur, provenant notamment de documents multimédias, et en particulier de vidéos. Cette analyse est destinée plus particulièrement, mais non exclusivement, à permettre une indexation de la documentation audiovisuelle.

Le problème consiste en particulier à réaliser un découpage temporel de séquences vidéos en scènes qui constituent des unités narratives de ces séquences, en vue du stockage et de la visualisation sélective de certaines scènes par les utilisateurs. Un tel niveau de compréhension n'est pas directement accessible par les méthodes de segmentation connues.

Des méthodes ont été développées pour réaliser la segmentation d'images de niveaux de gris ou pour la segmentation d'objets en mouvement dans les images d'une vidéo. Mais parmi les algorithmes de segmentation d'images couleur, aucun ne fournit de résultats suffisants lorsque les images à analyser sont tirées de la "vie réelle". Les principales méthodes peuvent être regroupées en méthodes de type pixels, de type contours, et de type régions.

Dans les méthodes de segmentation de type pixels, une région est définie comme une composante connexe d'un ensemble de pixels spécifié par une fonction d'appartenance, éventuellement floue, à une classe de couleur de l'Espace de Couleurs (en abrégé EdC). Ces méthodes se différencient principalement par la façon dont elles définissent les classes de couleurs et les fonctions d'appartenance à ces classes. La plus simple de ces méthodes est une quantification rigide de l'EdC, comme décrit dans les articles de C. Carson, S. Belongie, et al. Region Based Image
Querying", Proc. CVPR'97, Workshop on Content-Based Access of Image and Video Libraries, 1997, et de J.R. Smith and S.-F. Chang. "Tools and
Techniques for Color Image Retrieval.", Proc. SPIE'96, Storage & Retrieval for Image and Video Databases IV, Vol. 2670, 1996. Cependant certaines couleurs proches dans l'EdC peuvent se trouver dans des classes distinctes.

Une autre méthode de type pixel est une méthode par seuillage d'histogrammes, dans laquelle les pics et les creux apparaissant dans un ou plusieurs histogrammes correspondant aux différentes dimensions de L'ETC sont recherchés. Les creux détectés sont alors utilisés comme limites entre les classes de couleurs (comme décrit par exemple dans l'article de
R. Hayasaka, J. Zhao and Y. Matsushita, "Outstanding Object-Oriented
Color Image Segmentation Using Fuzzy Logic". Proc SPIE'97 Multimedia
Storage and Archiving Systems II, Vol. 3229, 303-314, 1997.

Les méthodes de groupement (clustering en terminologie anglaise) de l'EdC sont des extensions multidimensionnelles des techniques précédentes de seuillage et appliquent des algorithmes de classification tels que les algorithmes de recherche de plus proches voisins, (cf. l'article de R. Ferri and E. Vidal, "Color Image Segmentation and labeling through multiediting and condensing", Pattern Recognition Letters, vol. 13, No. 8, pp. 561-568, 1992), I'algorithme de moyenne K (K-mean en terminologie anglaise) ou de moyenne floue C (Fuay c-mean en terminologie anglaise) (cf. I'article de Y.W. Lim, S.U. Lee, "On The Color Image Segmentation
Algorithm Based on the Thresholding and the Fuzy c-Means Techniques",
Pattern Recognition, Volume 23, Number 9, pp. 935-952, 1990). Ces algorithmes permettent de rechercher des clusters potentiels de couleurs dans les images. Enfin certaines méthodes recherchent l'EdC permettant une représentation optimale des images à l'aide de techniques telles que l'analyse en composantes principales ou la transformée de Karhunen
Loève, telle que celle décrite dans l'article de S.E. Umbaugh et al, "Automatic Color Segmentation Algorithm with Application to Skin Tumor
Feature Identification", IEEE Engineering in Medicine and Biology, Vol. 12,
No. 3, pp. 75-82, 1993.).

Le premier inconvénient de ces méthodes est que la recherche de pics dans les histogrammes ou de clusters dans l'EdC n'est pas aisé, en particulier dans le cas d'images peu contrastées, et est coûteuse en temps de calculs. De plus, ces méthodes considèrent implicitement que si deux pixels, c'est-à-dire deux points d'image homogène, que le support soit une image vidéo ou non, appartiennent à une même région de l'image, leurs couleurs respectives appartiennent à la même classe de couleurs ou sont proches dans l'EdC. Ceci ne s'applique correctement que dans des images de type "clip-arts" ou de dessins animés, mais généralement pas dans les images réelles. Au moment de l'extraction des régions, ces méthodes doivent donc analyser le voisinage immédiat des pixels pour déterminer à quelle région chaque pixel doit être attaché.

Par ailleurs, dans les méthodes de type contours, les contours sont détectés et utilisés pour déterminer les limites des régions. Cependant, les méthodes d'extraction de contours ne sont pas des techniques de segmentation par elles-mêmes et doivent être combinées avec au moins une des autres méthodes. De plus les contours obtenus dans le cas d'images peu contrastées ou très texturées sont difficilement utilisables.

Dans les algorithmes de type régions, une région est définie comme une ensemble de pixels connectés satisfaisant un critère d'homogénéité donné, par exemple une zone qui ne contient qu'une couleur présente dans 95% des pixels de la région. Dans les techniques dites de découpage et fusion (split-and-merge en terminologie anglaise), les régions non homogènes sont découpées en sous-régions, puis analysées de manière récursive jusqu'à ce que le critère d'homogénéité soit satisfait pour chacune des régions obtenues. Les régions voisines ainsi obtenues sont regroupées.

Les techniques dites de croissance de régions (region-growing, en terminologie anglaise) sont des méthodes de type régions dans lesquelles un certain nombre de zones initiales, utilisées comme germes de croissance, sont d'abord recherchées. Les pixels et régions avoisinant(es) sont itérativement englobés à ces zones initiales jusqu'à ce qu'un critère d'arrêt soit satisfait, par exemple lorsque le nombre de régions obtenues est inférieur à un seuil.

Un exemple connu de cette catégorie de méthode est l'algorithme dit des "bassins topographiques" dans lequel une image est considérée comme un relief topographique. Le fond des bassins les plus importants est percé, et le relief est plongé dans l'eau. Les bassins se remplissent progressivement, délimitant ainsi les principales régions. Cette méthode est très sensible aux bruits et coûteuse en temps de calcul. Une autre méthode de cette catégorie est la méthode basée sur les arbres couvrants récursifs de pixels minimum (Recursive Shortest Spanning Trees, en anglais, RSST en abrégé). RSST (voir l'article de O.J. Morris et al, in graph theory for image analysis: an approach based on RSST , IEEE proceedings, vol. 1333, 146-152, 1986) considère chaque pixel comme une région initiale. Les régions dont les couleurs moyennes sont les plus proches sont fusionnées de manière récursive, en favorisant la fusion des régions de petites tailles.

La plupart des méthodes précédemment citées opèrent à l'échelle du pixel. Ceci les rend particulièrement sensibles aux variations d'intensité et aux textures.

Cette sensibilité est nécessaire pour les applications de vision artificielle ou de reconnaissance de formes pour lesquelles l'extraction des contours exacts est primordiale, mais elle est pénalisante dans le cas de recherche de larges régions sémantiquement significatives.

L'invention vise à pallier ces inconvénients en proposant une segmentation en régions de tailles telles que les régions ainsi segmentées aient encore une signification sémantique dans le contexte de l'image. Par objet sémantique ou sémantiquement significatif, il est entendu un objet correspondant au monde réel, par exemple un visage, un ciel, etc.

Plusieurs objets sémantiques peuvent composer un autre objet sémantique (par exemple une chevelure, un visage et une veste) ci-après appelé objet sémantique composite.

L'invention permet de segmenter les images en objets significatifs tout en négligeant les détails.

L'invention vise ainsi à conserver une segmentation robuste en présence d'images éventuellement très texturées, et insensible aux détails non significatifs qui pourraient entraîner une sur-segmentation inutile de larges régions homogènes, par exemple une corde noire sur un mur blanc.

Pour ce faire, il est proposé de qualifier de détails à écarter les régions "non signifiantes" ayant une surface inférieure à un certain pourcentage de la surface totale de l'image (par exemple 1 %) et de ne pas segmenter l'image en régions pouvant recouvrir plusieurs objets de façon à éviter la sous-segmentation, pouvant conduire à des régions dépourvues de signification sémantique.

Le procédé de segmentation selon l'invention qui s'apparente aux techniques de type région, opère dans un premier temps à l'échelle de la région, en partant de blocs initiaux de taille réduite tout en étant considérés comme homogènes, de façon à permettre la segmentation de plus larges objets.

Plus précisément, I'invention a pour objet un procédé de segmentation spatiale d'une image en objets visuels qui, pour obtenir des objets ayant une signification sémantique, comporte les étapes suivantes:
- dans une première phase, une partition de l'image en régions initiales selon un pavage prédéterminé, et une fusion des régions voisines dont la similarité est inférieure à un premier seuil, selon une fonction de similarité connue entre régions
- dans une deuxième phase, une fusion des régions de taille inférieure à un deuxième seuil avec la région voisine la plus similaire ; et
- dans une troisième phase, une représentation de chacune des régions obtenues par un nuage de points dans un espace de représentation formé d'au moins deux dimensions de base caractérisant un signal électromagnétique provenant de cette région et d'une dimension caractérisant les pixels correspondant aux valeurs considérées dans les autres dimensions, avec
- un ajustement polynomial d'une courbe avec les points représentant chaque pixel de la région dans l'espace de représentation du signal électromagnétique;
- une représentation de chaque ajustement polynomial par une suite de valeurs;
- I'application d'une fonction de similarité entre les deux suites de valeurs ainsi définies, et
- la fusion des régions voisines dont la proximité entre les ajustements polynomiaux est inférieure à un troisième seuil.

L'utilisation d'une segmentation des images en objets ayant une valeur sémantique significative est une étape clé du procédé d'analyse et de compréhension du contenu des documents multimédias, en particulier des documents vidéo.

Préférentiellement, le signal électromagnétique apparaissant dans au moins deux images peut être transformé pour en extraire au moins deux composantes de mouvement entre les deux images pour le représenter, telles que valeur scalaire et orientation, les autres étapes du procédé s'appliquant à cette représentation.

De plus, la fonction de similarité entre deux régions peut être définie par la position des centroïdes des deux régions et des extrémités des deux segments de courbe représentant ces deux régions.

Selon un autre aspect de l'invention, une seconde segmentation à une échelle plus fine, qui peut être celle du pixel est réalisée de façon à obtenir les contours précis des limites des objets, ainsi que leur structure interne, puis une fusion des deux segmentations est réalisée afin d'obtenir à la fois des objets sémantiquement significatifs et des contours précis pour ces objets.

Par mise en oeuvre du même algorithme à deux échelles de résolution différentes, les résultats des deux segmentations des deux premières étapes sont cohérents et peuvent se combiner.

Ainsi l'invention concerne également un procédé de segmentation fine d'images couleur en objets sémantiquement significatifs, consistant:
- dans un premier temps, à extraire de l'image les régions homogènes en couleur et en texture correspondant aux objets présents, en négligeant les objets de petites tailles inférieures à un seuil défini en pourcentage de la surface de l'image, et en utilisant une représentation des régions par ajustement polynomial de leur distribution de couleurs dans un espace des couleurs (EdC), à la fois lors de la segmentation et en représentation finale des objets segmentés,
- à réitérer l'extraction avec une résolution plus fine, afin de préciser les contours, les régions obtenues correspondant alors à des parties d'objets,
- dans une troisième étape, une superposition des deux segmentations précédentes fournit des régions correspondant aux objets de l'image de la première étape avec les contours précis de la deuxième étape, ainsi qu'une structure interne représentative de ces objets.

Préférentiellement, le calcul de similarité entre régions peut être réalisé:
- selon le procédé de l'invention si la saturation, considérée comme critère de superposition, est supérieure à un quatrième seuil prédéterminé;
- dans l'espace saturation-intensité4réquence, si la saturation est inférieure ou égale à ce seuil
les seuils prédéterminés peuvent être choisis pour maintenir le nombre de régions dans un intervalle dans lequel la sur-segmentation et la sous-segmentation n'apparaissent pas et pour maintenir la distribution des tailles des régions dans un intervalle défini pour éviter la sur et la soussegmentation.

Les paramètres de seuil, de degré de polynôme et de fonction de similarité peuvent être choisis de façon adaptative par une méthode d'apprentissage prédéterminée, en fonction de seuils de sur- et de soussegmentation à éviter, et d'un calcul d'évaluation prédéterminé de celles-ci.

Avantageusement, des utilisations composites du procédé selon l'invention sont mises en oeuvre:
- avec la reconnaissance d'un locuteur, pour caractériser le contenu des plans et des scènes d'une vidéo;
- avec un alignement automatique entre le script et la vidéo, pour caractériser le contenu des plans et des scènes d'un document vidéo ou pour apprendre de façon automatique les caractéristiques des objets présents dans la vidéo et dans le script.

D'autres caractéristiques et utilisations de l'invention ressortiront de la description qui suit de modes de réalisation détaillés, accompagnés des figures annexés qui représentent respectivement:
- la figure 1, un exemple d'image obtenue à l'issue de l'application des deux premières phases de segmentation large du procédé selon l'invention;
- les figures 2a et 2b, une représentation des régions d'une image dans l'espace RVB (Rouge, Vert, Bleu) par des nuages de points et des courbes d'ajustement;
- la figure 3, les projections d'un nuage de points de l'espace RVB sur le plan (RB) et le plan (RV) pour déterminer les extrémités de l'intervalle d'ajustement;
- la figure 4, la distribution des distances euclidiennes des points à leurs droites respectives pour des keyframes (images caractéristiques) et des images fixes;
- les figures 5a et 5b, 6a et 6b, 7a et 7b, la segmentation en objets sémantiques sur trois images (5), (6), (7), respectivement à la fin de la deuxième phase du procédé (figures 5a, 6a et 7a) et à la fin de la troisième phase (respectivement figures 5b, 6b et 7b);
- les figures 8a et 8b, respectivement une segmentation dite large, obtenue avec une résolution de 16x16 pixels, et une résolution dite fine, de 4x4 pixels, sur une même image ; et
- la figure 9, une superposition des segmentations large et fine précédemment obtenues.

L'invention est d'abord décrite comme un algorithme de la segmentation de larges régions. La segmentation fine est un mode plus particulier pouvant être réalisé par le même algorithme. Un algorithme utilisant deux résolutions, et combinant les deux segmentations obtenues, est décrit plus loin.

Selon un premier exemple de réalisation, L'image est d'abord découpée en une grille de blocs dits initiaux, de taille adaptée, égale à 0,25% de la surface de l'image courante, c'est-à-dirn:
- suffisamment petits pour que les objets de taille supérieure à un seuil (1% dans l'exemple de réalisation), en dessous duquel ils sont considérés comme des détails, soient segmentés, et
- suffisamment larges pour limiter les temps de calcul, qui augmentent de manière surlinéaire avec la taille des blocs initiaux.

A partir de ce découpage, un histogramme des couleurs de chaque bloc initial est calculé dans l'espace RVB (Rouge Vert Bleu). Ce calcul consiste à comptabiliser le nombre de pixels ayant chacune des couleurs (des 256 couleurs dans l'exemple de réalisation) apparaissant dans l'image, chaque couleur étant la valeur prise par l'une des coordonnées de l'espace RVB.

Dans la première phase de fusion, chaque région est évaluée par un calcul de distance entre son histogramme et ceux des régions adjacentes. Les calculs des distances sont réalisés selon la norme d'ordre 1 (L1), égale à la somme des valeurs absolues des différences au 1er degré des valeurs des histogrammes prises deux par deux, les normes d'ordre n, (Ln), étant celles de Minkowski (égales à la puissance 1/n de la somme des valeurs absolues des mêmes différences à la puissance n).

La région courante est fusionnée avec celle dont l'histogramme est le plus proche du sien, mais uniquement si la distance qui sépare leurs histogrammes est inférieure à un seuil élevé qui, dans cet exemple de réalisation, est fixé à 50% de la distance maximale possible de cet exemple de réalisation. Plus le seuil est élevé, plus le niveau de similarité des régions fusionnées est élevé. La fusion est réitérée jusqu'à ce que toutes les distances soient supérieures à ce seuil.

A la fin de cette première phase, les régions restantes sont soit des petites régions, c'est-à-dire correspondant à des détails (taille inférieure à 1%), soit des régions plus larges et homogènes, du fait du seuil de fusion élevé (50% dans l'exemple de réalisation). Ces larges régions peuvent éventuellement être très texturées, c'est-à-dire avec une granularité de texture de l'ordre de la taille des blocs initiaux.

La première phase est suivie d'une deuxième phase de fusion des seules petites régions, de taille inférieure à 1%. Ces "détails" sont fusionnés automatiquement avec leur plus proche voisine par suppression du seuil de fusion de 50 % utilisé lors de la première phase, de sorte que tous les détails sont intégrés à leur région englobante ou à leur plus proche voisine.

A ce point de l'algorithme, un graphe de régions larges et homogènes est obtenu, correspondant à de larges parties d'objets situés dans l'image, et contenant éventuellement les détails intégrés lors de la deuxième phase. La figure 1 montre le résultat de la segmentation à la fin de la deuxième phase. Le tumulus représenté T a été fusionné malgré la granularité importante de la texture de cette région grâce à l'utilisation d'une taille de blocs initiaux (1 %) de l'ordre de grandeur du grain de la texture.

L'entrée E du tumulus étant plus petite que le seuil de 1%, elle a été segmentée lors de la première phase, puis a été fusionnée lors de la deuxième phase puisque, évaluée comme détail, elle ne pouvait pas être considérée comme un objet sémantique significatif par le présent algorithme.

Ainsi, en partant de blocs initiaux de taille suffisamment importante, des comparaisons de distribution de couleurs et non des comparaisons de couleurs sont réalisées, ce qui rend l'algorithme insensible aux textures de granularité de l'ordre de celle des blocs initiaux.

En revanche, le ciel C qui est composé d'un dégradé progressif de plus de 50 variations de bleus est dit sur-segmenté car, étant a priori un objet sémantiquement unique, on devait s'attendre à une segmentation unique pour ne former qu'une seule région.

Des objets, comme le ciel de cette figure 1, peuvent être sursegmentés, les régions qui les composent restant perceptuellement similaires. La troisième phase permet de dépasser ce stade.

La sur-segmentation du ciel C illustre les limites de l'utilisation des histogrammes de couleurs : ils sont sensibles aux effets optiques tels que l'illumination, les variations d'éclairage ou les dégradés, comme décrit dans l'article de M. Stricker and M. Orengo, "Similarity of Color Images", Proc.

SPIE'95, Storage & Retrieval for Image and Video Databases lil, 1995). De plus, comme les régions sont homogènes, leurs histogrammes correspondants sont "creux" (c'est-à-dire présentent une proportion importante de valeurs proches ou égales à 0) et ne peuvent donc être efficacement comparés à l'aide des mesures de distances telles que L1 ou
L2.

Une autre représentation des régions est donc réalisée dans une troisième phase, afin de permettre non seulement de comparer les distributions de couleurs, mais aussi les couleurs dans I'EdC (Espace des
Couleurs).

Une représentation des régions d'une image dans l'espace RVB (Rouge, Vert, Bleu) est illustrée aux figures 2a et 2b.

Sur la figure 2a, chaque région est représentée par la moyenne statistique des valeurs de son histogramme formant sa couleur moyenne, correspondant au centroïde C de chaque nuage de points N1 à N6, correspondant aux distributions de couleurs des régions, et par un intervalle polynomial, P, qui donne une estimation des variations de couleurs au sein de la région.

Les distributions des couleurs qui présentent une forte corrélation ont une forme curviligne, ce qui justifie l'estimation de ces région par un ajustement polynomial, avec un intervalle de domaine de définition du polynôme. La figure 2b représente les nuages de points correspondants à la distribution des couleurs apparaissant dans l'image composée de 3 régions sémantiques principales RI à R3, ainsi qu'une courbe C1 (en pointillés) correspondant à l'estimation polynomiale de la région RI.

A la fin de la deuxième phase1 les nuages des régions obtenus sont des sous-ensembles, ou sous-régions, des régions finales RI à R3.

Dans le cas présent, 6 sous-régions NI à N6 ont été extraites. Un ajustement polynomial est calculé pour les régions finales, ainsi qu'un intervalle sur leur domaine de définition. Dans le cas idéal, le polynôme P d'une région finale et ceux Pi des sous-régions (obtenues en fin de deuxième phase) qui la composent, sont les mêmes. Et l'intervalle de P est l'intersection des intervalles des Pi.

La troisième phase de l'algorithme fusionne les régions dont les ajustement polynomiaux sont similaires, et ayant des intervalles sur le domaine de définition similaires, consécutifs, ou se chevauchant.

En pratique, pour limiter le nombre de calculs à réaliser, une droite est approximée en utilisant la méthode classique de régression linéaire.

Dans le présent exemple de réalisation de l'algorithme, les nuages de points des régions obtenues (Figure 2b) à la fin de la deuxième phase sont alors représenté par un segment de droite obtenu par un ajustement linéaire et par le centroïde du nuage N1 à N6 correspondant, qui n'est pas nécessairement le centre du segment.

Chacune des régions est représentée par sa couleur moyenne et par un segment SI à S6 de droite porté par la droite de régression linéaire du nuage de points correspondant (figure 2b).

La minimisation de la somme des carrés des distances euclidiennes des points à la droite de régression est résolu en exprimant l'ensemble des distances à la droite inconnue par un système linéaire dit de type X , comme décrit dans l'ouvrage de B. Fleury, "A First Course in Multivariate Statistics", Springer Texts in Statistics, Berlin, 1997. La droite recherchée est portée par le vecteur propre associé à la plus grande valeur propre de la matrice de covariance correspondant à la matrice normalisée associé au système X.

Pour chaque région, tel qu'illustré sur la figure 3, le nuage de points de coordonnées (r,v,b) de l'espace RVB est projeté en N(r,b) sur le plan (RB) ainsi qu'en N(r,v) sur le plan (RV). Dans ces plans, nous calculons respectivement les droites de régression linéaire de b en r, notée DI sur la figure, et de g en r, notée D2. Les deux droites obtenues sont les projections sur les deux plans (RB) et (RV) de la droite cherchée, notée
D3.

Les extrémités El et E2 du segment de droite représentatif S sont les projections sur la droite de régression D3 des points extrêmes du nuage de points N. Dans ces conditions, le segment ne va pas au-delà de la projection des points les plus extrêmes du nuage de points.

Pour éviter que la longueur du segment ne soit influencée par la présence de couleurs provenant par exemple de détails, la distance euclidienne de ces extrémités au centroïde du nuage est de préférence limitée à un seuil dans l'espace RVB, seuil égal à 1,5 fois l'écart type de la distribution des couleurs dans l'exemple de réalisation.

Une telle estimation des distributions des couleurs des régions dans l'EdC par un ajustement linéaire a été testée en mesurant les coefficients de régression linéaire obtenus lors des ajustements, ainsi que la longueur des segments obtenus et la distance euclidienne moyenne des points à leurs droites respectives. Ces mesures sont réalisées sur une collection de 4000 images caractéristiques (keyframes en terminologie anglaise) extraites de 4 films, et une collection d'environ 1000 images fixes obtenues sur les sites du réseau internet.

Les coefficients de régression moyens obtenus sont égaux à 0,87 pour les keyframes et à 0,84 pour les images fixes.

La distribution des distances euclidiennes des points à leurs droites respectives est représentée sur la figure 4. Pour les keyframes K, respectivement les images fixes F, la distance moyenne est de 3,17, respectivement 4,88, pour une longueur moyenne de segment de 74,63, respectivement 90,5.

Ces résultats montrent une forte corrélation linéaire entre les couleurs présentes dans les régions,
La fusion des régions lors de la troisième phase de l'algorithme est réalisée en comparant non plus les histogrammes de couleurs, mais les segments représentatifs obtenus à la deuxième étape.

La comparaison des segments est réalisée dans l'espace Teinte Saturation-Intensité HSI (initiales de Hue-Saturation-lntensity en terminologie anglaise). Cet espace est perceptuellement uniforme, car fournissant une représentation linéaire des variations de fréquence spectrale d'une couleur, alors que l'espace RVB, ne fournissant pas une telle représentation, n'est pas adapté à une telle comparaison.

Cette comparaison exploite le fait que les variations de Teinte et de
Saturation dans les régions sont faibles, alors que les variations d'intensité sont importantes. Les variations moyennes observées sur toutes les régions extraites de toutes les images des collections précédentes sont présentées dans le tableau 1. Les variations de teintes sont exprimées en degrés, les autres paramètres en distance euclidienne dans l'espace RVB.

<tb>

<SEP> Teinte <SEP> | <SEP> Saturation <SEP> Intensité
<tb> Keyframes <SEP> | <SEP> 15.17 <SEP> 9.56 <SEP> 41.76
<tb> Images <SEP> 20.97 <SEP> 18.35 <SEP> 48.48
<tb>
-- TABLEAU 1-
Pour limiter, lors de la troisième étape, la fusion de régions perceptuellement similaires, et donc appartenant potentiellement aux mêmes objets de la scène, seules les régions dont les différences de
Teinte et de Saturation entre les centroïdes sont inférieures à un seuil donné sont fusionnés.

Dans l'exemple de réalisation, la différence maximale de teinte est fixée à un seuil égal à 7,5 , et la différence maximale de saturation à un seuil de 15%. Comme représenté sur l'exemple de la figure 3, les régions voisines R1, R2 et R3, satisfaisant ces critères sont fusionnées. Ces segments représentatifs sont proches du meilleur ajustement polynomial, pouvant être obtenu dans le cas d'un ajustement d'ordre supérieur à un.

Lorsque la saturation moyenne est faible, par exemple inférieure à environ 7% de la Saturation maximale, la notion de teinte n'est plus représentative et les segments sont alors uniquement comparés sur la base de leur intensité moyenne et de leur variation en intensité.

Cette méthode de comparaison est une approximation d'une mesure de similarité entre ajustement polynomiaux, mais est néanmoins valide puisque le coefficient de corrélation linéaire au sein des nuages de points correspondant aux régions est élevé.

Dans le cas ou la saturation moyenne est faible la notion de teinte n'est plus représentative, les segments sont alors uniquement comparés sur la base de leur intensité moyenne et de leur variation en intensité.

Ce cas correspond aux couleurs "proches" des gris. La méthode de comparaison moyens (i.e. I'intensité moyenne) et les variations en intensité (i.e. les textures).

Les figures suivantes présentent la segmentation z en objets sémantiques sur trois images (5), (6), (7), respectivement à la fin de la deuxième phase du procédé (figures 5a, 6a et 7a) et à la fin de la troisième phase (respectivement figures 5b, 6b et 7b).

II apparaît que la fusion des régions similaires, obtenue lors de la troisième étape, fournit une segmentation réaliste des images (5), (6), (7).

Un autre mode de réalisation concerne la segmentation fine d'objets obtenus à l'aide du procédé de fusion précédent, visant à obtenir le contour fin de ces objets ainsi que leur structure interne. Le même algorithme est utilisé avec deux résolutions différentes, I'une dite fine et l'autre dite large. Cette résolution plus fine est obtenue uniquement en utilisant des blocs initiaux de taille plus petite, par exemple 4x4 pixels.

L'algorithme réalise alors la segmentation en découpant à l'échelle du pixel, ce qui la rend plus sensible aux contours et aux textures.

Contrairement aux méthodes de l'état de la technique évoquées plus haut, même lors de la segmentation fine, les zones dont la surface représente moins d'une valeur seuil, fixée à 1% dans l'exemple de réalisation, de la surface de l'image ne sont pas prises en compte. Cela permet en particulier d'extraire les petits objets qui n'auraient pas été détectés par la première segmentation du fait de la résolution plus importante. Les figures 8a et 8b présentent respectivement une segmentation dite large Z, obtenue avec une résolution de 16x16 pixels, et une résolution dite fine Zf de 4x4 pixels, sur une même image.

Puis une superposition permet d'obtenir une segmentation finale optimisée Zo, telle que représentée en figure 9 ; les deux segmentations sont obtenues à l'aide du même algorithme avec, comme paramètre d'entrée relatif à la résolution, 4 X 4 pixels et 16 X 16 pixels.

La superposition conserve les contours 10 des régions fines incluses dans les régions ayant une signification sémantique. Cependant, les régions fines peuvent ne pas être systématiquement incluses dans la région large correspondante, car pouvant résulter de détails obtenus grâce à la résolution plus fine, par exemple les barres Il sur le mur à l'arrière du personnage de la figure 9.

Pour plus de clarté, nous utilisons le terme de région pour désigner les larges régions sémantiquement significatives obtenues par une segmentation avec de larges blocs initiaux, et le terme de zones pour désigner les régions fines obtenues avec de petits blocs. Le résultat final (figure 9) est obtenu par la superposition des deux résultats intermédiaires.

Dans le cas idéal, chaque région serait composée exactement (au contour près) de l'ensemble des zones qu'elle contient spatialement.

Trois cas peuvent cependant se présenter:
Une zone est spatialement incluse dans une région et sa représentation est proche (au sens de la mesure de similarité utilisée lors de la troisième phase de l'algorithme de base) de celle de cette région.

Dans ce cas, on considère que la zone fait partie de la région.

Du fait de la résolution plus précise de la segmentation fine, une zone peut correspondre à un détail de l'image n'ayant pas été extrait par la segmentation grossière (ex: les barres Il sur le mur à l'arrière du personnage de la figure 9). Dans ce cas la distance entre les représentations de la zone et de la région est élevée, et on considère que la zone ne fait pas partie de la région, mais forme une région par ellemême. Ces zones peuvent éventuellement être utilisées pour l'étude de la structure spatiale des régions.

Une zone n'est pas majoritairement incluse dans une région (en pratique, un seuil dépendant de la taille de la zone est fixé) mais s'étend sur plusieurs régions (ex: le col 12 de la chemise du personnage de la
figure 9). Dans ce cas, la zone fait partie de la région la plus similaire, ou
est considérée comme région à part entière si aucune des régions
avoisinantes n'est assez similaire.

Des exemples d'application du procédé selon l'invention sont décrits ci-après.

ExemDle 1 : Caractérisation des objets: classification.

L'ensemble des caractéristiques des objets segmentés est conservé en vue d'une analyse du document et/ou d'une indexation des images pour permettre la recherche de plans sur leur contenu en terme d'objets sémantiques et d'actions de ces objets. L'ensemble des caractéristiques de chaque région (couleur, texture, taille, position, indice de forme, mouvement,...) est très compact. Dans le cas d'un ajustement linéaire, un résumé des caractéristiques précédentes peut être stockés dans moins de 20 octets (La position de la couleur moyenne et du segment représentatif en nécessitant 9). Des représentations plus complètes peuvent nécessiter quelques dizaines d'octets par objet.

Une image peut être représentée sous une forme résumée par une liste de descripteurs des principaux objets qu'elle contient, chaque descripteur incluant notamment la position et le mouvement de l'objet. Les critères de choix des principaux objets peuvent être par exemple la taille, la différence de couleur avec les objets voisins, le mouvement, ou des connaissances sémantiques du type "l'objet X est important". Sur la base d'une représentation de 4 objets dans une image, par exemple, la représentation de l'image peut être aussi compacte que 80 octets. Pour caractériser un objet, il est utile de connaître non seulement le descripteur de cet objet, mais également les descripteurs des objets voisins, puisqu'un objets peut aussi être caractérisé par son contexte (ex : un avion dans le ciel.).

La sémantique de certains des objets segmentés par la méthode proposée peut être aisément extraite à l'aide de leurs caractéristiques visuelles dans un certain nombre de cas simples (ex: détection de ciels de jours, d'éclairages, de peau, ...). Cependant, I'association d'une sémantique aux objets peut également s'appuyer sur l'apport de connaissances externes. Par exemple : "un ciel est un objet bleu ou gris peu texturé, en général en haut d'une image".

Le problème de la caractérisation d'un objet sémantique est un problème connu de classification ou de groupement (clustering) de points dans un espace multi-dimensionnel. Cette classification peut s'effectuer avec ou sans apprentissage, en mode supervisé ou non. Dans le procédé du présent brevet, cette classification s'appuie sur une représentation compacte de l'objet et le cas échéant des objets environnants, dans un espace multi-dimensionnel.

Les méthodes connues de classification qui peuvent être utilisées sont les méthodes classiques d'analyse des données, les méthodes neuronales et les méthodes par algorithmes génétiques.

Dans certaines méthodes d'analyse des données, les nuages de points voisins sont caractérisés comme des clusters et projetés dans un espace de représentation plus petit adéquat. La caractérisation des objets du cluster peut alors se faire à partir de la description par l'utilisateur d'un ou plusieurs objets du cluster. Le système d'indexation généralise la caractérisation d'un ou plusieurs objets décrits par des points du cluster, à des objets décrits par d'autres points de ce cluster.

Dans l'approche neuronale, le système apprend un classifieur , qui permet de diviser l'espace de représentation en clusters, à partir d'un ensemble d'exemples. Les exemples peuvent être fournis par un des utilisateurs du système pendant l'apprentissage ou en cours d'utilisation.

Dans l'approche génétique, il existe un ensemble de classifieurs initiaux, caractérisés chacun par une fonction de similarité prise dans un ensemble de fonctions possibles, et par des seuils. Ces classifieurs sont représentés par une signature qui est une chaîne de bits. Les classifieurs initiaux peuvent être tirés au hasard ou fournis par des utilisateurs.

L'utilisateur ou le système détermine quels classifieurs ont donné une réponse appropriée. Les classifieurs qui ont participé aux bonnes réponses sont hybridés par recombinaison de la signature de deux de ces classifieurs. Des modifications aléatoires des signatures ou "mutations", peuvent également être appliquées lors de la création de nouveaux classifieurs. Pour certaines classes d'applications, ce processus converge vers une population de classifieurs proche de l'optimum.

La quatrième méthode de classification envisageable à partir de la segmentation de l'image en objets sémantiques, est la recherche d'objets visuels similaires à un ensemble d'exemples donnés, à partir d'une similarité des caractéristiques de couleurs, de formes, etc. La requête initiale obtient une fonction globale de similarité, en calculant une somme de fonctions de similarité appliquées indépendamment à différents critères, chacune étant pondérée par une valeur appelée poids. Cette requête initiale peut être enrichie de façon connue en permettant à l'utilisateur de spécifier quels sont les réponses satisfaisantes ou non. Une technique générique d'enrichissement d'une requête vectorielle à partir de ces réponses est connue. Dans certaines variantes de cette technique, elle peut s'appuyer sur l'estimation des modifications souhaitables des poids des différentes fonctions de similarité, par des méthodes dérivées des probabilités bayésiennes. La recherche vectorielle par similarité est proposée par plusieurs projet d'indexation de la vidéo, mais ces projets ne s'appuient pas sur une segmentation spatiale des objet sémantiques et une mesure de similarité selon notre procédé.

Selon la présente approche, I'application de ces méthodes est facilitée par la taille réduite du descripteur, et par la possibilité pour l'utilisateur d'indiquer des exemples et des contre-exemples, et le cas échéant d'indiquer si la réponse est satisfaisante ou non.

Un script décrivant le contenu de chaque plan d'une vidéo est aligné sur les limites de plans de la vidéo par des méthodes connues. Ce script décrit chaque objet d'un plan et ses actions. En corrélant la présence d'un objet dans le script et dans la vidéo, il est possible de déterminer avec une certaine probabilité quel objet de la vidéo correspond à un objet du script et quelles sont ses actions. A partir de cette information, on dispose d'exemples de ce type d'objet, qui permettent de construire automatiquement un classifieur pour cet objet.

Une autre utilisation de ces méthodes dans notre procédé est d'utiliser la segmentation pour annoter les objets par des caractéristiques objectives ou subjectives. Pour reconnaître la présence d'une de ces caractéristiques dans un objet ou une partie d'une vidéo, il est possible de choisir de façon automatique comme exemples les objets visuels qui sont annotés par cette caractéristique, et de procéder ensuite à l'apprentissage d'un des classifieurs précédents.

Dans le cas particulier ou l'objet correspond à un personnage, la reconnaissance du locuteur par des méthodes connues d'analyse audio permet de choisir comme exemple plusieurs instances d'un même objet, et de procéder ensuite à l'apprentissage des caractéristiques de cet objets selon l'une des méthodes mentionnées précédemment.

Dans tous les cas, la segmentation et la classification des objets d'une scène et de leur mouvement permet de générer un script de la scène qui décrit les objets, les actions, et l'ambiance de la scène.

Exemple 2 : Segmentation temporelle d'obiets en séquences
De façon connue, une vidéo est le plus souvent structurée en plans, séparés par des coupures (cuts en anglais) ou par des effets spéciaux (fondus, volets). Un plan est une suite continue d'images effectué en une seule prise par une seule caméra. La segmentation d'une vidéo en plans est utile notamment pour naviguer dans la vidéo à partir d'un interface appelé "story-board", qui représente chaque plan par une image caractéristique.

Cependant, plusieurs plans peuvent avoir un contenu sémantique voisin, et d'autre part le nombre de plans dans une vidéo est souvent très élevé, ce qui est défavorable à une navigation efficace dans la vidéo à partir du story board.

Plusieurs auteurs ont proposé de représenter la vidéo en vue d'une description de son contenu et de la navigation dans ce contenu, comme une suite de séquences. Selon cette approche, une séquence est une suite de plans décrivant un même environnement et les mêmes personnages. La séquence est une unité sémantique appropriée pour la description de contenu et la navigation dans la vidéo.

Des méthodes pour la segmentation automatique d'une vidéo en séquences ont déjà été proposées. Par exemple, un changement dans l'évolution de la durée des plans peut caractériser un changement de séquences.

Une autre méthode de segmentation en séquences est basée sur la détection d'objets caractéristiques. Par exemple, un changement de séquence est souvent lié à un changement d'environnement, par exemple entre intérieur / extérieur / jour I nuit. La détection d'un objet de type ciel de jour ou ciel de nuit ou éclairage permet éventuellement de caractériser un plan comme tourné en extérieur jour ou extérieur nuit.

Dans le procédé selon la présente invention, la segmentation en objets sémantiques puis la caractérisation d'un certain nombre d'objets par les méthodes du paragraphe précédent permet de détecter des limites de séquences.

Deux autres types d'intervalles temporels sont les groupes de plans (prises de vue, groupements) et les sujets. Les groupes de plans ont les mêmes propriétés que les séquences, mais ne sont pas formés nécessairement de plans contigus. Les sujets sont une suite de séquences portant sur un même thème. La détection de sujets est particulièrement intéressante pour caractériser des intervalles temporels dans des vidéos documentaires ou d'actualités.

La segmentation en sujets selon la présente application s'appuie sur la segmentation en séquences selon l'approche décrite précédemment.

La détection d'une limite de sujet se fait à partir d'une ou plusieurs des méthodes suivantes:
Une méthode syntaxique connue
. La présence d'un objet sémantique appartenant à une classe d'objets caractérisant un certain sujet
L'extraction du texte des dialogues et des commentaires par des méthodes connues de dictée vocale, les mots de ces textes étant ensuite classés par concepts à l'aide d'une méthode telle que celle publiée auparavant par Dumais et Foltz (Comm. Ace ).

Une fois la vidéo segmentée en sujets, la caractérisation du sujet par un ou plusieurs descripteurs s'appuie sur les mêmes méthodes.

Exemple 3 : Segmentation d'obiets sémantiques composites
Les objets sémantiques composites sont composés d'une ou plusieurs régions sémantiques segmentées par la méthode décrite cidessus. Dans la figure 8, le personnage est un objet sémantique composite composé du casque, du visage, de la veste, du col de chemise, .. Il est intéressant de pouvoir le retrouver par une région quelconque, par exemple par le casque, ou de visualiser et d'annoter le personnage complet et pas seulement le visage.

La segmentation de tels objets ne peut en général être réalisée uniquement à partir d'une image fixe.

II est dans certain cas possible, par exemple lorsqu'une focale longue a été utilisée pour la prise de vue, de séparer les objets de l'avant plan qui sont nets, des objets de l'arrière plan qui sont susceptible d'être flous. Ce type de segmentation n'est cependant pas utilisable systématiquement, et est susceptible de conduire à des soussegmentations importantes (exemple : I'arrière plan segmenté comme un seul objet).

La segmentation des objets en mouvements peut aussi être utilisée pour la segmentation des objets composites dans les vidéos. Les méthodes de segmentation basées sur le mouvement et de suivi d'objets ont récemment fait l'objet de nombreuses publications ( voir Proceedings of the Workshop on Image Analysis for multimedia Interactiv Services
WIAMIS'97, Louvain-la-Neuve, Belgique, juin 1997). Une limitation des méthodes basées principalement sur le mouvement, par rapport à notre approche basée sur les objets sémantiques, est que la méthode basée sur le mouvement n'est pas toujours applicable (objets statiques) et qu'elle ne fournit pas d'informations de structure.

Selon la présente approche, il est possible d'utiliser une représentation sur plusieurs dimensions du mouvement et de la couleur (par exemple : deux dimensions pour le mouvement, une pour le nombre de blocs pour chaque valeur des deux dimensions précédentes).

Cependant dans une autre mise en oeuvre utile de notre procédé, la segmentation est faite uniquement sur la couleur, la distribution du mouvement est calculée sur chaque objet ou partie d'objet. Cette distribution (par exemple la moyenne et l'écart type des vecteurs de mouvement) est utilisée pour définir des objets composites à partir d'un même mouvement des différentes parties.

Les différences entre les caractéristiques de mouvement dans différentes parties d'un objet sémantique peuvent aussi être utilisées pour décrire un mouvement complexe ou une action de cet objet. Par exemple, le mouvement d'un bras dans un personnage n'est pas forcément le mouvement moyen de l'objet.

Après compensation des mouvements de caméra (travellings, zooms, ...) les informations de mouvements peuvent être utilisées de 2 façons:
la segmentation des objets en mouvement retourne une segmentation en région qui est nécessairement un sur-ensemble de la segmentation obtenue sur les images fixes par notre algorithme. Les régions appartenant à un même objet en mouvement sont regroupées pour former un objet composite;
les régions obtenues par la méthode de segmentation présentée ci-dessus et présentant les mêmes caractéristiques de mouvement (vitesse, trajectoire) sur des images consécutives sont regroupées pour former un objet composite.

Si l'analyse du mouvement est importante pour l'amélioration de la segmentation en objets composites, elle n'est pas suffisante dans certains cas, notamment dans la cas de plans ou scènes relativement statiques.

Une troisième méthode basée sur la cooccurrence des régions dans les images est proposée : si la combinaison de régions, par exemple casque-visage-veste, apparaît régulièrement dans des suites de plans, alors ces régions peuvent être associées avec une probabilité importante de cooccurrence. Les objets étant représentés dans un espace des caractéristiques citées précédemment, la probabilité de cooccurrence des objets sémantiques segmentés peut être calculée, par exemple par les méthodes statistiques connues utilisées pour l'indexation de documents textuels.

Enfin, les objets voisins peuvent être regroupés en objets composites à l'aide de leur valeur sémantique.

Exemple 4: Suivi d'un obiet à travers une ou plusieurs scènes
Les méthodes précédentes permettent de retrouver un même objet sémantique à travers plusieurs images successives d'une scène d'une vidéo, ou même à travers plusieurs scènes situées dans différents passages de cette vidéo. Cette caractérisation se fait à partir des méthodes de similarité entre objets ou régions visuelles décrites précédemment, et compte tenu des déplacements de l'objet : un objet semblable situé à la même place dans l'image suivante a plus de chance d'être le même objet que s'il est dans une partie opposée de l'image.

Le suivi d'objet (ou traçage d'objets) dans une vidéo est un problème connu, qui fait l'objet de plusieurs travaux d'autres auteurs. Dans notre approche, le fait de disposer d'objets sémantiques simples ou composites limite le nombre d'objets à suivre, d'autre part nous utilisons une méthode spécifique de recherche de similarité entre plusieurs occurrences d'un objet, comme nous l'avons décrit précédemment.

Dans certains cas, le suivi d'objets permet de détecter des actions.

Par exemple le fait que deux objets se déplacent ensemble puis sont séparés, traduit fréquemment le fait qu'un des objets a déposé l'autre au cours de l'intervalle. Le fait qu'il s'agit d'objets sémantiques accroît la qualité de cette détection d'actions.

Exemple 5 : Sélection d'obiets en vue du stockage sur le système d'un utilisateur
Lors de l'accès intelligent à une base d'images, ou une grande base de vidéos, ou un ensemble de programmes audiovisuels diffusés, il est utile de pouvoir stocker une partie de cette base ou de ces programmes intéressante pour un utilisateur, sur un système de stockage, par exemple au site de production du programme ou chez l'utilisateur.

Dans le présent procédé, les parties de la vidéo stockées sur ce système de stockage sont des intervalles temporels ou des ensembles d'images caractérisés par la présence de descripteurs de séquences ou de sujets vérifiant une requête de l'utilisateur ou du système, ou par la présence d'objets visuels ou sonores vérifiant une telle requête.

Ces parties sont stockées dans un certain ordre, qui dépend soit de la pertinence des objets trouvés, soit de règles de transition entre objets définies par le système ou par l'utilisateur, soit un ordre aléatoire. Les règles de transition peuvent être extraites à partir des associations usuelles faites par un utilisateur, ou des transitions faites usuellement par celui-ci.

La requête utilisée a pour but de retrouver un objet (ou une séquence ou un sujet) dans laquelle on retrouve avec un degré de pertinence et de réalisation plus ou moins élevé un ensemble de caractéristiques de contenu présents dans la requête ou dans un jeu d'exemples associé à la requête. Les objets ou les segments temporels recherchés peuvent être ceux pour lesquels soit l'utilisateur a manifesté un intérêt, par exemple par la consultation d'objets semblables lors de sessions antérieures, soit un utilisateur semblable a manifesté un intérêt.

Deux utilisateurs sont semblables par rapport à cette application, s'ils manifestent un intérêt pour un même ensemble de documents ou d'objets audiovisuels. Dans ces deux cas, les requêtes qui serviront à sélectionner les objets ou les segments temporels peuvent être produites automatiquement par le système.

Exemple 6 : Utilisation pour un système de compression et de composition d'obiets vidéo
Dans un système de compression de vidéos basé sur une représentation par objets, il est utile de pouvoir décrire une image comme un ensemble d'objets. Un objet qui intéresse davantage un utilisateur peut être transmis avec un taux de compression plus faible qu'un autre objet (tel que l'arrière plan). D'autre part, une scène vidéo peut être éditée de façon à juxtaposer plusieurs objets provenant de scènes différentes, ou à supprimer certains objets.

Pour réaliser ces objectifs, la disposition d'une segmentation en objets sémantiques est utile. Dans notre approche, les méthodes de segmentation utilisées permettent d'accéder à une structure arborescente des objets, depuis l'intervalle temporel ou l'image, puis des objets composites, jusqu'à la structure interne de ces objets, comme nous l'avons décrit précédemment.

Cette approche permet d'appliquer les méthodes d'un système de représentation de vidéo par objets, d'une façon efficace, et avec une granularité qui varie de l'objet composite à la structure fine.

L'invention n'est pas limitée aux exemples décrits et représentés.

D'autres utilisations et applications sont ci-après définies
- utilisation selon laquelle une région à signification sémantique est également caractérisée par des régions plus petites contenues dans la première;
- pour étiqueter les objets dans une image par une description du type et du contenu de ces objets;
- pour détecter les objets communs dans plusieurs plans d'une vidéo, en vue de grouper ces plans en groupes de plans à signification sémantique;
- pour détecter les suites de plans réalisés dans un même contexte, appelés scènes ou séquences, et les groupes de plans réalisés dans un même contexte, appelés groupes de plans ou clusters;
- I'utilisation conjointe avec la dictée vocale pour caractériser le contenu des plans et des scènes d'une vidéo;
application à des images fixes et animées, conjointement avec des annotations effectuées par l'utilisateur, pour caractériser les objets de la vidéo par des caractéristiques objectives et subjectives;
- application à une base d'images, pour caractériser un objet composite pour l'association fréquente de plusieurs composantes de l'objet dans la même image;
- I'utilisation pour décrire un objet audiovisuel comportant des images, dans un format de représentation décrivant notamment la position des objets sémantiques contenus dans l'objet audiovisuel, ces objets sémantiques étant caractérisés par un ensemble de caractéristiques sémantiques;
- I'utilisation pour décrire un objet audiovisuel comportant des images, dans un format de représentation décrivant notamment les actions des objets sémantiques contenus dans l'objet audiovisuel
- I'utilisation pour sélectionner les objets d'un flot d'objets audiovisuels, devant être stockés dans le système de stockage d'un utilisateur de ce flot audiovisuel en vue de l'accès ultérieur à ces objets;
- I'utilisation des procédés selon l'invention, dans lesquels le degré de vraisemblance ou de réalisation de la caractéristique est respectivement caractérisée ou représentée par un nombre.

- I'utilisation pour la compression et la transmission d'images fixes et animées avec un degré de compression variable selon l'interaction actuelle ou antérieure de l'utilisateur avec un objet sémantique donné
- I'utilisation pour la représentation d'images fixes et animées comme un ensemble d'objets sémantiques dans une scène dont la composition peut être modifiée par l'utilisateur.

Claims (20)

REVENDICATIONS

1. Procédé de segmentation spatiale d'une image en objets visuels, caractérisé en ce que, pour obtenir des objets ayant une signification sémantique, il comporte les étapes suivantes:

- dans une première phase, une partition de l'image en régions initiales selon un pavage prédéterminé et une fusion des régions voisines dont la similarité, selon une fonction de similarité connue, est inférieure à un premier seuil;

- dans une deuxième phase, une fusion des régions de taille inférieure à un deuxième seuil avec la région voisine la plus similaire ; et

- dans une troisième phase, une représentation de chacune des régions obtenues par un nuage de points dans un espace de représentation formé d'au moins deux dimensions de base caractérisant un signal électromagnétique provenant de cette région et d'une dimension caractérisant les pixels correspondant aux valeurs considérées dans les autres dimensions, avec

- un ajustement polynomial d'une courbe avec les points représentant chaque pixel de la région dans l'espace de représentation du signal électromagnétique,

- une représentation de chaque ajustement polynomial par une suite de valeurs,

- I'application d'une fonction de similarité entre les deux suites de valeurs ainsi définies, et

- la fusion des régions voisines dont la proximité entre les ajustements polynomiaux est inférieure à un troisième seuil.

2. Procédé selon la revendication 1, dans lequel l'espace de représentation du signal électromagnétique est un espace à trois dimensions de base pour caractériser le signal électromagnétique, chacune de ces trois dimensions représentent une couleur.

3. Procédé selon la revendication 1, dans lequel les nuages de points décrivant une région sont représentés dans un espace dont trois dimensions de base sont la teinte, la saturation et l'intensité, et la dimension caractérisant les pixels est la fréquence du signal électromagnétique de chaque pixel dans l'image des pixels caractérisé par les trois autres dimensions de base.

4. Procédé selon la revendication 1, dans lequel le signal électromagnétique apparaissant dans au moins deux images est transformé pour en extraire au moins deux composantes de mouvement entre les deux images pour le représenter, telles que valeur scalaire et orientation, et où les autres étapes du procédé s'appliquent à cette représentation.

5. Procédé selon la revendication 1, dans lequel les régions sont représentées par un ajustement polynomial et par le segment de la courbe décrite par cet ajustement.

6. Procédé selon l'une quelconque des revendications précédentes, dans lequel la fonction de similarité entre deux régions dépend de la position des centroides des deux régions et des extrémités des deux segments de courbe représentant ces deux régions.

7. Procédé de segmentation spatiale d'une image en objets visuels, caractérisé en ce que deux segmentations sont réalisées selon la revendication 1 avec au moins deux tailles de régions initiales correspondant à des résolutions plus ou moins fines, et en ce qu'une superposition des deux segmentations forment un contour des régions correspondant à l'une des résolutions les plus fines, et une valeur sémantique correspondant à l'une des résolutions les moins fines.

8. Procédé de segmentation spatiale d'une image en objets selon l'une des revendications 1 ou 2, dans lequel la méthode d'ajustement est une régression linéaire.

9. Procédé de segmentation spatiale d'une image en objets selon l'une des revendications précédentes, dans lequel la fonction de similarité est la distance entre les centroïdes des nuages de points.

10. Procédé de segmentation selon la revendication 6, dans lequel le calcul de similarité entre régions est réalisé:

- selon l'une des revendications précédentes si la saturation, considérée comme critère de superposition, est supérieure à un quatrième seuil prédéterminé;

- dans l'espace saturation-intensité-fréquence, si la saturation est inférieure ou égale à ce seuil.

11. Procédé de segmentation selon la revendication 10, dans lequel les seuils prédéterminés sont choisis pour maintenir le nombre de régions dans un intervalle dans lequel la sur-segmentation et la soussegmentation n'apparaissent pas.

12. Procédé de segmentation selon l'une des revendications 10 ou 11, dans lequel les seuils prédéterminés sont choisis pour maintenir la distribution des tailles des régions dans un intervalle défini pour éviter la sur et la sous-segmentation.

13. Procédé de segmentation spatiale selon l'une quelconque des revendications précédentes, dans lequel les paramètres de seuil, de degré de polynôme et de fonction de similarité sont choisis de façon adaptative par une méthode d'apprentissage prédéterminée, en fonction de seuils de sur- et de sous-segmentation à éviter, et d'un calcul d'évaluation prédéterminé de celles-ci.

14. Utilisation du procédé selon l'une quelconque des revendications précédentes, pour caractériser l'image par un ensemble d'objets décrits par plusieurs caractéristiques, I'une au moins de ces caractéristiques étant représentée par un nombre ou par une valeur dans un ensemble énuméré.

15. Utilisation du procédé selon l'une quelconque des revendications 1 à 13, pour classer les objets visuels de plusieurs images segmentées à l'aide de partition de l'espace de représentation des objets par une méthode de classification avec apprentissage choisie parmi une méthode de type neuronale; une méthode de type génétique et une méthode d'analyse des données.

16. Utilisation conjointe du procédé selon l'une quelconque des revendications 1 à 13 et d'une mesure de distance entre les courbes d'ajustement dans un espace de représentation de ces courbes, pour détecter la présence d'un même objet dans plusieurs images consécutives ou non:

17. Utilisation conjointe du procédé selon l'une quelconque des revendications 8 à 13 avec des méthodes statistiques de caractérisation des concepts contenus dans un texte, pour caractériser le contenu d'une suite de scènes portant sur un même sujet.

18. Utilisation conjointe du procédé selon l'une quelconque des revendications 8 à 13 avec la reconnaissance d'un locuteur, pour caractériser le contenu des plans et des scènes d'une vidéo.

19. Utilisation conjointe du procédé selon l'une quelconque des revendications 8 à 13 avec un alignement automatique entre le script et la vidéo, pour caractériser le contenu des plans et des scènes d'un document vidéo.

20. Utilisation conjointe du procédé selon l'une quelconque des revendications 8 à 13 avec un alignement automatique entre le script et la vidéo, pour apprendre de façon automatique les caractéristiques des objets présents dans la vidéo et dans le script.