EP1053533A1 - Procede de segmentation spatiale d'une image en objets visuels et application - Google Patents

Procede de segmentation spatiale d'une image en objets visuels et application

Info

Publication number
EP1053533A1
EP1053533A1 EP99901651A EP99901651A EP1053533A1 EP 1053533 A1 EP1053533 A1 EP 1053533A1 EP 99901651 A EP99901651 A EP 99901651A EP 99901651 A EP99901651 A EP 99901651A EP 1053533 A1 EP1053533 A1 EP 1053533A1
Authority
EP
European Patent Office
Prior art keywords
regions
objects
segmentation
space
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP99901651A
Other languages
German (de)
English (en)
Inventor
Pascal Faudemay
Gwena[L Durand
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universite Pierre et Marie Curie Paris 6
Original Assignee
Universite Pierre et Marie Curie Paris 6
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universite Pierre et Marie Curie Paris 6 filed Critical Universite Pierre et Marie Curie Paris 6
Publication of EP1053533A1 publication Critical patent/EP1053533A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Definitions

  • the invention relates to the field of analysis of the information contained in color images, in particular from multimedia documents, and in particular videos. This analysis is intended more particularly, but not exclusively, to allow indexing of audiovisual documentation.
  • the problem consists in particular in making a temporal division of video sequences into scenes which constitute narrative units of these sequences, with a view to the storage and the selective visualization of certain scenes by the users.
  • Such a level of understanding is not directly accessible by known segmentation methods. Methods have been developed for segmenting grayscale images or for segmenting moving objects in the images of a video. But none of the color image segmentation algorithms provides sufficient results when the images to be analyzed are taken from "real life".
  • the main methods can be grouped into pixel type, edge type, and region type methods.
  • a region is defined as a connected component of a set of pixels specified by a membership function, possibly fuzzy, in a color class of the Color Space (abbreviated as EdC) .
  • EdC Color Space
  • These methods are mainly differentiated by the way they define the color classes and the membership functions of these classes.
  • the simplest of these methods is a rigid quantification of the EdC, as described in the articles by C. Carson, S. Belongie, et al. "Region Based Image Querying", Proc.
  • Another pixel type method is a histogram thresholding method, in which the peaks and valleys appearing in one or more histograms corresponding to the different dimensions of the EdC are sought. The detected valleys are then used as limits between the classes of colors (as described for example in the article by R Hayasaka, J Zhao and Y Matsushita, " Outstanding Object-Oriented Color Image Segmentation Using Fuzzy Logic" Proc SPIE'97 Multimedia Storage and Archiving Systems il, Vol 3229, 303-314, 1997
  • the clustering methods (clustering in English terminology) of the EdC are multidimensional extensions of the previous thresholding techniques and apply classification algorithms such as the algorithms for finding nearest neighbors, (see the article by R Fer ⁇ and E Vidal, " Color image Segmentation and labeling through multiediting and condensing", Pattern Récognition Letters, vol 13, No 8, pp 561-568 1992), the algorithm of mean K (K-mean in English terminology) or fuzzy mean C (Fuzzy c-mean in English terminology) (see the article by YW Lim, SU Lee, “ On The Color Image Segmentation Algo ⁇ thm Based on the Thresholding and the Fuzzy c-Means Techniques", Pattern Récognition, Volume 23, Number 9, pp 935-952, 1990) These algorithms make it possible to search for potential clusters of colors in the images Finally, certain methods seek the EdC allowing an optimal representation of the images using techniques such as analysis into main components or the Karhunen-Loève transform, such as that described in the article by SE Umbaugh e
  • the first drawback of these methods is that a robust search for peaks in the histograms or clusters in the EdC is not easy, in particular in the case of low-contrast images, and can be costly in computation time.
  • these methods implicitly consider that if two pixels, that is to say two homogeneous image points, whether the support is a video image or not, belong to the same region of the image, their respective colors belong to the same color class or are close in EdC. This only applies correctly in clip-art or cartoon images, but generally not in real complex images. When extracting regions, these methods must therefore analyze the immediate vicinity of the pixels to determine to which region each pixel should be attached.
  • contours are detected and used to determine the limits of the regions.
  • edge extraction methods are not segmentation techniques by themselves and must be combined with at least one of the other methods.
  • contours obtained in the case of poorly contrasted or highly textured images are difficult to use since they are generally not closed.
  • a region is defined as a set of connected pixels satisfying a given homogeneity criterion, for example an area which contains only one color present in 95% of the pixels of the region.
  • a given homogeneity criterion for example an area which contains only one color present in 95% of the pixels of the region.
  • the so-called region-growing techniques are region-type methods in which a certain number of initial zones, used as growth seeds, are first sought. The neighboring pixels and regions are iteratively included in these initial zones until a stopping criterion is satisfied, for example when the number of regions obtained is less than a threshold.
  • a known example of this category of method is the so-called "topographic basins" algorithm in which an image is considered as a topographic relief, where the altitude of each point can, for example, be proportional to its light intensity. The bottom of the most important basins is pierced, and the relief is immersed in water. The pools gradually fill up, delimiting the main regions. This method is very sensitive to noise and costly in computation time.
  • RSST Recursive Shortest Spanning Trees, in English, RSST for short.
  • RSST (see the article by O.J. Morris et al, in “graph theory for image analysis: an approach based on RSST”, IEEE proceedings, vol. 1333, 146-152, 1986) considers each pixel as an initial region. The regions with the closest average colors are merged recursively, favoring the merging of small regions. Most of the above methods operate at the pixel scale. This makes them particularly sensitive to local variations in intensity and therefore to textures.
  • This sensitivity is necessary for artificial vision or pattern recognition applications for which the extraction of exact contours is essential, but it is penalizing when looking for large semantically significant regions.
  • the invention aims to overcome these drawbacks by proposing a segmentation into regions of sizes such that the regions thus segmented still have a semantic meaning in the context of the image.
  • semantic or semantically significant object it is understood an object corresponding to the real world, for example a face, a sky, etc.
  • semantic objects can compose another semantic object (for example a hair, a face and a jacket constitute a person) hereinafter called composite semantic object.
  • the semantic objects composing a composite semantic object can also themselves be composite semantic objects (for example the face is composed, inter alia, of a nose, a mouth and eyes).
  • segmentation of images into objects with significant semantic value is a key step in the process of analyzing and understanding the content of multimedia documents, in particular video documents.
  • the invention makes it possible to segment the images into significant objects while neglecting the details.
  • the invention thus aims to obtain a robust segmentation in the presence of possibly very textured images, and insensitive to insignificant details which could lead to unnecessary over-segmentation of large homogeneous regions, for example a black cord on a white wall.
  • the segmentation method according to the invention which is similar to region type techniques, operates initially on the scale of the region, starting from initial blocks of reduced size while being considered as homogeneous, so as to allow segmentation of larger objects.
  • the invention therefore relates to a method of spatial segmentation of an image into visual objects, characterized in that, in order to obtain objects having a semantic meaning, it comprises the following steps: - in a first phase, a partition of the image in regions according to a predetermined tiling, a fusion of neighboring regions whose similarity, according to a first similarity function, is less than a first threshold, and obtaining enlarged regions,
  • the method according to the invention also comprises a third phase of fusion of the regions obtained at the end of the second phase and which are similar according to a third similarity function.
  • the similarity functions used are different in at least two of the phases.
  • the subject of the invention is a method of spatial segmentation of an image into visual objects which, in order to obtain objects having a semantic meaning, comprises the following steps:
  • a representation of each of the regions obtained by a cloud of points in a representation space formed of at least one basic dimension characterizing an electromagnetic signal originating from this region and of a dimension characterizing the pixels corresponding to the values considered in the other dimensions, with
  • the neighboring regions which can be merged in each of the phases can be initial regions, regions resulting from a fusion of initial regions, or enlarged regions resulting from previous mergers; the different types of regions thus defined can be merged with each other from the moment when the same similarity function is applied to them, and until all the similarities according to the applied function are greater than the chosen threshold.
  • a new similarity function is applied, the merging of the regions obtained in a previous phase by application of a lower threshold similarity function is then possible until no more merging is done. possible.
  • the process can thus be repeated by applying a new similarity function with a higher threshold than the previous one.
  • the regions Mergers always remain those that have not merged at the lower threshold of the previous function, including initial regions.
  • the similarity function between two regions can be defined by the position of the centroids of the two regions and of the ends of the two curve segments representing these two regions.
  • the electromagnetic signal appearing in at least two images can be transformed in order to extract from it at least two components of movement between the two images to represent it, such as scalar value and orientation, the other process steps applying to this representation.
  • the points of a cloud describing a region are distributed in a space of which three basic dimensions are three distinct linear or non-linear combinations of the three primary colors of the additive synthesis, and another dimension in this space being the number of pixels according to this distribution.
  • the points of a cloud describing a region are distributed in a space of which three basic dimensions are the hue, the saturation and the intensity of the color and another dimension in this space being the number pixels according to this distribution.
  • a second segmentation on a finer scale which may be that of the pixel, is carried out so as to obtain the precise contours of the limits of the objects, as well as their structure. internal, then a fusion of the two segmentations is carried out in order to obtain both semantically significant objects and precise contours for these objects.
  • the invention also relates to a method of fine segmentation of images into semantically significant objects, consisting of:
  • a superposition of the two preceding segmentations provides regions corresponding to the objects of the image of the first step with the precise contours of the second step, as well as an internal structure representative of these objects.
  • image is represented as a tree of objects, each higher level object being able to include one or more objects of lower level.
  • the last two steps can naturally be carried out at several consecutive resolutions so as to obtain a hierarchical description of the structure of composite semantic objects.
  • the similarity calculation between regions can be performed: 10
  • the predetermined thresholds can be chosen to maintain the number of regions in an interval in which the over-segmentation and the sub-segmentation do not appear and to maintain the distribution of the sizes of the regions in a defined interval to avoid over and under - segmentation.
  • the parameters of threshold, degree of polynomial and similarity function can be chosen adaptively by a predetermined learning method, according to thresholds of over- and sub-segmentation to be avoided, and of a calculation of predetermined evaluation of these.
  • the similarity function applied at the end of any of the steps of the method includes the threshold parameter beyond which the fusion is not carried out.
  • the invention is first described as an algorithm for segmenting large regions. Fine segmentation is a more particular mode that can be achieved by the same algorithm. An algorithm using two resolutions, and combining the two segmentations obtained, is described below.
  • the image is first cut into a grid of so-called initial blocks, of suitable size, equal to
  • RGB Red Green Blue
  • each region is evaluated by calculating the distance between its histogram and those of the adjacent regions.
  • the distance calculations are carried out according to the order 1 standard (L1), equal to the sum of the absolute values of the differences in the 1st degree of the values of the histograms taken two by two, the standards of order n, (Ln), being those of Minkowski (equal to the power 1 / n of the sum of the absolute values of the same differences to the power n).
  • the current region is merged with the one whose histogram is closest to hers, but only if the distance between their histograms is less than a high threshold which, in this embodiment, is set at 50% of the maximum distance possible from this exemplary embodiment.
  • a high threshold which, in this embodiment, is set at 50% of the maximum distance possible from this exemplary embodiment.
  • the higher the threshold the higher the level of similarity of the merged regions.
  • the merge is repeated until all the distances between adjacent regions are greater than this threshold.
  • the remaining regions are either small regions, that is to say corresponding to details (size less than 1% in the embodiment), or larger and homogeneous regions, due to the high melting threshold (50% in the exemplary embodiment). These large regions can possibly be very 13
  • the first phase is followed by a second phase of merging only the small regions, of size less than 1% in the embodiment example.
  • These "details” are automatically merged with their closest neighbor by deleting the 50% fusion threshold used in the first phase, so that all the details are integrated into their surrounding region or their closest neighbor.
  • the entry E of the mound being smaller than the threshold of 1% in the example of embodiment, it was segmented during the first phase, then was merged during the second phase since, evaluated as detail, it could not not be considered a significant semantic object by the present algorithm.
  • Objects like the sky in this figure 1, can be over-segmented, the regions that compose them remaining “perceptually” similar.
  • the third phase allows us to go beyond this stage.
  • the over-segmentation of the sky C illustrates the limits of the use of color histograms: they are sensitive to optical effects such as illumination, lighting variations or gradients, as described in the article by M. Stricker and M. Orengo, " Similarity of Color Images", Proc. SPIE'95, Storage & Retrieval for Image and Video Databases III, 1995).
  • their corresponding histograms are "hollow” (that is to say have a large proportion of values close to or equal to 0) and therefore cannot be effectively compared using the measurements of distances such as L1 or L2.
  • each region is represented by the statistical mean of the values of its histogram forming its mean color, corresponding to the centroid C of each point cloud N1 to N6, corresponding to the color distributions of the regions, and by a polynomial interval, P, which gives an estimate of the color variations within the region.
  • the clouds of the regions obtained are subsets, or sub-regions, of the final regions R1 to R3.
  • 6 sub-regions N1 to N6 have been extracted.
  • a polynomial fit is calculated for the final regions, as well as an interval over their domain of definition.
  • the polynomial P of a final region and those Pi of the sub-regions (obtained at the end of the second phase) which compose it are the same.
  • the interval of P is the union of the intervals of Pi.
  • the third phase of the algorithm merges regions with similar polynomial fits, and having similar, consecutive, or overlapping definition-related intervals.
  • a line is approximated using the classic method of linear regression.
  • the point clouds of the regions obtained ( Figure 2b) at the end of the second phase are then represented by a line segment obtained by a linear adjustment and by the centroid of the cloud N1 to N6 corresponding, which is not necessarily the center of the segment.
  • Each of the regions is represented by its average color and by a segment S1 to S6 on the right carried by the linear regression line of the corresponding point cloud (FIG. 2b).
  • the ends E1 and E2 of the representative line segment S are the projections on the regression line D3 of the extreme points of the point cloud N. Under these conditions, the segment does not go beyond the projection of the most extreme points of the A cloud of dots.
  • the Euclidean distance from these ends to the centroid of the cloud is preferably limited to a threshold in RGB space, threshold equal to 1.5 times the standard deviation of the color distribution for the region considered in the example embodiment.
  • the average regression coefficients obtained are equal to 0.87 for keyframes and 0.84 for still images.
  • the regions are merged in the third phase of the algorithm by no longer comparing the color histograms, but the representative segments obtained in the second step.
  • the comparison of the segments is carried out in the Hue-Saturation-Intensity HSI space (initials of “Hue-Saturation-Intensity” in English terminology).
  • This space is perceptually uniform, since providing a linear representation of the variations in the spectral frequency of a color, while the RGB space, not providing such a representation, is not suitable for such a comparison.
  • the fusion to the perceptually similar regions, and therefore potentially belonging to the same objects of the scene only the regions whose differences in Hue and Saturation between the centroids are less than a given threshold are merged.
  • the maximum difference in hue is fixed at a threshold equal to 7.5 °, and the maximum difference in saturation at a threshold of 15%.
  • the neighboring regions R1, R2 and R3, satisfying these criteria are merged. These representative segments are close to the best polynomial adjustment, which can be obtained in the case of an adjustment of order greater than one.
  • the comparison method mainly consists in comparing the average gray levels (i.e. the average intensity) and the variations in intensity (i.e. the textures).
  • Another embodiment concerns the fine segmentation of objects obtained using the previous fusion process, aimed at obtaining the fine outline of these objects as well as their internal structure.
  • the same algorithm is used with at least two different resolutions, one called fine and the other called wide. This finer resolution is obtained only by using initial blocks of smaller size, for example 4x4 pixels.
  • the algorithm then performs the segmentation by cutting at the pixel scale, which makes it more sensitive to contours and textures.
  • FIGS. 8a and 8b respectively present a so-called broad segmentation ⁇ , obtained with a resolution of 16 ⁇ 16 pixels, and a so-called fine resolution ⁇ f of 4x4 pixels, on the same image.
  • the overlay retains the outlines of the fine regions included in the regions having semantic significance.
  • the fine regions may not be systematically included in the corresponding wide region, because that may result from details obtained thanks to the finer resolution, for example the bars 11 on the wall at the back of the figure in figure 9.
  • a zone is spatially included in a region and its representation is close (in the sense of the similarity measure used during the third phase of the basic algorithm) to that of this region. In this case, the area is considered to be part of the region. • 20
  • an area can correspond to a detail of the image that has not been extracted by the coarse segmentation (eg bars 11 on the wall behind the character of Figure 9).
  • the distance between the representations of the zone and of the region is high, and it is considered that the zone is not part of the region, but forms a region by itself.
  • a zone is not mainly included in a region (in practice, a threshold depending on the size of the zone is fixed) but extends over several regions (eg the collar 12 of the shirt of the figure in figure 9 ). In this case, the area is part of the most similar region, or is considered as a region in its own right if none of the surrounding regions is similar enough. Examples of application of the method according to the invention are described below.
  • Example 1 Characterization of objects; classification. All the characteristics of the segmented objects are kept for the purpose of an analysis of the document and / or an indexing of the images to allow the search for plans on their content in terms of semantic objects and actions of these objects.
  • the set of characteristics of each region (color, texture, size, position, shape index, movement, ...) is very compact. In the case of a linear adjustment, a summary of the previous characteristics can be stored in less than 20 bytes (The position of the average color and the representative segment requiring 9). More complete representations may require a few tens of bytes per object.
  • An image can be represented in a form summarized by a list of descriptors of the main objects it contains, each descriptor including in particular the position and movement of the object.
  • the criteria for choosing the main objects can be for example the size, the difference in color with neighboring objects, movement, or semantic knowledge of the type "object X is important".
  • the representation of the image can be as compact as 80 bytes.
  • To characterize an object it is useful to know not only the descriptor of this object, but also the descriptors of neighboring objects, since an object can also be characterized by its context (ex: an airplane in the sky.).
  • the semantics of some of the objects segmented by the proposed method can be easily extracted using their visual characteristics in a certain number of simple cases (ex: detection of day skies, lights, skin, ...) .
  • the association of semantics with objects can also be based on the contribution of external knowledge. For example: "a sky is a blue or gray object with little texture, generally at the top of an image”.
  • the problem of characterizing a semantic object is a known problem of classification or clustering of points in a multidimensional space.
  • This classification can be done with or without learning, in supervised mode or not.
  • this classification is based on a compact representation of the object and, where appropriate, of the surrounding objects, in a multi-dimensional space.
  • Known classification methods that can be used are conventional data analysis methods, neural methods and methods using genetic algorithms.
  • the clouds of neighboring points are characterized as clusters and projected into an adequate smaller representation space.
  • the characterization of the cluster objects can then be done from the description by the user of a 22
  • the indexing system generalizes the characterization of one or more objects described by points of the cluster, to objects described by other points of this cluster.
  • the system learns a "classifier", which allows dividing the representation space into clusters, from a set of examples. Examples can be provided by one of the system users during training or while in use.
  • initial classifiers each characterized by a similarity function taken from a set of possible functions, and by thresholds. These classifiers are represented by a signature which is a bit string.
  • the initial classifiers can be drawn at random or provided by users. The user or the system determines which classifiers have given an appropriate response. The classifiers who participated in the correct answers are hybrid by recombining the signature of two of these classifiers. Random modifications of signatures or "mutations" can also be applied when creating new classifiers. For certain classes of applications, this process converges towards a population of classifiers close to the optimum.
  • the fourth possible classification method based on the segmentation of the image into semantic objects is the search for visual objects similar to a set of given examples, based on a similarity in the characteristics of colors, shapes, etc. .
  • the initial query obtains a global similarity function, by calculating a sum of similarity functions applied independently to different criteria, each being weighted by a value called weight.
  • This initial request can be enriched in a known manner by allowing the user to specify which answers are satisfactory or not.
  • a generic technique for enriching a vector query from these responses is known. In some variations of this technique, it can be based on the estimation of desirable changes in the weights of the different similarity functions, using methods derived from Bayesian probabilities.
  • Vector research by similarity is proposed by several video indexing projects, but these projects are not based on a spatial segmentation of semantic objects and a measure of similarity according to our process.
  • the application of these methods is facilitated by the reduced size of the descriptor, and by the possibility for the user to indicate examples and counterexamples, and if necessary to indicate whether the answer is satisfactory or not.
  • a script describing the content of each clip of a video is aligned with the boundaries of the clips of the video by known methods.
  • This sc ⁇ pt describes each object of a plan and its actions.
  • By correlating the presence of an object in the script and in the video it is possible to determine with a certain probability which object of the video corresponds to an object of the script and what are its actions. From this information, we have examples of this type of object, which allow us to automatically build a classifier for this object.
  • Another use of these methods in our process is to use segmentation to annotate objects by objective or subjective characteristics. To recognize the presence of one of these characteristics in an object or part of a video, it is possible to automatically choose as examples the visual objects which are annotated by this characteristic, and then proceed to learn 'one of the previous classifiers.
  • the recognition of the speaker by known methods of audio analysis makes it possible to choose as example several instances of the same object, and then to proceed to learn the characteristics of this objects according to one of the methods mentioned above.
  • Example 2 Time segmentation of video into sequences
  • a video is most often structured in shots, separated by cuts (cuts in English) or by special effects (fades, panes).
  • a plan is a continuous series of images taken in a single take by a single camera. The segmentation of a video into plans is useful in particular for navigating the video from an interface called "story-board", which represents each plan by a characteristic image.
  • a sequence is a series of shots describing the same environment and the same characters.
  • the sequence is a semantic unit suitable for description of content and navigation in the video.
  • Another method of segmentation into sequences is based on the detection of characteristic objects. For example, a change of sequence is often linked to a change of environment, for example 25
  • the detection of an object of the day sky or night sky or lighting type optionally makes it possible to characterize a shot as shot outside day or outside night.
  • the segmentation into semantic objects and then the characterization of a certain number of objects by the methods of the preceding paragraph makes it possible to detect limits of sequences.
  • Plane groups have the same properties as sequences, but are not necessarily formed of contiguous planes.
  • the subjects are a series of sequences on the same theme. Detecting subjects is particularly interesting for characterizing time intervals in documentary or news videos.
  • the segmentation into subjects according to the present application is based on the segmentation into sequences according to the approach described above.
  • the detection of a subject boundary is done using one or more of the following methods:
  • the character is a composite semantic object composed of the helmet, the face, the jacket, the shirt collar, ... It is interesting to be able to find it by any region, for example by the helmet, or to visualize and annotate the complete character and not just the face.
  • movement is calculated on each object or part of an object.
  • This distribution (for example the mean and the standard deviation of the motion vectors) is used to define composite objects from the same motion of the different parts.
  • the differences between the movement characteristics in different parts of a semantic object can also be used to describe a complex movement or an action of this object.
  • the movement of an arm in a character is not necessarily the average movement of the object.
  • the movement information can be used in 2 ways:
  • a third method based on the co-occurrence of the regions in the images is proposed: if the combination of regions, for example helmet-face-jacket, appears regularly in sequences of plans, then these regions can be associated with a significant probability of co-occurrence.
  • regions for example helmet-face-jacket
  • segmented semantic objects can be calculated, for example by known statistical methods used for indexing textual documents.
  • neighboring objects can be grouped into composite objects using their semantic value.
  • Example 4 Tracking an object through one or more scenes
  • the previous methods allow you to find the same semantic object through several successive images of a scene in a video, or even through several scenes located in different passages of this video.
  • This characterization is done using similarity methods between objects or visual regions described above, and taking into account the object's displacements: a similar object located in the same place in the following image is more likely to be the same object only if it is in an opposite part of the image.
  • Object tracking (or tracing objects) in a video is a known problem, which is the subject of several works by other authors. In our approach, the fact of having simple or composite semantic objects limits the number of objects to follow, on the other hand we use a specific method of finding similarity between several occurrences of an object, as we have described previously.
  • tracking objects can detect actions. For example, the fact that two objects move together then are separated, frequently translates the fact that one of the objects deposited the other during the interval. The fact that these are semantic objects increases the quality of this action detection.
  • Example 5 Selecting objects for storage on a user's system
  • the parts of the video stored on this storage system are time intervals or sets of images characterized by the presence of sequence descriptors or subjects verifying a request from the user or the system, or by the presence of visual or audio objects verifying such a request.
  • transition rules can be extracted from the usual associations made by a user, or from the transitions usually made by the user.
  • the purpose of the query used is to find an object (or a sequence or a subject) in which we find with a degree of relevance and more or less high a set of content characteristics present in the query or in a game. examples associated with the query.
  • the objects or time segments sought may be those for which either the user has expressed an interest, for example by consulting similar objects in previous sessions, or a similar user has expressed an interest.
  • Example 6 Use for a compression and composition system for video objects
  • a set of objects An object that interests a user more can be transmitted with a lower compression rate than another object (such as the background).
  • another object such as the background.
  • a video scene can be edited so as to juxtapose several objects from different scenes, or to delete certain objects.
  • the arrangement of a segmentation into semantic objects is useful.
  • the segmentation methods used allow access to a tree structure of objects, from the time interval or the image, then from composite objects, to the internal structure of these objects, as we have previously described.
  • This approach makes it possible to apply the methods of a video representation system by objects, in an efficient manner, and with a granularity which varies from the composite object to the fine structure.
  • the invention is not limited to the examples described and shown.
  • an audiovisual object comprising images, in a representation format describing in particular the position of the semantic objects contained in the audiovisual object, these semantic objects being characterized by a set of semantic characteristics;
  • an audiovisual object comprising images, in a representation format describing in particular the actions of the semantic objects contained in the audiovisual object; the use for selecting the objects of a stream of audiovisual objects, to be stored in the storage system of a user of this audiovisual stream for the purpose of subsequent access to these objects;

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

L'invention porte sur un procédé de segmentation spatiale d'images en objets visuels pour obtenir des objets ayant une signification sémantique comportant des étapes de partition d'images en régions initiales, de fusion de régions initiales voisines selon certaines fonctions de similarité et l'obtention de régions élargies, puis une itération de cette phase avec les régions initiales restantes et les régions élargies jusqu'à ce qu'aucune fusion ne soit plus possible. L'invention porte également sur l'utilisation du procédé à la caractérisation, à la classification, au stockage, à la détection d'objets, de scènes, de plans, de groupes de plans, de mouvements, dans des documents multimédia en particulier de vidéo.

Description

PROCEDE DE SEGMENTATION SPATIALE D'UNE IMAGE EN OBJETS
VISUELS ET APPLICATION
L'invention concerne le domaine de l'analyse de l'information contenue dans les images couleur, provenant notamment de documents multimédias, et en particulier de vidéos. Cette analyse est destinée plus particulièrement, mais non exclusivement, à permettre une indexation de la documentation audiovisuelle.
Le problème consiste en particulier à réaliser un découpage temporel de séquences vidéos en scènes qui constituent des unités narratives de ces séquences, en vue du stockage et de la visualisation sélective de certaines scènes par les utilisateurs. Un tel niveau de compréhension n'est pas directement accessible par les méthodes de segmentation connues. Des méthodes ont été développées pour réaliser la segmentation d'images de niveaux de gris ou pour la segmentation d'objets en mouvement dans les images d'une vidéo. Mais parmi les algorithmes de segmentation d'images couleur, aucun ne fournit de résultats suffisants lorsque les images à analyser sont tirées de la "vie réelle". Les principales méthodes peuvent être regroupées en méthodes de type pixels, de type contours, et de type régions.
Dans les méthodes de segmentation de type pixels, une région est définie comme une composante connexe d'un ensemble de pixels spécifié par une fonction d'appartenance, éventuellement floue, à une classe de couleur de l'Espace de Couleurs (en abrégé EdC). Ces méthodes se différencient principalement par la façon dont elles définissent les classes de couleurs et les fonctions d'appartenance à ces classes. La plus simple de ces méthodes est une quantification rigide de l'EdC, comme décrit dans les articles de C. Carson, S. Belongie, et al. "Région Based Image Querying", Proc. CVPR'97, Workshop on Content-Based Access of Image and Video Libraπes, 1997, et de J R Smith and S -F Chang 'Tools and Techniques for Color Image Retπeval ", Proc SPIE'96, Storage Se Retπeval for Image and Video Databases IV, Vol 2670, 1996 Cependant certaines couleurs proches dans l'EdC peuvent se trouver dans des classes distinctes
Une autre méthode de type pixel est une méthode par seuillage d'histogrammes, dans laquelle les pics et les creux apparaissant dans un ou plusieurs histogrammes correspondant aux différentes dimensions de l'EdC sont recherchés Les creux détectés sont alors utilisés comme limites entre les classes de couleurs (comme décrit par exemple dans l'article de R Hayasaka, J Zhao and Y Matsushita, "Outstanding Object-Oriented Color Image Segmentation Using Fuzzy Logic" Proc SPIE'97 Multimedia Storage and Archiving Systems il, Vol 3229, 303-314, 1997
Les méthodes de groupement (clustenng en terminologie anglaise) de l'EdC sont des extensions multidimensionnelles des techniques précédentes de seuillage et appliquent des algorithmes de classification tels que les algorithmes de recherche de plus proches voisins, (cf l'article de R Ferπ and E Vidal, "Color image Segmentation and labeling through multiediting and condensing", Pattern Récognition Letters, vol 13, No 8, pp 561-568 1992), l'algorithme de moyenne K (K-mean en terminologie anglaise) ou de moyenne floue C (Fuzzy c-mean en terminologie anglaise) (cf l'article de Y W Lim, S U Lee, "On The Color Image Segmentation Algoπthm Based on the Thresholding and the Fuzzy c-Means Techniques", Pattern Récognition, Volume 23, Number 9, pp 935-952, 1990) Ces algorithmes permettent de rechercher des clusters potentiels de couleurs dans les images Enfin certaines méthodes recherchent l'EdC permettant une représentation optimale des images à l'aide de techniques telles que l'analyse en composantes principales ou la transformée de Karhunen- Loève, telle que celle décrite dans l'article de S.E Umbaugh et al, "Automatic Color Segmentation Algoπthm with Application to Skin Tumor Feature Identification", IEEE Engineering in Medicine and Biology, Vol. 12, No. 3, pp. 75-82, 1993.).
Le premier inconvénient de ces méthodes est qu'une recherche robuste de pics dans les histogrammes ou de clusters dans l'EdC n'est pas aisée, en particulier dans le cas d'images peu contrastées, et peut être coûteuse en temps de calculs. De plus, ces méthodes considèrent implicitement que si deux pixels, c'est-à-dire deux points d'image homogène, que le support soit une image vidéo ou non, appartiennent à une même région de l'image, leurs couleurs respectives appartiennent à la même classe de couleurs ou sont proches dans l'EdC. Ceci ne s'applique correctement que dans des images de type "clip-arts" ou de dessins animés, mais généralement pas dans les images réelles complexes. Au moment de l'extraction des régions, ces méthodes doivent donc analyser le voisinage immédiat des pixels pour déterminer à quelle région chaque pixel doit être attaché.
Par ailleurs, dans les méthodes de type contours, les contours sont détectés et utilisés pour déterminer les limites des régions. Cependant, les méthodes d'extraction de contours ne sont pas des techniques de segmentation par elles-mêmes et doivent être combinées avec au moins une des autres méthodes. De plus les contours obtenus dans le cas d'images peu contrastées ou très texturées sont difficilement utilisables car ils ne sont généralement pas fermés.
Dans les algorithmes de -type régions, une région est définie comme une ensemble de pixels connectés satisfaisant un critère d'homogénéité donné, par exemple une zone qui ne contient qu'une couleur présente dans 95% des pixels de la région. Dans les techniques dites de découpage et fusion (split-and-merge en terminologie anglaise), les régions non homogènes sont découpées en sous-régions, puis analysées de manière récursive jusqu'à ce que le critère d'homogénéité soit satisfait pour chacune des régions obtenues. Les régions voisines ainsi obtenues sont regroupées.
Les techniques dites de croissance de régions (region-growing, en terminologie anglaise) sont des méthodes de type régions dans lesquelles un certain nombre de zones initiales, utilisées comme germes de croissance, sont d'abord recherchées. Les pixels et régions avoisinant(es) sont itérativement englobés à ces zones initiales jusqu'à ce qu'un critère d'arrêt soit satisfait, par exemple lorsque le nombre de régions obtenues est inférieur à un seuil. Un exemple connu de cette catégorie de méthode est l'algorithme dit des "bassins topographiques" dans lequel une image est considérée comme un relief topographique, où l'altitude de chaque point peut, par exemple, être proportionnelle à son intensité lumineuse. Le fond des bassins les plus importants est percé, et le relief est plongé dans l'eau. Les bassins se remplissent progressivement, délimitant ainsi les principales régions. Cette méthode est très sensible aux bruits et coûteuse en temps de calcul. Une autre méthode de cette catégorie est la méthode basée sur les arbres couvrants récursifs de poids minimum (Récursive Shortest Spanning Trees, en anglais, RSST en abrégé). RSST (voir l'article de O.J. Morris et al, in « graph theory for image analysis: an approach based on RSST », IEEE proceedings, vol. 1333, 146-152, 1986) considère chaque pixel comme une région initiale. Les régions dont les couleurs moyennes sont les plus proches sont fusionnées de manière récursive, en favorisant la fusion des régions de petites tailles. La plupart des méthodes précédemment citées opèrent à l'échelle du pixel. Ceci les rend particulièrement sensibles aux variations locales d'intensité et donc aux textures.
Cette sensibilité est nécessaire pour les applications de vision artificielle ou de reconnaissance de formes pour lesquelles l'extraction des contours exacts est primordiale, mais elle est pénalisante dans le cas de recherche de larges régions sémantiquement significatives.
L'invention vise à pallier ces inconvénients en proposant une segmentation en régions de tailles telles que les régions ainsi segmentées aient encore une signification sémantique dans le contexte de l'image. Par objet sémantique ou sémantiquement significatif, il est entendu un objet correspondant au monde réel, par exemple un visage, un ciel, etc. Plusieurs objets sémantiques peuvent composer un autre objet sémantique (par exemple une chevelure, un visage et une veste constituent une personne) ci-après appelé objet sémantique composite. Les objets sémantiques composant un objet sémantique composite peuvent aussi être eux-mêmes des objets sémantiques composites (par exemple le visage est composé, entre autres, d'un nez, d'une bouche et d'yeux).
L'utilisation d'une segmentation des images en objets ayant une valeur sémantique significative est une étape clé du procédé d'analyse et de compréhension du contenu des documents multimédias, en particulier des documents vidéo.
L'invention permet de segmenter les images en objets significatifs tout en négligeant les détails. L'invention vise ainsi à obtenir une segmentation robuste en présence d'images éventuellement très texturées, et insensible aux détails non significatifs qui pourraient entraîner une sur-segmentation inutile de larges régions homogènes, par exemple une corde noire sur un mur blanc.
Pour ce faire, il est proposé de qualifier de détails à écarter les régions "non signifiantes" ayant une surface inférieure à un certain pourcentage de la surface totale de l'image (par exemple 1 %) et de ne pas segmenter l'image en régions pouvant recouvrir plusieurs objets de façon à éviter sa sous-segmentation, pouvant conduire à des régions dépourvues de signification sémantique. Le procédé de segmentation selon l'invention qui s'apparente aux techniques de type région, opère dans un premier temps à l'échelle de la région, en partant de blocs initiaux de taille réduite tout en étant considérés comme homogènes, de façon à permettre la segmentation de plus larges objets.
L'invention porte donc sur un procédé de segmentation spatiale d'une image en objets visuels, caractérisé en ce que, pour obtenir des objets ayant une signification sémantique, il comporte les étapes suivantes : - dans une première phase, une partition de l'image en régions selon un pavage prédéterminé, une fusion de régions voisines dont la similarité, selon une première fonction de similarité, est inférieure à un premier seuil, et l'obtention de régions élargies,
- dans une deuxième phase, une fusion d'une région élargie de taille inférieure à un deuxième seuil avec une région voisine qui lui est la plus similaire selon une deuxième fonction de similarité.
Avantageusement, le procédé selon l'invention comporte également une troisième phase de fusion des régions obtenues à l'issue de la deuxième phase et qui sont similaires selon une troisième fonction de similarité.
Dans les différentes phases du procédé de segmentation selon l'invention, les fonctions de similarité utilisées sont différentes dans au moins deux des phases.
Plus précisément, l'invention a pour objet un procédé de segmentation spatiale d'une image en objets visuels qui, pour obtenir des objets ayant une signification sémantique, comporte les étapes suivantes :
- dans une première phase, une partition de l'image en régions initiales selon un pavage prédéterminé, et une fusion des régions voisines dont la similarité est inférieure à un premier seuil, selon une fonction de similarité connue entre régions ; - dans une deuxième phase, une fusion des régions de taille inférieure à un deuxième seuil avec la région voisine la plus similaire ; et
- dans une troisième phase, une représentation de chacune des régions obtenues par un nuage de points dans un espace de représentation formé d'au moins une dimension de base caractérisant un signal électromagnétique provenant de cette région et d'une dimension caractérisant les pixels correspondant aux valeurs considérées dans les autres dimensions, avec
- un ajustement polynomial d'une courbe avec les points représentant chaque pixel de la région dans l'espace de représentation du signal électromagnétique ;
- une représentation de chaque ajustement polynomial par une suite de valeurs ;
- l'application d'une fonction de similarité entre les deux suites de valeurs ainsi définies, et
- la fusion des régions voisines dont la proximité entre les ajustements polynomiaux est inférieure à un troisième seuil.
Dans le procédé de l'invention, les régions voisines fusionnables dans chacune des phases peuvent être des régions initiales, des régions issues d'une fusion de régions initiales, ou des régions élargies issues de fusions précédentes ; les différents types de régions ainsi définies sont fusionnables entre elles à partir du moment où on leur applique la même fonction de similarité, et jusqu'à ce que toutes les similarités selon la fonction appliquée soient supérieures au seuil choisi. Quand, dans la phase suivante, une nouvelle fonction de similarité est appliquée, la fusion des régions obtenues dans une phase précédente par application d'une fonction de similarité à seuil moins élevé est alors possible jusqu'à ce qu'aucune fusion ne soit plus possible.
Le processus peut être ainsi réitéré par application d'une nouvelle fonction de similarité à seuil plus élevé que la précédente. Les régions fusionnables restent toujours celles qui n'ont pas fusionné au seuil moins élevé de la fonction précédente, et ce y compris des régions initiales.
De plus, la fonction de similarité entre deux régions peut être définie par la position des centroïdes des deux régions et des extrémités des deux segments de courbe représentant ces deux régions.
De la même façon, le signal électromagnétique apparaissant dans au moins deux images peut être transformé pour en extraire au moins deux composantes de mouvement entre les deux images pour le représenter, telles que valeur scalaire et orientation, les autres étapes du procédé s'appliquant à cette représentation.
Dans le procédé selon l'invention, les points d'un nuage décrivant une région sont distribués dans un espace dont trois dimensions de base sont trois combinaisons linéaires ou non linéaires distinctes des trois couleurs primaires de la synthèse additive, et une autre dimension dans cet espace étant l'effectif des pixels selon cette distribution.
Dans un autre mode de réalisation, les points d'un nuage décrivant une région sont distribués dans un espace dont trois dimensions de base sont la teinte, la saturation et l'intensité de la couleur et une autre dimension dans cet espace étant l'effectif des pixels selon cette distribution.
Dans ce cas, le calcul de similarité entre régions est réalisé :
- en utilisant l'espace teinte/saturation/intensité si une saturation moyenne est supérieure à un quatrième seuil prédéterminé ;
- dans l'espace des intensités, si la saturation est inférieure ou égale à ce quatrième seuil.
Selon un autre aspect de l'invention, une seconde segmentation à une échelle plus fine, qui peut être celle du pixel est réalisée de façon à obtenir les contours précis des limites des objets, ainsi que leur structure interne, puis une fusion des deux segmentations est réalisée afin d'obtenir à la fois des objets sémantiquement significatifs et des contours précis pour ces objets.
Par une mise en oeuvre du même algorithme à deux échelles de résolution différentes, les résultats des deux segmentations des deux premières étapes sont cohérents et peuvent se combiner.
Ainsi l'invention concerne également un procédé de segmentation fine d'images en objets sémantiquement significatifs, consistant :
- dans un premier temps, à extraire de l'image les régions homogènes en couleur et en texture correspondant aux objets présents, en négligeant les objets de petites tailles inférieures à un seuil défini en pourcentage de la surface de l'image, et en utilisant une représentation des régions par ajustement polynomial de leur distribution de couleurs dans un espace des couleurs (EdC), à la fois lors de la segmentation et en représentation finale des objets segmentés,
- à réitérer l'extraction avec une résolution plus fine, afin de préciser les contours, les régions obtenues correspondant alors à des parties d'objets,
- dans une troisième étape, une superposition des deux segmentations précédentes fournit des régions correspondant aux objets de l'image de la première étape avec les contours précis de la deuxième étape, ainsi qu'une structure interne représentative de ces objets.
Par structure interne, on - entend que l'image est représentée comme une arborescence d'objets, chaque objet de niveau supérieur pouvant inclure un ou plusieurs objets de niveau inférieur.
Les deux dernières étapes peuvent naturellement être réalisées à plusieurs résolutions consécutives de façon à obtenir une description hiérarchique de la structure des objets sémantiques composites.
Préférentiellement, le calcul de similarité entre régions peut être réalisé : 10
- selon le procédé de l'invention si la saturation, considérée comme critère de superposition, est supérieure à un quatrième seuil prédéterminé ;
- dans l'espace teinte-saturation-intensité, si la saturation est inférieure ou égale à ce seuil ; les seuils prédéterminés peuvent être choisis pour maintenir le nombre de régions dans un intervalle dans lequel la sur-segmentation et la sous-segmentation n'apparaissent pas et pour maintenir la distribution des tailles des régions dans un intervalle défini pour éviter la sur et la sous- segmentation.
Les paramètres de seuil, de degré de polynôme et de fonction de similarité peuvent être choisis de façon adaptative par une méthode d'apprentissage prédéterminée, en fonction de seuils de sur- et de sous- segmentation à éviter, et d'un calcul d'évaluation prédéterminé de celles- Ci.
De manière générale, la fonction de similarité appliquée à l'issue quelconque des étapes du procédé inclut le paramètre de seuil au-delà duquel la fusion n'est pas réalisée.
Avantageusement, des utilisations composites du procédé selon l'invention sont mises en oeuvre :
- avec la reconnaissance d'un locuteur, pour caractériser le contenu des plans et des scènes d'une vidéo ;
- avec un alignement automatique entre le script et la vidéo, pour caractériser le contenu des plans et des scènes d'un document vidéo ou pour apprendre de façon automatique les caractéristiques des objets présents dans la vidéo et dans le script.
D'autres caractéristiques et utilisations de l'invention ressortiront de la description qui suit de modes de réalisation détaillés, accompagnés des figures annexés qui représentent respectivement : 1 1
- la figure 1 , un exemple d'image obtenue à l'issue de l'application des deux premières phases de segmentation large du procédé selon l'invention ;
- les figures 2a et 2b, une représentation des régions d'une image dans l'espace RVB (Rouge, Vert, Bleu) par des nuages de points et des courbes d'ajustement ;
- la figure 3, les projections d'un nuage de points de l'espace RVB sur le plan (RB) et le plan (RV) pour déterminer les extrémités de l'intervalle d'ajustement ; - la figure 4, la distribution des distances euclidiennes des points à leurs droites respectives pour des keyframes (images caractéristiques) et des images fixes ;
- les figures 5a et 5b, 6a et 6b, 7a et 7b, la segmentation en objets sémantiques sur trois images (5), (6), (7), respectivement à la fin de la deuxième phase du procédé (figures 5a, 6a et 7a) et à la fin de la troisième phase (respectivement figures 5b, 6b et 7b) ;
- les figures 8a et 8b, respectivement une segmentation dite large, obtenue avec une résolution de 16x16 pixels, et une résolution dite fine, de 4x4 pixels, sur une même image ; et - la figure 9, une superposition des segmentations large et fine précédemment obtenues.
L'invention est d'abord décrite comme un algorithme de la segmentation de larges régions. La segmentation fine est un mode plus particulier pouvant être réalisé par le même algorithme. Un algorithme utilisant deux résolutions, et combinant les deux segmentations obtenues, est décrit plus loin.
Selon un premier exemple de réalisation, l'image est d'abord découpée en une grille de blocs dits initiaux, de taille adaptée, égale à
0,25% de la surface de l'image courante, c'est-à-dire : 12
- suffisamment petits pour que les objets de taille sμpérieure à un seuil (1 % dans l'exemple de réalisation), en dessous duquel ils sont considérés comme des détails, soient segmentés, et
- suffisamment larges pour limiter les temps de calcul, qui augmentent de manière « surlinéaire » avec le nombre de blocs initiaux.
A partir de ce découpage, un histogramme des couleurs de chaque bloc initial est calculé dans l'espace RVB (Rouge Vert Bleu). Ce calcul consiste à comptabiliser le nombre de pixels ayant chacune des couleurs (des 256 couleurs dans l'exemple de réalisation) apparaissant dans l'image, chaque couleur étant la valeur prise par l'une des coordonnées de l'espace RVB.
Dans la première phase de fusion, chaque région est évaluée par un calcul de distance entre son histogramme et ceux des régions adjacentes. Les calculs des distances sont réalisés selon la norme d'ordre 1 (L1 ), égale à la somme des valeurs absolues des différences au 1er degré des valeurs des histogrammes prises deux par deux, les normes d'ordre n, (Ln), étant celles de Minkowski (égales à la puissance 1/n de la somme des valeurs absolues des mêmes différences à la puissance n).
La région courante est fusionnée avec celle dont l'histogramme est le plus proche du sien, mais uniquement si la distance qui sépare leurs histogrammes est inférieure à un seuil élevé qui, dans cet exemple de réalisation, est fixé à 50% de la distance maximale possible de cet exemple de réalisation. Plus le seuil est élevé, plus le niveau de similarité des régions fusionnées est élevé. La fusion est réitérée jusqu'à ce que toutes les distances entre régions adjacentes soient supérieures à ce seuil.
A la fin de cette première phase, les régions restantes sont soit des petites régions, c'est-à-dire correspondant à des détails (taille inférieure à 1 % dans l'exemple de réalisation), soit des régions plus larges et homogènes, du fait du seuil de fusion élevé (50% dans l'exemple de réalisation). Ces larges régions peuvent éventuellement être très 13
texturées, c'est-à-dire avec une granularité de texture de l'ordre de la taille des blocs initiaux,
La première phase est suivie d'une deuxième phase de fusion des seules petites régions, de taille inférieure à 1 % dans l'exemple de réalisation. Ces "détails" sont fusionnés automatiquement avec leur plus proche voisine par suppression du seuil de fusion de 50 % utilisé lors de la première phase, de sorte que tous les détails sont intégrés à leur région englobante ou à leur plus proche voisine.
A ce point de l'algorithme, un graphe de régions larges et homogènes est obtenu, correspondant à de larges parties d'objets situés dans l'image, et contenant éventuellement les détails intégrés lors de la deuxième phase. La figure 1 montre le résultat de la segmentation à la fin de la deuxième phase. Le tumulus représenté T a été fusionné malgré la granularité importante de la texture de cette région grâce à l'utilisation d'une taille de blocs initiaux (1 %) de l'ordre de grandeur du grain de la texture.
L'entrée E du tumulus étant plus petite que le seuil de 1 % dans l'exemple de réalisation, elle a été segmentée lors de la première phase, puis a été fusionnée lors de la deuxième phase puisque, évaluée comme détail, elle ne pouvait pas être considérée comme un objet sémantique significatif par le présent algorithme.
Ainsi, en partant de blocs initiaux de taille suffisamment importante, des comparaisons de distribution de couleurs et non des comparaisons de couleurs sont réalisées, ce qui rend l'algorithme insensible aux textures de granularité de l'ordre de celle des blocs initiaux. En revanche, le ciel C qui est composé d'un dégradé progressif de plus de 50 variations de bleus est dit sur-segmenté car, étant a priori un objet sémantiquement unique, on devait s'attendre à une segmentation unique pour ne former qu'une seule région. . 14
Des objets, comme le ciel de cette figure 1 , peuvent être sursegmentés, les régions qui les composent restant « perceptuellement » similaires. La troisième phase permet de dépasser ce stade.
La sur-segmentation du ciel C illustre les limites de l'utilisation des histogrammes de couleurs : ils sont sensibles aux effets optiques tels que l'illumination, les variations d'éclairage ou les dégradés, comme décrit dans l'article de M. Stricker and M. Orengo, "Similarity of Color Images", Proc. SPIE'95, Storage & Retrieval for Image and Video Databases III, 1995). De plus, comme les régions sont homogènes, leurs histogrammes correspondants sont "creux" (c'est-à-dire présentent une proportion importante de valeurs proches ou égales à 0) et ne peuvent donc être efficacement comparés à l'aide des mesures de distances telles que L1 ou L2.
Une autre représentation des régions est donc réalisée dans une troisième phase, afin de permettre non seulement de comparer les distributions de couleurs, mais aussi les couleurs dans l'EdC (Espace des Couleurs).
Une représentation des régions d'une image dans l'espace RVB (Rouge, Vert, Bleu) est illustrée aux figures 2a et 2b. Sur la figure 2a, chaque région est représentée par la moyenne statistique des valeurs de son histogramme formant sa couleur moyenne, correspondant au centroïde C de chaque nuage de points N1 à N6, correspondant aux distributions de couleurs des régions, et par un intervalle polynomial, P, qui donne une estimation des variations de couleurs au sein de la région.
Les distributions des couleurs qui présentent une forte corrélation ont une forme curviligne, ce qui justifie l'estimation de ces région par un ajustement polynomial, avec un intervalle de domaine de définition du polynôme. La figure 2b représente les nuages de points correspondants à la distribution des couleurs apparaissant dans l'image composée de 3 15
régions sémantiques principales R1 à R3, ainsi qu'une courbe C1 (en pointillés) correspondant à l'estimation polynomiale de la région R1.
A la fin de la deuxième phase, les nuages des régions obtenus sont des sous-ensembles, ou sous-régions, des régions finales R1 à R3. Dans le cas présent, 6 sous-régions N1 à N6 ont été extraites. Un ajustement polynomial est calculé pour les régions finales, ainsi qu'un intervalle sur leur domaine de définition. Dans le cas idéal, le polynôme P d'une région finale et ceux Pi des sous-régions (obtenues en fin de deuxième phase) qui la composent, sont les mêmes. Et l'intervalle de P est l'union des intervalles des Pi.
La troisième phase de l'algorithme fusionne les régions dont les ajustement polynomiaux sont similaires, et ayant des intervalles sur le domaine de définition similaires, consécutifs, ou se chevauchant.
En pratique, pour limiter le nombre de calculs à réaliser, une droite est approximee en utilisant la méthode classique de régression linéaire. Dans le présent exemple de réalisation de l'algorithme, les nuages de points des régions obtenues (Figure 2b) à la fin de la deuxième phase sont alors représenté par un segment de droite obtenu par un ajustement linéaire et par le centroïde du nuage N1 à N6 correspondant, qui n'est pas nécessairement le centre du segment.
Chacune des régions est représentée par sa couleur moyenne et par un segment S1 à S6 de droite porté par la droite de régression linéaire du nuage de points correspondant (figure 2b).
Pour chaque région, tel qu'illustré sur la figure 3, le nuage de points de coordonnées (r,v,b) de l'espace RVB est projeté en N(r,b) sur le plan (RB) ainsi qu'en N(r,v) sur le plan (RV). Dans ces plans, nous calculons respectivement les droites de régression linéaire de b en r, notée D1 sur la figure, et de v en r, notée D2. Les deux droites obtenues sont les projections sur les deux plans (RB) et (RV) de la droite cherchée, notée D3. 16
Les extrémités E1 et E2 du segment de droite représentatif S sont les projections sur la droite de régression D3 des points extrêmes du nuage de points N. Dans ces conditions, le segment ne va pas au-delà de la projection des points les plus extrêmes du nuage de points. Pour éviter que la longueur du segment ne soit influencée de façon importante par la présence de couleurs provenant par exemple de détails, la distance euclidienne de ces extrémités au centroïde du nuage est de préférence limitée à un seuil dans l'espace RVB, seuil égal à 1 ,5 fois l'écart type de la distribution des couleurs pour la région considérée dans l'exemple de réalisation.
Une telle estimation des distributions des couleurs des régions dans l'EdC par un ajustement linéaire a été testée en mesurant les coefficients de régression linéaire obtenus lors des ajustements, ainsi que la longueur des segments obtenus et la distance euclidienne moyenne des points à leurs droites respectives. Ces mesures sont réalisées sur une collection de 4000 images caractéristiques (keyframes en terminologie anglaise) extraites de 4 films, et une collection d'environ 1000 images fixes obtenues sur les sites du réseau internet.
Les coefficients de régression moyens obtenus sont égaux à 0,87 pour les keyframes et à 0,84 pour les images fixes.
La distribution des distances euclidiennes des points à leurs droites respectives est représentée sur la figure 4. Pour les keyframes K, respectivement les images fixes F, la distance moyenne est de 3,17, respectivement 4,88, pour une longueur moyenne de segment de 74,63, respectivement 90,5.
Ces résultats montrent une forte corrélation linéaire entre les couleurs présentes dans les régions, qui justifie la représentation par approximation polynomiale adoptée dans le présent algorithme. 17
La fusion des régions lors de la troisième phase de l'algorithme est réalisée en comparant non plus les histogrammes de couleurs, mais les segments représentatifs obtenus à la deuxième étape.
La comparaison des segments est réalisée dans l'espace Teinte- Saturation-lntensité HSI (initiales de « Hue-Saturation-Intensity » en terminologie anglaise). Cet espace est perceptuellement uniforme, car fournissant une représentation linéaire des variations de fréquence spectrale d'une couleur, alors que l'espace RVB, ne fournissant pas une telle représentation, n'est pas adapté à une telle comparaison.
Cette comparaison exploite le fait que les variations de Teinte et de Saturation dans les régions sont faibles, alors que les variations d'intensité sont importantes. Les variations moyennes observées sur toutes les régions extraites de toutes les images des collections précédentes sont présentées dans le tableau 1. Les variations de teintes sont exprimées en degrés, les autres paramètres en distance euclidienne dans l'espace RVB.
Teinte Saturation Intensité
Keyframes 15.17 9.56 41.76 Images 20.97 18.35 48.48
TABLEAU 1 -
Pour limiter, lors de la troisième étape, la fusion aux régions perceptuellement similaires, et donc appartenant potentiellement aux mêmes objets de la scène, seules les régions dont les différences de Teinte et de Saturation entre les centroïdes sont inférieures à un seuil donné sont fusionnés. Dans l'exemple de réalisation, la différence maximale de teinte est fixée à un seuil égal à 7,5°, et la différence maximale de saturation à un seuil de 15%. Comme représenté sur l'exemple de la figure 3, les régions voisines R1 , R2 et R3, satisfaisant ces critères sont fusionnées. Ces segments représentatifs sont proches du meilleur ajustement polynomial, pouvant être obtenu dans le cas d'un ajustement d'ordre supérieur à un.
Lorsque la saturation moyenne est faible, par exemple inférieure à environ 7% de la saturation maximale, la notion de teinte n'est plus représentative et les segments sont alors uniquement comparés sur la base de leur intensité moyenne et de leur variation en intensité. Ce cas correspond aux couleurs "proches" des gris. Ainsi, la méthode de comparaison consiste principalement à comparer les niveaux de gris moyens (i.e. l'intensité moyenne) et les variations en intensité (i.e. les textures).
Cette méthode de comparaison est une approximation d'une mesure de similarité entre ajustements polynomiaux, mais est néanmoins valide puisque le coefficient de corrélation linéaire au sein des nuages de points correspondant aux régions est élevé. Les figures suivantes présentent la segmentation Σ en objets sémantiques sur trois images (5), (6), (7), respectivement à la fin de la deuxième phase du procédé (figures 5a, 6a et 7a) et à la fin de la troisième phase (respectivement figures 5b, 6b et 7b).
Il apparaît que la fusion des régions similaires, obtenue lors de la troisième étape, fournit une segmentation réaliste des images (5), (6), (7).
Un autre mode de réalisation concerne la segmentation fine d'objets obtenus à l'aide du procédé de fusion précédent, visant à obtenir le contour fin de ces objets ainsr que leur structure interne. Le même algorithme est utilisé avec au moins deux résolutions différentes, l'une dite fine et l'autre dite large. Cette résolution plus fine est obtenue uniquement en utilisant des blocs initiaux de taille plus petite, par exemple 4x4 pixels. L'algorithme réalise alors la segmentation en découpant à l'échelle du pixel, ce qui la rend plus sensible aux contours et aux textures.
Contrairement aux méthodes de l'état de la technique évoquées plus haut, même lors de la segmentation fine, les zones dont la surface 19
représente moins d'une valeur seuil, fixée à 1 % dans l'exemple de réalisation dans L'exemple de réalisation, de la surface de l'image ne sont pas prises en compte. Cela permet en particulier d'extraire les petits objets qui n'auraient pas été détectés par la première segmentation du fait de la résolution plus importante. Les figures 8a et 8b présentent respectivement une segmentation dite large Σ, obtenue avec une résolution de 16x16 pixels, et une résolution dite fine ∑f de 4x4 pixels, sur une même image.
Puis une superposition permet d'obtenir une segmentation finale optimisée ∑o, telle que représentée en figure 9 ; les deux segmentations sont obtenues à l'aide du même algorithme avec, comme paramètre d'entrée relatif à la résolution, 4 X 4 pixels et 16 X 16 pixels.
La superposition conserve les contours 10 des régions fines incluses dans les régions ayant une signification sémantique. Cependant, les régions fines peuvent ne pas être systématiquement incluses dans la région large correspondante, car pouvant résulter de détails obtenus grâce à la résolution plus fine, par exemple les barres 11 sur le mur à l'arrière du personnage de la figure 9.
Pour plus de clarté, nous utilisons le terme de région pour désigner les larges régions sémantiquement significatives obtenues par une segmentation avec de larges blocs initiaux, et le terme de zones pour désigner les régions fines obtenues avec de petits blocs. Le résultat final (figure 9) est obtenu par la superposition des deux résultats intermédiaires. Dans le cas idéal, chaque région serait composée exactement (au contour près) de l'ensemble des zones qu'elle contient spatialement. Trois cas peuvent cependant se présenter :
• Une zone est spatialement incluse dans une région et sa représentation est proche (au sens de la mesure de similarité utilisée lors de la troisième phase de l'algorithme de base) de celle de cette région. Dans ce cas, on considère que la zone fait partie de la région. •20
• Du fait de la résolution plus précise de la segmentation fine, une zone peut correspondre à un détail de l'image n'ayant pas été extrait par la segmentation grossière (ex : les barres 11 sur le mur à l'arrière du personnage de la figure 9). Dans ce cas la distance entre les représentations de la zone et de la région est élevée, et on considère que la zone ne fait pas partie de la région, mais forme une région par elle- même. Ces zones peuvent éventuellement être utilisées pour l'étude de la structure spatiale des régions.
• Une zone n'est pas majoritairement incluse dans une région (en pratique, un seuil dépendant de la taille de la zone est fixé) mais s'étend sur plusieurs régions (ex : le col 12 de la chemise du personnage de la figure 9). Dans ce cas, la zone fait partie de la région la plus similaire, ou est considérée comme région à part entière si aucune des régions avoisinantes n'est assez similaire. Des exemples d'application du procédé selon l'invention sont décrits ci-après.
Exemple 1 : Caractérisation des objets; classification. L'ensemble des caractéristiques des objets segmentés est conservé en vue d'une analyse du document et/ou d'une indexation des images pour permettre la recherche de plans sur leur contenu en terme d'objets sémantiques et d'actions de ces objets. L'ensemble des caractéristiques de chaque région (couleur, texture, taille, position, indice de forme, mouvement,... ) est très compact. Dans le cas d'un ajustement linéaire, un résumé des caractéristiques précédentes peut être stockés dans moins de 20 octets (La position de la couleur moyenne et du segment représentatif en nécessitant 9). Des représentations plus complètes peuvent nécessiter quelques dizaines d'octets par objet.
Une image peut être représentée sous une forme résumée par une liste de descripteurs des principaux objets qu'elle contient, chaque descripteur incluant notamment la position et le mouvement de l'objet. Les 21
critères de choix des principaux objets peuvent être par exemple la taille, la différence de couleur avec les objets voisins, le mouvement, ou des connaissances sémantiques du type "l'objet X est important". Sur la base d'une représentation de 4 objets dans une image, par exemple, la représentation de l'image peut être aussi compacte que 80 octets. Pour caractériser un objet, il est utile de connaître non seulement le descripteur de cet objet, mais également les descripteurs des objets voisins, puisqu'un objets peut aussi être caractérisé par son contexte (ex : un avion dans le ciel.). La sémantique de certains des objets segmentés par la méthode proposée peut être aisément extraite à l'aide de leurs caractéristiques visuelles dans un certain nombre de cas simples (ex : détection de ciels de jours, d'éclairages, de peau, ... ). Cependant, l'association d'une sémantique aux objets peut également s'appuyer sur l'apport de connaissances externes. Par exemple : "un ciel est un objet bleu ou gris peu texture, en général en haut d'une image".
Le problème de la caractérisation d'un objet sémantique est un problème connu de classification ou de groupement (clustering) de points dans un espace multi-dimensionnel. Cette classification peut s'effectuer avec ou sans apprentissage, en mode supervisé ou non. Dans le procédé du présent brevet, cette classification s'appuie sur une représentation compacte de l'objet et le cas échéant des objets environnants, dans un espace multi-dimensionnel.
Les méthodes connues de classification qui peuvent être utilisées sont les méthodes classiques d'analyse des données, les méthodes neuronales et les méthodes par algorithmes génétiques.
Dans certaines méthodes d'analyse des données, les nuages de points voisins sont caractérisés comme des clusters et projetés dans un espace de représentation plus petit adéquat. La caractérisation des objets du cluster peut alors se faire à partir de la description par l'utilisateur d'un 22
ou plusieurs objets du cluster. Le système d'indexation généralise la caractérisation d'un ou plusieurs objets décrits par des points du cluster, à des objets décrits par d'autres points de ce cluster.
Dans l'approche neuronale, le système apprend un « classifieur », qui permet de diviser l'espace de représentation en clusters, à partir d'un ensemble d'exemples. Les exemples peuvent être fournis par un des utilisateurs du système pendant l'apprentissage ou en cours d'utilisation.
Dans l'approche génétique, il existe un ensemble de classifieurs initiaux, caractérisés chacun par une fonction de similarité prise dans un ensemble de fonctions possibles, et par des seuils. Ces classifieurs sont représentés par une signature qui est une chaîne de bits. Les classifieurs initiaux peuvent être tirés au hasard ou fournis par des utilisateurs. L'utilisateur ou le système détermine quels classifieurs ont donné une réponse appropriée. Les classifieurs qui ont participé aux bonnes réponses sont hybrides par recombinaison de la signature de deux de ces classifieurs. Des modifications aléatoires des signatures ou "mutations", peuvent également être appliquées lors de la création de nouveaux classifieurs. Pour certaines classes d'applications, ce processus converge vers une population de classifieurs proche de l'optimum. La quatrième méthode de classification envisageable à partir de la segmentation de l'image en objets sémantiques, est la recherche d'objets visuels similaires à un ensemble d'exemples donnés, à partir d'une similarité des caractéristiques de couleurs, de formes, etc. La requête initiale obtient une fonction globale de similarité, en calculant une somme de fonctions de similarité appliquées indépendamment à différents critères, chacune étant pondérée par une valeur appelée poids. Cette requête initiale peut être enrichie de façon connue en permettant à l'utilisateur de spécifier quels sont les réponses satisfaisantes ou non. Une technique générique d'enrichissement d'une requête vectorielle à partir de ces réponses est connue. Dans certaines variantes de cette technique, elle peut s'appuyer sur l'estimation des modifications souhaitables des poids des différentes fonctions de similarité, par des méthodes dérivées des probabilités bayésiennes. La recherche vectorielle par similarité est proposée par plusieurs projet d'indexation de la vidéo, mais ces projets ne s'appuient pas sur une segmentation spatiale des objet sémantiques et une mesure de similarité selon notre procédé.
Selon la présente approche, l'application de ces méthodes est facilitée par la taille réduite du descripteur, et par la possibilité pour l'utilisateur d'indiquer des exemples et des contre-exemples, et le cas échéant d'indiquer si la réponse est satisfaisante ou non.
Un script décrivant le contenu de chaque plan d'une vidéo est aligné sur les limites de plans de la vidéo par des méthodes connues. Ce scπpt décrit chaque objet d'un plan et ses actions. En corrélant la présence d'un objet dans le script et dans la vidéo, il est possible de déterminer avec une certaine probabilité quel objet de la vidéo correspond à un objet du script et quelles sont ses actions. A partir de cette information, on dispose d'exemples de ce type d'objet, qui permettent de construire automatiquement un classifieur pour cet objet.
Une autre utilisation de ces méthodes dans notre procédé est d'utiliser la segmentation pour annoter les objets par des caractéristiques objectives ou subjectives. Pour reconnaître la présence d'une de ces caractéristiques dans un objet ou une partie d'une vidéo, il est possible de choisir de façon automatique comme exemples les objets visuels qui sont annotés par cette caractéristique, et de procéder ensuite à l'apprentissage d'un des classifieurs précédents.
Dans le cas particulier ou l'objet correspond à un personnage, la reconnaissance du locuteur par des méthodes connues d'analyse audio permet de choisir comme exemple plusieurs instances d'un même objet, et de procéder ensuite à l'apprentissage des caractéristiques de cet objets selon l'une des méthodes mentionnées précédemment. 24
Dans tous les cas, la segmentation et la classification des objets d'une scène et de leur mouvement permet de générer un script de la scène qui décrit les objets, les actions, et l'ambiance de la scène.
Exemple 2 : Segmentation temporelle de vidéo en séquences De façon connue, une vidéo est le plus souvent structurée en plans, séparés par des coupures (cuts en anglais) ou par des effets spéciaux (fondus, volets). Un plan est une suite continue d'images effectué en une seule prise par une seule caméra. La segmentation d'une vidéo en plans est utile notamment pour naviguer dans la vidéo à partir d'un interface appelé "story-board", qui représente chaque plan par une image caractéristique.
Cependant, plusieurs plans peuvent avoir un contenu sémantique voisin, et d'autre part le nombre de plans dans une vidéo est souvent très élevé, ce qui est défavorable à une navigation efficace dans la vidéo à partir du story board.
Plusieurs auteurs ont proposé de représenter la vidéo en vue d'une description de son contenu et de la navigation dans ce contenu, comme une suite de séquences. Selon cette approche, une séquence est une suite de plans décrivant un même environnement et les mêmes personnages. La séquence est une unité sémantique appropriée pour la description de contenu et la navigation dans la vidéo.
Des méthodes pour la segmentation automatique d'une vidéo en séquences ont déjà été proposées. Par exemple, un changement dans l'évolution de la durée des plans peut caractériser un changement de séquences.
Une autre méthode de segmentation en séquences est basée sur la détection d'objets caractéristiques. Par exemple, un changement de séquence est souvent lié à un changement d'environnement, par exemple 25
entre intérieur / extérieur / jour / nuit. La détection d'un objet de type ciel de jour ou ciel de nuit ou éclairage permet éventuellement de caractériser un plan comme tourné en extérieur jour ou extérieur nuit.
Dans le procédé selon la présente invention, la segmentation en objets sémantiques puis la caractérisation d'un certain nombre d'objets par les méthodes du paragraphe précédent permet de détecter des limites de séquences.
Deux autres types d'intervalles temporels sont les groupes de plans (prises de vue, groupements) et les sujets. Les groupes de plans ont les mêmes propriétés que les séquences, mais ne sont pas formés nécessairement de plans contigus. Les sujets sont une suite de séquences portant sur un même thème. La détection de sujets est particulièrement intéressante pour caractériser des intervalles temporels dans des vidéos documentaires ou d'actualités. La segmentation en sujets selon la présente application s'appuie sur la segmentation en séquences selon l'approche décrite précédemment.
La détection d'une limite de sujet se fait à partir d'une ou plusieurs des méthodes suivantes :
• Une méthode syntaxique connue • La présence d'un objet sémantique appartenant à une classe d'objets caractérisant un certain sujet
• L'extraction du texte des dialogues et des commentaires par des méthodes connues de dictée" vocale, les mots de ces textes étant ensuite classés par concepts à l'aide d'une méthode telle que celle publiée auparavant par Dumais et Foltz (Comm. ACM ).
Une fois la vidéo segmentée en sujets, la caractérisation du sujet par un ou plusieurs descripteurs s'appuie sur les mêmes méthodes. Exemple 3 : Segmentation d'objets sémantiques composites Les objets sémantiques composites sont composés d'une ou plusieurs régions sémantiques segmentées par la méthode décrite ci- 26
dessus. Dans la figure 8, le personnage est un objet sémantique composite composé du casque, du visage, de la veste, du col de chemise, ... Il est intéressant de pouvoir le retrouver par une région quelconque, par exemple par le casque, ou de visualiser et d'annoter le personnage complet et pas seulement le visage.
La segmentation de tels objets ne peut en général être réalisée uniquement à partir d'une image fixe.
Il est dans certain cas possible, par exemple lorsqu'une focale longue a été utilisée pour la prise de vue, de séparer les objets de l'avant plan qui sont nets, des objets de l'arrière plan qui sont susceptible d'être flous. Ce type de segmentation n'est cependant pas utilisable systématiquement, et est susceptible de conduire à des sous- segmentations importantes (exemple : l'arrière plan segmenté comme un seul objet). La segmentation des objets en mouvements peut aussi être utilisée pour la segmentation des objets composites dans les vidéos. Les méthodes de segmentation basées sur le mouvement et de suivi d'objets ont récemment fait l'objet de nombreuses publications ( voir Proceedings of the Workshop on Image Analysis for multimédia Interactiv Services - WIAMIS'97, Louvain-la-Neuve, Belgique, juin 1997). Une limitation des méthodes basées principalement sur le mouvement, par rapport à notre approche basée sur les objets sémantiques, est que la méthode basée sur le mouvement n'est pas toujours applicable (objets statiques) et qu'elle ne fournit pas d'informations de structure. Selon la présente approche, il est possible d'utiliser une représentation sur plusieurs dimensions du mouvement et de la couleur (par exemple : deux dimensions pour le mouvement, une pour le nombre de blocs pour chaque valeur des deux dimensions précédentes). Cependant dans une autre mise en œuvre utile de notre procédé, la segmentation est faite uniquement sur la couleur, la distribution du 27
mouvement est calculée sur chaque objet ou partie d'objet. Cette distribution (par exemple la moyenne et l'écart type des vecteurs de mouvement) est utilisée pour définir des objets composites à partir d'un même mouvement des différentes parties. Les différences entre les caractéristiques de mouvement dans différentes parties d'un objet sémantique peuvent aussi être utilisées pour décrire un mouvement complexe ou une action de cet objet. Par exemple, le mouvement d'un bras dans un personnage n'est pas forcément le mouvement moyen de l'objet. Après compensation des mouvements de caméra (travellings, zooms, ... ) les informations de mouvements peuvent être utilisées de 2 façons :
• la segmentation des objets en mouvement retourne une segmentation en région qui est nécessairement un sur-ensemble de la segmentation obtenue sur les images fixes par notre algorithme. Les régions appartenant à un même objet en mouvement sont regroupées pour former un objet composite ;
• les régions obtenues par la méthode de segmentation présentée ci-dessus et présentant les mêmes caractéristiques de mouvement (vitesse, trajectoire) sur des images consécutives sont regroupées pour former un objet composite.
Si l'analyse du mouvement est importante pour l'amélioration de la segmentation en objets composites, elle n'est pas suffisante dans certains cas, notamment dans la cas de plans ou scènes relativement statiques. Une troisième méthode basée sur la cooccurrence des régions dans les images est proposée : si la combinaison de régions, par exemple casque-visage-veste, apparaît régulièrement dans des suites de plans, alors ces régions peuvent être associées avec une probabilité importante de cooccurrence. Les objets étant représentés dans un espace des caractéristiques citées précédemment, la probabilité de cooccurrence des 28
objets sémantiques segmentés peut être calculée, par exemple par les méthodes statistiques connues utilisées pour l'indexation de documents textuels.
Enfin, les objets voisins peuvent être regroupés en objets composites à l'aide de leur valeur sémantique.
Exemple 4 : Suivi d'un objet à travers une ou plusieurs scènes Les méthodes précédentes permettent de retrouver un même objet sémantique à travers plusieurs images successives d'une scène d'une vidéo, ou même à travers plusieurs scènes situées dans différents passages de cette vidéo. Cette caractérisation se fait à partir des méthodes de similarité entre objets ou régions visuelles décrites précédemment, et compte tenu des déplacements de l'objet : un objet semblable situé à la même place dans l'image suivante a plus de chance d'être le même objet que s'il est dans une partie opposée de l'image. Le suivi d'objet (ou traçage d'objets) dans une vidéo est un problème connu, qui fait l'objet de plusieurs travaux d'autres auteurs. Dans notre approche, le fait de disposer d'objets sémantiques simples ou composites limite le nombre d'objets à suivre, d'autre part nous utilisons une méthode spécifique de recherche de similarité entre plusieurs occurrences d'un objet, comme nous l'avons décrit précédemment.
Dans certains cas, le suivi d'objets permet de détecter des actions. Par exemple le fait que deux objets se déplacent ensemble puis sont séparés, traduit fréquemment le fait qu'un des objets a déposé l'autre au cours de l'intervalle. Le fait qu'il s'agit d'objets sémantiques accroît la qualité de cette détection d'actions.
Exemple 5 : Sélection d'objets en vue du stockage sur le système d'un utilisateur
Lors de l'accès intelligent à une base d'images, ou une grande base de vidéos, ou un ensemble de programmes audiovisuels diffusés, il est utile de pouvoir stocker une partie de cette base ou de ces 29
programmes intéressante pour un utilisateur, sur un système de stockage, par exemple au site de production du programme ou chez l'utilisateur.
Dans le présent procédé, les parties de la vidéo stockées sur ce système de stockage sont des intervalles temporels ou des ensembles d'images caractérisés par la présence de descripteurs de séquences ou de sujets vérifiant une requête de l'utilisateur ou du système, ou par la présence d'objets visuels ou sonores vérifiant une telle requête.
Ces parties sont stockées dans un certain ordre, qui dépend soit de la pertinence des oojets trouvés, soit de règles de transition entre objets définies par le système ou par l'utilisateur, soit un ordre aléatoire. Les règles de transition peuvent être extraites à partir des associations usuelles faites par un utilisateur, ou des transitions faites usuellement par celui-ci.
La requête utilisée a pour but de retrouver un objet (ou une séquence ou un sujet) dans laquelle on retrouve avec un degré de pertinence et de réalisation plus ou moins élevé un ensemble de caractéristiques de contenu présents dans la requête ou dans un jeu d'exemples associé à la requête. Les objets ou les segments temporels recherchés peuvent être ceux pour lesquels soit l'utilisateur a manifesté un intérêt, par exemple par la consultation d'objets semblables lors de sessions antérieures, soit un utilisateur semblable a manifesté un intérêt.
Deux utilisateurs sont semblables par rapport à cette application, s'ils manifestent un intérêt pour un même ensemble de documents ou d'objets audiovisuels. Dans ces deux cas, les requêtes qui serviront à sélectionner les objets ou les segments temporels peuvent être produites automatiquement par le système.
Exemple 6 : Utilisation pour un système de compression et de composition d'objets vidéo
Dans un système de compression de vidéos basé sur une représentation par objets, il est utile de pouvoir décrire une image comme 30
un ensemble d'objets. Un objet qui intéresse davantage un utilisateur peut être transmis avec un taux de compression plus faible qu'un autre objet (tel que l'arrière plan). D'autre part, une scène vidéo peut être éditée de façon à juxtaposer plusieurs objets provenant de scènes différentes, ou à supprimer certains objets.
Pour réaliser ces objectifs, la disposition d'une segmentation en objets sémantiques est utile. Dans notre approche, les méthodes de segmentation utilisées permettent d'accéder à une structure arborescente des objets, depuis l'intervalle temporel ou l'image, puis des objets composites, jusqu'à la structure interne de ces objets, comme nous l'avons décrit précédemment.
Cette approche permet d'appliquer les méthodes d'un système de représentation de vidéo par objets, d'une façon efficace, et avec une granularité qui varie de l'objet composite à la structure fine. L'invention n'est pas limitée aux exemples décrits et représentés.
D'autres utilisations et applications sont ci-après définies :
- utilisation selon laquelle une région à signification sémantique est également caractérisée par des régions plus petites contenues dans la première ; - pour étiqueter les objets dans une image par une description du type et du contenu de ces objets ;
- pour détecter les objets communs dans plusieurs plans d'une vidéo, en vue de grouper ces plans en groupes de plans à signification sémantique ; - pour détecter les suites de plans réalisés dans un même contexte, appelés scènes ou séquences, et les groupes de plans réalisés dans un même contexte, appelés groupes de plans ou clusters ;
- l'utilisation conjointe avec la dictée vocale pour caractériser le contenu des plans et des scènes d'une vidéo ; 3 1
- application à des images fixes et animées, conjointement avec des annotations effectuées par l'utilisateur, pour caractériser les objets de la vidéo par des caractéristiques objectives et subjectives ;
- application à une base d'images, pour caractériser un objet composite pour l'association fréquente de plusieurs composantes de l'objet dans la même image ;
- l'utilisation pour décrire un objet audiovisuel comportant des images, dans un format de représentation décrivant notamment la position des objets sémantiques contenus dans l'objet audiovisuel, ces objets sémantiques étant caractérisés par un ensemble de caractéristiques sémantiques ;
- l'utilisation pour décrire un objet audiovisuel comportant des images, dans un format de représentation décrivant notamment les actions des objets sémantiques contenus dans l'objet audiovisuel ; - l'utilisation pour sélectionner les objets d'un flot d'objets audiovisuels, devant être stockés dans le système de stockage d'un utilisateur de ce flot audiovisuel en vue de l'accès ultérieur à ces objets ;
- l'utilisation des procédés selon l'invention, dans lesquels le degré de vraisemblance ou de réalisation de la caractéristique est respectivement caractérisée ou représentée par un nombre.
- l'utilisation pour la compression et la transmission d'images fixes et animées avec un degré de compression variable selon l'interaction actuelle ou antérieure de l'utilisateur avec un objet sémantique donné ;
- l'utilisation pour la représentation d'images fixes et animées comme un ensemble d'objets sémantiques dans une scène dont la composition peut être modifiée par l'utilisateur.

Claims

•32REVENDICATIONS
1. Procédé de segmentation spatiale d'une image en objets visuels, caractérisé en ce que, pour obtenir des objets ayant une signification sémantique, il comporte les étapes suivantes :
- dans une première phase, une partition de l'image en régions selon un pavage prédéterminé, une fusion de régions voisines dont la similarité, selon une première fonction de similarité, est inférieure à un premier seuil, et l'obtention de régions élargies, - dans une deuxième phase, une fusion d'une région élargie de taille inférieure à un deuxième seuil avec une région voisine qui lui est la plus similaire selon une deuxième fonction de similarité.
2. Procédé selon la revendication 1 , caractérisé en ce qu'il comporte une troisième phase, de fusion des régions obtenues à l'issue de la deuxième phase et qui sont similaires selon une troisième fonction de similarité.
3. Procédé selon la revendication 1 ou 2, caractérisé en ce que les fonctions de similarité dans au moins deux des phases sont différentes.
4. Procédé selon l'une des revendications 1 à 3 dans lequel les régions voisines fusionnables dans l'une quelconque des phases peuvent être des régions initiales ou des régions issues d'une fusion selon une fonction de similarité différente.
5. Procédé selon l'une des revendications 1 à 4, caractérisé en ce que pour une fonction de similarité on retient une méthode comportant : - une distribution des pixels d'une région dans un espace de représentation de manière à former un nuage de points dans cet espace, chaque point de cet espace y représentant un pixel,
- cet espace de représentation comportant au moins une dimension de base relatives à des caractéristiques physiques des pixels, - une extraction d'un ensemble de grandeurs statistiques relatives à 33
ce nuage, et
- la définition d'un critère de ressemblance entre ces grandeurs statistiques.
6. Procédé selon la revendication 4, caractérisé en ce que si l'espace comporte au moins deux dimensions,
- l'extraction des grandeurs statistiques comporte un ajustement polynomial d'une courbe avec les points du nuage d'une région, et la représentation de cet ajustement polynomial par une suite de valeurs ajustées, et - la définition du critère de ressemblance comporte une détermination d'un troisième seuil de comparaison pour comparer de telles suites de valeurs ajustées.
7. Procédé selon la revendication 6, dans lequel la fonction de similarité entre deux régions dépend de positions de centroïdes de nuages de deux régions, et d'extrémités de deux segments de courbe représentant ces deux régions.
8. Procédé selon la revendication 7, dans lequel la fonction de similarité est la distance entre les centroïdes des nuages de points.
9. Procédé selon l'une des revendications 6 à 8, dans lequel l'ajustement polynomial est une régression linéaire.
10. Procédé selon l'une des revendications 6 à 9, dans lequel les nuages de points décrivant une région sont distribués dans un espace dont trois dimensions de base sont trois"combinaisons linéaires ou non linéaires distinctes des trois couleurs primaires de la synthèse additive et une autre dimension dans cet espace étant l'effectif des pixels selon cette distribution.
11. Procédé selon l'une des revendications 5 à 9, dans lequel les points d'un nuage décrivant une région sont distribués dans un espace dont trois dimensions de base sont la teinte, la saturation et l'intensité de la couleur, et une autre dimension dans cet espace étant l'effectif des 34
pixels selon cette distribution.
12. Procédé de segmentation selon la revendication 11 dans lequel le calcul de similarité entre régions est réalisé :
- en utilisant l'espace teinte/saturation/intensité si une saturation moyenne est supérieure à une quatrième seuil prédéterminé ;
- dans l'espace des intensités, si la saturation est inférieure ou égale à ce quatrième seuil.
13. Procédé selon l'une quelconque des revendications 1 à 9, dans lequel le signal électromagnétique apparaissant dans au moins deux images est transformé pour en extraire pour chaque région au moins deux composantes de mouvement entre les deux images pour le représenter, telles que valeur scalaire et orientation, et où les autres étapes du procédé s'appliquent à cette représentation.
14. Procédé de segmentation spatiale d'une image en objets visuels, caractérisé en ce que : a) au moins deux segmentations sont réalisées selon l'une des revendications 1 à 12 avec au moins deux tailles de régions initiales correspondant à des résolutions différentes ; b) on superpose les objets obtenus, c) on remplace le contour de l'objet obtenu par la résolution la moins fine par le contour obtenu par la résolution la plus fine, et/ou d) l'image est représentée comme une arborescence d'objets, chaque objet de niveau supérieur pouvant inclure un ou plusieurs objets de niveau inférieur.
15. Procédé de segmentation selon l'une quelconque des revendications précédentes dans lequel les seuils prédéterminés sont choisis pour maintenir la distribution des tailles des régions dans un intervalle défini pour éviter une sur et une sous-segmentation.
16. Procédé selon l'une des revendications 1 à 15, dans lequel des paramètres de seuil, de degré de polynôme et de fonction de similarité 35
sont choisis de façon adaptative par une méthode d'apprentissage prédéterminée, en fonction de seuils de sur-segmentation et de sous- segmentation à éviter, et d'un calcul d'évaluation prédéterminé de celles- ci.
17. Utilisation du procédé selon l'une des revendications 1 à 16, pour caractériser l'image par un ensemble d'objets décrits par plusieurs caractéristiques, l'une au moins de ces caractéristiques étant représentées par un nombre ou par une valeur dans un ensemble énuméré.
18. Utilisation du procédé selon l'une des revendications 1 à 17, pour classer les objets visuels de plusieurs images segmentées à l'aide de partition de l'espace de représentation des objets par une méthode de classification avec apprentissage choisie parmi une méthode de type neuronale ; une méthode de type génétique et une méthode d'analyse des données.
19. Utilisation conjointe du procédé selon l'une des revendications 1 à 17 et d'une mesure de distance entre les courbes d'ajustement dans un espace de représentation de ces courbes, pour détecter la présence d'un même objet dans plusieurs images, consécutives ou non.
20. Utilisation conjointe du procédé selon l'une des revendications 1 à 17 avec des méthodes statistiques de caractérisation des concepts contenus dans un texte, pour caractériser le contenu d'une suite de scènes portant sur un même sujet.
21. Utilisation conjointe du procédé selon l'une des revendications 1 à 17 avec la reconnaissance d'un locuteur, pour caractériser le contenu de plans et de scènes d'une vidéo.
22. Utilisation conjointe du procédé selon l'une des revendications 1 à 17 avec un alignement automatique entre un script et une vidéo, pour caractériser le contenu des plans et des scènes d'un document vidéo.
23. Utilisation conjointe du procédé selon l'une des revendications 1 à 17 avec un alignement automatique entre un script et une vidéo, pour apprendre de façon automatique les caractéristiques des objets présents dans la vidéo et dans le script.
24. Utilisation conjointe du procédé selon l'une des revendications 1 à 17 avec la transcription de la parole de la vidéo sous forme de texte par une méthode de dictée vocale, pour caractériser le contenu de plans et de scènes d'une vidéo.
EP99901651A 1998-02-04 1999-01-28 Procede de segmentation spatiale d'une image en objets visuels et application Withdrawn EP1053533A1 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR9801308 1998-02-04
FR9801308A FR2774493B1 (fr) 1998-02-04 1998-02-04 Procede de segmentation spatiale d'une image en objets visuels et application
PCT/FR1999/000176 WO1999040539A1 (fr) 1998-02-04 1999-01-28 Procede de segmentation spatiale d'une image en objets visuels et application

Publications (1)

Publication Number Publication Date
EP1053533A1 true EP1053533A1 (fr) 2000-11-22

Family

ID=9522598

Family Applications (1)

Application Number Title Priority Date Filing Date
EP99901651A Withdrawn EP1053533A1 (fr) 1998-02-04 1999-01-28 Procede de segmentation spatiale d'une image en objets visuels et application

Country Status (3)

Country Link
EP (1) EP1053533A1 (fr)
FR (1) FR2774493B1 (fr)
WO (1) WO1999040539A1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10017551C2 (de) * 2000-04-08 2002-10-24 Carl Zeiss Vision Gmbh Verfahren zur zyklischen, interaktiven Bildanalyse sowie Computersystem und Computerprogramm zur Ausführung des Verfahrens
US6859554B2 (en) * 2001-04-04 2005-02-22 Mitsubishi Electric Research Laboratories, Inc. Method for segmenting multi-resolution video objects
FR2864300A1 (fr) * 2003-12-22 2005-06-24 France Telecom Procede de localisation et de segmentation floue d'une personne dans une image video

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2894113B2 (ja) * 1992-11-04 1999-05-24 松下電器産業株式会社 画像クラスタリング装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO9940539A1 *

Also Published As

Publication number Publication date
FR2774493B1 (fr) 2000-09-15
FR2774493A1 (fr) 1999-08-06
WO1999040539A1 (fr) 1999-08-12

Similar Documents

Publication Publication Date Title
EP1316065B1 (fr) Procede de segmentation d'une image video par objets elementaires
Eitz et al. Photosketcher: interactive sketch-based image synthesis
Truong et al. Scene extraction in motion pictures
EP2347349A2 (fr) Procédé pour une classification sémantique basée sur des événements
EP3707676A1 (fr) Procédé d'estimation de pose d'une caméra dans le référentiel d'une scène tridimensionnelle, dispositif, système de réalite augmentée et programme d'ordinateur associé
US20100067824A1 (en) Image decompostion
Fei et al. Creating memorable video summaries that satisfy the user’s intention for taking the videos
Bartolini et al. Shiatsu: semantic-based hierarchical automatic tagging of videos by segmentation using cuts
Kim et al. Automatic color scheme extraction from movies
WO2004040472A2 (fr) Procede de selection de germes pour le regroupement d'images-cles
WO2004029833A2 (fr) Procede et dispositif de mesure de similarite entre images
Morikawa et al. Food region segmentation in meal images using touch points
EP1053533A1 (fr) Procede de segmentation spatiale d'une image en objets visuels et application
Canini et al. Emotional identity of movies
Delezoide et al. Irim at trecvid 2011: Semantic indexing and instance search
Adams Where does computational media aesthetics fit?
Darji et al. A review of video classification techniques
Suran et al. Automatic aesthetic quality assessment of photographic images using deep convolutional neural network
Ceroni et al. Mining exoticism from visual content with fusion-based deep neural networks
Ciocca et al. Dynamic storyboards for video content summarization
Salehin et al. Adaptive fusion of human visual sensitive features for surveillance video summarization
Ionescu et al. Animation movies trailer computation
EP1435054A2 (fr) Procede d'indexation et de comparaison de documents multimedia
Merler et al. Selecting the best faces to index presentation videos
Benini et al. Identifying video content consistency by vector quantization

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20000714

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): DE ES FR GB IT

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20040803