EP1543444A2 - Procede et dispositif de mesure de similarite entre images - Google Patents

Procede et dispositif de mesure de similarite entre images

Info

Publication number
EP1543444A2
EP1543444A2 EP03780266A EP03780266A EP1543444A2 EP 1543444 A2 EP1543444 A2 EP 1543444A2 EP 03780266 A EP03780266 A EP 03780266A EP 03780266 A EP03780266 A EP 03780266A EP 1543444 A2 EP1543444 A2 EP 1543444A2
Authority
EP
European Patent Office
Prior art keywords
class
images
segments
image
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP03780266A
Other languages
German (de)
English (en)
Inventor
Lionel Oisel
François Le Clerc
Bertrand Chupeau
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital Madison Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of EP1543444A2 publication Critical patent/EP1543444A2/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99936—Pattern matching access

Definitions

  • the invention relates to a method and device for measuring similarity between images.
  • the field of application is that of calculating the similarity between images.
  • This similarity can be used when searching for images by similarity. It can also be used to estimate groups of close images according to the similarity criterion used. This is for example the construction of video summaries. This consists of a search for similar images in a database made up of images from a video sequence. The goal is to reduce the number of these images by keeping only one representative for a group of images declared to be similar. It is also about indexing, which consists in selecting index images based on their similarity to other images. or simply to search for specific images in the video sequence, from query images.
  • MPEG-7 and the algorithms for processing these attributes for the measurement of similarity do not allow, for certain types of sequences, to detect similar images satisfactorily, insofar as they do not take into account either image as a whole, or the details in the image.
  • the similarity measure With a view to grouping images extracted from a video, the similarity measure must be able to reflect the fact that several images correspond to the same scene, characterized by a unit of place. Information characterizing only the details of the image is not sufficient to fulfill this task. On the other hand, information characterizing the image only in its entirety may prove to be unsuitable in the case of partial modification of the scene decoration, for example by modification of the background of the scene.
  • the invention aims to overcome the aforementioned drawbacks. It relates to a method of measuring similarity between images, characterized in that it performs, for each image, the following steps:
  • the method is characterized in that it also calculates a histogram corresponding to the distribution of the segments around the center of gravity of each class. According to a particular embodiment, to calculate this histogram, it performs a calculation of the standard deviation of the distances from the mediums of the segments of a class to the center of gravity of the class considered.
  • the comparison of the histograms consists in a subtraction of the ordinates, class by class and in a sum, over all the classes, of the values obtained for each class.
  • the histograms are coded according to the MPEG-7 standard.
  • the invention also relates to a method for clustering images of a database, characterized in that the grouping is carried out according to similarity measures according to the method described above to give groups (clusters) of images.
  • the invention also relates to a method for creating video summaries, characterized in that it selects at least one of the images of at least one group calculated according to the preceding method.
  • the invention also relates to a video indexing method, characterized in that it selects at least one of the images of at least one group calculated according to the preceding method, as the indexing image.
  • the invention also relates to a device for measuring similarity between images, characterized in that it comprises a circuit for processing and calculating histograms receiving digital data defining these images to perform, for each of them, the following operations :
  • the main advantage of the invention is that it implements high-performance algorithms for characterizing an image and measuring the similarity between images from these algorithms, thanks to the joint use of attributes based on contour orientation making it possible to characterize the number of segments. , their size as well as their distribution according to the orientation.
  • the global description of the image is obtained from the histograms of the orientations of the segments in the image, therefore without taking account of the position of these segments in the image, and the local description is obtained from a measurement of centers of gravity of segment classes, which corresponds to the relative positions of the different segments of the same class.
  • the method performs segmentation of the image.
  • Object does not exist here, however. This involves determining segments in the image which are approximations of the actual contours in the image, for example from gradient measurements, regardless of whether or not they belong to a particular object in the image. 'picture.
  • FIG. 1 represents a flow chart defining the main steps of the method for calculating attribute histograms characterizing an image.
  • a first phase which is a preprocessing of the image consists in detecting contours in the image to obtain a contour map and in segmenting these contours to obtain a segment map.
  • the second phase performs an attribute calculation for the detection of similarity.
  • An image to be processed is transmitted at a first step referenced 1 on the flow diagram of FIG. 1.
  • This step of the method performs a calculation of gradients in the image.
  • a gradient detection filter is applied to the image to give a gradient measurement at each point.
  • a vertical gradient map and a horizontal gradient map are thus calculated.
  • the gradient norm obtained from these maps, the square root of the sum of the squares of the horizontal and vertical gradient values assigned to a pixel, is also used.
  • Step 2 performs a pixel selection from the gradient values calculated in the previous step, compared with thresholds. This selection is refined by that of the points of greatest contrast in a given neighborhood window.
  • the goal is to remove thick contours by selecting, in the vicinity of a pixel, the pixels having the strongest gradients, by considering the values of the horizontal and vertical gradients. It is also a question of favoring the neighboring pixels of a pixel already selected as an outline. The isolated contour points are eliminated.
  • a binary map of contours each pixel of the image is labeled as contour or not.
  • a connectivity test is carried out on the binary contour map in order to gather the neighboring pixels, thereby forming contour lines. To do this, a labeling process of related components is implemented in the next step 3.
  • Two pixels are declared related if there is an unbroken path of contour pixels connecting these two pixels. Pixel contours are thus "chain” so as to obtain a line of continuity. Related pixels are labeled, with each pixel touching another pixel labeled with the same label. We obtain, for each label, a list of related components, this list being the coordinates of the different pixels of a line of continuity relating to a label.
  • the next step 4 of the preprocessing process is a polygonal approximation of these chained contours in order to approach each contour line by a set of connected segments.
  • FIG. 2 represents a method of polygonal approximation of a chained contour.
  • the point e3 is sought, giving the maximum distance between the points of the contour and the segment formed by the ends of this contour e1 and e2. If this distance is greater than a threshold, the contour is approached by two segments [e1, e3] and [e3, e2]. The process is repeated until the distances from the point to the segment are less than the fixed threshold.
  • the second phase consists of a calculation and an exploitation of the attributes relating to this segment map.
  • Step 5 calculates, for each segment of the segment map, the angle between its direction and the horizontal.
  • the angle obtained between 0 and 180 degrees, is then quantified to obtain a reduced number of categories or classes of angles.
  • the angles obtained are listed in 36 classes, the quantization step being 5 degrees or, in other words, one class corresponds to a width of 5 degrees.
  • Histograms relating to three attributes are now calculated in step 6, using the segment orientation information obtained previously. - a histogram of the number of segments according to the orientation.
  • the different classes are represented on the abscissa and the occurrences on the ordinate.
  • the ordinates correspond to the sum of the lengths of the segments of the class, for a given class.
  • the center of gravity G, of class Q is obtained by calculating the barycenter of the media M (s of the segments Sj.
  • the ordinates H (i) correspond to the standard deviation of the Euclidean distances d (G i M (s j )) between the barycenter or center of gravity of class C, considered and the center of each segment of the class:
  • card is the cardinal function returning the number of segments of the class considered.
  • the distribution is put in the form of a histogram, that is to say of vectors of values, thus allowing its exploitation within the framework of the MPEG7 standard which defines the coding of such histograms.
  • the histograms are normalized, for example from the maximum values found.
  • the three histograms of the attributes characterizing the image are used for the similarity measurements, step 7.
  • Three histograms are calculated for a first image which is for example a request image and three other histograms for a second image which is an image in a database of data.
  • the measurement of similarity between the two images Ii and, that is to say the calculation of the distance between these images can then be carried out by simple subtraction of the ordinates, class by class, for each type of histogram Jtf of size
  • An indicator of similarity SCT ⁇ / j is for example the sum of the values obtained by these subtractions, for all the histograms:
  • the similarity measure can be improved by comparing the class also to classes close to the histogram of the other image, with a weighting factor.
  • the comparison of histograms uses for example a metric of cross quadratic type making it possible to get rid of the small variations of overall orientation between two successive images, for example during a weak rotation of the camera.
  • FIG. 3 An example of searching for similar images is given in FIG. 3, showing, at the top left, the image considered, its associated contour and segment map, as well as the images recognized as most similar in a base of 150 images from two different sequences.
  • the main characteristic of these histograms is therefore to provide both a global and local description of the images. It is thus possible, thanks to the global description, to differentiate globally structured images, for example images of cities characterized by orientations of horizontal and vertical segments, of countryside images characterized by orientations of more random segments. But it is also possible, thanks to the local description, to differentiate locally structured images, a part of the image is for example devoted to a building, another to a wood, of less structured images, for example a house in middle of the forest.
  • the orientations of the exploited segments can be the angles formed with other reference lines than the horizontal.
  • the dimensions of the classes can be less than or greater than 5 degrees, depending on the available computing power or time or the desired measurement quality.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

Le procédé est caractérisé en ce qu'il effectue, pour chaque image, les étapes suivantes : segmentation de l'image (1, 2, 3, 4), classification des segments en fonction de leur orientation pour donner des classes (5), calcul d'un histogramme du nombre de segments en fonction de la classe (6), calcul d'un histogramme du nombre de pixels appartenant aux segments d'une même classe en fonction de la classe (6), comparaison des histogrammes de chaque image pour donner une mesure de similarité (7). Les applications concernent le regroupement d'images, la construction de résumés vidéo ou l'indexation vidéo.

Description

PROCEDE ET DISPOSITIF DE MESURE DE SIMILARITE ENTRE IMAGES
L'invention concerne un procédé et dispositif de mesure de similarité entre images. Le domaine d'application est celui du calcul de la similarité entre images. Cette similarité peut être utilisée dans le cadre de la recherche d'images par similarité. Elle peut également être utilisée pour estimer des groupes d'images proches selon le critère de similarité utilisé. Il s'agit par exemple de la construction de résumés vidéo. Celle-ci consiste en une recherche d'images similaires dans une base constituée d'images d'une séquence vidéo. Le but est de réduire le nombre de ces images en ne conservant qu'un représentant pour un groupe d'images décrétées ressemblantes II s'agit également de l'indexation consistant à sélectionner des images index à partir de leur similarité à d'autres images ou tout simplement de la recherche d'images spécifiques dans la séquence vidéo, à partir d'images requête.
De nombreuses études s'intéressent à la mesure de similarité entre images à partir d'attributs affectés aux images. Un certain nombre d'entre eux sont maintenant définis dans la norme MPEG-7. L'invention s'intéresse en particulier aux attributs dits structurels. Par exemple, dans la dernière version de la norme, un attribut de type contour est défini. Il est extrait localement de blocs d'images à partir de filtres de Gabor.
Les attributs connus de l'art antérieur ou proposés dans la norme
MPEG-7 et les algorithmes de traitement de ces attributs pour la mesure de similarité, ne permettent cependant pas, pour certains types de séquences, de détecter des images similaires de façon satisfaisante, dans la mesure où ils ne prennent pas en compte, soit l'image dans sa globalité, soit les détails dans l'image. Dans une optique de regroupement d'images extraites d'une vidéo, la mesure de similarité doit pouvoir traduire le fait que plusieurs images correspondent à une même scène, caractérisée par une unité de lieu. Une information caractérisant uniquement les détails de l'image ne suffit pas à remplir cette tâche. D'un autre coté une information caractérisant l'image uniquement dans sa globalité peut s'avérer inadaptée dans le cas de modification partielle du décor de la scène, par exemple par modification du fond de la scène.
L'invention a pour but de pallier les inconvénients précités. Elle a pour objet un procédé de mesure de similarité entre images, caractérisé en ce qu'il effectue, pour chaque image, les étapes suivantes :
- segmentation de l'image
- classification des segments en fonction de leur orientation pour donner des cl asses,
- calcul d'un histogramme du nombre de segments en fonction de la classe,
- calcul d'un histogramme du nombre de pixels appartenant aux segments d'une même classe en fonction de la classe, - comparaison des histogrammes de chaque image pour donner une mesure de similarité.
Selon une mise en œuvre particulière, le procédé est caractérisé en ce qu'il calcule également un histogramme correspondant à la distribution des segments autour du centre de gravité de chaque classe. Selon une réalisation particulière, pour calculer cet histogramme, il effectue un calcul de l'écart-type des distances des milieux des segments d'une classe au centre de gravité de la classe considérée.
Selon une mise en oeuvre particulière, la comparaison des histogrammes consiste en une soustraction des ordonnées, classe par classe et en une somme, sur l'ensemble des classes, des valeurs obtenues pour chaque classe.
Selon une mise en œuvre particulière, les histogrammes sont codés selon la norme MPEG-7.
L'invention concerne également un procédé de regroupement (clustering) d'images d'une base de données, caractérisé en ce que le regroupement est effectué en fonction des mesures de similarité selon le procédé décrit précédemment pour donner des groupes (clusters) d'images.
L'invention concerne également un procédé de création de résumés vidéo, caractérisé en ce qu'il sélectionne au moins une des images d'au moins un groupe calculé selon le procédé précédent. L'invention concerne également un procédé d'indexation vidéo, caractérisé en ce qu'il sélectionne au moins une des images d'au moins un groupe calculé selon le procédé précédent, comme image d'indexation.
L'invention concerne également un dispositif de mesure de similarité entre images, caractérisé en ce qu'il comporte un circuit de traitement et de calcul d'histogrammes recevant des données numériques définissant ces images pour effectuer, pour chacune d'elle, les opérations suivantes :
- segmentation de l'image - classification des segments en fonction de leur orientation pour donner des classes,
- calcul d'un histogramme du nombre de segments en fonction de la classe,
- calcul d'un histogramme du nombre de pixels appartenant aux segments d'une même classe en fonction de la classe,
- comparaison des histogrammes de chaque image pour donner une mesure de similarité.
L'invention a pour principal avantage de mettre en œuvre des algorithmes performants pour caractériser une image et mesurer la similarité entre images à partir de ces algorithmes, grâce à l'utilisation conjointe d'attributs basés orientation de contours permettant de caractériser le nombre de segments, leur taille ainsi que leur distribution en fonction de l'orientation. La description globale de l'image est obtenue à partir des histogrammes des orientations des segments dans l'image, donc sans tenir compte de la position de ces segments dans l'image, et la description locale est obtenue à partir d'une mesure de centres de gravité de classes de segments, qui correspond aux positions relatives des différents segments d'une même classe.
L'utilisation de tels attributs structurels permet de caractériser l'image à la fois de façon locale et de façon globale, améliorant ainsi l'efficacité dans la recherche de similarité des images. En effet, les dimensions des objets similaires peuvent être très différentes d'une image à une autre, d'un plan de la séquence à un autre. D'autres particularités et avantages de l'invention apparaîtront clairement dans la description suivante donnée à titre d'exemple non limitatif, et faite en regard des figures annexées qui représentent :
- la figure 1 , un organigramme du procédé selon l'invention, - la figure 2, un procédé d'approximation polygonale,
- la figure 3, un exemple de recherche de similarité.
Le procédé réalise une segmentation de l'image. L'approche
« objet » n'existe cependant pas ici. Il s'agit de déterminer des segments dans l'image qui sont des approximations des contours réels dans l'image, par exemple à partir de mesures de gradients, sans se soucier du fait qu'ils appartiennent ou non à un objet particulier dans l'image.
La figure 1 représente un organigramme définissant les principales étapes du procédé de calcul d'histogrammes d'attributs caractérisant une image.
Une première phase qui est un prétraitement de l'image consiste en une détection de contours dans l'image pour obtenir une carte de contours et en une segmentation de ces contours pour obtenir une carte de segments. La deuxième phase réalise un calcul des attributs pour la détection de similarité.
Une image à traiter est transmise à une première étape référencée 1 sur l'organigramme de la figure 1. Cette étape du procédé réalise un calcul de gradients dans l'image. Un filtre de détection de gradients est appliqué à l'image pour donner en chaque point une mesure de gradient. Une carte de gradients verticaux et une carte de gradients horizontaux sont ainsi calculées. La norme des gradients obtenue à partir de ces cartes, racine carrée de la somme des carrés des valeurs de gradient horizontal et vertical attribuées à un pixel, est aussi exploitée.
L'étape 2 réalise une sélection des pixels à partir des valeurs de gradient calculées à l'étape précédente, comparées à des seuils. Cette sélection est affinée par celle des points de plus fort contraste dans une fenêtre de voisinage donnée. Le but est de supprimer des contours épais en sélectionnant, dans le voisinage d'un pixel, les pixels ayant les plus forts gradients, en considérant les valeurs des gradients horizontaux et verticaux. Il s'agit également de favoriser les pixels voisins d'un pixel déjà sélectionné comme un contour. Les points contours isolés sont éliminés. Nous obtenons, à ce stade, une carte binaire de contours, chaque pixel de l'image est étiqueté comme contour ou non. Un test de connectivité est effectué sur la carte binaire de contours afin de rassembler les pixels voisins, pour ainsi constituer des lignes de contours. Pour ce faire, un processus d'étiquetage en composantes connexes est mis en œuvre à l'étape suivante 3.
Deux pixels sont déclarés connexes s'il existe un chemin ininterrompu de pixels contours reliant ces deux pixels. On « chaîne » ainsi des pixels contours de manière à obtenir une ligne de continuité. Les pixels connexes sont étiquetés, chaque pixel touchant un autre pixel étant marqué de la même étiquette. On obtient, pour chaque étiquette, une liste de composantes connexes, cette liste étant les coordonnées des différents pixels d'une ligne de continuité relative à une étiquette.
Pour chaîner chaque contour d'une extrémité à l'autre, il est nécessaire d'éliminer les points multiples, c'est à dire les jonctions de lignes de contours. Un algorithme teste la présence de jonctions et les élimine. Cette étape est réalisée en effectuant un suivi de contours sur chaque composante connexe identifiée. Le parcours des pixels appartenant à une composante connexe donnée se fait de proche en proche. Une combinaison de filtres permet de savoir si le pixel courant correspond à une jonction entre le contour principal et un contour secondaire. Un pixel ayant été catégorisé comme jonction est éliminé de la carte des pixels contour, détachant ainsi le contour secondaire du contour principal. Le contour secondaire est replacé dans la liste des composantes connexes à parcourir. Le suivi de contours se poursuit alors le long du contour principal.
A ce stade, nous disposons d'une carte de lignes de continuité non rectilignes. L'étape suivante 4 du processus de prétraitement est une approximation polygonale de ces contours chaînés afin d'approcher chaque ligne de contour par un ensemble de segments connectés.
La figure 2 représente un procédé d'approximation polygonale d'un contour chaîné. Pour un contour donné référencé 11 , on recherche le point e3 donnant la distance maximale entre les points du contour et le segment formé par les extrémités de ce contour e1 et e2. Si cette distance est supérieure à un seuil, le contour est approché par deux segments [e1 ,e3] et [e3,e2]. Le processus est réitéré jusqu'à ce que les distances du point au segment soient inférieures au seuil fixé.
A l'issue de cette étape, on dispose, pour une image, d'une carte de segments constituée d'un ensemble de segments dont il est alors possible de calculer l'orientation. Un exemple de carte de segments est représenté en haut à droite de la figure 3.
La deuxième phase consiste en un calcul et une exploitation des attributs relatifs à cette carte de segment.
L'étape 5 calcule, pour chaque segment de la carte de segments, l'angle entre sa direction et l'horizontale. L'angle obtenu, compris entre 0 et 180 degrés, est alors quantifié pour obtenir un nombre réduit de catégories ou classes d'angles. Par exemple, les angles obtenus sont répertoriés dans 36 classes, le pas de quantification étant de 5 degrés ou, en d'autres termes, une classe correspond à une largeur de 5 degrés.
Des histogrammes relatifs à trois attributs sont maintenant calculés lors de l'étape 6, exploitant l'information d'orientation de segment obtenue précédemment. - un histogramme du nombre de segments en fonction de l'orientation.
Les différentes classes sont représentées en abscisse et les occurrences en ordonnées.
- un histogramme du nombre total de pixels appartenant à des segments de même orientation en fonction de l'orientation de ceux-ci.
Les ordonnées correspondent à la somme des longueurs des segments de la classe, pour une classe donnée.
- un histogramme correspondant à la distribution des segments autour du centre de gravité de chaque classe, par calcul de l'écart-type des distances des milieux des segments au centre de gravité.
Le centre de gravité G, de la classe Q est obtenu par calcul du barycentre des milieux M(s des segments Sj. Le poids associé à chaque milieu est égal au nombre de pixel n(sj) composant le segment : £n(sj)*M(Sj) G- =^ sjeCi
Les ordonnées H(i) correspondent à l'écart-type des distances euclidiennes d(GiM(sj)) entre le barycentre ou centre de gravité de la classe C, considérée et le centre de chaque segment de la classe :
où card est la fonction cardinale retournant le nombre de segments de la classe considérée.
La distribution est mise sous forme d'histogramme, c'est à dire de vecteurs de valeurs, permettant ainsi son exploitation dans le cadre de la norme MPEG7 qui définit le codage de tels histogrammes.
Afin de plus facilement combiner les informations, les histogrammes sont normalisés, par exemple à partir des valeurs maximales trouvées.
Les trois histogrammes des attributs caractérisant l'image sont exploités pour les mesures de similarité, étape 7. Trois histogrammes sont calculés pour une première image qui est par exemple une image requête et trois autres histogrammes pour une deuxième image qui est une image dans une base de données. La mesure de similarité entre les deux images Ii et , c'est à dire le calcul de la distance entre ces images peut alors s'effectuer par simple soustraction des ordonnées, classe par classe, pour chaque type d'histogramme Jtf de taille
Un indicateur de similarité SCT^/j) est par exemple la somme des valeurs obtenues par ces soustractions, pour l'ensemble des histogrammes :
∑dk(H*,H|) S(I1,I2) = -^^
La mesure de similarité peut être améliorée en comparant la classe également à des classes voisines de l'histogramme de l'autre image, avec un facteur de pondération. La comparaison d'histogrammes utilise par exemple une métrique de type cross quadratique permettant de s'affranchir des faibles variations d'orientation globale entre deux images successives, par exemple lors d'une rotation faible de la caméra.
Un exemple de recherche d'images similaires est donné à la figure 3, montrant, en haut à gauche, l'image considérée, sa carte de contours et de segments associée, ainsi que les images reconnues comme les plus ressemblantes dans une base de 150 images issues de deux séquences différentes.
La principale caractéristique de ces histogrammes est donc de fournir une description à la fois globale et locale des images. Il est ainsi possible, grâce à la description globale, de différencier des images globalement structurées, par exemple des images de villes caractérisées pas des orientations de segments horizontaux et verticaux, d'images de campagnes caractérisées par des orientations de segments plus aléatoires. Mais il est également possible, grâce à la description locale, de différencier des images localement structurées, une partie de l'image est par exemple consacrée à un bâtiment, une autre à un bois, d'images moins structurées, par exemple une maison au milieu de la forêt.
Le calcul des segments, dans la description précédente, est effectué sur les valeurs de luminance de l'image. Il est bien sûr tout aussi envisageable d'effectuer un tel calcul pour chacune des composantes couleur de l'image. Si les calculs demandent plus de capacité de traitement, en revanche la réalisation d'histogrammes par couleur permet d'améliorer l'efficacité du procédé.
Trois histogrammes sont ici exploités pour caractériser l'image. Il est bien sûr possible de n'exploiter que l'un d'entre eux ou une combinaison de deux d'entre eux pour calculer la similarité d'images, sans sortir du domaine de l'invention.
Les orientations des segments exploitées peuvent être les angles formés avec d'autres droites de référence que l'horizontale. Les dimensions des classes peuvent être inférieures ou supérieures à 5 degrés, selon la puissance ou temps de calcul disponible ou la qualité de mesure souhaitée.

Claims

REVENDICATIONS
1 Procédé de mesure de similarité entre images, caractérisé en ce qu'il effectue, pour chaque image, les étapes suivantes :
- segmentation de l'image (1 , 2, 3, 4),
- classification des segments en fonction de leur orientation pour donner des classes (5),
- calcul d'un histogramme du nombre de segments en fonction de la classe (6),
- calcul d'un histogramme du nombre de pixels appartenant aux segments d'une même classe en fonction de la classe (6), - comparaison des histogrammes de chaque image pour donner une mesure de similarité (7).
2 Procédé selon la revendication 1 , caractérisé en ce qu'il calcule également un histogramme (6) correspondant à la distribution des segments autour du centre de gravité de chaque classe.
3 Procédé selon la revendication 2, caractérisé en ce que, pour calculer l'histogramme, il effectue un calcul de l'écart-type des distances des milieux des segments d'une classe au centre de gravité de la classe considérée.
4 Procédé selon la revendication 1, caractérisé en ce que la comparaison des histogrammes consiste en une soustraction des ordonnées, classe par classe et en une somme, sur l'ensemble des classes, des valeurs obtenues pour chaque classe.
5 Procédé selon la revendication 1, caractérisé en ce que les histogrammes sont codés selon la norme MPEG-7.
6 Procédé de regroupement (clustering) d'images d'une base de données, caractérisé en ce que le regroupement est effectué en fonction des mesures de similarité selon le procédé de la revendication 1 pour donner des groupes (clusters) d'images.
7 Procédé de création de résumés vidéo, caractérisé en ce qu'il sélectionne au moins une des images d'au moins un groupe calculé selon le procédé de la revendication 6.
8 Procédé d'indexation vidéo, caractérisé en ce qu'il sélectionne au moins une des images d'au moins un groupe calculé selon le procédé de la revendication 6, comme image d'indexation.
9 Dispositif de mesure de similarité entre images, caractérisé en ce qu'il comporte un circuit de traitement et de calcul d'histogrammes recevant des données numériques définissant ces images pour effectuer, pour chacune d'elle, les opérations suivantes :
- segmentation de l'image (1 , 2, 3, 4),
- classification des segments en fonction de leur orientation pour donner des classes (5),
- calcul d'un histogramme du nombre de segments en fonction de la classe (6),
- calcul d'un histogramme du nombre de pixels appartenant aux segments d'une même classe en fonction de la classe (6),
- comparaison des histogrammes de chaque image pour donner une mesure de similarité (7).
EP03780266A 2002-09-27 2003-09-12 Procede et dispositif de mesure de similarite entre images Withdrawn EP1543444A2 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0211950A FR2845186B1 (fr) 2002-09-27 2002-09-27 Procede et dispositif de mesure de similarite entre images
FR0211950 2002-09-27
PCT/FR2003/050053 WO2004029833A2 (fr) 2002-09-27 2003-09-12 Procede et dispositif de mesure de similarite entre images

Publications (1)

Publication Number Publication Date
EP1543444A2 true EP1543444A2 (fr) 2005-06-22

Family

ID=31985273

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03780266A Withdrawn EP1543444A2 (fr) 2002-09-27 2003-09-12 Procede et dispositif de mesure de similarite entre images

Country Status (5)

Country Link
US (1) US7203358B2 (fr)
EP (1) EP1543444A2 (fr)
AU (1) AU2003288359A1 (fr)
FR (1) FR2845186B1 (fr)
WO (1) WO2004029833A2 (fr)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2885719B1 (fr) * 2005-05-10 2007-12-07 Thomson Licensing Sa Procede et dispositif de suivi d'objets dans une sequence d'images
AT504213B1 (de) * 2006-09-22 2008-04-15 Ipac Improve Process Analytics Verfahren zum ähnlichkeitsvergleich von gegenständen
FR2907239B1 (fr) * 2006-10-11 2009-01-09 Spikenet Technology Procede de recherche et de reconnaissance rapides d'une image numerique representative d'au moins un motif graphique dans une banque d'images numeriques
JP2008269471A (ja) * 2007-04-24 2008-11-06 Sony Corp 類似画像判定装置と類似画像判定方法およびプログラムと記録媒体
GB2454213A (en) * 2007-10-31 2009-05-06 Sony Corp Analyzing a Plurality of Stored Images to Allow Searching
US8611695B1 (en) * 2009-04-27 2013-12-17 Google Inc. Large scale patch search
US8396325B1 (en) 2009-04-27 2013-03-12 Google Inc. Image enhancement through discrete patch optimization
US8391634B1 (en) * 2009-04-28 2013-03-05 Google Inc. Illumination estimation for images
US8385662B1 (en) 2009-04-30 2013-02-26 Google Inc. Principal component analysis based seed generation for clustering analysis
US8798393B2 (en) 2010-12-01 2014-08-05 Google Inc. Removing illumination variation from images
US8938119B1 (en) 2012-05-01 2015-01-20 Google Inc. Facade illumination removal
WO2018137126A1 (fr) * 2017-01-24 2018-08-02 深圳大学 Procédé et dispositif permettant de générer un résumé vidéo statique

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5592572A (en) * 1993-11-05 1997-01-07 The United States Of America As Represented By The Department Of Health And Human Services Automated portrait/landscape mode detection on a binary image
US5668891A (en) * 1995-01-06 1997-09-16 Xerox Corporation Methods for determining font attributes of characters
US8107015B1 (en) * 1996-06-07 2012-01-31 Virage, Incorporated Key frame selection
US6108444A (en) * 1997-09-29 2000-08-22 Xerox Corporation Method of grouping handwritten word segments in handwritten document images
US6130706A (en) * 1998-03-25 2000-10-10 Lucent Technologies Inc. Process for determining vehicle dynamics
US6674915B1 (en) * 1999-10-07 2004-01-06 Sony Corporation Descriptors adjustment when using steerable pyramid to extract features for content based search

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SOO-JUN PARK (ETRI ET AL: "Core Experiments on MPEG-7 edge histogram descriptors", 52. MPEG MEETING; 31-05-2000 - 02-06-2000; GENÃVE; (MOTION PICTUREEXPERT GROUP OR ISO/IEC JTC1/SC29/WG11),, no. M5984, 26 May 2000 (2000-05-26), XP030035158, ISSN: 0000-0293 *

Also Published As

Publication number Publication date
WO2004029833A3 (fr) 2004-07-15
FR2845186A1 (fr) 2004-04-02
AU2003288359A1 (en) 2004-04-19
WO2004029833A2 (fr) 2004-04-08
US20060023944A1 (en) 2006-02-02
US7203358B2 (en) 2007-04-10
AU2003288359A8 (en) 2004-04-19
FR2845186B1 (fr) 2004-11-05

Similar Documents

Publication Publication Date Title
US7684616B2 (en) Method and apparatus for representing a group of images
JP5711387B2 (ja) 映像を比較する方法および装置
CN102176208B (zh) 基于三维空时特征的鲁棒视频指纹方法
CN106250431B (zh) 一种基于分类服装的颜色特征提取方法及服装检索系统
EP2316082A1 (fr) Procede d'identification d'un objet dans une archive video
EP1543444A2 (fr) Procede et dispositif de mesure de similarite entre images
EP2930659B1 (fr) Procédé de détection de points d'intérêt dans une image numérique
CN111182364B (zh) 一种短视频版权检测方法及系统
Upcroft et al. Lighting invariant urban street classification
CN113886632B (zh) 一种基于动态规划的视频检索匹配方法
CN114743139A (zh) 视频场景检索方法、装置、电子设备及可读存储介质
CN104410867A (zh) 改进的视频镜头检测方法
CN110830734B (zh) 一种突变和渐变镜头切换识别方法及系统
Ceroni et al. Mining exoticism from visual content with fusion-based deep neural networks
Farhat et al. Effect of color spaces on video segmentation performances
Asghar et al. PakVehicle-ReID: a multi-perspective benchmark for vehicle re-identification in unconstrained urban road environment
Chu et al. Travel video scene detection by search
Jiang et al. Improving the anti-occlusion ability of correlation filter-based trackers via segmentation
Suárez et al. Image patch similarity through a meta-learning metric based approach
FR2774493A1 (fr) Procede de segmentation spatiale d'une image en objets visuels et application
Tapu et al. Multiresolution median filtering based video temporal segmentation
Braun et al. Automated Silhouette Extraction for Mountain Recognition.
Qiao et al. Visual Localization Using Sequence Matching Based on Multi-Feature Combination
CN117292176A (zh) 一种架空输电线路关键部件及缺陷的检测方法
Ki et al. Stereo matching using generalized symmetry transform

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20050317

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: THOMSON LICENSING

DAX Request for extension of the european patent (deleted)
RBV Designated contracting states (corrected)

Designated state(s): DE FR GB

RIN1 Information on inventor provided before grant (corrected)

Inventor name: OISEL, LIONEL

Inventor name: LE CLERC, FRANCOIS

Inventor name: CHUPEAU, BERTRAND

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: THOMSON LICENSING

17Q First examination report despatched

Effective date: 20140313

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: THOMSON LICENSING DTV

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20180705

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: INTERDIGITAL MADISON PATENT HOLDINGS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20181116