EP2417576A1 - Determination de descripteur dans un contenu multimedia - Google Patents

Determination de descripteur dans un contenu multimedia

Info

Publication number
EP2417576A1
EP2417576A1 EP10723226A EP10723226A EP2417576A1 EP 2417576 A1 EP2417576 A1 EP 2417576A1 EP 10723226 A EP10723226 A EP 10723226A EP 10723226 A EP10723226 A EP 10723226A EP 2417576 A1 EP2417576 A1 EP 2417576A1
Authority
EP
European Patent Office
Prior art keywords
points
grid
interest
region
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP10723226A
Other languages
German (de)
English (en)
Inventor
Sid Ahmed Berrani
Nicolas Gengembre
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP2417576A1 publication Critical patent/EP2417576A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0065—Extraction of an embedded watermark; Reliable detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0081—Image watermarking whereby both original and watermarked images are required at decoder, e.g. destination-based, non-blind, non-oblivious

Definitions

  • Multimedia content means text, sound (or audio), images, video or any combination of these elements.
  • the invention relates to the descriptor determination in a multimedia content containing an image or a set of images or a video, in particular for the analysis and control of such contents, such as for example the detection of copies of images. 'a reference content.
  • content providers offer online services, generally paying, download multimedia content.
  • content protected by copyright the respect of these is ensured by the content providers.
  • the detection of copies of multimedia contents consists of searching for the presence or absence of a request content in a reference database of multimedia contents.
  • Such a base includes descriptors of the multimedia contents of reference.
  • a descriptor is a numeric value or a set of numeric values that characterizes a portion of the media content.
  • a descriptor can be defined for each of the images of the video or for a subset thereof.
  • the reference database To find the presence or absence of a query content in the reference database, we first calculate descriptors for this query content. The calculation mode is identical to the calculation mode of the descriptors of the reference base. Then, we search if the reference database contains descriptors that are identical or similar to those calculated for the query content. If the result is positive, it is deduced that the query content is a copy of the multimedia content whose descriptors have been found in the reference database.
  • the quality and efficiency of detecting copies of multimedia content is based on the properties of the descriptors. These must be able to be calculated quickly. They must facilitate search in the reference database. These descriptors must also make it possible to detect a copy even if the multimedia content request has undergone important transformations (as for example, a strong compression, a change of resolution, an embedding of text, logo, etc.) with respect to the content. multimedia reference. These transformations can be unintentional, such as transformations due to content recording, transcoding, etc. Some transformations may be intentional in order to make it difficult to detect illegally copied content.
  • descriptors When the multimedia content is an image, a set of images or a video, different types of descriptors can be defined. Some descriptors are calculated globally for an image. Other descriptors are calculated on an image portion called region of interest. For the same image, several regions of interest can be identified and a descriptor calculated for each of them. Descriptors by regions of interest of an image are more efficient than a global descriptor of this image for detecting copies of a video (or an image or a set of images) when it has suffered locally strong transformations. Strong transformations include, for example, partial masking, insertion of a large logo, insertion of a video into an original video, image trimming, etc.
  • Video Fingerprinting ", Proceedings of the 5 th International Recent Advances Conference in Visual Information Systems, 2002, J. Oostveen et al., Provide a global binary descriptor of an image used for the detection of video copies.
  • a first image is cut into rectangular blocks (for example, 36 blocks on 4 rows and 9 columns).
  • a value is calculated in each of the blocks, such as, for example, the average of the luminances of the pixels of the block.
  • a descriptor is defined for a circular region of interest. This region is called “scale invariant” (Invariant to changes of scale) insofar as a change in resolution of the image does not change the overall content of the region of interest.
  • a vector gradient is calculated for each pixel.
  • the amplitude and orientation of each of these vector gradients are extracted. Then, for each block, a histogram of the orientations of the gradients is created, the value of each orientation being weighted by the corresponding amplitude.
  • SIFT Scale Invariant Feature
  • SIFT descriptor The components of a SIFT descriptor are real numbers. Therefore, such a descriptor is larger, more complex, and more difficult to exploit than a binary descriptor.
  • One of the aims of the invention is to overcome the disadvantages of the aforementioned prior art.
  • the present invention relates to a method for determining a descriptor of a region of interest in an image, comprising steps of:
  • the method according to the invention makes it possible to define a descriptor by region of interest of the image and not a global descriptor thereof.
  • the descriptor obtained is therefore robust to transformations applied to the image as a whole.
  • the value representative of a point of the grid of points is determined as a function of the weighted values of a measured datum for the pixels of the image contained in the zone d influence of this point.
  • the descriptor of the region of interest is defined by taking into account all relevant information included in the region of interest of the image.
  • the value representative of a point of the grid of points is equal to the weighted average of the values of the measured data for the pixels of the image contained in the zone of influence of this point.
  • the value representative of a point of the grid of points is equal to the weighted median value of the values of the measured data for the pixels of the image contained in the zone of influence of this point.
  • defining the descriptor from the mean or the median value of the measured data for the pixels represents a simple and easy method to set up.
  • the value representative of a point of the grid of points is determined by the application of a method based on robust statistics.
  • the method described above and applied to an original image also comprises a processing step. additional comprising:
  • the descriptor takes into account transformations such as a symmetry along a horizontal axis and / or vertical or a luminance reversal that can undergo the image. Thus, when it is used, it is more robust to this type of transformation.
  • the invention also relates to a device for determining a descriptor of a region of interest in an image, comprising means for:
  • the invention further relates to a computer program product comprising program code instructions recorded on or transmitted by a computer readable medium, for carrying out the steps of the method described above when said program is running on a computer.
  • FIG. 1 represents an embodiment of a descriptor determination method of a region of interest in an image
  • FIG. 2 illustrates a first example of definition of a grid of points for a region of interest of an image
  • FIG. 3 illustrates a second example of definition of a grid of points for a region of interest
  • FIG. 4 illustrates an approach based on robust statistics applied to the invention
  • FIG. 5 represents an embodiment of a device able to implement the method of FIG. 1.
  • the multimedia content considered is an image, a set of images or a video.
  • the method according to the invention is applied to the images considered independently of each other.
  • the method can be applied to all the images in a set of images or a video or to a subset of them called keyframes.
  • Fig. 1 shows an embodiment of a descriptor determining method of a region of interest in an image.
  • the method comprises a first step E1 of extracting regions of interest from an image.
  • the regions of interest of an image can be extracted with different detectors of regions of interest among which:
  • the regions of interest extracted may be of any shape.
  • a region of simple shape e.g., circular, elliptical, square, rectangular, hexagonal, etc.
  • steps E2 to E5 of the method according to the invention apply to the regions of interest extracted during step E1.
  • Step E2 is a step of defining a grid of points relative to a region of interest.
  • a grid of points is defined for a region of interest extracted during the preceding step E1 or for a region obtained by dilation of a region of interest extracted during the preceding step E1, without moving the center of gravity .
  • the position of the grid of points corresponds to the position of the region of interest.
  • the size of the grid of points is proportional to the region of interest.
  • the coefficient of proportionality is defined beforehand so that the grid of points covers the region of interest considered, or even exceeds it. Thus the coefficient of proportionality is slightly greater than 1 (for example, of the order of 1, 1 or 1, 2). Depending on the number and position of regions of interest, they may overlap. The corresponding dot grids can also overlap.
  • the number and distribution of points in the grid is such that the immediate neighborhoods of these points (called zones of influence) encompass the relevant information contained in the region of interest.
  • the distribution of the points can be any or homogeneous.
  • the points of the grid as well as the centroid of the region of interest do not necessarily coincide with pixels of the image.
  • FIG. 2 illustrates a first example of defining a grid of points for a region of interest of an image.
  • the left part of FIG. 2 represents an image I comprising 5 regions of interest Ri to R 5 .
  • the right part of FIG. 2 represents a region of interest of the image I, in this case the region R 5 .
  • the points Pi to P 7 represent the points of the grid of points defined for the region of interest R 5 .
  • FIG. 3 illustrates a second example of defining a grid of points for a region of interest of an image.
  • the left part of FIG. 3 represents an image I 'having 4 regions of interest RS to R 4 .
  • the right part of FIG. 3 represents a region of interest of the image I ', in this case the region R 4 on which are positioned 25 points P' ,,, with i and j varying from 1 to 5, d a rectangular grid of dimensions 5x5 points. To lighten the figure, only the points, P'n, P'14 and P '34 are designated.
  • a zone of influence is associated with a point on the grid.
  • An area of influence is a neighborhood of a grid point.
  • the shape of a zone of influence is arbitrary.
  • the zones of influence associated with points Pi to P 7 of the grid are elliptical. These zones of influence are represented by dashed ellipses surrounding the points Pi to P 7 .
  • the zones of influence associated with the 25 points of the grid are rectangles. These rectangles are represented in dashed lines around the points PS 1; P'u and PW
  • the zones of influence of different points of a grid of points may overlap.
  • the next step E4 is a step of determining a representative value per point of the grid.
  • This representative value is determined from the values of a measured data for the pixels contained in the zone of influence.
  • the measured data can be the luminance, the average of the channels R, G, B (for red, green, blue in English), the value of a channel, a datum of any system of color representation, etc.
  • a pixel contained in the zone of influence of a point of the grid contributes to the determination of the representative value associated with this point.
  • a pixel can contribute to the determination of the representative value for several points of the grid. This can be seen in FIG. 2, in which the zones of influence represented by dotted ellipses have intersections. Thus a pixel belonging to such an intersection contributes to the determination of the representative values of the points of each of the intersected influence zones. The contribution of a pixel, contained in the zone of influence of a point of the grid, to the determination of the representative value of this point is weighted.
  • the weighting can be defined, for example, as a function of the distance between the pixel and the point of the grid (center point or centroid of the zone of influence).
  • the representative value determined for a point of the grid may, for example, be equal to the weighted average of the values of the measured data for the pixels contained in the zone of influence.
  • the average may be replaced by the median value of all the values of the measured data for the pixels contained in the zone of influence.
  • the determination of the representative value for a point of the grid can be based on robust statistics such as, for example, M-estimators, RANSAC (for RANdom SAmple Consensus in English), etc.
  • This approach makes it possible to reduce or even eliminate the effect of pixels for which the value of the measured data is very far from the value that one seeks to determine. Taking into account the value of the measured data of this pixel may strongly affect the result obtained. Such an approach may require several iterations.
  • the M-estimator method based on robust statistics can be applied with multiple iterations.
  • a representative value for a point of the grid is determined from the weighted values of a measured datum (for example, the luminance) of the pixels contained in the zone of influence of this point.
  • the weighting applied is a function of the distance between the pixel and the point of the grid considered.
  • the weighting applied to the value of a pixel becomes a function of the difference between the representative value determined at the previous iteration for the point of the grid considered and the value of the measured data of this pixel.
  • the number of iterations is defined by the observation of a criterion representative of the dispersion of the values of the measured data around the determined representative value.
  • the criterion used can be for example the variance, the median value of the deviations, etc. We can choose to stop the iterations when two successive iterations give two results close representative value. It is also possible to predefined a fixed number of iterations.
  • Figure 4 illustrates an approach based on robust statistics applied to the invention.
  • the x-axis corresponds to the pixels of a zone of influence taken into account for the determination of the value representative of the point of the grid corresponding to this zone.
  • Figure 4 shows 7 pixels, Xi to X 7 .
  • the y-axis corresponds to the values of the measured data for these pixels and the value representative of the point of the grid considered.
  • the pixel X 4 is a pixel whose value of the measured data is very far from the values of the other pixels.
  • the determination of the value representative of the point from, for example, the weighted average of the values of the measured pixel data undergoes the effect of this pixel X 4 .
  • the objective of such an approach is to obtain a descriptor of the region of interest considered less sensitive to transformations of the image.
  • the values of the data must be modified. measured by several pixels.
  • the value of the luminance of pixels of a bright spot in a dark area can be strongly modified by a change in resolution of the image (or by another transformation) while the values of the pixels of the dark area are less affected by such a transformation.
  • This transformation becomes non-perceptible for a representative value determined by the application of an approach based on robust statistics. Indeed, in this case, the representative value is that shared by a majority of pixels.
  • step E4 a set of representative values is available, each of these representative values corresponding to a point of the grid defined for a region of interest.
  • the representative values obtained in the previous step E4 are compared with at least one reference value.
  • the at least one reference value may be the representative value determined for the central point of the grid, the average of the representative values obtained for the points of the grid, etc.
  • the at least one reference value is calculated on a set of pixels different from that used to determine the representative value at a point on the grid.
  • This set of pixels comprises, for example, the pixels contained in the zone of influence of a point of the grid and a few neighboring pixels.
  • the result of the comparison is converted into binary values.
  • the result of the comparison is equal to 1. Conversely, if the representative value of a point of the grid is smaller than at the at least one reference value, the result of the comparison is equal to 0.
  • the result of the comparison can be expressed over a larger number of binary values in order to refine the deviation with the at least one reference value. For example, if the value representative of a point of the grid is much greater, slightly greater, slightly less, much less than the at least one reference value, the result of the comparison is equal to 11, 10, 01 respectively, 00.
  • the descriptor being obtained by comparing the representative values of the points of the grid with at least one reference value, the latter is independent of global variations in the region of interest considered due to transformations applied to the image.
  • At least one variable reference value can be considered from one point of the grid to another.
  • the previous steps E2 to E5 of the method are then applied to the remaining regions of interest extracted during the step E1.
  • a descriptor is thus determined for the regions of interest extracted from the image.
  • the image is described by the set of descriptors of the regions of interest thus obtained.
  • the method according to the invention also comprises an optional step E6 of additional treatment.
  • This additional processing step makes it possible to obtain a robust descriptor for simple transformations undergone by an original image comprising at least one region of interest.
  • a simple transformation is as applied to an original image a first time and then applied a second time to the resulting transformed image the original image is obtained.
  • This is an involution.
  • it is a symmetry of the image with respect to a horizontal and / or vertical axis, of a luminance inversion (negative image), etc.
  • One or more simple transformations are applied to this original image (symmetry with respect to a horizontal and / or vertical axis, luminance inversion, etc.).
  • the descriptors of the regions of interest of the transformed image are determined. Given the nature of the transformations applied, the regions of interest of the transformed image are not modified in shape and size and are deduced from the regions of interest of the original image as a function of the transformation applied (for example, by symmetry if the transformation is a symmetry along a horizontal axis and / or vertical). Thus, a region of interest of the transformed image corresponds to a region of interest of the original image. Additional descriptors denote the descriptors of the regions of interest of the transformed image.
  • An additional descriptor of a region of interest of the transformed image is obtained by permuting and / or taking the complement of certain binary values of the original descriptor of the corresponding region of interest of the original image.
  • step E6 there are then two descriptors, an origin descriptor for a region of interest of the original image and an additional descriptor for the corresponding region of interest of the image. transformed. Only one (for example, the smaller of the two) is retained to represent the two regions of interest considered.
  • a region of interest and the region symmetrical with respect to a vertical and / or horizontal axis or region of interest and the inverted region in terms of luminance, etc. have the same descriptor.
  • FIG. 5 represents an embodiment of a device able to implement a descriptor determination method of a region of interest in an image as described above.
  • the device comprises a module M1 for extracting regions of interest from an image.
  • the module M1 implements the step E1 as described above.
  • the device also comprises an M2 module for defining a grid of points for a region of interest.
  • the module M2 makes it possible to define a grid of points for a region of interest extracted by the module M1 or for a region obtained by dilation of a region of interest extracted by the module M1.
  • the module M3 is an association module of a zone of influence at the points of the grid.
  • the device also comprises a module M4 for determining a representative value per point of the gate as described in step E4.
  • the device also comprises a module M5 for comparing the representative values obtained at the output of the module M4 with at least one reference value.
  • the device also comprises a module M6 for additional processing of an image as described in step E6.
  • the device further comprises a central control unit, not shown, connected to each of the modules M1 to M6 and adapted to control their operation.
  • the modules M1 to M6 may be software modules forming a computer program.
  • the invention therefore also relates to a computer program for a descriptor determining device of a region of interest in an image comprising program code instructions for executing the method previously described by the device.
  • the different software modules can be stored in or transmitted by a data carrier.
  • a data carrier This may be a hardware storage medium, for example a CD-ROM, a magnetic diskette or a hard disk, or a transmissible medium such as an electrical signal, optical or radio.
  • the invention finds in particular, but not only, applications for multimedia content exchange sites.
  • the invention can be used to detect multiple copies of the same content recorded on such a site.
  • the same multimedia content can be recorded several times with a different designation (name, description, etc.) each time.
  • the detection of copies implemented in a content search engine makes it possible to eliminate duplicates and to provide de-duplicated search results.
  • the invention also makes it possible to detect such content unlawfully made available to the public on content exchange sites.

Abstract

L'invention concerne un procédé de détermination de descripteur d'une région d'intérêt dans une image, comportant des étapes de : - définition (E2) d'une grille de points pour la région d'intérêt; association (E3) d'une zone d'influence respective aux points de la grille de points; détermination (E4) d'une valeur représentative par point de la grille de points en fonction de sa zone d'influence respective; comparaison (E5) de la valeur représentative obtenue par point de la grille de points avec au moins une valeur de référence, le résultat de la comparaison permettant de définir un descripteur de la région d'intérêt.

Description

Détermination de descripteur dans un contenu multimédia
Le domaine de l'invention est celui de la transmission ou de l'échange de contenus multimédia. Par contenu multimédia on entend du texte, du son (ou de l'audio), des images, de la vidéo ou encore toute combinaison de ces différents éléments.
Plus précisément, l'invention concerne la détermination de descripteur dans un contenu multimédia contenant une image ou un ensemble d'images ou une vidéo, en vue notamment de l'analyse et du contrôle de tels contenus, comme par exemple la détection de copies d'un contenu de référence.
L'accroissement des capacités de stockage des terminaux et des débits de transmission dans les réseaux de télécommunications a fait émerger de nouveaux services permettant une consommation facilitée de contenus multimédia.
Ainsi, des fournisseurs de contenus proposent des services en ligne, généralement payants, de téléchargement de contenus multimédia. Pour les contenus protégés par des droits d'auteur, le respect de ceux-ci est assuré par les fournisseurs de contenus.
Par ailleurs, le nombre de sites d'échange de contenus, sur lesquels des contenus sont mis en ligne par les utilisateurs de ces sites, ne cesse d'augmenter. Une partie de ces contenus multimédia est créée par les utilisateurs eux-mêmes. Une autre partie est constituée de contenus protégés et illicitement proposés au téléchargement.
Il est donc nécessaire de pouvoir détecter des copies illicites d'un contenu protégé.
De manière générale, la détection de copies de contenus multimédia consiste à rechercher la présence ou non d'un contenu requête dans une base de référence de contenus multimédia.
Une telle base comporte des descripteurs des contenus multimédia de référence. Classiquement, un descripteur est une valeur numérique ou un ensemble de valeurs numériques qui caractérise une portion du contenu multimédia. Par exemple, lorsque le contenu multimédia est une vidéo, un descripteur peut être défini pour chacune des images de la vidéo ou pour un sous-ensemble de celles-ci.
Pour rechercher la présence ou non d'un contenu requête dans la base de référence, on commence par calculer des descripteurs pour ce contenu requête. Le mode de calcul est identique au mode de calcul des descripteurs de la base de référence. Ensuite, on recherche si la base de référence contient des descripteurs identiques ou similaires à ceux calculés pour le contenu requête. Si le résultat est positif, on en déduit que le contenu requête est une copie du contenu multimédia dont on a retrouvé les descripteurs dans la base de référence.
La qualité et l'efficacité de la détection de copies de contenus multimédia reposent sur les propriétés des descripteurs. Ceux-ci doivent pouvoir être calculés rapidement. Ils doivent faciliter la recherche dans la base de référence. Ces descripteurs doivent également permettre de détecter une copie même si le contenu multimédia requête a subi d'importantes transformations (comme par exemple, une forte compression, un changement de résolution, une incrustation de texte, de logo, etc.) par rapport au contenu multimédia de référence. Ces transformations peuvent être non intentionnelles comme, par exemple, des transformations dues à l'enregistrement du contenu, à son transcodage, etc. Certaines transformations peuvent être intentionnelles afin de rendre difficilement détectable un contenu illicitement copié.
Lorsque le contenu multimédia est une image, un ensemble d'images ou encore une vidéo, différents types de descripteurs peuvent être définis. Certains descripteurs sont calculés globalement pour une image. D'autres descripteurs sont calculés sur une portion d'image appelée région d'intérêt. Pour une même image, plusieurs régions d'intérêt peuvent être identifiées et un descripteur calculé pour chacune d'entre elles. Les descripteurs par régions d'intérêt d'une image sont plus performants qu'un descripteur global de cette image pour détecter des copies d'une vidéo (ou d'une image ou d'un ensemble d'images) lorsque celle-ci a subi localement de fortes transformations. Par fortes transformations, on entend, par exemple, un masquage partiel, une insertion d'un logo de taille importante, une insertion d'une vidéo dans une vidéo d'origine, un rognage d'image, etc. En effet, même si certaines régions d'une vidéo (ou d'une image ou d'un ensemble d'images) sont totalement manquantes ou masquées, cette vidéo reste identifiable grâce aux descripteurs des régions d'intérêt qui n'ont pas ou peu subi de transformations. Un descripteur global d'une vidéo (ou d'une image ou d'un ensemble d'images) est altéré par une forte transformation subie par celle-ci.
Dans l'article intitulé "Feature Extraction and a Database Strategy for
Video Fingerprinting", proceedings of the 5th international conférence Récent Advances in Visual Information Systems, 2002, J. Oostveen et al. proposent un descripteur global binaire d'une image utilisé pour la détection de copies de vidéos.
Une première image est découpée en blocs rectangulaires (par exemple, 36 blocs sur 4 lignes et 9 colonnes). Une valeur est calculée dans chacun des blocs, comme par exemple la moyenne des luminances des pixels du bloc.
Puis, on calcule la différence entre la valeur obtenue dans un bloc et la valeur obtenue dans le bloc suivant de la même ligne. On obtient alors 32 soit 4 x 8 valeurs. On procède de la même façon pour l'image suivante.
Ensuite, on calcule la différence entre une valeur de la première image et la valeur correspondante de l'image suivante. On obtient ainsi 32 nouvelles valeurs.
On affecte un 1 ou un 0 dans le descripteur selon le signe de la différence calculée précédemment.
Les opérations précédentes sont répétées sur les paires suivantes d'images pour un ensemble d'images contigϋes de la vidéo.
Ensuite tous les descripteurs (de 32 valeurs binaires dans l'exemple cité précédemment) sont concaténés de façon à former un descripteur final.
L'inconvénient d'un tel détecteur global est qu'il est peu performant pour de la détection de copies d'une vidéo (ou d'une image ou d'un ensemble d'images) lorsque celle-ci a subi de fortes transformations telles que décrites ci-dessus.
Dans l'article intitulé "Distinctive Image Features from Scale-lnvariant Keypoints", International Journal of Computer Vision, vol. 60, N°2, 2004, D.G. Lowe présente un descripteur défini par région d'intérêt d'une image et utilisé pour la détection de copies de vidéos.
Un descripteur est défini pour une région d'intérêt circulaire. Cette région est dite "scale invariant" (invariante aux changements d'échelle) dans la mesure où un changement de résolution de l'image ne modifie pas le contenu global de la région d'intérêt.
Pour calculer le descripteur d'une région d'intérêt, on définit un carré englobant cette région. Puis, on découpe ce carré en blocs.
Dans chaque bloc, on calcule un gradient vectoriel pour chaque pixel.
On extrait l'amplitude et l'orientation de chacun de ces gradients vectoriels. On crée ensuite, pour chaque bloc, un histogramme des orientations des gradients, la valeur de chaque orientation étant pondérée par l'amplitude correspondante.
La concaténation des histogrammes obtenus pour les blocs constitutifs d'un carré englobant une région d'intérêt définit le descripteur de cette région. Un tel descripteur est appelé SIFT (pour Scale Invariant Feature
Transform en anglais).
Les composantes d'un descripteur SIFT sont des nombres réels. Par conséquent un tel descripteur est plus volumineux, plus complexe et plus difficile à exploiter qu'un descripteur binaire. Un des buts de l'invention est de remédier aux inconvénients de l'art antérieur précité.
Ainsi, la présente invention concerne, selon un premier aspect, un procédé de détermination de descripteur d'une région d'intérêt dans une image, comportant des étapes de :
- définition d'une grille de points pour la région d'intérêt,
- association d'une zone d'influence respective aux points de la grille de points, - détermination d'une valeur représentative par point de la grille de points en fonction de sa zone d'influence respective,
- comparaison de la valeur représentative obtenue par point de la grille de points avec au moins une valeur de référence déterminée à partir des valeurs représentatives des points de la grille de points, le résultat de la comparaison étant exprimé en au moins une valeur binaire;
- concaténation des résultats obtenus pour les points de la grille pour définir un descripteur de la région d'intérêt de l'image.
Le procédé selon l'invention permet de définir un descripteur par région d'intérêt de l'image et non un descripteur global de celle-ci. Le descripteur obtenu est donc robuste à des transformations appliquées à l'image dans son ensemble.
La définition d'une grille de points pour la région d'intérêt et l'association d'une zone d'influence à ces points permet de définir un descripteur représentatif du contenu visuel de la région d'intérêt. Le descripteur obtenu étant exprimé en valeurs binaires, il est plus compact, plus simple et plus facile à utiliser.
Selon une caractéristique préférée, au cours de l'étape de détermination, la valeur représentative d'un point de la grille de points est déterminée en fonction des valeurs pondérées d'une donnée mesurée pour les pixels de l'image contenus dans la zone d'influence de ce point. Ainsi, le descripteur de la région d'intérêt est défini en prenant en compte toute l'information pertinente comprise dans la région d'intérêt de l'image.
Selon une caractéristique préférée, la valeur représentative d'un point de la grille de points est égale à la moyenne pondérée des valeurs de la donnée mesurée pour les pixels de l'image contenus dans la zone d'influence de ce point.
Selon une caractéristique préférée, la valeur représentative d'un point de la grille de points est égale à la valeur médiane pondérée des valeurs de la donnée mesurée pour les pixels de l'image contenus dans la zone d'influence de ce point.
Ainsi, la définition du descripteur à partir de la moyenne ou de la valeur médiane des valeurs de la donnée mesurée pour les pixels représente une méthode simple et facile à mettre en place. Selon une caractéristique préférée, la valeur représentative d'un point de la grille de points est déterminée par l'application d'une méthode basée sur des statistiques robustes.
L'application d'une méthode basée sur des statistiques robustes permet d'atténuer voire d'annuler l'effet des pixels dont la valeur de la donnée mesurée est trop éloignée de la valeur représentative. Ainsi, le résultat obtenu n'est pas faussé par des données non représentatives.
Selon une caractéristique préférée, le procédé décrit précédemment et appliqué à une image d'origine, conduisant ainsi à la détermination de descripteur d'origine d'une région d'intérêt de l'image d'origine, comporte en outre une étape de traitement additionnel comprenant :
- la transformation de l'image d'origine pour obtenir une image transformée comportant une région d'intérêt qui se déduit d'une région d'intérêt de l'image d'origine en fonction de la transformation appliquée,
- la détermination de descripteur additionnel d'une région d'intérêt de l'image transformée à partir du descripteur d'origine de la région d'intérêt respective de l'image d'origine, - la représentation d'une région d'intérêt de l'image d'origine et la représentation de la région d'intérêt correspondante de l'image transformée par un même descripteur choisi entre le descripteur d'origine et le descripteur additionnel. De par sa construction, le descripteur tient compte de transformations telles qu'une symétrie selon un axe horizontal et/ou vertical ou une inversion de luminance que peut subir l'image. Ainsi, lors de son utilisation, il est plus robuste à ce type de transformations.
L'invention concerne aussi un dispositif de détermination de descripteur d'une région d'intérêt dans une image, comportant des moyens de :
- définition d'une grille de points pour la région d'intérêt,
- association d'une zone d'influence respective aux points de la grille de points,
- détermination d'une valeur représentative par point de la grille de points en fonction de sa zone d'influence respective,
- comparaison de la valeur représentative obtenue par point de la grille de points avec au moins une valeur de référence déterminée à partir des valeurs représentatives des points de la grille de points, le résultat de la comparaison étant exprimé en au moins une valeur binaire; - concaténation des résultats obtenus pour les points de la grille pour définir un descripteur de la région d'intérêt de l'image.
L'invention concerne encore, un produit programme d'ordinateur comprenant des instructions de code de programme enregistrées sur ou transmises par un support lisible par un ordinateur, pour mettre en œuvre les étapes du procédé décrit ci-dessus lorsque ledit programme fonctionne sur ordinateur.
D'autres caractéristiques et avantages de la présente invention apparaîtront dans la description ci-après de modes de réalisation préférés décrits en référence aux figures dans lesquelles : - la figure 1 représente un mode de réalisation d'un procédé de détermination de descripteur d'une région d'intérêt dans une image,
- la figure 2 illustre un premier exemple de définition d'une grille de points pour une région d'intérêt d'une image, - la figure 3 illustre un deuxième exemple de définition d'une grille de points pour une région d'intérêt d'une image,
- la figure 4 illustre une approche basée sur des statistiques robustes appliquée à l'invention,
- la figure 5 représente un mode de réalisation d'un dispositif apte à mettre en œuvre le procédé de la figure 1.
Dans la description qui suit, le contenu multimédia considéré est une image, un ensemble d'images ou encore une vidéo.
Dans le cas d'un ensemble d'images ou d'une vidéo, le procédé selon l'invention est appliqué aux images considérées indépendamment les unes des autres. Le procédé peut être appliqué à toutes les images d'un ensemble d'images ou d'une vidéo ou à un sous-ensemble de celles-ci appelées images clés.
La figure 1 représente un mode de réalisation d'un procédé de détermination de descripteur d'une région d'intérêt dans une image.
Le procédé comprend une première étape E1 d'extraction de régions d'intérêt d'une image. Les régions d'intérêt d'une image peuvent être extraites avec différents détecteurs de régions d'intérêt parmi lesquels :
- un détecteur DOG (pour Différence Of Gaussians en anglais),
- un détecteur Fast Hessian,
- un détecteur MSER (pour Maximally Stable Extremal Régions en anglais),
- un détecteur de Harris. Les régions d'intérêt extraites peuvent être de forme quelconque.
A partir d'une région d'intérêt extraite, on définit une région de forme simple (par exemple, circulaire, elliptique, carrée, rectangulaire, hexagonale, etc.) qui englobe cette région d'intérêt.
Les étapes suivantes E2 à E5 du procédé selon l'invention s'appliquent aux régions d'intérêt extraites au cours de l'étape E1.
Ces étapes permettent de déterminer un descripteur par région d'intérêt de l'image. L'image est décrite par l'ensemble des descripteurs des régions d'intérêt ainsi obtenus.
L'étape E2 est une étape de définition d'une grille de points relativement à une région d'intérêt.
Une grille de points est définie pour une région d'intérêt extraite au cours de l'étape précédente E1 ou pour une région obtenue par dilatation d'une région d'intérêt extraite au cours de l'étape précédente E1 , sans en déplacer le barycentre.
La position de la grille de points correspond à la position de la région d'intérêt. La taille de la grille de points est proportionnelle à la région d'intérêt. Le coefficient de proportionnalité est préalablement défini de telle sorte que la grille de points recouvre la région d'intérêt considérée, voire déborde celle-ci. Ainsi le coefficient de proportionnalité est légèrement supérieur à 1 (par exemple, de l'ordre de 1 ,1 ou 1 ,2). En fonction du nombre et de la position des régions d'intérêt, celles-ci peuvent se chevaucher. Les grilles de points correspondantes peuvent également se chevaucher.
Le nombre et la répartition des points de la grille sont tels que les voisinages immédiats de ces points (appelés zones d'influence) englobent l'information pertinente contenue dans la région d'intérêt.
La répartition des points peut être quelconque ou homogène. Les points de la grille ainsi que le barycentre de la région d'intérêt ne coïncident pas nécessairement avec des pixels de l'image.
La figure 2 illustre un premier exemple de définition d'une grille de points pour une région d'intérêt d'une image.
La partie gauche de la figure 2 représente une image I comportant 5 régions d'intérêt Ri à R5.
La partie droite de la figure 2 représente une région d'intérêt de l'image I, en l'occurrence la région R5.
Les points Pi à P7 représentent les points de la grille de points définie pour la région d'intérêt R5.
Ces 7 points sont répartis de telle sorte que le point Pi est positionné au barycentre de la région d'intérêt R5 et les points P2 à P7 représentent les sommets d'un hexagone régulier dans lequel est inscrite la région d'intérêt R5 extraite de l'image I.
La figure 3 illustre un deuxième exemple de définition d'une grille de points pour une région d'intérêt d'une image.
La partie gauche de la figure 3 représente une image I' comportant 4 régions d'intérêt RS à R4.
La partie droite de la figure 3 représente une région d'intérêt de l'image I', en l'occurrence la région R 4 sur laquelle sont positionnés 25 points P',,, avec i et j variant de 1 à 5, d'une grille rectangulaire de dimensions 5x5 points. Pour alléger la figure, seul les points, P'n, P'14 et P'34 sont désignés.
Au cours de l'étape suivante E3, on associe une zone d'influence à un point de la grille. Une zone d'influence est un voisinage d'un point de la grille.
La forme d'une zone d'influence est quelconque. Ainsi, en se reportant à la figure 2, les zones d'influence associées aux points Pi à P7 de la grille sont elliptiques. Ces zones d'influence sont représentées par des ellipses en pointillés entourant les points Pi à P7.
Sur la figure 3, les zones d'influence associées aux 25 points de la grille sont des rectangles. Ces rectangles sont représentés en pointillés autour des points PS 1 ; P'u et PW
Les zones d'influence de différents points d'une grille de points peuvent se chevaucher.
L'étape suivante E4 est une étape de détermination d'une valeur représentative par point de la grille.
Cette valeur représentative est déterminée à partir des valeurs d'une donnée mesurée pour les pixels contenus dans la zone d'influence. A titre d'exemple, la donnée mesurée peut être la luminance, la moyenne des canaux R, G, B (pour red, green, blue en anglais), la valeur d'un canal, une donnée de n'importe quel système de représentation colorimétrique, etc.
Ainsi, un pixel contenu dans la zone d'influence d'un point de la grille contribue à la détermination de la valeur représentative associée à ce point.
Un pixel peut contribuer à la détermination de la valeur représentative pour plusieurs points de la grille. Ceci peut être observé à la figure 2 sur laquelle les zones d'influence représentées par des ellipses en pointillés présentent des intersections. Ainsi un pixel appartenant à une telle intersection contribue à la détermination des valeurs représentatives des points de chacune des zones d'influence intersectées. La contribution d'un pixel, contenu dans la zone d'influence d'un point de la grille, à la détermination de la valeur représentative de ce point est pondérée.
La pondération peut être définie, par exemple, en fonction de la distance entre le pixel et le point de la grille (point central ou barycentre de la zone d'influence). Ainsi, la valeur représentative déterminée pour un point de la grille peut, par exemple, être égale à la moyenne pondérée des valeurs de la donnée mesurée pour les pixels contenus dans la zone d'influence.
En variante, la moyenne peut être remplacée par la valeur médiane de l'ensemble des valeurs de la donnée mesurée pour les pixels contenus dans la zone d'influence.
Selon une autre variante, la détermination de la valeur représentative pour un point de la grille peut être basée sur des statistiques robustes comme par exemple, M-estimateurs, RANSAC (pour RANdom SAmple Consensus en anglais), etc.
Cette approche permet de réduire voire de supprimer l'effet de pixels pour lesquels la valeur de la donnée mesurée est très éloignée de la valeur que l'on cherche à déterminer. La prise en compte de la valeur de la donnée mesurée de ce pixel risque d'affecter fortement le résultat obtenu. Une telle approche peut nécessiter plusieurs itérations.
Par exemple, la méthode M-estimateurs basée sur des statistiques robustes peut être appliquée avec plusieurs itérations.
A la première itération, on détermine une valeur représentative pour un point de la grille à partir des valeurs pondérées d'une donnée mesurée (par exemple, la luminance) des pixels contenus dans la zone d'influence de ce point. La pondération appliquée est fonction de la distance entre le pixel et le point de la grille considéré.
A l'itération suivante, la pondération appliquée à la valeur d'un pixel devient fonction de l'écart entre la valeur représentative déterminée à l'itération précédente pour le point de la grille considéré et la valeur de la donnée mesurée de ce pixel.
Le nombre d'itérations est défini par l'observation d'un critère représentatif de la dispersion des valeurs de la donnée mesurée autour de la valeur représentative déterminée. Le critère utilisé peut être par exemple la variance, la valeur médiane des écarts, etc. On peut choisir d'arrêter les itérations quand deux itérations successives donnent deux résultats proches de la valeur représentative. On peut aussi prédéfinir un nombre déterminé d'itérations.
La figure 4 illustre une approche basée sur des statistiques robustes appliquée à l'invention.
L'axe des x correspond aux pixels d'une zone d'influence pris en compte pour la détermination de la valeur représentative du point de la grille correspondant à cette zone. Ainsi, la figure 4 fait apparaître 7 pixels, Xi à X7.
L'axe des y correspond aux valeurs de la donnée mesurée pour ces pixels et à la valeur représentative du point de la grille considéré.
Le pixel X4 est un pixel dont la valeur de la donnée mesurée est très éloignée des valeurs des autres pixels. La détermination de la valeur représentative du point à partir, par exemple, de la moyenne pondérée des valeurs de la donnée mesurée des pixels subit l'effet de ce pixel X4. On obtient alors une valeur représentative pour le point de la grille considéré égale à MC.
La détermination de la valeur représentative du point basée sur des statistiques robustes permet d'écarter l'effet de ce pixel X4. On obtient alors une valeur représentative pour le point de la grille considéré égale à MR, inférieure à MC. Ainsi l'effet du pixel est atténué pour la détermination de la valeur représentative du point.
L'objectif d'une telle approche est d'obtenir un descripteur de la région d'intérêt considérée moins sensible aux transformations de l'image.
Ainsi, en référence à la figure 4, pour modifier significativement la valeur de MC, il suffit de modifier la valeur de la donnée mesurée pour le pixel x4 alors que pour modifier significativement la valeur de MR, il faut modifier les valeurs de la donnée mesurée de plusieurs pixels. Par exemple, la valeur de la luminance de pixels d'une tâche brillante dans une zone sombre peut être fortement modifiée par un changement de résolution de l'image (ou par une autre transformation) tandis que les valeurs des pixels de la zone sombre sont moins affectées par une telle transformation. Cette transformation devient non perceptible pour une valeur représentative déterminée par l'application d'une approche basée sur des statistiques robustes. En effet, dans ce cas, la valeur représentative est celle partagée par une majorité de pixels.
Ainsi, l'utilisation de statistiques robustes permet d'obtenir un descripteur plus robuste à des transformations locales de l'image considérée.
A l'issue de l'étape E4, on dispose d'un ensemble de valeurs représentatives, chacune de ces valeurs représentatives correspondant à un point de la grille définie pour une région d'intérêt.
Au cours de l'étape suivante E5, on compare les valeurs représentatives obtenues au cours de l'étape précédente E4 avec au moins une valeur de référence.
L'ordre de traitement des points ainsi que l'ordre de comparaison avec au moins une valeur de référence sont quelconques. Ils doivent néanmoins être les mêmes pour toute mise en œuvre ultérieure du procédé (par exemple, pour la détermination de descripteurs d'un contenu requête pour effectuer de la détection de copies).
A titre d'exemple, la au moins une valeur de référence peut être la valeur représentative déterminée pour le point central de la grille, la moyenne des valeurs représentatives obtenues pour les points de la grille, etc.
Selon un autre exemple, la au moins une valeur de référence est calculée sur un ensemble de pixels différent de celui utilisé pour déterminer la valeur représentative en un point de la grille. Cet ensemble de pixels comporte, par exemple, les pixels contenus dans la zone d'influence d'un point de la grille et quelques pixels voisins. Le résultat de la comparaison est converti en valeurs binaires.
Par exemple, si la valeur représentative d'un point de la grille est supérieure à la au moins une valeur de référence, le résultat de la comparaison est égal à 1. Inversement, si la valeur représentative d'un point de la grille est inférieure à la au moins une valeur de référence, le résultat de la comparaison est égal à 0.
Le résultat de la comparaison peut être exprimé sur un plus grand nombre de valeurs binaires afin d'affiner l'écart avec la au moins une valeur de référence. Par exemple, si la valeur représentative d'un point de la grille est très supérieure, légèrement supérieure, légèrement inférieure, très inférieure à la au moins une valeur de référence, le résultat de la comparaison est égal respectivement à 11 , 10, 01 , 00.
Ces exemples sont illustratifs de l'invention et non limitatifs de celle-ci. Les valeurs binaires ainsi obtenues sont concaténées suivant un ordre prédéfini. Le résultat de cette concaténation définit un descripteur de la région d'intérêt considérée de l'image.
Le descripteur étant obtenu en comparant les valeurs représentatives des points de la grille avec au moins une valeur de référence, celui-ci est indépendant de variations globales dans la région d'intérêt considérée dues à des transformations appliquées à l'image.
Dans ce qui précède, on a considéré au moins une valeur de référence identique pour tous les points de la grille.
En variante, on peut considérer au moins une valeur de référence variable d'un point de la grille à un autre.
Selon une autre variante, on peut considérer plusieurs valeurs de référence pour un même point de la grille.
Les étapes précédentes E2 à E5 du procédé sont ensuite appliquées aux régions d'intérêt restantes extraites au cours de l'étape E1. Un descripteur est ainsi déterminé pour les régions d'intérêt extraites de l'image. L'image est décrite par l'ensemble des descripteurs des régions d'intérêt ainsi obtenus.
Le procédé selon l'invention comporte également une étape E6 facultative de traitement additionnel.
Cette étape de traitement additionnel permet d'obtenir un descripteur robuste à des transformations simples subies par une image d'origine comportant au moins une région d'intérêt.
Une transformation simple est telle qu'appliquée une première fois à une image d'origine puis appliquée une seconde fois à l'image transformée résultante on obtient l'image d'origine. Il s'agit d'une involution. A titre d'exemple, il s'agit d'une symétrie de l'image par rapport à un axe horizontal et/ou vertical, d'une inversion de luminance (image négative), etc.
Préalablement à cette étape E6, on dispose des descripteurs (dits d'origine) des régions d'intérêt d'une image d'origine déterminés par application des étapes E2 à E5 précédentes du procédé. Tel que décrit précédemment, ces descripteurs d'origine se présentent sous forme d'une succession de valeurs binaires.
On applique une ou plusieurs transformations simples à cette image d'origine (symétrie par rapport à un axe horizontal et/ou vertical, inversion de luminance, etc.).
Puis, on détermine les descripteurs des régions d'intérêt de l'image transformée. Compte tenu de la nature des transformations appliquées, les régions d'intérêt de l'image transformée ne sont pas modifiées en forme et en taille et se déduisent des régions d'intérêt de l'image d'origine en fonction de la transformation appliquée (par exemple, par symétrie si la transformation est une symétrie selon un axe horizontal et/ou vertical). Ainsi, à une région d'intérêt de l'image transformée correspond une région d'intérêt de l'image d'origine. On désigne par descripteurs additionnels, les descripteurs des régions d'intérêt de l'image transformée.
Un descripteur additionnel d'une région d'intérêt de l'image transformée est obtenu en permutant et/ou en prenant le complémentaire de certaines valeurs binaires du descripteur d'origine de la région d'intérêt correspondante de l'image d'origine. Ainsi, il n'est pas nécessaire d'appliquer les étapes E2 à E5 décrites précédemment pour obtenir un descripteur additionnel d'une région d'intérêt d'une image transformée.
A l'issue de l'étape E6, on dispose alors de deux descripteurs, un descripteur d'origine pour une région d'intérêt de l'image d'origine et un descripteur additionnel pour la région d'intérêt correspondante de l'image transformée. On en conserve un seul (par exemple, le plus petit des deux) pour représenter les deux régions d'intérêt considérées.
De cette façon, une région d'intérêt et la région symétrique par rapport à un axe vertical et/ou horizontal ou une région d'intérêt et la région inversée en terme de luminance, etc. ont le même descripteur.
Le nombre et la nature des transformations appliquées à l'image d'origine sont quelconques. Ils doivent néanmoins être les mêmes pour toute mise en œuvre ultérieure du procédé (par exemple, pour la détermination de descripteurs d'un contenu requête pour effectuer de la détection de copies).
La figure 5 représente un mode de réalisation d'un dispositif apte à mettre en œuvre un procédé de détermination de descripteur d'une région d'intérêt dans une image tel que décrit ci-dessus.
Le dispositif comporte un module M1 d'extraction de régions d'intérêt d'une image.
Le module M1 met en œuvre l'étape E1 telle que décrite ci-dessus. Le dispositif comprend aussi un module M2 de définition d'une grille de points pour une région d'intérêt. En référence à l'étape E2, le module M2 permet de définir une grille de points pour une région d'intérêt extraite par le module M1 ou pour une région obtenue par dilatation d'une région d'intérêt extraite par le module M1.
En référence à l'étape E3, le module M3 est un module d'association d'une zone d'influence aux points de la grille.
Le dispositif comprend également un module M4 de détermination d'une valeur représentative par point de la grille tel que décrit à l'étape E4.
En référence à l'étape E5, le dispositif comprend aussi un module M5 de comparaison des valeurs représentatives obtenues en sortie du module M4 avec au moins une valeur de référence.
Le dispositif comporte également un module M6 de traitement additionnel d'une image tel que décrit à l'étape E6.
Le dispositif comprend en outre une unité centrale de commande, non représentée, connectée à chacun des modules M1 à M6 et adaptée pour commander leur fonctionnement.
Les modules M1 à M6 peuvent être des modules logiciels formant un programme d'ordinateur. L'invention concerne donc également un programme d'ordinateur pour un dispositif de détermination de descripteur d'une région d'intérêt dans une image comprenant des instructions de code de programme pour faire exécuter le procédé précédemment décrit par le dispositif.
Les différents modules logiciels peuvent être stockés dans ou transmis par un support de données. Celui-ci peut être un support matériel de stockage, par exemple un CD-ROM, une disquette magnétique ou un disque dur, ou bien un support transmissible tel qu'un signal électrique, optique ou radio.
L'invention trouve notamment, mais pas seulement, des applications pour des sites d'échange de contenus multimédia.
Par exemple, l'invention peut être utilisée pour détecter plusieurs copies d'un même contenu enregistrées sur un tel site. En effet, un même contenu multimédia peut être enregistré plusieurs fois avec une désignation (nom, description, etc.) différente à chaque fois. La détection de copies mise en œuvre dans un moteur de recherche de contenu, permet de supprimer les doublons et de fournir des résultats de recherche dé-doublonnés.
Certains contenus multimédia sont protégés par des droits d'auteur. L'invention permet également de détecter de tels contenus illicitement mis à la disposition du public sur des sites d'échange de contenus.

Claims

REVENDICATIONS
1. Procédé de détermination de descripteur d'une région d'intérêt dans une image, caractérisé en ce qu'il comporte des étapes de :
- définition (E2) d'une grille de points pour la région d'intérêt,
- association (E3) d'une zone d'influence respective aux points de la grille de points,
- détermination (E4) d'une valeur représentative par point de la grille de points en fonction de sa zone d'influence respective,
- comparaison (E5) de la valeur représentative obtenue par point de la grille de points avec au moins une valeur de référence déterminée à partir des valeurs représentatives des points de la grille de points, le résultat de la comparaison étant exprimé en au moins une valeur binaire; - concaténation des résultats obtenus pour les points de la grille pour définir un descripteur de la région d'intérêt de l'image.
2. Procédé selon la revendication 1 , caractérisé en ce que, au cours de l'étape de détermination (E4), la valeur représentative d'un point de la grille de points est déterminée en fonction des valeurs pondérées d'une donnée mesurée pour les pixels de l'image contenus dans la zone d'influence de ce point.
3. Procédé selon la revendication 2, caractérisé en ce que la valeur représentative d'un point de la grille de points est égale à la moyenne pondérée des valeurs de la donnée mesurée pour les pixels de l'image contenus dans la zone d'influence de ce point.
4. Procédé selon la revendication 2, caractérisé en ce que la valeur représentative d'un point de la grille de points est égale à la valeur médiane pondérée des valeurs de la donnée mesurée pour les pixels de l'image contenus dans la zone d'influence de ce point.
5. Procédé selon la revendication 2, caractérisé en ce que la valeur représentative d'un point de la grille de points est déterminée par l'application d'une méthode basée sur des statistiques robustes.
6. Procédé selon l'une quelconque des revendications 1 à 5 appliqué à une image d'origine et conduisant à la détermination de descripteur d'origine d'une région d'intérêt de l'image d'origine, caractérisé en ce qu'il comporte en outre une étape de traitement additionnel (E6) comprenant :
- la transformation de l'image d'origine pour obtenir une image transformée comportant une région d'intérêt qui se déduit d'une région d'intérêt de l'image d'origine en fonction de la transformation appliquée, - la détermination de descripteur additionnel d'une région d'intérêt de l'image transformée à partir du descripteur d'origine de la région d'intérêt respective de l'image d'origine,
- la représentation d'une région d'intérêt de l'image d'origine et la représentation de la région d'intérêt correspondante de l'image transformée par un même descripteur choisi entre le descripteur d'origine et le descripteur additionnel.
7. Dispositif de détermination de descripteur d'une région d'intérêt dans une image, caractérisé en ce qu'il comporte des moyens de : - définition (M2) d'une grille de points pour la région d'intérêt,
- association (M3) d'une zone d'influence respective aux points de la grille de points,
- détermination (M4) d'une valeur représentative par point de la grille de points en fonction de sa zone d'influence respective, - comparaison (M5) de la valeur représentative obtenue par point de la grille de points avec au moins une valeur de référence déterminée à partir des valeurs représentatives des points de la grille de points, le résultat de la comparaison étant exprimé en au moins une valeur binaire;
- concaténation des résultats obtenus pour les points de la grille pour définir un descripteur de la région d'intérêt de l'image.
8. Produit programme d'ordinateur comprenant des instructions de code de programme enregistrées sur ou transmises par un support lisible par un ordinateur, pour mettre en œuvre les étapes du procédé selon l'une quelconque des revendications 1 à 6 lorsque ledit programme fonctionne sur ordinateur.
EP10723226A 2009-04-09 2010-04-08 Determination de descripteur dans un contenu multimedia Withdrawn EP2417576A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0952323 2009-04-09
PCT/FR2010/050676 WO2010116093A1 (fr) 2009-04-09 2010-04-08 Determination de descripteur dans un contenu multimedia

Publications (1)

Publication Number Publication Date
EP2417576A1 true EP2417576A1 (fr) 2012-02-15

Family

ID=41221976

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10723226A Withdrawn EP2417576A1 (fr) 2009-04-09 2010-04-08 Determination de descripteur dans un contenu multimedia

Country Status (3)

Country Link
US (1) US8855420B2 (fr)
EP (1) EP2417576A1 (fr)
WO (1) WO2010116093A1 (fr)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8195689B2 (en) 2009-06-10 2012-06-05 Zeitera, Llc Media fingerprinting and identification system
US8189945B2 (en) 2009-05-27 2012-05-29 Zeitera, Llc Digital video content fingerprinting based on scale invariant interest region detection with an array of anisotropic filters
JP5789751B2 (ja) 2011-08-11 2015-10-07 パナソニックＩｐマネジメント株式会社 特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置
US9064191B2 (en) 2012-01-26 2015-06-23 Qualcomm Incorporated Lower modifier detection and extraction from devanagari text images to improve OCR performance
US9053361B2 (en) 2012-01-26 2015-06-09 Qualcomm Incorporated Identifying regions of text to merge in a natural image or video frame
US8687892B2 (en) * 2012-06-21 2014-04-01 Thomson Licensing Generating a binary descriptor representing an image patch
US9141874B2 (en) 2012-07-19 2015-09-22 Qualcomm Incorporated Feature extraction and use with a probability density function (PDF) divergence metric
US9076242B2 (en) 2012-07-19 2015-07-07 Qualcomm Incorporated Automatic correction of skew in natural images and video
US9047540B2 (en) 2012-07-19 2015-06-02 Qualcomm Incorporated Trellis based word decoder with reverse pass
US9014480B2 (en) 2012-07-19 2015-04-21 Qualcomm Incorporated Identifying a maximally stable extremal region (MSER) in an image by skipping comparison of pixels in the region
US9262699B2 (en) 2012-07-19 2016-02-16 Qualcomm Incorporated Method of handling complex variants of words through prefix-tree based decoding for Devanagiri OCR
US10587487B2 (en) 2015-09-23 2020-03-10 International Business Machines Corporation Selecting time-series data for information technology (IT) operations analytics anomaly detection
US10169731B2 (en) * 2015-11-02 2019-01-01 International Business Machines Corporation Selecting key performance indicators for anomaly detection analytics

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6199084B1 (en) * 1998-09-09 2001-03-06 Hitachi America, Ltd. Methods and apparatus for implementing weighted median filters
AU2001277110A1 (en) * 2000-07-21 2002-02-05 The Trustees Of Columbia University In The City Of New York Method and apparatus for reducing distortion in images
KR101327789B1 (ko) * 2007-08-24 2013-11-11 삼성전자주식회사 이미지의 다양한 노이즈들을 동시에 저감하는 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2010116093A1 *

Also Published As

Publication number Publication date
US8855420B2 (en) 2014-10-07
US20120051642A1 (en) 2012-03-01
WO2010116093A1 (fr) 2010-10-14

Similar Documents

Publication Publication Date Title
EP2417576A1 (fr) Determination de descripteur dans un contenu multimedia
Battiato et al. Multimedia forensics: discovering the history of multimedia contents
Rocha et al. Vision of the unseen: Current trends and challenges in digital image and video forensics
Kwon et al. Learning jpeg compression artifacts for image manipulation detection and localization
Chanu et al. Image steganography and steganalysis: A survey
KR101143233B1 (ko) 디지탈 멀티미디아 데이타에 대한 비동기화된 핑거프린팅 방법 및 시스템
FR2907239A1 (fr) Procede de recherche et de reconnaissance rapides d'une image numerique representative d'au moins un motif graphique dans une banque d'images numeriques
EP3552129B1 (fr) Procédé d'enregistrement d'un contenu multimédia, procédé de détection d'une marque au sein d'un contenu multimédia, dispositifs et programme d'ordinateurs correspondants
US20150254342A1 (en) Video dna (vdna) method and system for multi-dimensional content matching
Hashim et al. An extensive analysis and conduct comparative based on statistical attach of LSB substitution and LSB matching
US20130006951A1 (en) Video dna (vdna) method and system for multi-dimensional content matching
Wei et al. Image splicing forgery detection by combining synthetic adversarial networks and hybrid dense U‐net based on multiple spaces
Xue et al. JPEG image tampering localization based on normalized gray level co-occurrence matrix
Choi et al. Feature Analysis and Detection Techniques for Piracy Sites.
Li et al. A robust approach to detect digital forgeries by exploring correlation patterns
CA2416198C (fr) Procede et systeme de decodage de tatouage d'images
Karaküçük et al. PRNU based source camera attribution for image sets anonymized with patch-match algorithm
Zeng et al. Exposing image splicing with inconsistent sensor noise levels
Iacobici et al. Digital imaging processing and reconstruction for general applications
Ustubioglu et al. Improved copy-move forgery detection based on the CLDs and colour moments
Hashem et al. Passive aproaches for detecting image tampering: a review
EP2082336B1 (fr) Procede de recherche et de reconnaissance rapides d'une image numerique representative d'au moins un motif graphique dans une banque d'images numeriques
Fischinger et al. DF-Net: The digital forensics network for image forgery detection
Huang et al. Focal stack based image forgery localization
Zhang et al. A Multi-level Feature Enhancement Network for Image Splicing Localization

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20111027

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

RIN1 Information on inventor provided before grant (corrected)

Inventor name: GENGEMBRE, NICOLAS

Inventor name: BERRANI, SID AHMED

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20130503

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ORANGE

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20150216

APBK Appeal reference recorded

Free format text: ORIGINAL CODE: EPIDOSNREFNE

APAF Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNE

GRAJ Information related to disapproval of communication of intention to grant by the applicant or resumption of examination proceedings by the epo deleted

Free format text: ORIGINAL CODE: EPIDOSDIGR1

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTC Intention to grant announced (deleted)
INTG Intention to grant announced

Effective date: 20161216

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20170427