FR2897183A1 - METHOD FOR VERIFYING THE SAVING AREAS OF A MULTIMEDIA DOCUMENT, METHOD FOR CREATING AN ADVERTISING DOCUMENT, AND COMPUTER PROGRAM PRODUCT - Google Patents

METHOD FOR VERIFYING THE SAVING AREAS OF A MULTIMEDIA DOCUMENT, METHOD FOR CREATING AN ADVERTISING DOCUMENT, AND COMPUTER PROGRAM PRODUCT Download PDF

Info

Publication number
FR2897183A1
FR2897183A1 FR0650404A FR0650404A FR2897183A1 FR 2897183 A1 FR2897183 A1 FR 2897183A1 FR 0650404 A FR0650404 A FR 0650404A FR 0650404 A FR0650404 A FR 0650404A FR 2897183 A1 FR2897183 A1 FR 2897183A1
Authority
FR
France
Prior art keywords
document
saliency
areas
key
page
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR0650404A
Other languages
French (fr)
Inventor
Meur Olivier Le
Xavier Castellan
Michel Kerdranvat
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Priority to FR0650404A priority Critical patent/FR2897183A1/en
Priority to JP2008552812A priority patent/JP4896160B2/en
Priority to PCT/EP2007/051001 priority patent/WO2007088193A1/en
Priority to CN2007800043768A priority patent/CN101379529B/en
Priority to EP07726278A priority patent/EP1979876A1/en
Publication of FR2897183A1 publication Critical patent/FR2897183A1/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10008Still image; Photographic image from scanner, fax or copier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30176Document

Abstract

L'invention concerne un procédé de vérification des zones de saillance d'un document multimédia. Selon l'invention, le procédé comprend les étapes de :- détermination (E1) des zones dudit document considérées comme zones clés à partir de données à priori extraites dudit document,- application (E2) audit document d'un modèle basé sur l'établissement de cartes de saillance afin d'obtenir une carte de saillance dudit document,- comparaison (E3) entre les zones dudit document considérées comme clés et ladite carte de saillance.The invention relates to a method for checking the salient areas of a multimedia document. According to the invention, the method comprises the steps of: - determining (E1) areas of said document considered as key areas from data a priori extracted from said document, - application (E2) to said document of a model based on the establishment of saliency maps to obtain a saliency map of said document, - comparison (E3) between the areas of said document considered as key and said saliency map.

Description

L'invention concerne un dispositif et une méthode de vérification desThe invention relates to a device and a method for verifying

zones de saillance d'un document multimédia.  salient areas of a multimedia document.

L'invention s'applique plus particulièrement à l'évaluation de contenu et plus particulièrement de documents tels que des documents publicitaires. Aujourd'hui, lorsque l'on veut mettre en avant un contenu, diverses techniques de création de contenus sont connues : tout simplement, lors de l'écriture d'un document texte, on surligne, on écrit en gras, on encadre... Des techniques plus sophistiquées sont utilisées par les publicistes qui peuvent, pour de la vidéo ou de l'audio combiner des techniques de traitement d'images ou des techniques de traitement du son, plus généralement des techniques de traitement du signal.  The invention applies more particularly to the evaluation of content and more particularly to documents such as advertising documents. Today, when we want to highlight a content, various techniques of content creation are known: simply, when writing a text document, we highlight, we write in bold, we frame .. More sophisticated techniques are used by the publicists who can, for video or audio, combine image processing techniques or sound processing techniques, more generally signal processing techniques.

II est difficile d'évaluer l'efficacité de ces techniques. Les publicités sont 15 bien souvent attirantes mais les différents effets mis en oeuvre ne sont pas toujours tous efficaces et pourraient certainement être améliorés. Actuellement, des techniques oculomètriques peuvent aider à la détermination des zones de saillance. De telles techniques cependant sont manuelles et lourdes à implémenter car elles ne permettent pas une 20 automatisation de la méthode sur une pluralité de documents, de pages web, de documents vidéo.  It is difficult to evaluate the effectiveness of these techniques. Advertisements are often attractive but the various effects implemented are not always all effective and could certainly be improved. Currently, oculometric techniques can help in determining salient areas. Such techniques, however, are manual and cumbersome to implement because they do not allow automation of the method on a plurality of documents, web pages, video documents.

A cet effet, l'invention propose un procédé de vérification des zones de saillance d'un document multimédia. Selon l'invention, le procédé comprend 25 les étapes de : - détermination des zones dudit document considérées comme zones clés à partir de données à priori extraites dudit document, -application audit document d'un modèle basé sur l'établissement de cartes de saillance afin d'obtenir une carte de saillance dudit 30 document, -comparaison entre les zones dudit document considérées comme clés et ladite carte de saillance.  For this purpose, the invention proposes a method for verifying the saliency zones of a multimedia document. According to the invention, the method comprises the steps of: - determining the areas of said document considered as key areas from data a priori extracted from said document, -application to said document of a model based on the establishment of saliency maps in order to obtain a saliency map of said document, comparison between the areas of said document considered as key and said saliency map.

Selon un mode de réalisation préféré, le procédé comprend une étape de calcul d'un rapport entre la saillance contenue dans les zones clés dudit document et la saillance totale dudit document.  According to a preferred embodiment, the method comprises a step of calculating a ratio between the salience contained in the key areas of said document and the total saliency of said document.

Selon un mode de réalisation préféré, le procédé comprend une étape de calcul du chemin visuel indiquant le parcours de l'ceil lors de la visualisation dudit document, ledit chemin visuel étant calculé à partir de ladite carte de saillance et composé des pixels de l'image dont la saillance est supérieure à un seuil.  According to a preferred embodiment, the method comprises a step of calculating the visual path indicating the course of the eye during the display of said document, said visual path being calculated from said saliency map and composed of the pixels of the image whose saliency is greater than a threshold.

Selon un mode de réalisation préféré, lors de la recherche dudit chemin visuel, on recherche le pixel ayant la saillance maximale dans ledit document, - on inhibe une zone dudit document autour dudit maximum et - on recherche le pixel suivant ayant la saillance maximale, jusqu'à ce que l'on ait obtenu tous les pixels ayant une saillance supérieure audit seuil.  According to a preferred embodiment, when searching for said visual path, the pixel having the maximum saliency in said document is searched for, - an area of said document is inhibited around said maximum and - the next pixel having the maximum saliency is searched for, until all the pixels having a saliency higher than said threshold have been obtained.

Avantageusement, on établit un rapport d'analyse comprenant les 20 zones de saillance, ledit chemin visuel, et un ensemble de sous-images représentatives des zones de saillance dudit document.  Advantageously, an analysis report is established comprising the saliency zones, said visual path, and a set of sub-images representative of the saliency zones of said document.

Selon un mode de réalisation préféré, ledit rapport comprend les zones clés dudit document. 25 L'invention concerne également un procédé de création d'un document publicitaire. Selon l'invention, le procédé comprend alternativement une étape de création du contenu suivie d'un procédé de vérification des zones de saillance dudit document selon l'invention, lesdites étapes étant répétées tant 30 que les zones de saillance ne correspondent pas aux zones clés dudit document.  According to a preferred embodiment, said report comprises the key areas of said document. The invention also relates to a method of creating an advertising document. According to the invention, the method alternatively comprises a content creation step followed by a method for verifying the saliency zones of said document according to the invention, said steps being repeated as long as the saliency zones do not correspond to the key zones. said document.

L'invention concerne également un procédé de vérification automatique des zones de saillance d'un site internet. Selon l'invention, le procédé comprend pour chaque page du site les étapes de - détermination des zones de ladite page considérées comme zones clés à 5 partir de données à priori extraites de ladite page, - application à ladite page d'un modèle basé sur l'établissement de cartes de saillance afin d'obtenir une carte de saillance de ladite page, - comparaison entre les zones de ladite page considérées comme clés et ladite carte de saillance. 10 L'invention concerne également un produit programme d'ordinateur comprenant des instructions de code de programme pour l'exécution des étapes des procédés selon l'un quelconque des modes de réalisation de l'invention lorsque ledit programme est exécuté sur un ordinateur. L'invention sera mieux comprise et illustrée au moyen d'exemples de modes de réalisation et de mise en oeuvre avantageux, nullement limitatifs, en référence à la figure 1 annexée représentant la méthode de vérification selon un mode préféré de l'invention. 20 L'invention est particulièrement avantageuse dans les documents à caractère publicitaires où les composantes du document sont particulièrement importantes de part leur impact économique. En effet, les films publicitaires, qu'ils soient une vidéo, audio simplement ou de type images fixes dans un 25 magazine, sont particulièrement travaillés pour placer des messages attractifs pour le consommateur. Cependant parfois, ces messages ne sont pas forcément les zones qui attireront le plus l'oeil humain et dans ce cas, le publiciste n'aura pas créé un document ayant l'effet escompté. La présente invention vise alors à procurer des moyens d'analyser les 30 documents, qu'ils soient publicitaires ou non, afin de vérifier que ces documents aient l'impact souhaité auprès de leurs destinataires.  The invention also relates to a method for automatically checking the salient areas of a website. According to the invention, the method comprises, for each page of the site, the steps of - determining the zones of said page considered as key zones from the data extracted a priori from said page, - applying to said page a model based on the establishment of saliency maps to obtain a saliency map of said page, - comparison between the areas of said page considered as key and said saliency map. The invention also relates to a computer program product comprising program code instructions for performing the steps of the methods according to any one of the embodiments of the invention when said program is executed on a computer. The invention will be better understood and illustrated by means of examples of advantageous embodiments and implementations, in no way limiting, with reference to the appended FIG. 1 representing the verification method according to a preferred embodiment of the invention. The invention is particularly advantageous in advertising documents where the components of the document are particularly important because of their economic impact. Indeed, commercials, whether video, audio or simply still images in a magazine, are particularly worked to place messages attractive to the consumer. However sometimes these messages are not necessarily the areas that will attract the most the human eye and in this case, the publicist will not have created a document with the desired effect. The present invention thus aims to provide means for analyzing the documents, whether advertising or not, to verify that these documents have the desired impact to their recipients.

Ainsi, il existe des méthodes de calcul de cartes de saillance pour un document. Ces méthodes permettent de déterminer les zones qui vont attirer 15 l'oeil. Elles sont basées sur des calculs prenant en compte différents paramètres de l'image et sur des analyses spatiales et/ou temporelles de l'image et/ou de la vidéo. Une carte de saillance est une représentation topographique de la perception d'une image. On détermine la pertinence visuelle de chaque pixel de l'image. La carte est normalisée par exemple entre 0 et 255. Plus la valeur est élevée, plus le pixel attire l'oeil.  Thus, there are methods of calculating saliency maps for a document. These methods make it possible to determine the areas that will attract the eye. They are based on calculations taking into account different parameters of the image and on spatial and / or temporal analyzes of the image and / or the video. A saliency map is a topographic representation of the perception of an image. The visual relevance of each pixel of the image is determined. The map is standardized for example between 0 and 255. The higher the value, the more the pixel attracts the eye.

De telles méthodes sont par exemple décrites dans la demande de 10 brevet Européen au nom de la société Thomson Licensing SA, publiée le 22 juin 2005 sous le numéro 1544792.  Such methods are described, for example, in the European patent application filed by Thomson Licensing SA on June 22, 2005 under number 1544792.

La figure 1 représente les étapes du procédé selon un mode préféré de l'invention. 15 On dispose d'un document D papier de type document commercial. Ce document a été crée à partir d'un logiciel d'édition, par exemple acrobat writer (marque déposée par la société adobe), word (marque déposée par la société microsoft), de type HTML, dont on dispose de la version électronique. On peut donc extraire de ce document des informations à priori qui reflètent ce que 20 l'auteur du document a souhaité mettre en avant. Par exemple, dans un document de type word, on peut juger de l'importance des informations en fonction de la taille des caractères utilisés, de la police de caractère utilisée, du surlignage, de la couleur utilisée. On peut également utiliser l'emplacement sur la feuille, en général les informations importantes étant mises au centre de 25 l'image. Dans un document de type html, les tags sont également une aide à la détermination des points que l'auteur veut mettre en avant. Ainsi, de manière manuelle par observation du document D, ou de manière automatique par extraction automatique des caractéristiques 30 mentionnées ci-dessus, on peut établir (étape El) les informations à priori représentatives des points clés du document D selon l'auteur. On peut ainsi obtenir la localisation géographique des zones d'intérêt du document.  Figure 1 shows the steps of the method according to a preferred embodiment of the invention. There is a paper document D of the commercial document type. This document was created from an editing software, for example acrobat writer (registered trademark by the company adobe), word (trademark registered by the company microsoft), type HTML, which is available electronic version. One can thus extract from this document a priori information which reflects what the author of the document wished to put forward. For example, in a word document, we can judge the importance of the information according to the size of the characters used, the font used, the highlighting, the color used. The location on the sheet can also be used, generally the important information being placed in the center of the image. In a html document, tags are also a help in determining the points that the author wants to put forward. Thus, manually by observing the document D, or automatically by automatic extraction of the characteristics mentioned above, it is possible to establish (step E1) the information a priori representative of the key points of the document D according to the author. It is thus possible to obtain the geographical location of the areas of interest of the document.

On dispose d'autre part d'un modèle permettant de bâtir la carte de saillance d'un document. Lors d'une étape E2, on applique ce modèle au document D. Le modèle est par exemple un logiciel recevant en entrée le document D. Le modèle analyse les caractéristiques du document nécessaires à l'extraction de cartes de saillances de manière à obtenir la carte de saillance du document D. De telles méthodes sont par exemple décrites dans la demande de brevet Européen au nom de la société Thomson Licensing SA, publiée le 22 juin 2005 sous le numéro 1544792. Elles sont basées sur des calculs prenant 10 en compte différents paramètres de l'image et basées sur des analyses spatiales et/ou temporelles de l'image et/ou de la vidéo. Des informations de type texte ainsi que des informations de type visage sont également extraites car habituellement elles sont également représentatives d'informations considérées comme importantes, lorsque le 15 texte est inclus dans un document vidéo. La prise en compte des informations de type visage ou texte lors de l'établissement de cartes de saillance est notamment décrite dans le document attention mode) based progressive image transmission de Hu, Xie, Chen, Ma ainsi que dans le document a visual attention mode) for 20 adapting images on small displays de Chen et Al et publié dans la revue multimedia systems en 2003.  On the other hand there is a model for building the saliency map of a document. During a step E2, this model is applied to the document D. The model is for example a software receiving the document D as input. The model analyzes the characteristics of the document necessary for the extraction of salient maps in order to obtain the D. Such a method is for example described in the European patent application on behalf of Thomson Licensing SA, published on June 22, 2005 under the number 1544792. They are based on calculations taking into account different image parameters and based on spatial and / or temporal analyzes of the image and / or video. Text type information as well as face type information is also extracted because usually they are also representative of information considered important when the text is included in a video document. Taking into account the information of the face or text type during the establishment of saliency maps is notably described in the document attention mode) based progressive image transmission of Hu, Xie, Chen, Ma as well as in the document a visual attention mode ) for 20 adapting images on small displays by Chen and Al and published in the journal multimedia systems in 2003.

Lors d'une étape E3, à partir de la carte de saillance, on obtient un rapport d'analyse contenant les informations suivantes : 25 - Une carte de chaleur indiquant les zones d'attirance, - Une carte du chemin visuel indiquant le parcours visuel de l'observateur moyen. On obtient ce parcours visuel en recherchant dans la carte de saillance les maxima locaux ayant une valeur de saillance supérieure à un seuil, en 30 fonction du nombre de maxima que l'on souhaite obtenir ou en fonction de la saillance globale de l'image. La recherche des maxima locaux peut par exemple se faire en inhibant une zone circulaire (représentant la fovéa de rayon égal à 0.5 degré visuel) autour du (n-1) ième maximum et en cherchant le maximum global de cette nouvelle carte et ainsi de suite pour chaque maximum. Pour chaque maximum on obtient donc une zone et ensuite on relie les centres des zones n-1,n,... afin d'obtenir le parcours visuel d'un observateur moyen. - Un résumé perceptuel contenant n sous-images de l'image à analyser. Ces sous-images sont des zones fixées par l'observateur. Une telle méthode pour déterminer les sous-images est décrite dans la demande de brevet Européen déposée le 19 septembre 2005 sous le numéro 05291938.8 au nom de la société Thomson Licensing. Cette méthode est également décrite dans la publication de O. Le Meur, X. Castellan, P. Le Callet and D. Barba, Efficient saliency-based repurposing method, ICIP 2006. Les sous-images sont composées des pixels autour des maxima locaux. Le nombre de sous-images est déterminé en fixant un seuil et l'on définit des sous-images uniquement pour les maxima ayant une valeur de saillance supérieure à ce seuil.  During a step E3, from the saliency map, an analysis report is obtained containing the following information: A heat map indicating the zones of attraction, A visual path map indicating the visual path of the average observer. This visual path is obtained by searching the saliency map for the local maxima having a saliency value greater than a threshold, as a function of the number of maxima that one wishes to obtain or as a function of the global saliency of the image. The search for local maxima can for example be done by inhibiting a circular area (representing the fovea of radius equal to 0.5 visual degree) around the (n-1) th maximum and looking for the global maximum of this new map and so on for each maximum. For each maximum one thus obtains a zone and then one connects the centers of zones n-1, n, ... in order to obtain the visual path of an average observer. - A perceptual summary containing n sub-images of the image to be analyzed. These sub-images are areas fixed by the observer. Such a method for determining the sub-images is described in the European patent application filed on September 19, 2005 under number 05291938.8 in the name of Thomson Licensing. This method is also described in the publication of O. Le Meur, X. Castellan, P. The Callet and D. Barba, Efficient saliency-based repurposing method, ICIP 2006. The sub-images are composed of pixels around the local maxima. The number of sub-images is determined by setting a threshold and sub-images are defined only for maxima having a saliency value greater than this threshold.

Ces informations permettent de détecter les zones de l'image effectivement perçues par l'oeil humain.  This information makes it possible to detect the zones of the image actually perceived by the human eye.

On compare ensuite les zones indiquées par l'auteur du document ou extraites automatiquement lors de l'étape El et les zones indiquées dans le rapport d'analyse. On est ainsi en mesure de comparer ce que l'auteur a voulu mettre en avant dans le document aux informations réellement accrocheuses pour l'oeil humain, en mettant en regard les informations à priori et les informations du rapport d'analyse.  The areas indicated by the author of the document or automatically extracted during step E1 and the zones indicated in the analysis report are then compared. We are thus able to compare what the author wanted to put forward in the document to the really catchy information for the human eye, by putting in front of the information a priori and the information of the analysis report.

Le rapport d'analyse peut également fournir directement cette analyse en mettant en oeuvre une étape de comparaison directe entre la carte de saillance et les données à priori. En effet, on peut comparer l'emplacement géographique des zones de saillance et des zones considérées comme importantes par l'auteur.  The analysis report can also directly provide this analysis by implementing a step of direct comparison between the saliency map and the prior data. Indeed, one can compare the geographic location of salient areas and areas considered important by the author.

On peut par exemple calculer le ratio entre la saillance contenue dans les zones délimitées par l'auteur du document et la saillance globale. Ce rapport peut être un indicateur de la pertinence du design du document. II est ainsi possible pour le créateur d'évaluer en terme d'attrait pour l'ceil la valeur de son document.  For example, the ratio between the salience contained in the areas delimited by the author of the document and the overall saliency can be calculated. This report can be an indicator of the relevance of the document's design. It is thus possible for the creator to evaluate in terms of the attraction for the eye the value of his document.

L'invention propose donc avantageusement une méthode d'évaluation de documents à caractère commercial ou publicitaire.  The invention therefore advantageously proposes a method for evaluating documents of a commercial or advertising nature.

L'invention peut aussi être vue comme étant un procédé à distance pour l'évaluation de documents publicitaires. On peut effectivement envisager que le modèle soit disponible sur un site internet et que le client soumette son document sous forme électronique afin d'en connaître les points/zones qui vont en réalité accrocher l'oeil humain. L'utilisateur du service, en fonction du résultat de la comparaison peut alors modifier son document et le resoumettre de façon itérative de manière à ce que les informations qu'il souhaite mettre en avant soient réellement les informations sur lesquelles l'ceil humain va se focaliser.  The invention can also be seen as a remote method for the evaluation of advertising documents. We can actually consider that the model is available on a website and that the customer submits his document in electronic form to know the points / areas that will actually hang the human eye. The user of the service, depending on the result of the comparison can then modify his document and resubmit it iteratively so that the information he wishes to put forward is really the information on which the human eye is going to go. focus.

Le procédé peut également avoir comme application l'évaluation de plusieurs documents soumis par des clients suite à un appel d'offre. On peut ainsi analyser de manière automatique et objective, quel est le document qui aura le plus d'impact sur les consommateurs.  The method may also have as application the evaluation of several documents submitted by customers following a call for tenders. It is thus possible to analyze automatically and objectively what is the document that will have the greatest impact on consumers.

Dans un autre mode de réalisation, le document D n'est pas un document papier ou une image fixe, du type encart publicitaire mais un document vidéo comme les publicités diffusées sur les chaînes télévisuelles. Un tel document peut être également analysé selon le procédé mis en oeuvre dans l'invention.  In another embodiment, the document D is not a paper document or a still image, of the advertising insert type but a video document such as the advertisements broadcast on the television channels. Such a document can also be analyzed according to the method implemented in the invention.

Effectivement, on peut également établir une carte de saillance à partir des informations temporelles. Un tel procédé est décrit dans le document de 0. Le Meur, P. Le Callet, D. Barba et D. Thoreau, "A spatio-temporel model of the selective human visual attention", Proc. ICIP-05 (IEEE International Conference on Image Processing), Gênes, Italie, Septembre 2005.  Indeed, it is also possible to establish a salience map from time information. Such a method is described in the document of 0. Le Meur, P. Le Callet, D. Barba and D. Thoreau, "A spatio-temporal model of the selective human visual attention", Proc. ICIP-05 (IEEE International Conference on Image Processing), Genoa, Italy, September 2005.

On peut donc ainsi également obtenir la carte de saillance du document vidéo. Pour obtenir les informations à priori sur les données vidéo, il est possible de les obtenir par l'intermédiaire de l'auteur de la vidéo.  We can thus also obtain the saliency map of the video document. To obtain the information on the video data, it is possible to obtain them via the author of the video.

Dans un autre mode de réalisation, on peut également se servir de cette méthode en l'intégrant directement dans des outils d'aide à la création de documents. Effectivement, on obtient alors des documents pour lesquels l'oeil se focalise sur les zones effectivement considérées comme clés dans le document. On peut ainsi alternativement créer du contenu, appliquer le procédé de vérification selon l'invention et le modifier tant que les zones de saillance et les zones clés ne coïncident pas.  In another embodiment, this method can also be used by integrating it directly into document creation aids. Indeed, we obtain documents for which the eye focuses on the areas actually considered as key in the document. It is thus possible alternately to create content, to apply the verification method according to the invention and to modify it as long as the salient zones and the key zones do not coincide.

Dans encore un autre mode de réalisation, on peut également envisager que le document à analyser soit un site internet et que chaque page du site soit analysée régulièrement, de manière automatique ou manuelle. Ainsi, on peut envisager une procédure automatique de lancement du procédé selon l'invention sur toutes les pages web du site et affichage du rapport, résultat comparatif entre les données considérées comme clés dans la page par l'auteur et les données de la page effectivement visualisées par l'oeil si elles sont disponibles, ou en aveugle si on ne dispose pas des données clés.  In yet another embodiment, it may also be envisaged that the document to be analyzed is a website and that each page of the site is analyzed regularly, automatically or manually. Thus, one can envisage an automatic procedure for launching the method according to the invention on all the web pages of the site and display of the report, comparative result between the data considered as key in the page by the author and the data of the page actually visualized by the eye if available, or blind if key data is not available.

Claims (9)

Revendicationsclaims 1. Procédé de vérification des zones de saillance d'un document multimédia caractérisé en ce qu'il comprend les étapes de : - détermination (El) des zones dudit document considérées comme zones clés à partir de données à priori extraites dudit document, application (E2) audit document d'un modèle basé sur l'établissement de cartes de saillance afin d'obtenir une carte de saillance dudit document, - comparaison (E3) entre les zones dudit document considérées comme clés et ladite carte de saillance.  1. A method of verifying the saliency zones of a multimedia document, characterized in that it comprises the steps of: determining (El) zones of said document considered as key zones from data extracted from said document, application ( E2) to said document of a model based on the establishment of saliency maps in order to obtain a saliency map of said document, - comparison (E3) between the areas of said document considered as key and said saliency map. 2. Procédé selon la revendication 1 caractérisé en ce qu'il comprend une étape de calcul d'un rapport entre la saillance contenue dans les zones clés dudit document et la saillance totale dudit document.  2. Method according to claim 1 characterized in that it comprises a step of calculating a ratio between the salience contained in the key areas of said document and the total saliency of said document. 3. Procédé selon les revendications 1 ou 2 caractérisé en ce qu'il comprend une étape de calcul du chemin visuel indiquant le parcours de l'ceil lors de la visualisation dudit document, ledit chemin visuel étant calculé à partir de ladite carte de saillance et composé des pixels de l'image dont la saillance est supérieure à un seuil.  3. Method according to claims 1 or 2 characterized in that it comprises a step of calculating the visual path indicating the course of the eye during the display of said document, said visual path being calculated from said saliency map and composed of the pixels of the image whose saliency is greater than a threshold. 4. Procédé selon la revendication 3 caractérisé en ce que lors de la recherche dudit chemin visuel, on recherche le pixel ayant la saillance maximale dans ledit document, on inhibe une zone dudit document autour dudit maximum et on recherche le pixel suivant ayant la saillance maximale, jusqu'à ce que l'on ait obtenu tous les pixels ayant une saillance supérieure audit seuil.  4. Method according to claim 3 characterized in that during the search for said visual path, the pixel with the maximum saliency is sought in said document, an area of said document is inhibited around said maximum and the next pixel is searched with maximum saliency. , until all pixels having a saliency greater than said threshold have been obtained. 5. Procédé selon l'une des revendications précédentes caractérisé en ce que l'on établit un rapport d'analyse comprenant les zones desaillance, ledit chemin visuel, et un ensemble de sous-images représentatives des zones de saillance dudit document.  5. Method according to one of the preceding claims characterized in that one establishes an analysis report comprising the zones depreciation, said visual path, and a set of sub-images representative of the saliency areas of said document. 6. Procédé selon la revendication 5 caractérisé en ce que ledit rapport comprend les zones clés dudit document.  6. Method according to claim 5 characterized in that said report comprises the key areas of said document. 7. Procédé de création d'un document publicitaire caractérisé en ce qu'il comprend alternativement une étape de création du contenu suivie d'un procédé de vérification des zones de saillance dudit document selon l'une des revendications 1 à 6, lesdites étapes étant répétées tant que les zones de saillance ne correspondent pas aux zones clés dudit document.  7. A method for creating an advertising document characterized in that it comprises alternately a content creation step followed by a method for verifying the saliency areas of said document according to one of claims 1 to 6, said steps being repeated until the salient areas match the key areas of the document. 8. Procédé de vérification automatique des zones de saillance d'un site internet caractérisé en ce qu'il comprend pour chaque page du site les étapes de - détermination des zones de ladite page considérées comme zones clés à partir de données à priori extraites de ladite page, - application à ladite page d'un modèle basé sur l'établissement de cartes de saillance afin d'obtenir une carte de saillance de ladite page, - comparaison entre les zones de ladite page considérées comme clés et ladite carte de saillance.  8. A method of automatically verifying the salient areas of a website characterized in that it comprises for each page of the site the steps of - determining the areas of said page considered as key areas from data a priori extracted from said page, - application to said page of a template based on the establishment of saliency maps to obtain a saliency map of said page, - comparison between the areas of said page considered as key and said saliency map. 9. Produit programme d'ordinateur caractérisé en ce qu'il comprend des instructions de code de programme pour l'exécution des étapes des procédés selon l'une quelconque des revendications 1 à 8, lorsque ledit programme est exécuté sur un ordinateur.  9. Computer program product characterized in that it comprises program code instructions for performing the steps of the methods according to any one of claims 1 to 8, when said program is executed on a computer.
FR0650404A 2006-02-03 2006-02-03 METHOD FOR VERIFYING THE SAVING AREAS OF A MULTIMEDIA DOCUMENT, METHOD FOR CREATING AN ADVERTISING DOCUMENT, AND COMPUTER PROGRAM PRODUCT Pending FR2897183A1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
FR0650404A FR2897183A1 (en) 2006-02-03 2006-02-03 METHOD FOR VERIFYING THE SAVING AREAS OF A MULTIMEDIA DOCUMENT, METHOD FOR CREATING AN ADVERTISING DOCUMENT, AND COMPUTER PROGRAM PRODUCT
JP2008552812A JP4896160B2 (en) 2006-02-03 2007-02-01 Method for confirming conspicuous area of multimedia document, method for generating advertisement document, method for automatically confirming conspicuous area of Internet site, and related computer program
PCT/EP2007/051001 WO2007088193A1 (en) 2006-02-03 2007-02-01 Method of verifying the saliency areas of a multimedia document, method of creating an advertising document, method of automatically verifying the saliency areas of an internet site, and associated computer program product
CN2007800043768A CN101379529B (en) 2006-02-03 2007-02-01 Method of verifying the saliency areas of a multimedia document, method of creating an advertising document, method of automatically verifying the saliency areas of an internet site
EP07726278A EP1979876A1 (en) 2006-02-03 2007-02-01 Method of verifying the saliency areas of a multimedia document, method of creating an advertising document, method of automatically verifying the saliency areas of an internet site, and associated computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0650404A FR2897183A1 (en) 2006-02-03 2006-02-03 METHOD FOR VERIFYING THE SAVING AREAS OF A MULTIMEDIA DOCUMENT, METHOD FOR CREATING AN ADVERTISING DOCUMENT, AND COMPUTER PROGRAM PRODUCT

Publications (1)

Publication Number Publication Date
FR2897183A1 true FR2897183A1 (en) 2007-08-10

Family

ID=36972848

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0650404A Pending FR2897183A1 (en) 2006-02-03 2006-02-03 METHOD FOR VERIFYING THE SAVING AREAS OF A MULTIMEDIA DOCUMENT, METHOD FOR CREATING AN ADVERTISING DOCUMENT, AND COMPUTER PROGRAM PRODUCT

Country Status (5)

Country Link
EP (1) EP1979876A1 (en)
JP (1) JP4896160B2 (en)
CN (1) CN101379529B (en)
FR (1) FR2897183A1 (en)
WO (1) WO2007088193A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020154833A1 (en) 2001-03-08 2002-10-24 Christof Koch Computation of intrinsic perceptual saliency in visual environments, and applications
FR2925705A1 (en) * 2007-12-20 2009-06-26 Thomson Licensing Sas IMAGE CAPTURE ASSISTING DEVICE
US8649606B2 (en) 2010-02-10 2014-02-11 California Institute Of Technology Methods and systems for generating saliency models through linear and/or nonlinear integration
CN114445784B (en) * 2022-03-01 2023-01-10 武汉聚智惠仁信息技术有限公司 Method and system for acquiring CRRT screen parameters in real time

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6389169B1 (en) * 1998-06-08 2002-05-14 Lawrence W. Stark Intelligent systems and methods for processing image data based upon anticipated regions of visual interest
US20030086619A1 (en) * 2001-07-13 2003-05-08 Seiko Epson Corporation Image-layout evaluation method, image-layout evaluation system, and image-layout-evaluation-processing program
JP2004280597A (en) * 2003-03-17 2004-10-07 Seiko Epson Corp Layout evaluation system and layout evaluation program, and layout evaluation method
JP2005050051A (en) * 2003-07-31 2005-02-24 Seiko Epson Corp Layout system, program, and method
US20050163344A1 (en) * 2003-11-25 2005-07-28 Seiko Epson Corporation System, program, and method for generating visual-guidance information
US20050234323A1 (en) * 2004-03-24 2005-10-20 Seiko Epson Corporation Gaze guidance degree calculation system, gaze guidance degree calculation program, storage medium, and gaze guidance degree calculation method
GB2417808A (en) * 2004-09-02 2006-03-08 Hewlett Packard Development Co Document creation system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4141986B2 (en) * 2003-07-17 2008-08-27 セイコーエプソン株式会社 Gaze guidance information display device and gaze guidance information display program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6389169B1 (en) * 1998-06-08 2002-05-14 Lawrence W. Stark Intelligent systems and methods for processing image data based upon anticipated regions of visual interest
US20030086619A1 (en) * 2001-07-13 2003-05-08 Seiko Epson Corporation Image-layout evaluation method, image-layout evaluation system, and image-layout-evaluation-processing program
JP2004280597A (en) * 2003-03-17 2004-10-07 Seiko Epson Corp Layout evaluation system and layout evaluation program, and layout evaluation method
JP2005050051A (en) * 2003-07-31 2005-02-24 Seiko Epson Corp Layout system, program, and method
US20050163344A1 (en) * 2003-11-25 2005-07-28 Seiko Epson Corporation System, program, and method for generating visual-guidance information
US20050234323A1 (en) * 2004-03-24 2005-10-20 Seiko Epson Corporation Gaze guidance degree calculation system, gaze guidance degree calculation program, storage medium, and gaze guidance degree calculation method
GB2417808A (en) * 2004-09-02 2006-03-08 Hewlett Packard Development Co Document creation system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PATENT ABSTRACTS OF JAPAN vol. 2003, no. 12 5 December 2003 (2003-12-05) *
SUH BONGWON ET AL: "Automatic thumbnail cropping and its effectiveness", UIST 03. PROCEEDINGS OF THE 16TH. ANNUAL ACM SYMPOSIUM ON USER INTERFACE SOFTWARE AND TECHNOLOGY. VANCOUVER, CANADA, NOV. 2 - 5, 2003, ACM SYMPOSIUM ON USER INTERFACE SOFTWARE AND TECHNOLOGY, NEW YORK, NY : ACM, US, 2003, pages 95 - 104, XP002367824, ISBN: 1-58113-636-6 *

Also Published As

Publication number Publication date
EP1979876A1 (en) 2008-10-15
JP2009525525A (en) 2009-07-09
CN101379529A (en) 2009-03-04
JP4896160B2 (en) 2012-03-14
WO2007088193A1 (en) 2007-08-09
CN101379529B (en) 2013-06-05

Similar Documents

Publication Publication Date Title
US20200175550A1 (en) Method for identifying advertisements for placement in multimedia content elements
JP6555883B2 (en) Method and apparatus for presenting search results
US8503523B2 (en) Forming a representation of a video item and use thereof
CN105786969B (en) Information display method and device
US10694263B2 (en) Descriptive metadata extraction and linkage with editorial content
KR20050117558A (en) Improved data retrieval method and system
JP2011530878A5 (en)
JP5261493B2 (en) Extended image identification
US20170186044A1 (en) System and method for profiling a user based on visual content
FR2888375A1 (en) METHOD FOR OBTAINING A SOUND MAP FROM A PLURALITY OF SAME CARDS BASED ON DIFFERENT VISUAL SIZES
CN113569740B (en) Video recognition model training method and device, and video recognition method and device
CN104462590A (en) Information searching method and device
US9478042B1 (en) Determining visibility of rendered content
FR2897183A1 (en) METHOD FOR VERIFYING THE SAVING AREAS OF A MULTIMEDIA DOCUMENT, METHOD FOR CREATING AN ADVERTISING DOCUMENT, AND COMPUTER PROGRAM PRODUCT
US20160171548A1 (en) Method for identifying advertisements for placement in multimedia content elements
CN114372172A (en) Method and device for generating video cover image, computer equipment and storage medium
FR2929426A1 (en) SCORE ALLOCATION METHOD AND SYSTEM
US11514337B1 (en) Logo detection and processing data model
US20130316320A1 (en) Contextual Just in Time Learning System and Method
CN112911323B (en) Live broadcast interaction evaluation method and device, electronic equipment and readable storage medium
EP3073395B1 (en) Method and device for accessing a plurality of contents, corresponding terminal and computer program
Zhang et al. Attracting versus sustaining attention in the information economy
CN108920518B (en) Data generation method and equipment
US10650078B2 (en) Reducing latency in rendering of content
WO2021023397A1 (en) Method and device for enriching multimedia content through metainformation