CN101379529A - 验证多媒体文件中显著区域的方法、创建广告文件的方法、自动验证因特网网站显著区域的方法及相关的计算机程序产品 - Google Patents

验证多媒体文件中显著区域的方法、创建广告文件的方法、自动验证因特网网站显著区域的方法及相关的计算机程序产品 Download PDF

Info

Publication number
CN101379529A
CN101379529A CNA2007800043768A CN200780004376A CN101379529A CN 101379529 A CN101379529 A CN 101379529A CN A2007800043768 A CNA2007800043768 A CN A2007800043768A CN 200780004376 A CN200780004376 A CN 200780004376A CN 101379529 A CN101379529 A CN 101379529A
Authority
CN
China
Prior art keywords
file
remarkable
significance
page
zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800043768A
Other languages
English (en)
Other versions
CN101379529B (zh
Inventor
奥利弗·勒默尔
哈维尔·卡斯特兰
米歇尔·凯尔德朗瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101379529A publication Critical patent/CN101379529A/zh
Application granted granted Critical
Publication of CN101379529B publication Critical patent/CN101379529B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30176—Document

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)
  • Document Processing Apparatus (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种验证多媒体文件中显著区域的方法。根据本发明，所述方法包括以下步骤：基于从所述文件中提取的先验数据，确定(E1)所述文件中被认为是关键区域的区域；基于显著图的编辑，把模型应用(E2)到所述文件，以获得所述文件的显著图；在所述文件中被认为关键的区域与所述显著图之间进行比较(E3)。

Description

验证多媒体文件中显著区域的方法、创建广告文件的方法、自动验证因特网网站显著区域的方法及相关的计算机程序产品
技术领域
本发明涉及用于验证多媒体文件中显著区域(saliency area)的设备和过程。
背景技术
更具体地，本发明涉及内容的评估，尤其是如广告文件之类的文件的内容的评估。现今，当一个人要突出内容时，已经知道各种用于创建内容的技术：很简单地，在写文本文件时，可以在字句上划线、可以以粗体书写、可以加边框等等。广告者使用更复杂的技术，对于视频或音频，可以结合图像处理技术和声音处理技术，更一般地，可以结合信号处理技术。
评估这些技术的有效性是很困难的。广告通常非常吸引人，但是所实现的各种效果并不总是有效，一定可以改进。
当前，视觉(oculometric)技术可以帮助确定显著区域。然而，这样的技术是手动的，由于其不允许多个文件、Web页面、视频文件的处理过程的自动操作，因此难以实现。
发明内容
为了这个目的，本发明提出了一种验证多媒体文件中显著区域的方法。根据本发明，所述方法包括以下步骤：
-基于从所述文件中提取的先验数据，确定所述文件中被认为是关键区域的区域，
-基于显著图(saliency map)的编辑，把模型应用到所述文件，以获得所述文件的显著图，
-在所述文件中被认为关键的区域与所述显著图之间进行比较。
根据优选实施例，所述方法包括如下步骤：计算所述文件的关键区域中所包含的显著度与所述文件的总显著度的比值。
根据优选实施例，所述方法包括如下步骤：计算在观看所述文件过程中指示眼睛的过程的视觉路径，所述视觉路径基于所述显著图来计算，并由图像中显著度大于阈值的像素组成。
根据优选实施例，在搜索所述视觉路径过程中，
-搜索所述文件中具有最大显著度的像素，
-使所述文件中围绕所述最大值的区域无效，以及
-搜索具有最大显著度的下一个像素，直到获得具有大于所述阈值的显著度的所有像素。
优选地，编辑分析报告，所述分析报告包括所述文件的显著区域、所述视觉路径以及表示显著区域的子图像集合。
根据优选实施例，所述报告包括所述文件的关键区域。
本发明也涉及创建广告文件的方法。根据本发明，所述方法交替地包括：创建内容的步骤，随后是根据本发明的验证所述文件中的显著区域的方法，只要所述显著区域与所述文件的关键区域不相对应，就重复所述步骤。
本发明也涉及自动验证因特网网站的显著区域的方法。根据本发明，所述方法包括针对网站的每个页面的如下步骤：
-基于从所述页面中提取的先验数据，确定所述页面中被认为是关键区域的区域，
-基于显著图的编辑，把模型应用到所述页面，以获得所述页面的显著图，
-在所述页面中被认为关键的区域与所述显著图之间进行比较。
本发明也涉及一种包括程序代码指令的计算机程序产品，当计算机执行所述程序时，所述程序代码指令用于执行根据本发明的任一实施例的方法的步骤。
附图说明
参照图1，通过完全非限制的优选示例性实施例和实现方式，将更好地理解和说明本发明，图1示出根据本发明的优选方式的验证过程。
具体实施方式
本发明对广告特性的文件尤其有利，在这样的文件中，文件的组成部分由于其经济影响而尤其重要。具体地，广告片尤其适用于放置对消费者有吸引力的消息，所述广告片是视频、简单地音频或杂志中的静止图像类型。然而，有时，这些消息并未必要地位于最吸引人类注意力的区域，在这种情况下，广告者将不能创建具有所希望的效果的文件。
因此，本发明的目的是提供分析文件的装置，以验证这些文件对其受众具有所需的影响，不论其是否是广告文件。
因此，存在用于计算文件的显著图的过程。这些过程使得能够确定吸引注意力的区域。这些过程基于考虑了图像的各种参数的计算，并基于图像和/或视频的空间和/或时间分析。
显著图是图像感知的地形表示(topographic representation)。确定图像的每个像素的视觉相关性。例如，该图被归一化在0至255之间。该值越大，像素就越吸引注意力。
例如，在以Thomson Licensing SA名义申请的、于2005年6月22日以1544792号公布的欧洲专利申请中描述了这样的过程。
图1表示了根据本发明的优选方式的方法的步骤。
提供商用文件类型的纸质文件D。该文件是基于一件HTML类型的出版软件创建的，其电子版可用，所述出版软件是例如acrobat writer(adobe公司的注册商标)、word(微软公司的注册商标)。因此，可以从该文件中提取先验信息，该先验信息反映了文件的作者希望突出的内容。例如，在word类型的文件中，可以根据所使用的字符大小、所使用的字体、划线、所使用的颜色来判断信息的重要性。也可以使用图纸上的位置来判断信息的重要性，一般而言重要的信息被放在图像的中心。
在html类型的文件中，“标签”也有助于确定作者要突出的点。
因此，通过观察文件D以手动的方式，或通过自动提取上述特征以自动的方式，可以编辑(步骤E1)表示根据作者的文件D的关键点的先验信息。
因此，可以获得文件中感兴趣区域的地理位置。
此外，提供了一种使建立文件的显著图成为可能的模型。在步骤E2中，对文件D应用该模型。例如，该模型是接收文件D作为输入的一个软件。该模型分析用于显著图的提取所需的文件的特征，以获得文件D的显著图。
例如，在以Thomson Licensing SA名义申请的、于2005年6月22日以1544792号公布的欧洲专利申请中描述了这样的过程。这些过程基于考虑了图像的各种参数的计算，并基于图像和/或视频的空间和/或时间分析。
当视频文件中包括文本时，由于文本类型的信息以及表面类型的信息也代表被认为重要的信息，因此也提取文本类型的信息以及表面类型的信息。
具体地，在2003年的期刊“multimedia systems”所发表的Hu、Xie、Chen、Ma的文献“attention model based progressive imagetransmission”以及Chen等人的文献“a visual attention model for adaptingimages on small displays”中，描述了在编辑显著图过程中对表面或文本类型的信息的考虑。
在步骤E3，基于显著图，获得包含以下信息的分析报告：
-指示有吸引力的区域的热图(heat map)，
-指示普通观察者的视觉过程的视觉路径图。
根据希望获得的最大值数目，或根据图像的全局显著度，该视觉过程是通过在显著图上搜索具有大于阈值的显著度值的局部最大值来获得的。例如，搜索局部最大值可以通过使第(n-1)个最大值周围的圆形区域(表示等于0.5的可视度的半径的凹处)无效并通过搜索这个新图的全局最大值并对每个最大值继续这样的处理而进行。因此，对每个最大值获得一个区域，此后将这些区域n-1，n，...的中心连接，以获得普通观察者的视觉过程。
-感知总结，包含要分析的图像的n个子图像。这些子图像是观察者注视的区域。
在以Thomson Licensing公司名义申请的、于2005年9月19日以05291938.8号提出的欧洲专利申请中描述了这样的用于确定子图像的过程。O.Le Meur，X.Castellan，P.Le Callet和D.Barba，Efficientsaliency-based repurposing method，ICIP 2006的出版物中也描述了这样的过程。
所述子图像由局部最大值周围的像素组成。通过确定阈值来确定子图像的数目，仅针对具有大于该阈值的显著度值的最大值而定义子图像。
这样的信息使得检测人眼实际感知的图像区域成为可能。
此后，把由文件的作者指示的或在步骤E1过程中自动提取的区域与分析报告中指示的区域进行比较。因此，通过将先验信息与分析报告的信息相互对置，可以将作者希望在文件中突出的信息与实际吸引人们注意力的信息进行比较。
该分析报告也可以通过执行显著图与先验数据之间的直接比较步骤，来直接提供这样的分析。具体地，可以将显著区域的地理位置与作者认为重要的区域的地理位置进行比较。
例如，可以计算文件的作者界定的区域中包含的显著度与全局显著度的比值。该比值可以是文件设计的相关性的指示。因此，创建者可以评估他的文件在吸引力方面的值。
因此，本发明有利地提出了一种用于评估商用或广告特性的文件的过程。
本发明也可以被视作是用于评估广告文件的远程方法。实际上，可以想到，可以在因特网网站上提供该模型，客户以电子形式提交他的文件，以确定实际吸引人的注意力的点/区域。根据比较结果，该服务的用户可以修改他的文件并以迭代方式重复提交该文件，按照这种方式，他希望突出的信息真正是人们注意力将会关注的信息。
作为应用，在要求投标之后，所述方法也可以评估多个由用户提交的文件。因此，可以以自动和客观的方式分析哪个文件是对消费者最有影响的文件。
在另一个实施例中，文件D不是广告插入类型的纸质文件或静止图像，而是如在电视信道上传送的广告之类的视频文件。根据本发明所实现的方法，也可以分析这样的文件。
实际上，基于时间信息，也可以编辑显著图。这样的方法在以下文献中描述：O.Le Meur，P.Le Callet，D.Barba和D.Thoreau，“Aspatio-temporal model of the selective human visual attention”，Proc.ICIP-05(IEEE International Conference on Image Processing)，Genoa，Italy，2005年9月.
因此，也可以获得视频文件的显著图。
为了获得视频数据的先验信息，可以通过视频作者来获得它。
在另一个实施例中，通过将该过程直接集成入用于辅助创建文件的工具中，也可以采用该步骤。于是，实际上获得了这样的文件，即眼睛所关注的区域是实际上被认为是文件中的关键区域。因此，可以交替地创建内容、应用根据本发明的验证方法、以及只要该显著区域与关键区域不重合，就对其进行修改。
在又一个实施例中，也可以想到，要分析的文件是因特网网站，以自动或手动的方式定期地分析该网站的每个页面。因此，可以想到，一种自动过程，用于对网站的所有Web页面运行根据本发明的方法，并显示报告，若作者认为页面中关键的数据可用，则显示作者认为页面中关键的数据与眼睛实际观看的页面数据之间的比较结果，若该关键数据不可用，则不显示。

Claims (9)

1.一种用于验证多媒体文件中的显著区域的方法，其特征在于，所述方法包括以下步骤：
- 基于从所述文件中提取的先验数据，确定(E1)所述文件中被认为是关键区域的区域，
- 基于显著图的编辑，把模型应用(E2)到所述文件，以获得所述文件的显著图，
- 在所述文件中被认为关键的区域与所述显著图之间进行比较(E3)。
2.如权利要求1所述的方法，其特征在于，所述方法包括如下步骤：计算所述文件的关键区域中所包含的显著度与所述文件的总显著度的比值。
3.如权利要求1或2所述的方法，其特征在于，所述方法包括如下步骤：计算在观看所述文件过程中指示眼睛的过程的视觉路径，所述视觉路径基于所述显著图来计算，并由图像中显著度大于阈值的像素组成。
4.如权利要求3所述的方法，其特征在于，在搜索所述视觉路径过程中，
- 搜索所述文件中具有最大显著度的像素，
- 使所述文件中围绕所述最大值的区域无效，以及
- 搜索具有最大显著度的下一个像素，直到获得具有大于所述阈值的显著度的所有像素。
5.如之前任一权利要求所述的方法，其特征在于，编辑分析报告，所述分析报告包括所述文件的显著区域、所述视觉路径以及表示显著区域的子图像集合。
6.如权利要求5所述的方法，其特征在于，所述报告包括所述文件的关键区域。
7.一种用于创建广告文件的方法，其特征在于，所述方法交替地包括：创建内容的步骤，随后是如权利要求1至6中任一项所述的验证所述文件中的显著区域的方法，只要所述显著区域与所述文件的关键区域不相对应，就重复所述步骤。
8.一种用于自动验证因特网网站的显著区域的方法，其特征在于，所述方法包括针对网站的每个页面的如下步骤：
- 基于从所述页面中提取的先验数据，确定所述页面中被认为是关键区域的区域，
- 基于显著图的编辑，把模型应用到所述页面，以获得所述页面的显著图，
- 在所述页面中被认为关键的区域与所述显著图之间进行比较。
9.一种计算机程序产品，其特征在于所述计算机程序产品包括程序代码指令，当所述程序在计算机上执行时，所述程序指令用于执行如权利要求1至8中任一项所述的方法的步骤。
CN2007800043768A 2006-02-03 2007-02-01 验证多媒体文件中显著区域的方法、创建广告文件的方法、自动验证因特网网站显著区域的方法 Expired - Fee Related CN101379529B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0650404 2006-02-03
FR0650404A FR2897183A1 (fr) 2006-02-03 2006-02-03 Procede de verification des zones de saillance d'un document multimedia, procede de creation d'un document publicitaire, et produit programme d'ordinateur
PCT/EP2007/051001 WO2007088193A1 (en) 2006-02-03 2007-02-01 Method of verifying the saliency areas of a multimedia document, method of creating an advertising document, method of automatically verifying the saliency areas of an internet site, and associated computer program product

Publications (2)

Publication Number Publication Date
CN101379529A true CN101379529A (zh) 2009-03-04
CN101379529B CN101379529B (zh) 2013-06-05

Family

ID=36972848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800043768A Expired - Fee Related CN101379529B (zh) 2006-02-03 2007-02-01 验证多媒体文件中显著区域的方法、创建广告文件的方法、自动验证因特网网站显著区域的方法

Country Status (5)

Country Link
EP (1) EP1979876A1 (zh)
JP (1) JP4896160B2 (zh)
CN (1) CN101379529B (zh)
FR (1) FR2897183A1 (zh)
WO (1) WO2007088193A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445784A (zh) * 2022-03-01 2022-05-06 武汉聚智惠仁信息技术有限公司 一种crrt屏幕参数实时采集的方法和系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020154833A1 (en) 2001-03-08 2002-10-24 Christof Koch Computation of intrinsic perceptual saliency in visual environments, and applications
FR2925705A1 (fr) * 2007-12-20 2009-06-26 Thomson Licensing Sas Dispositif d'aide a la capture d'images
US8649606B2 (en) 2010-02-10 2014-02-11 California Institute Of Technology Methods and systems for generating saliency models through linear and/or nonlinear integration

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6389169B1 (en) * 1998-06-08 2002-05-14 Lawrence W. Stark Intelligent systems and methods for processing image data based upon anticipated regions of visual interest
JP4165042B2 (ja) * 2001-07-13 2008-10-15 セイコーエプソン株式会社 画像レイアウト評価方法および画像レイアウト評価システムならびに画像レイアウト評価処理プログラム
JP4168793B2 (ja) * 2003-03-17 2008-10-22 セイコーエプソン株式会社 レイアウト評価システム及びレイアウト評価プログラム、並びにレイアウト評価方法
JP4141986B2 (ja) * 2003-07-17 2008-08-27 セイコーエプソン株式会社 視線誘導情報表示装置および視線誘導情報表示プログラム
JP4241235B2 (ja) * 2003-07-31 2009-03-18 セイコーエプソン株式会社 レイアウトシステム及びレイアウトプログラム並びにレイアウト方法
JP4396430B2 (ja) * 2003-11-25 2010-01-13 セイコーエプソン株式会社 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法
JP4207883B2 (ja) * 2004-03-24 2009-01-14 セイコーエプソン株式会社 視線誘導度算出システム
GB2417808A (en) * 2004-09-02 2006-03-08 Hewlett Packard Development Co Document creation system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445784A (zh) * 2022-03-01 2022-05-06 武汉聚智惠仁信息技术有限公司 一种crrt屏幕参数实时采集的方法和系统
CN114445784B (zh) * 2022-03-01 2023-01-10 武汉聚智惠仁信息技术有限公司 一种crrt屏幕参数实时采集的方法和系统

Also Published As

Publication number Publication date
JP4896160B2 (ja) 2012-03-14
EP1979876A1 (en) 2008-10-15
FR2897183A1 (fr) 2007-08-10
WO2007088193A1 (en) 2007-08-09
JP2009525525A (ja) 2009-07-09
CN101379529B (zh) 2013-06-05

Similar Documents

Publication Publication Date Title
Wang et al. Instant tactile-audio map: enabling access to digital maps for people with visual impairment
US7383505B2 (en) Information sharing device and information sharing method
Dong et al. Casia image tampering detection evaluation database
JP5353148B2 (ja) 画像情報検索装置、画像情報検索方法およびそのコンピュータプログラム
Kurt The accessibility of university web sites: the case of Turkish universities
Lazar et al. Web accessibility in the Mid-Atlantic United States: a study of 50 homepages
Murphy et al. An empirical investigation into the difficulties experienced by visually impaired Internet users
US8510795B1 (en) Video-based CAPTCHA
US8725490B2 (en) Virtual universal translator for a mobile device with a camera
US20030229857A1 (en) Apparatus, method, and computer program product for document manipulation which embeds information in document data
US20080319844A1 (en) Image Advertising System
US20050015370A1 (en) Information management system and method
EP2785058A1 (en) Video advertisement broadcasting method, device and system
JP2010073114A6 (ja) 画像情報検索装置、画像情報検索方法およびそのコンピュータプログラム
US20130124532A1 (en) Analyzing and repairing documents
Cherubini et al. Understanding near-duplicate videos: a user-centric approach
Keith et al. Comparing war images across media platforms: methodological challenges for content analysis
US20160110900A1 (en) System And Method For Dynamically Combining Images To Display Textual Content In The Form Of An Image
US20130155463A1 (en) Method for selecting user desirable content from web pages
CN101379529B (zh) 验证多媒体文件中显著区域的方法、创建广告文件的方法、自动验证因特网网站显著区域的方法
Oud Improving screencast accessibility for people with disabilities: Guidelines and techniques
JP2009116519A (ja) 自分史制作装置
CN112312189A (zh) 一种视频生成方法及视频生成系统
Setlur et al. Wish I hadn't clicked that: context based icons for mobile web navigation and directed search tasks
Thomson et al. Designing the visual Gateways into Crime news: a Comparison of Youtube thumbnails from journalists and non-journalists

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130605

Termination date: 20170201

CF01 Termination of patent right due to non-payment of annual fee