CN106796696A - 基于凝视信息的朝向刺激的关注的确定 - Google Patents

基于凝视信息的朝向刺激的关注的确定 Download PDF

Info

Publication number
CN106796696A
CN106796696A CN201580035233.8A CN201580035233A CN106796696A CN 106796696 A CN106796696 A CN 106796696A CN 201580035233 A CN201580035233 A CN 201580035233A CN 106796696 A CN106796696 A CN 106796696A
Authority
CN
China
Prior art keywords
biometric data
stimulation
information
advertisement
identity label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580035233.8A
Other languages
English (en)
Inventor
H.埃斯基尔松
M.塞德隆德
H.李
M.林德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stic Co
Toby Joint-Stock Co
Original Assignee
Stic Co
Toby Joint-Stock Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stic Co, Toby Joint-Stock Co filed Critical Stic Co
Publication of CN106796696A publication Critical patent/CN106796696A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0242Determining effectiveness of advertisements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0277Online advertisement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/175Static expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

公开了一种用于确定生物计量数据与刺激之间的关系以得出结论的方法。方法可以包括将所显示的刺激与身份标签相关联。方法还可以包括收集相对于所显示的刺激的生物计量数据。方法可以进一步包括基于生物计量数据将评级归于所显示的刺激。方法可以附加地包括将评级与身份标签相关联。

Description

基于凝视信息的朝向刺激的关注的确定
对相关申请的交叉引用
本申请要求享有2014年11月17日提交的题为“DETERMINATION OF ATTENTION TOWARDSSTIMULI BASED ON GAZE INFORMATION”的临时美国专利申请号62/080,850和2014年4月28日提交的题为“SYSTEMS AND METHODS FOR ONLINE INFORMATION ANALYSIS”的临时美国专利申请号61/985,212的优先权。前述临时美国专利申请二者的整个公开内容由此出于所有目的而通过引用被并入,如同在本文中完整阐述那样。
背景技术
本发明的实施例一般涉及用于凝视信息的使用以确定朝向刺激的关注的系统和方法。
存在用于分析用户的凝视以确定其对刺激的兴趣或朝向刺激的关注的许多方法和系统。这些系统和方法可以利用诸如眼睛追踪器之类的专用凝视确定设备、诸如网络摄像机等之类的计算装备,和/或其它相机和传感器。
这些方法和系统在许多情况下要求通过用户的专用设置,并且它们不无缝地运转使得用户的体验不以某种方式受限。另外,刺激的所有者或创建者要求比当前所提供的更加详细的信息和对信息的更好访问。
本发明的实施例力图提供对已知系统和方法的改进,因而使得能够实现针对用户的改进的体验和针对刺激所有者或创建者的改进的信息。
附图说明
结合附图来描述本发明:
图1是根据本发明的一些实施例的元数据的表示;
图2是根据本发明的一些实施例的系统架构图;
图3是用于研究的模板的示例;
图4是用于基于模板的研究的创建对话的表示;
图5示出可以用作研究的部分的视频文件;
图6示出用于分析示例研究的结果的仪表板;
图7是示出可用于查看的三个研究的列表,连同其相关联的凝视-热图;
图8是叠覆在媒体文件之上的感兴趣区域(AOI)的表示;以及
图9是能够使用在本发明的装置或系统的至少某个部分中或者实现本发明的方法的至少某个部分的示例性计算机系统的框图。
在附图中,类似的组件和/或特征可以具有相同的数字参考标记。另外,相同类型的各种组件可以通过由在类似组件和/或特征之间做出区分的字母跟随参考标记来区分。如果在说明书中仅使用第一数字参考标记,描述适用于具有相同第一数字参考标记的类似组件和/或特征中的任一个而与字母后缀无关。
具体实施方式
接下来的描述仅提供示例性实施例,并且不旨在限制本公开的范围、可应用性或配置。更确切地,示例性实施例的接下来的描述将为本领域技术人员提供用于实施一个或多个示例性实施例的实现(enabling)描述。要理解的是,可以在元件的功能和布置方面做出各种改变而不脱离于如随附权利要求中阐述的本发明的精神和范围。
在以下描述中给出具体细节以提供实施例的透彻理解。然而,本领域普通技术人员将理解的是,实施例可以在没有这些具体细节的情况下实践。例如,本发明中的电路、系统、网络、过程和其它元件可以以框图形式被示出为组件以免以不必要的细节使实施例模糊。在其它实例中,可以在没有不必要的细节的情况下示出公知的电路、过程、算法、结构和技术以便避免使实施例模糊。
而且,要指出的是,可以将各个实施例描述为被描绘为流程图、流图、数据流图、结构图或框图的过程。尽管流程图可能将操作描述为顺序过程,但是许多操作可以并行或同时执行。此外,操作的次序可以重布置。过程在其操作完成时可以终止,但是可以具有未讨论或未包括在图中的附加步骤。另外,并非任何特定描述的过程中的所有操作都可能出现在所有实施例中。过程可以对应于方法、函数、进程、子例程、子程序等。当过程对应于函数时,该过程的终止对应于函数返回到调用函数或主函数。
术语“机器可读介质”包括但不限于,便携式或固定存储设备、光学存储设备、无线信道和能够存储、包含或承载(多个)指令和/或数据的各种其它介质。代码段或机器可执行指令可以表示进程、函数、子程序、程序、例程、子例程、模块、软件包、类,或者指令、数据结构或程序陈述的任何组合。代码段可以通过传递和/或接收信息、数据、变元(argument)、参数或存储器内容而耦合到另一代码段或硬件电路。信息、变元、参数、数据等可以经由包括存储器共享、消息传递、令牌传递、网络传输等的任何合适手段进行传递、转发或传输。
另外,本发明的实施例可以至少部分地手动或自动实现。手动或自动实现可以通过机器、硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合的使用来执行或至少由其辅助。当实现在软件、固件、中间件或微代码中时,执行必要任务的程序代码或代码段可以存储在机器可读介质中。(多个)处理器可以执行必要任务。
本发明的实施例提供用于确定对所显示的刺激的兴趣或关注的高效系统和方法。将从说明书、权利要求和附图来使本发明的实施例的该目的和其它目的是明显的。
在一个实施例中,提供了一种用于确定相对于所显示的媒体或刺激的生物计量数据的方法。方法可以包括布置包括在计算设备上显示媒体或刺激的研究;在计算设备上显示媒体或刺激;测量相对于所显示的媒体或刺激的生物计量数据;处理所测量到的生物计量数据;以及呈现从生物计量数据的测量获得的结论。
另外,以上方法的任何步骤可以在从方法中的任何其它步骤分离的时间或位置处的多于一个计算设备上进行。此外,计算设备可以是远程且地理上分离的。最后,多于一个人员可以在方法中的任何步骤上协作。
研究包括至少一个人员并且可以在本地或远程执行。例如,研究可以包括通过网络(web)浏览器或应用的交互。研究可以由如图3中所示的模板限定并且如图4中所示的那样编辑。图5示出可以用作研究的部分的视频文件。图6示出用于分析示例研究的结果的仪表板。图7是示出可用于查看的三个研究的列表,连同其相关联的凝视-热图。
对象标记物
在一个实施例中,提供了一种用于分析内容源并且利用关键元数据标记项目的方法。元数据将以本领域技术人员容易理解的形式,并且将包括但不限于位置、深度、类型、商业属性(例如公司、领域、产品)、广告网络和/或视频游戏元素。项目可以包括图像、文本、动画、计算机或电话应用、真实世界交互、其它交互或其组合。
利用元数据标记项目的过程被手动执行,由此记录和命名项目的深度、x和y位置。还可以记录和命名项目的其它性质,其包括但不限于可视性、颜色和内容。名称也以元数据形式提供并且链接到数据库。优选的是,当元数据改变时刷新元数据中的至少一些。为了解释,恒定地轮询项目并且当项目改变时,相应地改变元数据。例如,在其中已经利用元数据为图像加标签的网站的情况下,恒定地轮询带标签的项目。如果带标签的项目的x或y坐标改变,则相应地更新该项目的元数据。这允许对象的追踪,即便它们在大小、形状或位置方面改变。
标记项目的过程可以通过利用模板(例如网站的预确定布局)来进一步改进。这可以允许位于预确定位置中的项目的自动标记,即顶部横幅广告。
一旦为项目加了标签,它们可以根据本发明的一些实施例而与凝视、时间和其它生物计量数据对应。这些各种类型的信息可以由多个系统提供。
图1示出根据本发明的一些实施例的元数据的示例。项目10表示x和y坐标,12表示用于带标签的项目的标识符,14表示拥有带标签的项目的公司,16表示用于项目所属于的广告活动的标识符,并且18表示用于外部数据库的标识符。图2示出根据本发明的任何数目的可能实施例的系统架构图。
标签或标记物可以例如是插入到网页中、紧密关联到网页的元素、在软件中或在视频游戏中的文本串、数字或任何其它标识符。在计算设备上执行的软件可以随时收集关于相关标签及其元素在显示器上的精确位置的信息,并且将这关联到凝视数据和在计算设备上收集到的其它数据。
为了澄清,将参照示例进一步描述本发明的该方面。考虑由从网络服务器或网络浏览器下载的超文本标记语言(HTML)限定的网页。网页包括代码片段/Javascript代码以及包含某种信息和至少一个带标签的广告横幅元素的主体。将带标签的横幅与横幅的ID以及指向其中应当上传凝视数据的网络服务的URL一起嵌入到网页中。Javascript代码检测标签并且请求到眼睛追踪器的连接以获取凝视方向数据。在成功连接到眼睛追踪器时,Javascript代码还创建到其中应当上传凝视数据的网络服务的连接。在成功连接到网络服务时,Javascript片段然后连续监视横幅在显示器上的位置,监视凝视数据,并且凝视方向一朝向横幅就向记录服务器上传相关信息。
大规模实现该方法允许软件可靠地从多种多样的网站上的多种多样的广告和具有多种多样的凝视信息的软件收集信息(甚至在所呈现的信息在性质上为高度动态时)。该信息可以被收集、组合、分析和报告以提供关于广告效率的有意义的度量。
外部数据库
根据本发明的一个方面,可以提供一种广告的数据库,其具有用于每一个可唯一标识的广告(优选地每一个可唯一标识的广告与全局广告标识符相关联)的单个或多个特定布局。在计算设备的使用期间,特别是在使用诸如网络浏览器之类的特定软件时,提取向用户示出的广告并且其布局/视觉设计匹配到以上提到的数据库以便将特定广告标识为具有特定全局广告标识符。该匹配的确定可以通过本机安装在用户的计算设备上或在线托管的软件来执行。软件可以使用各种技术来分析网页的布局并且确定匹配,这些技术包括光学字符识别(OCR)、图案匹配和计算机视觉技术。优选地,匹配可以是精确或近似匹配。合适的技术的实现方式将由本领域技术人员所理解。
为了进一步澄清,现在将参照关于网站上的感兴趣的元素的显示的特定示例来描述本发明的该方面。在该示例中,感兴趣的元素是广告。
典型地,使用超文本标记语言(HTML)来编写网站。HTML限定显示在网站上的每一个对象,典型地在广告的情况下,HTML代码可以简单地限定位置和对广告提供商的指引(reference)。广告提供商软件或数据库选择要在网站上显示的特定广告。
合期望的是知晓所显示的广告的特定身份而不访问广告提供商的软件或数据库。因此必要的是利用诸如捕获广告的图像并且使用计算机算法来将图像匹配到已知广告的数据库的技术。另一匹配方法可以是将视频中的特定帧匹配到数据库中的其它视频的已知帧。
一旦已经匹配广告,软件或浏览器能够收集涉及朝向该广告的用户的凝视方向的信息。该信息可以存储在本地或者发送到另一位置以供分析。
参照图2,现在将描述本发明的该方面。
在显示器上显示一个或多个项目(例如这可以经由浏览器或经编译的软件)。根据本发明,所显示的项目的至少部分由软件发送到数据库。在一些实例中,所显示的项目的完整副本可以发送到数据库。部分可以使用之前描述的技术来捕获,或者其可以使用任何已知技术来捕获。
将所显示的项目的部分与本地数据库比较,或者将所显示的项目的部分发送到在线数据库以供比较。如果在该部分与数据库中的条目之间发现匹配,根据本发明,向软件提供与该条目相关联的信息。该信息可以是标识信息等并且可以由软件用于登记相对于所显示的项目的凝视数据。
如果在所显示的项目的部分与数据库之间没有发现匹配,可以将所显示的项目的部分或整体录入到数据库中以供进一步分析和/或分类。
用户浏览行为
当用户正在使用计算设备时,安装在用户的计算设备上或者在线托管的软件可以连续追踪如由其凝视方向表示的用户的关注。该关注信息可以发送到数据库。信息包括:
– 用于广告的标识信息
– 凝视信息,诸如原始凝视数据、经滤波的凝视数据(诸如广告上的注视(fixation)、在广告上注视的时间等)
– 其它数据,诸如当看向广告时的流电皮肤响应、瞳孔扩张、心率、EEG、面部表情等。
优选地,该信息被收集和上传到数据库而同时用户执行正常活动,换言之用户不基于信息正在被收集和发送到数据库的事实而更改其行为。
所收集到的信息可以组合以构建表示用户的浏览行为的度量。度量可以限定诸如用户花费在看向某个信息(例如特定广告)的时间比例、花费在看向某个信息的时间、用户重复看向相同信息的次数之类的信息。另外,度量可以示出修改诸如用户当凝视在感兴趣的元素时的情绪状态之类的信息。
用户同意
根据本发明的一个实施例,安装在用户的计算设备上或在线托管的软件可以在用户访问预确定网站时向用户显示询问用户是否想要允许在用户查看网站时确定其凝视方向的信息。如果用户同意这发生,在预确定时段内收集凝视方向信息。
该同意可以在不同水平上请求和授予,例如可以让用户同意针对单个网站、单个浏览器会话、来自某个域的所有事物或来自诸如Google AdWords之类的特定提供商网络的所有事物而发生凝视方向信息搜集。
定向广告
根据本发明,可以布置显示器上的信息以便向特定用户显示特定信息。例如,一旦用户的凝视方向已知并且用户的身份已知,可以向该用户显示特定信息。
这可以用于确保某些用户和人口接收某些类型的广告,例如以执行比较A/B测试,由此向相关用户的部分示出一个可替换的广告设计,并且向第二部分示出第二可替换的广告,以便测量和评估由两个可替换方案引起的响应中的差异。
本发明另外的改进是一旦用户凝视了广告预确定的时间段则移除它们。这是有益的,因为用户然后被提供有包括较少广告的显示。
本发明另外的改进是一旦其已经被用户凝视了预确定的时间段则开始播放视频或其它移动图像。
基准数据
在一些实施例中,提供了一种用于生成基准数据的方法。通过按照规范元数据的上下文对数据分段,我们可以创建多个维度的响应,其可以使用算法或机器学习来整合以创建真实世界中的媒体的成功的有价值的预测器。
在一些实施例中,提供了一种用于比较经分段的数据以创建预测所显示的媒体的成功的评级的系统。在该上下文中,通过专家知识或通过诸如投资回报之类的商业统计(statistics)来将成功限定为判定。
数据的分段通过收集利用公共元数据标签加标签的项目并且与诸如眼睛追踪之类的生物计量数据组合地分析项目而执行。通过组合生物计量数据与带标签的项目,可以构建规范的数据库。
一旦存在规范的数据库,评级系统可以通过分析所收集到的数据来限定。该评级系统可以利用数学建模,诸如最小平方、支持向量机、贝叶斯概率和其它数学方法。
Websocket(网络套接字)
在一些实施例中,存在用于从计算设备高效搜集生物计量数据的方法。方法包括websocket或用于执行代码以与诸如眼睛追踪器或网络摄像机之类的生物计量数据提供方交互的类似机制的利用。以此方式,websocket可以在网站中利用使得当录入到网站时,用户被提供有着手生物计量数据收集的选项。
代码可以自动检测生物计量数据收集设备的存在,以及Javascript库的使用,所述Javascript库允许对硬件和软件眼睛追踪器的容易访问。
面部追踪
在一些实施例中,存在用于通过面部标识和追踪来确定关于用户的信息的方法。根据该方法,诸如年龄和性别之类的信息可以通过已知技术来估计以用于对面部特征分类。图像可以通过提供在计算机中或附连到计算机的任何形式的成像设备(诸如例如网络摄像机)来捕获。一旦用户的年龄和/或性别被估计,可以示出定向广告,这可以通过将年龄和/或性别作为元数据插入在所收集到的任何信息中来发生。
头部移动补偿
在一些实施例中,为了计及用户的头部位置中的改变,在刺激的显示之前和在刺激的显示之后执行校准序列是可能的。通过在刺激的显示之前和之后校准眼睛位置,可以在所搜集到的凝视数据中做出调节以补偿头部位置中的改变。
质量的多个步骤校准、证实和确定
在一些实施例中,诸如眼睛追踪器或网络摄像机之类的生物计量数据提供方在多个点处被校准或证实以确定由提供方获取的数据是否具有充足质量。
该多个点校准或证实以下面方式执行(在眼睛追踪设备的情况下):
1. 在向用户显示刺激或媒体项目之前,执行校准以用于对照预期凝视位置来校准用户的所确定的凝视位置。
2. 在刺激或媒体项目的显示期间,做出由眼睛追踪设备获取的眼睛追踪数据的质量的确定。
3. 在多个刺激或媒体项目的显示之间,做出用户的头部在预确定最优区域的边界内的证实。
4. 在显示所有刺激或媒体项目结束之后,执行用户的所确定的凝视位置具有充足精度的证实。
通过组合以上校准和证实步骤的全部,可以做出关于刺激或媒体项目的查看是否具有充足质量以便表示有效数据的确定。
评估(value):这些维度中的任何一个可能不足以执行质量评价,该质量评价的结果是真实世界中的高质量数据。
通过解析Dom树结构来生成自动AOI
在一些实施例中,提供了一种用于自动检验诸如网页之类的内容持有者以用于确定持有者的部分来限定为感兴趣的区域的方法。感兴趣的区域是其中合期望的是测量相对于例如凝视信息的生物计量数据的区域。感兴趣的区域可以是广告、图像、视频等。
在一些实施例中,方法可以通过分析网站的文档对象模型(DOM)结构而开始。以此方式,分析DOM树结构以定位预定义的关键词,诸如“ad”等,当定位了预定义的关键词时,根据本发明的一些实施例的软件可以自动将与那些关键词相关联的项目加标签为感兴趣的区域。
图8示出具有所限定和叠覆的多个AOI的媒体文件。
为了利用感兴趣的区域,优选的是执行以下方法:
1. 确定感兴趣的区域(诸如显示在显示器上的广告或其它项目)的布局和放置
2. 确定相对于显示器的人员的凝视方向
3. 确定何时人员的凝视方向指向显示器上的感兴趣的元素
4. 收集在步骤3中确定的信息以供分析。信息可以包括凝视方向、瞳孔扩张、眼睛位置、眨眼频率、虹膜颜色、心率、ECG、EEG或其它传感器数据
5. 向在线服务器上传所收集到的信息
6. 通常以整合的格式使用所述信息,以供广告的分析、呈现、收费或定向或广告的动态显示。
使用经由设备相机收集的图像利用云中的处理的情绪的面部编码
在一些实施例中,提供了一种用于在与其中它们被捕获的位置远离的位置中处理所捕获到的图像的方法。
图像可以经由位于计算设备中或连接到计算设备的专用图像捕获设备捕获,所捕获到的图像可以经由诸如互联网之类的通信介质发送到远程计算设备或远程计算设备的网络。处理图像的远程计算设备分析图像以标识面部特征并且将那些面部特征翻译成情绪的确定。情绪的确定可以匹配到在图像的捕获的时间处被查看的媒体或刺激以判定人员对媒体或刺激的情绪反应。存在用于面部特征提取和分析以确定情绪的许多方法,并且任何都适合于本发明的实施例,如本领域技术人员将理解的那样。
在本发明的一些实施例中,所捕获到的图像的一些基本分析可以通过执行捕获的计算设备来执行以便改进可以以其确定情绪的速度。
基于云的收集
在一些实施例中,提供了一种用于执行相对于所显示的内容的生物计量数据的收集而没有对于安装用于该任务的专用软件的需求的方法。
在一些实施例中,提供一种基于网络的接口以用于收集诸如凝视信息之类的生物计量数据,其被提供由此基于所期望的结果的上下文来选取数据收集的设置。例如,如果合期望的是确定对网站的总命中数目,用于生物计量数据收集的设置将更改成允许透明图(transparency map)的生成。
在一些实施例中,提供一种基于网络的接口以用于收集诸如凝视信息之类的生物计量数据,其向用户呈现问题,其中回答规定来自用户的生物计量数据的收集的设置。换言之,使用基于访问的技术,由此用户可以向设计成流线化来自用户的生物计量数据的收集的问题回答“是”或“否”。
在一些实施例中,提供一种基于网络的接口以用于收集诸如凝视信息之类的生物计量数据,其可以与第三方调查等集成。这可以经由URL重定向、javascript片段或用于引导或加载网站外部的信息的任何其它已知方法来实现。以此方式,第三方可以自动包括其自身的网站中的生物计量数据的收集。
在一些实施例中,提供一种基于网络的接口以用于收集诸如凝视信息之类的生物计量数据,其被提供由此缩放从其收集生物计量数据的用户的量是方便的。通过利用基于网络的接口,参与生物计量数据的收集的用户的数目可以以直截了当的方式从低数目放大到高数目。软件然后可以分析所收集到的数据质量以便仅隔离要包括在数据研究中的充足质量的数据。
在一些实施例n中,提供一种基于网络的接口以用于收集诸如凝视信息之类的生物计量数据,其允许生物计量数据的研究的创建由第一人员创建并且然后递送至第二人员以用于研究的执行。基于网络的接口的使用意味着第一和第二人员不要求特定软件,而是可以从配备有网络浏览器并且连接到互联网的任何计算设备访问研究。
报告协作工具
在一些实施例中,提供了一种用于在来自生物计量研究的结论的呈现上进行协作的方法。协作可以通过提供到可以由多个人同时访问的生物计量数据的综述的动态生成的链接来执行。取决于设置,这些人可以能够评论生物计量数据,注释数据,跨数据叠覆可视化或者以诸如powerpoint、pdf、图、电子表格等之类的预确定格式导出数据。
基于凝视的模式或侧写
在一些实施例中,媒体或刺激的显示可以基于所接收到的可以提供的生物计量数据而更改。可以从生物计量数据确定用户正在关注特定显示的媒体项目或刺激并且所显示的媒体或刺激然后可以更改。刺激或媒体项目的更改可以是媒体项目或刺激的大小、形状、位置或内容方面的改变。
作为示例,在所显示的媒体或刺激是广告并且生物计量数据是凝视信息的情况下,广告可以最初以设计成诸如通过闪烁、显示明亮颜色等获得关注的模式显示。一旦生物计量数据揭示用户看向广告,广告可以改变成揭示广告商希望向用户显示的消息或其它项目。
数据的对准
在一些实施例中,经由诸如互联网之类的通信介质发送的生物计量数据必须与当记录生物计量数据时显示的媒体正确地对准。这可以通过对生物计量数据加时间戳并且为数据加标签的使用来完成。通常地,带标签的数据然后可以被分类在一起以用于经由云或其它远程存储系统的方便访问和回顾。
另外,显示在网站上的广告可以包括具有凝视信息应当上传到的URL或网络位置的可见或不可见标签。当用户凝视广告时,网站或软件将向特定URL或网络位置上传涉及用户的凝视的信息。
以此方式,不同广告可以利用不同URL或网络位置加标签并且查看信息的分析可以快速且高效地链接到各个广告或广告群组。
作为示例,考虑利用URL A对特定广告或广告群组加标签,而同时用于竞争产品的广告利用URL B加标签。当具有安装在其计算设备上或者适当地在线托管的合适软件的用户拜访参与网站时,每一次用户凝视广告,诸如凝视位置、凝视持续时间之类的其凝视信息和涉及其凝视信息的时间戳被上传到URL A或URL B。通过拜访URL A或URL B,快速查看多少人已经凝视过特定广告是容易的。
示例性计算设备
作为示例而非限制,图9是描绘了用于实现本文所讨论的某些实施例的示例计算设备902的框图。计算设备902可以包括通信耦合到存储器906并且执行计算机可执行程序指令和/或访问存储在存储器906中的信息的处理器904。处理器904可以包括微处理器、专用集成电路(“ASIC”)、状态机或其它处理设备。处理器904可以包括数个(包括一个)计算机处理设备中的任何一个。这样的处理器可以包括存储指令的计算机可读介质或者可以与其通信,所述指令在由处理器904执行时,使处理器执行本文所描述的步骤。
计算设备902还可以包括总线908。总线908可以通信地耦合计算系统902的一个或多个组件。计算设备902还可以包括和/或通信地耦合到数个外部或内部设备,诸如输入或输出设备。例如,计算设备902被示出有输入/输出(“I/O”)接口910、显示设备912、(多个)输入设备914和(多个)输出设备915。
显示设备912的非限制性示例包括与计算设备902集成的屏幕、在外部并且与计算系统耦合的监视器等。输入设备914的非限制性示例包括凝视检测设备、触摸屏、触摸垫、外部鼠标设备、麦克风和/或本文提到的其它设备等。输出设备915的非限制性示例是音频扬声器。在一些实施例中,显示设备912、(多个)输入设备914和(多个)输出设备915可以是分离的设备。在其它实施例中,显示设备912和(多个)输入设备914中的至少一些可以集成在相同设备中。例如,显示设备912可以是屏幕并且输入设备914可以是提供用于显示设备的眼睛追踪和/或触摸屏功能的一个或多个组件,诸如用于发射光的发射器和/或用于对用户的一只或两只眼睛和/或触摸区域成像的相机等。屏幕、输入设备组件和任何输出设备组件可以集成在相同外壳内或者在其它集成配置中。
计算设备902可以修改、访问或以其它方式使用电子内容。电子内容可以驻留在任何合适的非暂时性计算机可读介质中并且在任何合适的处理器上执行。在一个实施例中,电子内容可以在计算系统902处驻留在存储器906中。在另一实施例中,电子内容可以由计算系统902经由数据网络从远程内容提供商访问。
存储器906可以包括任何合适的非暂时性计算机可读介质。计算机可读介质可以包括但不限于电子、光学、磁性或其它存储设备,其能够为处理器提供计算机可读指令或其它程序代码。其它示例包括但不限于软盘、CD-ROM、DVD、磁盘、存储器芯片、ROM、RAM、ASIC、经配置的处理器、光学储存装置、磁带或其它磁性储存装置,或计算机处理器可以从其读取指令的任何其它介质。指令可以包括由编译器和/或解释器从以任何合适的计算机编程语言(包括例如C、C++、C#、Visual Basic(可视化Basic)、Java、Python、Perl、JavaScript和ActionScript)编写的代码生成的处理器特定指令。
存储在存储器906中的图形模块916可以将处理器904配置成准备电子内容以用于在图形接口中渲染,和/或在图形接口中渲染电子内容。在一些实施例中,图形模块916可以是由处理器904执行的独立应用。在其它实施例中,图形模块916可以是包括在由配置成修改、访问或以其它方式使用电子内容的处理器904执行的分离应用中或者可由其访问的软件模块。
现在已经出于澄清和理解的目的而详细描述了本发明的实施例。然而,将领会的是,可以在本公开的范围内实践某些改变和修改。

Claims (20)

1.一种用于确定生物计量数据与刺激之间的关系以得出结论的方法,所述方法包括:
将所显示的刺激与身份标签相关联;
收集相对于所显示的刺激的生物计量数据;
基于生物计量数据将评级归于所显示的刺激;以及
将评级与身份标签相关联。
2.根据权利要求1所述的方法,其中生物计量数据的收集经由眼睛追踪设备而发生。
3.根据权利要求1所述的方法,其中生物计量数据的收集在显示器上的多个位置处发生。
4.根据权利要求1所述的方法,其中方法还包括从远程位置接收身份标签。
5.根据权利要求4所述的方法,其中远程位置是经由互联网可访问的。
6.根据权利要求1所述的方法,其中所显示的刺激包括至少一个广告。
7.根据权利要求1所述的方法,其中所显示的刺激显示在网络浏览器中。
8.一种用于确定生物计量数据与刺激之间的关系以得出结论的系统,所述系统包括:
计算机,其配置用于至少:
将所显示的刺激与身份标签相关联;
收集相对于所显示的刺激的生物计量数据;
基于生物计量数据将评级归于所显示的刺激;以及
将评级与身份标签相关联。
9.根据权利要求8所述的系统,其中生物计量数据的收集经由眼睛追踪设备而发生。
10.根据权利要求8所述的系统,其中生物计量数据的收集在显示器上的多个位置处发生。
11.根据权利要求8所述的系统,其中计算机还用于至少从远程位置接收身份标签。
12.根据权利要求11所述的系统,其中远程位置是经由互联网可访问的。
13.根据权利要求8所述的系统,其中所显示的刺激包括至少一个广告。
14.根据权利要求8所述的系统,其中所显示的刺激显示在网络浏览器中。
15.一种非暂时性机器可读介质,所述介质具有存储在其上以用于确定生物计量数据与刺激之间的关系以得出结论的指令,所述指令由一个或多个处理器可执行以用于至少:
将所显示的刺激与身份标签相关联;
收集相对于所显示的刺激的生物计量数据;
基于生物计量数据将评级归于所显示的刺激;以及
将评级与身份标签相关联。
16.根据权利要求15所述的非暂时性机器可读介质,其中生物计量数据的收集经由眼睛追踪设备而发生。
17.根据权利要求15所述的非暂时性机器可读介质,其中生物计量数据的收集在显示器上的多个位置处发生。
18.根据权利要求15所述的非暂时性机器可读介质,其中所述指令进一步可执行以用于至少从远程位置接收身份标签。
19.根据权利要求15所述的非暂时性机器可读介质,其中所显示的刺激包括至少一个广告。
20.根据权利要求15所述的非暂时性机器可读介质,其中所显示的刺激显示在网络浏览器中。
CN201580035233.8A 2014-04-28 2015-04-28 基于凝视信息的朝向刺激的关注的确定 Pending CN106796696A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461985212P 2014-04-28 2014-04-28
US61/985212 2014-04-28
US201462080850P 2014-11-17 2014-11-17
US62/080850 2014-11-17
PCT/US2015/027990 WO2015168122A1 (en) 2014-04-28 2015-04-28 Determination of attention towards stimuli based on gaze information

Publications (1)

Publication Number Publication Date
CN106796696A true CN106796696A (zh) 2017-05-31

Family

ID=53268865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580035233.8A Pending CN106796696A (zh) 2014-04-28 2015-04-28 基于凝视信息的朝向刺激的关注的确定

Country Status (6)

Country Link
US (1) US20170053304A1 (zh)
EP (1) EP3138068A1 (zh)
KR (1) KR101925701B1 (zh)
CN (1) CN106796696A (zh)
CA (1) CA2947424A1 (zh)
WO (1) WO2015168122A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664904B2 (en) * 2007-07-20 2020-05-26 Daphne WRIGHT System, device and method for detecting and monitoring a biological stress response for financial rules behavior
US10769679B2 (en) * 2017-01-25 2020-09-08 Crackle, Inc. System and method for interactive units within virtual reality environments
US20200219135A1 (en) * 2017-10-30 2020-07-09 Kolon Industries, Inc. Device, system and method for providing service relating to advertising and product purchase by using artificial-intelligence technology
US20190302884A1 (en) * 2018-03-28 2019-10-03 Tobii Ab Determination and usage of gaze tracking data
WO2020018513A1 (en) * 2018-07-16 2020-01-23 Arris Enterprises Llc Gaze-responsive advertisement
CN109255309B (zh) * 2018-08-28 2021-03-23 中国人民解放军战略支援部队信息工程大学 面向遥感图像目标检测的脑电与眼动融合方法及装置
GB2577711A (en) * 2018-10-03 2020-04-08 Lumen Res Ltd Eye-tracking methods, apparatuses and systems
JP6724109B2 (ja) * 2018-10-31 2020-07-15 株式会社ドワンゴ 情報表示端末、情報送信方法、コンピュータプログラム
CN109634407B (zh) * 2018-11-08 2022-03-04 中国运载火箭技术研究院 一种基于多模人机传感信息同步采集与融合的控制方法
US11032607B2 (en) * 2018-12-07 2021-06-08 At&T Intellectual Property I, L.P. Methods, devices, and systems for embedding visual advertisements in video content
US11347308B2 (en) 2019-07-26 2022-05-31 Samsung Electronics Co., Ltd. Method and apparatus with gaze tracking
WO2023032057A1 (ja) * 2021-08-31 2023-03-09 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1688242A (zh) * 2001-12-12 2005-10-26 眼睛工具公司 促进视线跟踪数据应用的技术
CN101114339A (zh) * 2007-07-17 2008-01-30 李东亚 一种可视媒体受众信息反馈系统和方法
JP2008052656A (ja) * 2006-08-28 2008-03-06 Olympus Imaging Corp 顧客情報収集システムおよび顧客情報収集方法
US20100295774A1 (en) * 2009-05-19 2010-11-25 Mirametrix Research Incorporated Method for Automatic Mapping of Eye Tracker Data to Hypermedia Content
CN102227753A (zh) * 2008-10-03 2011-10-26 3M创新有限公司 用于评估稳健性的系统和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060184800A1 (en) * 2005-02-16 2006-08-17 Outland Research, Llc Method and apparatus for using age and/or gender recognition techniques to customize a user interface
US7945861B1 (en) * 2007-09-04 2011-05-17 Google Inc. Initiating communications with web page visitors and known contacts
US9582805B2 (en) * 2007-10-24 2017-02-28 Invention Science Fund I, Llc Returning a personalized advertisement
US8478111B2 (en) * 2008-10-03 2013-07-02 3M Innovative Properties Company Systems and methods for optimizing a scene

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1688242A (zh) * 2001-12-12 2005-10-26 眼睛工具公司 促进视线跟踪数据应用的技术
JP2008052656A (ja) * 2006-08-28 2008-03-06 Olympus Imaging Corp 顧客情報収集システムおよび顧客情報収集方法
CN101114339A (zh) * 2007-07-17 2008-01-30 李东亚 一种可视媒体受众信息反馈系统和方法
CN102227753A (zh) * 2008-10-03 2011-10-26 3M创新有限公司 用于评估稳健性的系统和方法
US20100295774A1 (en) * 2009-05-19 2010-11-25 Mirametrix Research Incorporated Method for Automatic Mapping of Eye Tracker Data to Hypermedia Content

Also Published As

Publication number Publication date
EP3138068A1 (en) 2017-03-08
KR20170028302A (ko) 2017-03-13
KR101925701B1 (ko) 2018-12-05
CA2947424A1 (en) 2015-11-05
US20170053304A1 (en) 2017-02-23
WO2015168122A1 (en) 2015-11-05

Similar Documents

Publication Publication Date Title
CN106796696A (zh) 基于凝视信息的朝向刺激的关注的确定
US10643487B2 (en) Communication and skills training using interactive virtual humans
Borgo et al. Information visualization evaluation using crowdsourcing
US9552535B2 (en) Data acquisition for machine perception systems
JP6807389B2 (ja) メディアコンテンツのパフォーマンスの即時予測のための方法及び装置
US11475788B2 (en) Method and system for evaluating and monitoring compliance using emotion detection
KR20210019266A (ko) 시선 추적을 이용한 머신 러닝 기반의 읽기 능력 진단 장치 및 방법
CN106537387B (zh) 检索/存储与事件相关联的图像
JP7320280B2 (ja) ラベル収集装置、ラベル収集方法及びラベル収集プログラム
US20180307661A1 (en) Augmenting web content based on aggregated emotional responses
CN109620266A (zh) 个体焦虑水平的检测方法和系统
Emerson et al. Early prediction of visitor engagement in science museums with multimodal learning analytics
Ishimaru et al. Augmented learning on anticipating textbooks with eye tracking
Generosi et al. A Test Management System to Support Remote Usability Assessment of Web Applications
Adiani et al. Multimodal job interview simulator for training of autistic individuals
CN116684688A (zh) 基于观众情绪的直播模式切换方法及相关装置
US20230105077A1 (en) Method and system for evaluating and monitoring compliance, interactive and adaptive learning, and neurocognitive disorder diagnosis using pupillary response, face tracking emotion detection
Ghanbari et al. Industrial energy assessment training effectiveness evaluation: An eye-tracking study
López‐López et al. Towards an automatic coding of observational studies: Coding neurofeedback therapies of children with autism
Josephs et al. Artifact magnification on deepfake videos increases human detection and subjective confidence
Barkham et al. Routine outcome monitoring (ROM) and feedback in university student counselling and mental health services: Considerations for practitioners and service leads
Ikram et al. Recognition of student engagement state in a classroom environment using deep and efficient transfer learning algorithm
Pundlik et al. Data acquisition, processing, and reduction for home-use trial of a wearable video camera-based mobility aid
Shin et al. Perceptual Pat: A Virtual Human Visual System for Iterative Visualization Design
Shin et al. Perceptual pat: A virtual human system for iterative visualization design

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531

RJ01 Rejection of invention patent application after publication