CN102934458B - 兴趣度估计装置以及兴趣度估计方法 - Google Patents

兴趣度估计装置以及兴趣度估计方法 Download PDF

Info

Publication number
CN102934458B
CN102934458B CN201280001532.6A CN201280001532A CN102934458B CN 102934458 B CN102934458 B CN 102934458B CN 201280001532 A CN201280001532 A CN 201280001532A CN 102934458 B CN102934458 B CN 102934458B
Authority
CN
China
Prior art keywords
interest
degree
marking area
image
estimation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280001532.6A
Other languages
English (en)
Other versions
CN102934458A (zh
Inventor
坂田幸太郎
前田茂则
米谷龙
川岛宏彰
平山高嗣
松山隆司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN102934458A publication Critical patent/CN102934458A/zh
Application granted granted Critical
Publication of CN102934458B publication Critical patent/CN102934458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

估计用户对被显示在画面上的影像的兴趣度的兴趣度估计装置(100)具备：视线检测部(101)，检测用户的视线方向；显著性信息获得部(102)，获得与显著区域有关的显著性信息，该显著区域是影像中的诱目性显著的区域；以及用户反应分析部(103)，计算根据获得的显著性信息而确定的显著区域与检测出的视线方向的相关性，估计用户对影像的兴趣度，以使得计算出的相关性越高兴趣度就越高。

Description

兴趣度估计装置以及兴趣度估计方法
技术领域
本发明涉及，估计视听者(以下，也称为“用户”)对被显示的影像的兴趣度的兴趣度估计装置以及兴趣度估计方法。
背景技术
人们迎来了信息爆炸时代，在信息充满的同时，人们的兴趣也多样化，根据以往的划一性的信息提示，越来越难以抓住用户的心。人们期待像若无其事地使具有潜在的兴趣的信息表面化那样的、个人化的信息提示。
例如，若关注作为显示装置的电视机，随着近几年的电视广播的数字化，频道数急剧增加。并且，基于互联网分发的网络内容也急剧增加。其结果为，用户，能够从大量的内容中选择内容。但是，从大量的内容中选择用户本身想要视听的节目是非常困难的。因此，与符合用户的兴味以及兴趣的节目推荐系统有关的研究日益盛行。
为了提示符合这样的用户的兴味以及兴趣的内容，而需要平时掌握用户对正在视听的各个内容具有哪些程度的兴趣。也就是说，需要估计用户对视听影像的兴趣度。
对于估计兴趣度的以往的方法，周知的是专利文献1所记载的方法。根据专利文献1所记载的方法，通过调查由用户的内容的视听状况以及眼球运动，解析眨眼次数、反应时间、眼跳的速度及继续时间、以及视线的位置上的偏差等。而且，将各个解析结果作为计算要素，计算该视听者对内容的兴趣程度。并且，根据该计算结果和数据存储装置所存储的其他的计算结果，计算视听者对特定的内容的兴趣程度。
(现有技术文献)
(专利文献)
专利文献1：日本特开2006－20131号公报
然而，专利文献1所记载的方法中存在的问题是，只是单纯地将影像视听时的眨眼次数等作为特征量来估计兴趣度，因此，根据影像的结构会有不能高精度地估计视听者的兴趣度的情况。
发明内容
于是，为了解决所述的以往的问题，本发明的目的在于高精度地估计视听者对被显示在画面上的影像的兴趣度。
为了实现所述的目的，本发明的实施方案之一涉及的兴趣度估计装置，估计用户对被显示在画面上的影像的兴趣度，该兴趣度估计装置具备：视线检测部，检测所述用户的视线方向；显著性信息获得部，获得与显著区域有关的显著性信息，该显著区域是所述影像中的诱目性显著的区域；以及用户反应分析部，计算根据获得的所述显著性信息而确定的显著区域与检测出的所述视线方向的相关性，估计所述用户对所述影像的兴趣度，以使得计算出的所述相关性越高兴趣度就越高。
并且，为了实现所述的目的，本发明的实施方案之一涉及的兴趣度估计方法，估计用户对被显示在画面上的影像的兴趣度，该兴趣度估计方法包括：视线检测步骤，检测所述用户的视线方向；显著性信息获得步骤，获得与显著区域有关的显著性信息，该显著区域是所述影像中的诱目性显著的区域；相关性计算步骤，计算根据获得的所述显著性信息而确定的显著区域与检测出的所述视线方向的相关性；以及兴趣度估计步骤，估计所述用户对所述影像的兴趣度，以使得计算出的所述相关性越高兴趣度就越高。
根据本发明，能够高精度地估计视听者对被显示在画面上的影像的兴趣度。
附图说明
图1是示出本发明的实施例的兴趣度估计装置的功能结构的框图。
图2是示出本发明的实施例的兴趣度估计装置的处理工作的流程图。
图3是本发明的实施例的显著构造的概念图。
图4A是用于说明本发明的实施例的显著模式的种类的图。
图4B是用于说明本发明的实施例的显著模式的种类的图。
图4C是用于说明本发明的实施例的显著模式的种类的图。
图4D是用于说明本发明的实施例的显著模式的种类的图。
图4E是用于说明本发明的实施例的显著模式的种类的图。
图5是示出本发明的实施例的显著模式的时间序列的一个例子的图。
图6A是示出本发明的实施例的拍摄视线方向检测处理中获得的图像的摄像装置的设置例的图。
图6B是示出本发明的实施例的拍摄视线方向检测处理中获得的图像的摄像装置的设置例的图。
图6C是示出本发明的实施例的拍摄视线方向检测处理中获得的图像的摄像装置的设置例的图。
图7是示出本发明的实施例的视线方向检测处理的流程的流程图。
图8是用于说明本发明的实施例的视线方向检测处理中检测脸朝向的处理的图。
图9是用于说明本发明的实施例的视线方向基准面的计算的图。
图10是用于说明本发明的实施例的黑眼珠中心的检测的图。
图11是用于说明本发明的实施例的黑眼珠中心的检测的图。
图12是用于说明本发明的实施例的视线运动和其构成要素的图。
图13是用于说明本发明的实施例的显著性变动和注视反应的关系的图。
图14是示出本发明的实施例的与多个显著模式各自对应的评价基准的图。
图15A是用于说明本发明的实施例的与显著模式对应的评价基准的图。
图15B是用于说明本发明的实施例的与显著模式对应的评价基准的图。
图15C是用于说明本发明的实施例的与显著模式对应的评价基准的图。
图15D是用于说明本发明的实施例的与显著模式对应的评价基准的图。
图15E是用于说明本发明的实施例的与显著模式对应的评价基准的图。
具体实施方式
影像制作者，一般而言，意图着通过影像中的特定的人物以及物体，给视听者留下某种印象。因此，影像制作者，在画面上要设定想要引起视听者的注意的区域。也就是说，影像制作者，以影像中包含诱目性(引起视觉上的注意的容易性)显著的区域(以下，称为“显著区域”)的方式，制作影像的情况多。
例如，在影像的内容是电视剧的情况下，影像制作者，以主演员的显示区域成为显著区域的方式制作影像。并且，在影像的内容是广告的情况下，影像制作者，以作为广告对象的产品的显示区域成为显著区域的方式制作影像。
据此，视听者对影像制作者设定的、想要引起视听者的注意的区域加以注意，这意味着，视听者进行按照影像制作者的意图的视听行动。也就是说，若对影像中的显著区域加以视觉注意，则可以估计视听者对该影像的兴趣度高。
于是，本发明的实施方案之一涉及的兴趣度估计装置，估计用户对被显示在画面上的影像的兴趣度，该兴趣度估计装置具备：视线检测部，检测所述用户的视线方向；显著性信息获得部，获得与显著区域有关的显著性信息，该显著区域是所述影像中的诱目性显著的区域；以及用户反应分析部，计算根据获得的所述显著性信息而确定的显著区域与检测出的所述视线方向的相关性，估计所述用户对所述影像的兴趣度，以使得计算出的所述相关性越高兴趣度就越高。
根据该结构，能够根据影像内的显著区域与用户的视线方向之间的相关性，估计用户对影像的兴趣度。也就是说，由于能够考虑影像的特性来估计兴趣度，因此，与单纯地根据视线方向来估计兴趣度时相比，能够高精度地估计兴趣度。特别是，由于能够利用针对影像的兴趣度高时显著区域与视线方向之间的相关性高这样的情况，因此，能够更高精度地估计兴趣度。
并且，本发明的其他的实施方案之一涉及的兴趣度估计装置，在根据显著区域的数量以及变动之中至少一方而分类的多个显著模式的每一个显著模式中，预先对应有用于评价相关性高的程度的至少一个评价基准，所述用户反应分析部，按照与根据所述显著性信息而确定的显著模式对应的评价基准来计算所述相关性。
根据该结构，能够根据适于显著模式的评价基准，计算显著区域与视线方向之间的相关性。因此，能够更高精度地估计兴趣度。
并且，本发明的其他的实施方案之一涉及的兴趣度估计装置，所述多个显著模式包含，示出显著区域的位置不变化的状态的静态模式，在所述静态模式中，对应有作为所述至少一个评价基准的、显著区域内的眼跳的发生次数，所述用户反应分析部，在根据所述显著性信息而确定的显著模式为静态模式的情况下，计算所述相关性，以使得根据检测出的所述视线方向而确定的、所述显著区域内的眼跳的发生次数越多所述相关性就越高。
根据该结构，在显著模式是静态模式的情况下，能够根据显著区域内的眼跳的发生次数，计算相关性。显著区域内的眼跳是，用于从显著区域获得信息的视线运动。因此，计算相关性，以使得该显著区域内的眼跳的发生次数越多相关性就越高，从而能够更高精度地估计兴趣度。
并且，本发明的其他的实施方案之一涉及的兴趣度估计装置，所述显著性信息获得部，根据赋予给示出所述影像的信号的标签来获得所述显著性信息。
根据该结构，能够根据标签容易获得显著性信息。
并且，本发明的其他的实施方案之一涉及的兴趣度估计装置，所述显著性信息获得部，通过根据图像的物理特征来解析所述影像，从而获得所述显著性信息。
根据该结构，通过解析影像，从而能够获得显著区域。因此，即使在输入显著性信息不明确的影像的情况下，也能够获得该影像的显著性信息，能够高精度地估计针对该影像的兴趣度。
并且，本发明的其他的实施方案之一涉及的兴趣度估计装置，所述显著区域是与附随于所述影像的声音信息有关的对象的区域。
根据该结构，由于与用户的兴趣度对应的关系性大的区域成为显著区域，因此能够更高精度地估计的兴趣度。
并且，本发明的其他的实施方案之一涉及的兴趣度估计装置，所述对象是说话者的脸或嘴。
根据该结构，由于与用户的兴趣度对应的关系性大的区域成为显著区域，因此能够更高精度地估计的兴趣度。
并且，本发明的其他的实施方案之一涉及的兴趣度估计装置，所述显著区域是显示与所述声音信息对应的文本的区域。
根据该结构，由于与用户的兴趣度对应的关系性大的区域成为显著区域，因此能够更高精度地估计的兴趣度。
并且，本发明的其他的实施方案之一涉及的兴趣度估计装置，所述显著区域是移动的对象的区域。
根据该结构，由于与用户的兴趣度对应的关系性大的区域成为显著区域，因此能够更高精度地估计的兴趣度。
并且，本发明的其他的实施方案之一涉及的兴趣度估计装置，所述对象是人。
根据该结构，由于与用户的兴趣度对应的关系性大的区域成为显著区域，因此能够更高精度地估计的兴趣度。
并且，本发明的其他的实施方案之一涉及的兴趣度估计装置，所述对象是动物。
根据该结构，由于与用户的兴趣度对应的关系性大的区域成为显著区域，因此能够更高精度地估计的兴趣度。
并且，本发明的其他的实施方案之一涉及的兴趣度估计装置，所述相关性是时间上的同步度。
根据该结构，由于能够计算时间上的同步度以作为相关性，因此能够更高精度地估计的兴趣度。
并且，本发明的其他的实施方案之一涉及的兴趣度估计装置，所述相关性是空间上的类似度。
根据该结构，由于能够计算空间上的类似度以作为相关性，因此能够更高精度地估计的兴趣度。
并且，本发明的其他的实施方案之一涉及的兴趣度估计装置，所述用户反应分析部，计算所述显著区域的出现定时、与针对所述显著区域的视线的眼跳的发生定时之间的时间差，以作为表示所述相关性低的程度的值，所述用户反应分析部，估计所述兴趣度，以使得所述时间差越小兴趣度就越高。
根据该结构，可以计算显著区域的出现定时、与针对显著区域的眼跳的发生定时之间的时间差，以作为表示显著区域与视线方向的相关性低的程度的值。因此，能够更适当地计算相关性，能够更高精度地估计的兴趣度。
并且，本发明的其他的实施方案之一涉及的兴趣度估计装置，所述用户反应分析部，计算所述显著区域在所述画面上移动的速度成为规定的速度以上的定时、与针对所述显著区域的视线的眼跳的发生定时之间的时间差，以作为表示所述相关性低的程度的值，估计所述兴趣度，以使得所述时间差越小兴趣度就越高。
根据该结构，可以计算显著区域的移动定时与眼跳的发生定时之间的时间差，以作为表示显著区域与视线方向的相关性低的程度的值。因此，能够更适当地计算相关性，能够更高精度地估计的兴趣度。
并且，本发明的其他的实施方案之一涉及的兴趣度估计装置，所述用户反应分析部，计算所述显著区域的所述画面上的移动速度、与根据所述视线方向而确定的所述画面上的注视位置的移动速度之间的速度差，以作为表示所述相关性低的程度的值，所述用户反应分析部，估计所述兴趣度，以使得所述速度差越小兴趣度就越高。
根据该结构，可以计算显著区域的移动速度与注视位置的移动速度之间的度差，以作为表示显著区域与视线方向的相关性低的程度的值。因此，能够更适当地计算相关性，能够更高精度地估计的兴趣度。
并且，本发明的其他的实施方案之一涉及的兴趣度估计装置，用户反应分析部，根据所述影像内的显著区域的数量、各个显著区域的面积、以及视线的眼跳的发生次数，计算所述相关性。
根据该结构，根据影像内的显著区域的数量、各个显著区域的面积、以及视线的眼跳的发生次数，能够更高精度地估计的兴趣度。
并且，本发明的其他的实施方案之一涉及的兴趣度估计装置，也可以被构成为集成电路。
并且，本发明的其他的实施方案之一涉及的兴趣度估计方法，估计用户对被显示在画面上的影像的兴趣度，该兴趣度估计方法包括：视线检测步骤，检测所述用户的视线方向；显著性信息获得步骤，获得与显著区域有关的显著性信息，该显著区域是所述影像中的诱目性显著的区域；相关性计算步骤，计算根据获得的所述显著性信息而确定的显著区域与检测出的所述视线方向的相关性；以及兴趣度估计步骤，估计所述用户对所述影像的兴趣度，以使得计算出的所述相关性越高兴趣度就越高。
据此，能够产生与所述兴趣度估计装置同样的效果。
而且，本发明，也可以作为使计算机执行兴趣度估计方法中包含的各个步骤的程序来实现。而且，而且，当然也可以通过CD-ROM(CompactDiscReadOnlyMemory)等非暂时的记录介质或互联网等传输介质来分发这样的程序。
以下，参照附图说明本发明的实施例。而且，以下说明的实施例，都示出本发明的优选的一个具体例。也就是说，以下的实施例所示的数值、形状、材料、构成要素、构成要素的配置以及连接形态、步骤、步骤的顺序等，是本发明的一个例子，而不是限定本发明的宗旨。本发明是，根据权利要求书的记载来确定的。因此，对于以下的实施例的构成要素中的、示出本发明的最上位概念的独立请求要求中没有记载的构成要素，为了实现本发明的问题而并不一定需要，但是，被说明为构成更优选的形态的构成要素。
(实施例)
图1是示出本发明的实施例的兴趣度估计装置的功能结构的框图。
兴趣度估计装置100，估计用户(视听者)对被显示在画面上的影像的兴趣度。
如图1示出，兴趣度估计装置100具备，视线检测部101、显著性信息获得部102、以及用户反应分析部103。
视线检测部101，检测用户的视线方向。也就是说，视线检测部101，检测用户看的方向。
在本实施例中，进一步，视线检测部101，根据如上检测出的视线方向，计算作为画面上的用户的注视位置的移动轨迹的注视坐标系列。具体而言，视线检测部101，利用视线方向和用户的位置，计算从用户在视线方向上延伸的直线与画面的交点，以作为注视位置。而且，视线检测部101，计算示出如此计算出的注视位置的坐标的时间序列，以作为注视坐标系列。也就是说，视线检测部101，计算视线方向的时间变化。
而且，对于用户的位置，例如，利用由立体相机等拍摄的立体图像中的用户像的视差检测即可。并且，例如，对于用户位置，也可以利用由设置在画面前方的地板面上的压力传感器检测出的压力检测。
显著性信息获得部102，获得关于显著区域(SaliencyArea)的显著性信息。例如，显著性信息获得部102，通过解析影像，从而获得显著性信息。并且，例如，显著性信息获得部102也可以，根据赋予给示出影像的信号的标签来获得显著性信息。标签是指，赋予给示出影像的信号的信息、或存储该信息的区域。该标签，也有被称为首部或首部信息的情况。
而且，显著区域是，影像中的诱目性显著的区域。也就是说，显著区域是，影像中的容易引起用户的视觉注意的区域。
显著性信息，例如，包含示出显著区域的位置的信息。并且，显著性信息，也可以包含与作为显著区域的时间变化模式的显著性变动有关的信息。
用户反应分析部103，计算根据获得的显著性信息而确定的显著区域、与检测出的视线方向之间的相关性。也就是说，用户反应分析部103，计算表示影像中的显著区域与检测出的视线方向之间的相关性高或低的程度的值。
具体而言，用户反应分析部103，例如，计算显著区域与视线方向之间的时间上的同步度，以作为相关性。并且，用户反应分析部103也可以，例如，计算显著区域与视线方向之间的空间上的类似度，以作为相关性。而且，用户反应分析部103，也可以根据时间上的同步度和空间上的类似度的双方来计算相关性。
用户反应分析部103，估计用户对影像的兴趣度，以使得如此计算出的相关性越高兴趣度就越高。
接着，说明如上构成的兴趣度估计装置100的各种工作。
图2是示出本发明的实施例的兴趣度估计装置的处理工作的流程图。
首先，显著性信息获得部102，获得包含示出影像中的显著区域的位置的信息、和与作为该显著区域的时间变化模式的显著性变动有关的信息的显著性信息(S11)。
视线检测部101，检测用户的视线方向(S12)，在此，视线检测部101，根据检测出的视线方向计算注视坐标系列。
而且，用户反应分析部103，计算根据显著性信息获得部102获得的显著性信息而确定的显著区域、与视线检测部101检测出的视线方向之间的相关性(S13)。
而且，用户反应分析部103，计算显著性变动与视线检测部101检测出的视线变化之间的相关性(S14)。用户反应分析部103，根据计算出的相关性，估计针对该影像的兴趣度(S15)。具体而言，用户反应分析部103，估计用户对影像的兴趣度，以使得计算出的相关性越高兴趣度就越高。
而且，也可以并行进行步骤S11的处理、和步骤S12及S13的处理。并且，也可以进行步骤S11的处理、和进行步骤S12及S13的处理的顺序相反。也就是说，也可以步骤S12及S13的处理之后进行步骤S11的处理。并且，也可以不进行步骤S13的处理。
如上所述，兴趣度估计装置100，估计用户对被显示在画面上的影像的兴趣度。
以下，对于所述的兴趣度估计装置100的处理工作，利用附图进行更详细说明。
<1，显著性信息获得>
首先，详细说明显著性信息获得处理。在此，说明以下的情况，即，显著性信息获得部102，通过解析影像，从而获得显著性信息。
图3是本发明的实施例的显著构造的概念图。
显著区域是，影像中包含的各个帧中容易引起视觉注意的区域(图3的(a))。在影像中，显著区域的显著度和位置，随着时间变化而变化。
将伴随这样的变化的显著区域的时空体积，称为显著流(SaliencyFlow)。而且，将影像中存在的多个显著流汇集，来称为影像的显著构造(SaliencyStructure)(图3的(b))。
针对影像中包含的各个帧计算显著图(SaliencyMap)，从而获得显著区域。显著图是，通过非专利文献“Itti,L.andKoch,C.：Computationalmodelingofvisualattention.NatureReviewsNeuroscience,2(3)，pp.194－203.”中记载的计算方法能够获得的。
也就是说，在此，显著性信息获得部102，通过根据图像的物理特征来解析影像，从而确定显著区域。图像的物理特征是指，例如亮度、颜色或明度等。
对于显著区域的典型的例子，可以举出移动的对象的区域。移动的对象是人即可。移动的对象也可以是动物。
并且，对于显著区域的其他的例子，也可以举出与附随于影像的声音信息的关联性大的对象的区域。在此，对象是，例如，影像中的说话者的脸或嘴。进而，显著区域也可以是，显示与声音信息对应的文本的区域。
显著性信息获得部102，将这样的各个帧中包含的显著区域，还根据时间方向的相邻关系来聚类(clustering)，从而获得显著流。显著流，具有发生时间变化的显著区域的显著度、重心位置、以及面积，以作为属性。
而且，显著性信息获得部102，将显著流分段化为由“位置发生时间变化的动态的状态”和“位置不发生时间变化的静态的状态 ”而成的状态系列。
显著构造，具有多个显著流。显著构造，根据显著区域的数量以及变动的至少一方，可以分类为多个显著模式(SaliencyPattern)。
图4A至图4E是用于说明本发明的实施例的显著模式的种类的图。图4A至图4E的各个图表示出，显著区域的位置的时间变化。在各个图表中，纵轴示出画面上的位置，横轴示出时间。
在此，多个显著模式中包含，单数静态模式(ss：single－static)(图4A)、单数动态模式(sd：single－dynamic)(图4B)、复数静态模式(ms：multi－static)(图4C)、复数静止动态模式(msd：multi－static／dynamic)(图4D)、以及复数动态模式(md：multi－dynamic)(图4E)的五种显著模式。
对于显著构造，分段化为由这样的显著模式而成的系列。而且，在multi－static／dynamic中，多个流中的几个成为dynamic的状态，其余的流成为static的状态。
图5是示出本发明的实施例的显著模式的时间序列的一个例子的图。具体而言，图5的(a)是示出，显著区域的位置的时间转移的图表。在此，为了便于说明，以一维来表示显著区域的位置。
图5的(b)是示出，各个显著流的状态的时间转移的图表。各个直方图示出，一个显著流的状态。具体而言，直方图的白色部分示出，显著流为静态状态(static)。并且，直方图的阴影部分示出，显著流为动态状态(dynamic)。
图5的(c)是示出，显著模式的时间转移的图表。在此示出，首先，显著模式是复数静态模式(ms)，其次，转移到复数动态模式(md)。
如上所述，显著性信息获得部102，通过解析影像，从而确定显著区域。因此，即使在输入显著性信息不明确的影像的情况下，也能够获得该影像的显著性信息，能够高精度地估计针对该影像的兴趣度。
而且，显著性信息获得部102，根据确定的显著区域的数量以及变动，决定显著模式。示出如此确定的显著区域的位置的信息以及示出显著模式的信息相当于显著性信息。
而且，显著性信息获得部102，并不一定需要解析影像。例如，显著性信息获得部102，也可以根据赋予给示出影像的信号的标签来获得显著性信息。据此，显著性信息获得部102，能够容易获得显著性信息。
而且，在此情况下，标签中需要包含，例如预先解析影像而获得的关于显著区域的信息。并且，标签中也可以包含，影像制作者预先输入的关于显著区域的信息。
<2，视线方向的检测>
接着，详细说明检测视线方向的视线方向检测处理(S12)。
在本实施例中，视线方向是，根据用户的脸的方向(以下，记载为“脸朝向”)、与针对用户的脸朝向的眼睛中的黑眼珠部分的方向(以下，记载为“黑眼珠方向”)的组合来计算的。于是，视线检测部101，首先，估计人物的三维的脸朝向。接着，视线检测部101，进行黑眼珠方向的估计。最后，视线检测部101，合并脸朝向以及黑眼珠方向的两个来计算视线方向。
而且，视线检测部101，并不一定需要根据脸朝向与黑眼珠方向的组合来计算视线方向。例如，视线检测部101也可以，根据眼球中心与按照虹彩(黑眼珠)中心来计算视线方向。也就是说，视线检测部101也可以，计算连接眼球中心的三维位置和虹彩(黑眼珠)中心的三维位置的三维矢量，以作为视线方向。
图6A至图6C各自是示出本发明的实施例的拍摄视线方向检测处理中获得的图像的摄像装置(相机)的设置例的图。如图6A至图6C示出，摄像装置，被设置在画面的近旁，以能够拍摄位于显示装置具备的画面的前方的用户。
图7是示出本发明的实施例的视线方向检测处理的流程的流程图。
首先，视线检测部101，获得摄像装置拍摄在画面的前方存在的用户的图像(S501)。接着，视线检测部101，根据获得的图像，进行脸区域的检测(S502)。接着，视线检测部101，针对检测出的脸区域，符合与各个基准脸朝向对应的脸部件特征点的区域，剪出各个脸部件特征点的区域图像(S503)。
而且，视线检测部101，计算剪出的区域图像、与预先保持的模板图像的相关度(S504)。接着，视线检测部101，针对各个基准脸朝向示出的角度，按照计算出的相关度的比例进行加权并相加，来求出加权和，将其作为与脸区域对应的用户的脸朝向来检测(S505)。
图8是用于说明本发明的实施例的视线方向检测处理中检测脸朝向的处理的图。
视线检测部101，如图8的(a)示出，从存储有与各个基准脸朝向对应的脸部件特征点的区域的脸部件区域数据库(DB)中，读出脸部件特征点的区域。接着，视线检测部101，如图8的(b)示出，针对拍摄的图像的脸区域，按每个基准脸朝向符合脸部件特征点的区域，按每个基准脸朝向剪出脸部件特征点的区域图像。
而且，视线检测部101，如图8的(c)示出，按每个基准脸朝向，计算剪出的区域图像、与由脸部件区域模板DB保持的模板图像之间的相关度。并且，视线检测部101，按照如此计算出的相关度示出的相关程度高的程度，计算每个基准脸朝向的权重。例如，视线检测部101，计算各个基准脸朝向的相关度对基准脸朝向的相关度的总和的比例，以作为权重。
接着，视线检测部101，如图8的(d)示出，计算基准脸朝向示出的角度乘以计算出的权重后的值的总和，将计算结果作为用户的脸朝向来检测。
在图8的(d)的例子中，针对基准脸朝向＋20度的权重为“0.85”，针对正面朝向的权重为“0.14”，针对－20度的权重为“0.01”，因此，视线检测部101，检测脸朝向为16.8度(＝20×0.85＋0×0.14＋(－20)×0.01)。
而且，在图8中，视线检测部101，将脸部件特征点的区域图像作为对象来计算相关度，但是，不仅限于此。例如，视线检测部101也可以，将脸区域整体的图像作为对象来计算相关度。
并且，检测脸朝向的其他的方法有，从脸图像中检测眼睛、鼻子、嘴等的脸部件特征点，根据脸部件特征点的位置关系计算脸朝向的方法。
对于根据脸部件特征点的位置关系计算脸朝向的方法，有以下的方法，即，以与由一个相机获得的脸部件特征点最一致的方式，将预先准备的脸部件特征点的三维模型旋转、放大缩小来匹配，根据获得的三维模型的旋转量计算脸朝向。
并且，对于根据脸部件特征点的位置关系计算脸朝向的其他的方法，有以下的方法，即，根据由两台相机拍摄的图像，利用立体视的原理，根据左右的相机的脸部件特征点位置的图像上的偏离，计算各个脸部件特征点的三维位置，根据获得的脸部件特征点的位置关系来计算脸朝向。具体而言，例如，有将由双眼以及嘴的三维坐标点展开的平面的法线方向作为脸朝向来检测的方法等。
返回图7的流程图的说明。
视线检测部101，利用由摄像装置拍摄的立体图像，检测用户的左右的眼角的三维位置，利用检测出左右的眼角的三维位置，计算视线方向基准面(S506)。接着，视线检测部101，利用由摄像装置拍摄的立体图像，检测用户的左右的黑眼珠中心的三维位置(S507)。而且，视线检测部101，利用视线方向基准面和左右的黑眼珠中心的三维位置，检测黑眼珠方向(S508)。
而且，视线检测部101，利用检测出的用户的脸朝向和黑眼珠方向，检测用户的视线方向(S509)。
接着，利用图9至图11，详细说明检测黑眼珠方向的方法。
在本实施例中，视线检测部101，首先，计算视线方向基准面。接着，视线检测部101，检测黑眼珠中心的三维位置。而且，最后，视线检测部101，检测黑眼珠方向。
首先，说明视线方向基准面的计算。
图9是用于说明本发明的实施例的视线方向基准面的计算的图。
视线方向基准面是指，检测黑眼珠方向时成为基准的面，如图9示出，与脸的左右对称面相同。而且，眼角的位置，与眼梢、口角、或眉等的其他的脸部件相比，因表情而引起的变动少，并且，误检测少。于是，视线检测部101，利用眼角的三维位置，计算作为脸的左右对称面的视线方向基准面。
具体而言，视线检测部101，在由作为摄像装置的立体相机拍摄的两张图像(立体图像)的每一个中，利用脸检测模块和脸部件检测模块，检测左右的眼角区域。而且，视线检测部101，利用检测出的眼角区域的图像间的位置的偏离(视差)，测量左右的眼角各自的三维位置。进而，视线检测部101，如图9示出，计算以检测出的左右的眼角的三维位置为端点的线段的垂直二等分面，以作为视线方向基准面。
接着，说明黑眼珠中心的检测。
图10以及图11是用于说明本发明的实施例的黑眼珠中心的检测的图。
来自对象物的光，通过瞳孔到达视网膜，变换为电信号，该电信号传达到脑，据此，人视觉识别对象物。因此，若利用瞳孔的位置，能够检测视线方向。但是，由于日本人的虹彩是黑或茶色，因此，通过图像处理难以判别瞳孔和虹彩。于是，在本实施例中，由于瞳孔的中心与黑眼珠(包含瞳孔以及虹彩的双方)的中心大致一致，因此，视线检测部101，在检测黑眼珠方向时，进行黑眼珠中心的检测。
视线检测部101，首先，从拍摄的图像中检测眼梢和眼角的位置。而且，视线检测部101，从图10那样的包含眼梢和眼角的区域中，将亮度小的区域，作为黑眼珠区域来检测。具体而言，视线检测部101，例如，将亮度为规定阈值以下的区域、且比规定的大小大的区域，作为黑眼珠区域来检测。
接着，视线检测部101，将图11那样的由第一区域和第二区域构成的黑眼珠检测滤波片，设定在黑眼珠区域的任意的位置。而且，视线检测部101，搜索第一区域内的像素的亮度与第二区域内的像素的亮度的区域间分散最大的黑眼珠检测滤波片的位置，将搜索结果示出的位置作为黑眼珠中心来检测。最后，视线检测部101，与所述同样，利用立体图像的黑眼珠中心的位置的偏离，检测黑眼珠中心的三维位置。
进而，说明黑眼珠方向的检测。
视线检测部101，利用计算出的视线方向基准面、和检测出的黑眼珠中心的三维位置，检测黑眼珠方向。对于成人的眼球直径，周知的是，几乎没有个人差，例如，在日本人的情况下，为24mm左右。因此，若得知朝向成为基准的方向(例如正面)时的黑眼珠中心的位置，通过求出从那位置到当前的黑眼珠中心的位置的变位，从而能够计算并变换为黑眼珠方向。
利用在用户朝向正面时，左右的黑眼珠中心的中点位于脸的中心、即视线方向基准面上这样的情况，视线检测部101，计算左右的黑眼珠中心的中点与视线方向基准面之间的距离，从而检测黑眼珠方向。
具体而言，视线检测部101，利用眼球半径R和连接左右的黑眼珠中心的线段的中点与视线方向基准面之间的距离d，如式(1)示出，将对脸朝向的左右方向的旋转角θ作为黑眼珠方向来检测。
【数式1】
&theta; = sin - 1 ( d R ) &CenterDot; &CenterDot; &CenterDot; ( 1 )
如上所述，视线检测部101，利用视线方向基准面和黑眼珠中心的三维位置，检测黑眼珠方向。而且，视线检测部101，利用检测出的脸朝向和黑眼珠方向，检测实际空间的用户的视线方向。
而且，视线方向的检测方法有，角膜反射法、EOG(Electrooculography：眼动电图描记)法、探测线圈法以及巩膜反射法等的多种多样的方法。因此，视线检测部101，并不一定需要根据所述的方法检测视线方向。例如，视线检测部101也可以，利用角膜反射法来检测视线方向。
角膜反射法是指，根据点光源照明照射到角膜时明亮地出现的角膜反射像(普尔钦(Purkinje)像)的位置，测量眼球运动的方法。由于眼球旋转中心与角膜的凸面的中心不一致，因此，在将角膜设为凸面镜，光源的反射点由凸透镜等聚光的情况下，该聚光点，随着眼球的旋转而移动。该点由摄像装置拍摄，从而测量眼球运动。
<3，视线运动的检测和分类>
接着，说明根据如上检测出的视线数据(注视坐标系列)检测视线运动，进行分类的方法。
而且，可以将对影像的“兴趣”定义为，对影像“加以注意 ”的意思。注意被定义为处理资源。针对某任务请求的处理资源量，按照该难易度而不同。可以将“加以注意 ”，表现为对任务的处理资源的分配。
也就是说，可以将对影像“加以注意 ”的现象，考虑为对影像视听任务的处理资源的分配。该情况，被周知为卡尼曼(Kahneman)的“注意的容量模型 ”。并且，若利用处理资源这概念来说明兴趣度这参数，兴趣度是指对影像视听任务分配的处理资源的多寡。
另一方面，可以将人进行的信息处理，分类为有意识的控制处理和无意识的自动处理。控制处理是，人有意识地进行的处理，在驱动时需要处理资源。将影像视听任务中作为控制处理进行的视线运动，称为内源性视线运动。并且，将作为自动处理进行的视线运动，称为外源性视线运动。
在此，将兴趣度给视线运动带来的影响模型化为如下。
首先，根据用户的意图等的心理原因以及疲劳等的生理原因，按照用户的兴趣度的处理资源被分配到影像视听任务。按照该处理资源来驱动控制处理，发生内源性视线运动。另一方面，根据影像(显著流)具有的视觉刺激，发生作为自动处理的外源性视线运动。但是，在已经发生内源性视线运动的情况下，该外源性视线运动会被抑制。如此发生的视线运动，被物理观测为实际的显示装置上的注视坐标系列。用户反应分析部103，作为该“处理资源消耗－视线运动驱动”的逆问题，根据物理观测出的视线运动，估算分配到影像视听任务的处理资源量，估计针对影像的兴趣度。
图12是用于说明本发明的实施例的视线运动和其构成要素的图。
在影像视听中，人反复进行对象具有的视觉信息的获得和对象的切换。考虑对象(显著流)具有的状态以及引起视线运动的原因，在此，对于影像视听时的视线运动，分类为以下的四种视线运动。
第一种视线运动是，从动作的对象的信息获得运动(PA：PursuingAcquisition)。第二种视线运动是，从静止对象的信息获得运动(FA：FixationAcquisition)。第三种视线运动是，有意图的对象切换运动(NC：eNdogenousChange)。第四种视线运动是，外源性的对象切换运动(XC：eXogenousChange)。
一般而言，人通过某点的注视以及注视点的移动的组合来实现信息的获得。也就是说，影像视听时的视线运动，在内部具有动态变化，如图12示出，由单纯的视线运动(构成要素)的组合而构成。在此，将以下的四个单纯的视线运动作为构成要素，表现影像视听时的视线运动。
第一个构成要素是，滑动性眼球运动(P：Pursuit)。滑动性眼球运动是指，眼球，跟随动作中的对象的动作而慢慢地变动的运动。
第二个构成要素是，固视运动(F：Fixation)。固视运动是指，由于一直看静止对象，因此眼球不动的情况。
第三个构成要素是，内源性眼跳(NS：eNdogenousSaccade)。眼跳是指，为了将分辩率低的周边视网膜中映出的对象，在分辩率高的视网膜中心窝捕捉而进行的快速的眼球运动。而且，内源性眼跳是，眼跳之中的有意识的眼跳。
第四个构成要素是，外源性眼跳(XS：eXogenousSaccade)。外源性眼跳是，眼跳之中的无意识的眼跳。
在此，视线检测部101，从注视坐标系列中检测所述的视线运动，以作为兴趣度估计的前阶段。也就是说，视线检测部101，将注视坐标系列分段化为单独的视线运动会发生的时区间。具体而言，视线检测部101，根据注视对象的流，将注视坐标系列分段化，根据对应的流的状态是static以及dynamic的哪一方，来更加分段化。而且，视线检测部101，为了将示出高的相关性的显著流群作为单一的对象来处理，合并相关性高的两个流间的注视移动发生了的时区间。
<4，显著性变动和注视反应的相关性分析(兴趣度估计)>
接着，详细说明基于显著性变动和注视反应的相关性分析的兴趣度估计。
图13是用于说明本发明的实施例的显著性变动和注视反应的关系的图。具体而言，图13的(a)示出，兴趣度高时的各个帧的时间上的偏离、以及兴趣度低时的各个帧的时间上的偏离。并且，图13的(b)示出，兴趣度高时的各个帧的空间上的偏离、以及兴趣度低时的各个帧的空间上的偏离。
在针对影像的兴趣度高的情况下，在该帧中显著性变动和可期待为与其对应而产生的视线运动的时间上的偏离以及空间上的偏离变小。另一方面，在针对影像的兴趣度低的情况下，在该帧中显著性变动和注视反应的时间上的偏离以及空间上的偏离变大。
也就是说，这样的时间上的偏离以及空间上的偏离示出，显著区域与视线方向之间的相关性低的程度。于是，在本实施例中，用户反应分析部103，计算表示这样的时间上的偏离以及空间上的偏离的至少一方的值，以作为表示显著区域与视线方向之间的相关性低的程度的值。
该时间上的偏离的一个例子有，显著区域的出现定时、与对该显著区域的视线的眼跳的发生定时之间的时间差。并且，时间上的偏离的其他的一个例子有，显著区域在画面上移动的速度成为规定的速度以上的定时、与对该显著区域的视线的眼跳的发生定时之间的时间差。并且，时间上的偏离以及空间上的偏离的一个例子有，显著区域的画面上的移动速度、与根据视线方向而确定的画面上的注视位置的移动速度之间的速度差。
而且，例如，根据示出视线方向的变化度的值是否超过阈值，能够判定视线运动是否为眼跳。具体而言，注视位置移动的速度成为规定的速度以上的定时，被检测为眼跳的发生定时即可。
关注这样的特性，如下估计针对影像的兴趣度。
图14是示出本发明的实施例的与多个显著模式各自对应的评价基准的图。
如图14示出，在多个显著模式的每一个显著模式中，预先对应有用于评价相关性高的程度的至少一个评价基准。示出这样的显著模式和评价基准的对应关系的信息，例如，由未图示的存储部(存储器)保持即可。在此情况下，存储部，例如，在兴趣度估计装置100中具备。并且，存储部也可以，在与兴趣度估计装置100连接的外部设备中具备。
用户反应分析部103，通过参照图14所示的信息，按照与根据获得的显著性信息而确定的显著模式对应的评价基准，计算相关性。
以下，具体说明评价基准。
图15A至图15E是用于说明本发明的实施例的与显著模式对应的评价基准的图。
如图14以及图15A示出，在用户对影像的兴趣度高的情况下，在single－static中，可期待观测到FA，以作为视线运动。并且，如图14以及图15B示出，在用户对影像的兴趣度高的情况下，在single－dynamic中，可期待观测到PA，以作为视线运动。并且，如图14以及图15C示出，在用户对影像的兴趣度高的情况下，在multi－static中，可期待观测到FA以及NS，以作为视线运动。并且，如图14以及图15D示出，在用户对影像的兴趣度高的情况下，在multi－static／dynamic中，可期待观测到FA、PA以及NS，以作为视线运动。并且，如图14以及图15E示出，在用户对影像的兴趣度高的情况下，在multi－dynamic中，可期待观测到PA以及NS，以作为视线运动。
于是，如图14示出，single－static，与作为评价基准的眼跳数、眼跳的行程长度、对象流面积对应。
在此，眼跳数是，显著模式为single－static时检测的眼跳的发生次数。眼跳是，例如，通过对示出视线方向的变化率的值与阈值进行比较，从而检测的。具体而言，例如，检测注视位置在画面上的显著区域内移动的速度成为规定速度以上的次数，以作为眼跳数。
并且，眼跳的行程长度是，示出基于眼跳的视线方向的变化量的值。具体而言，眼跳的行程长度，例如，相当于基于眼跳的画面上的注视位置的移动量。
对象流面积，相当于显著区域的面积。在构成显著流的显著区域的面积变化的情况下，对于对象流面积，例如，利用显著区域的面积的平均值。并且，对象流面积，也可以是显著区域的面积的中央值、最大值、或最小值等。
single－dynamic，与作为评价基准的对象流以及视线运动的速度差、和对象的运动速度对应。
对象流以及视线运动的速度差，相当于显著区域的移动速度与注视位置的移动速度之间的速度差。在此，移动速度意味着，移动矢量的大小以及方向。并且，对象的运动速度，相当于显著区域的移动速度。
multi－static，与作为评价基准的single－static所对应的评价基准、以及NS的发生频度对应。
NS的发生频度，相当于多个显著区域间的眼跳的发生次数。也就是说，NS的发生频度，相当于使注视位置从某一个显著区域向另一个显著区域移动的眼跳的发生次数。
multi－static／dynamic，与作为评价基准的single－static所对应的评价基准、single－dynamic所对应的评价基准、NS的发生频度、以及PA及FA的比率对应。
multi－dynamic，与作为评价基准的single－dynamic所对应的评价基准、以及NS的发生频度对应。
而且，用户反应分析部103，根据与显著模式对应的这样的评价基准，计算评价值(矢量)E。该评价值E是，相当于显著区域与视线方向之间的相关性的、定量示出相关性高的程度的值。
在FA中，对于用户哪些程度积极扫描对象的指标，对1)在对象的内部多少发生了的眼跳、2)发生了哪些程度的大小的眼跳进行评价。
也就是说，在显著模式为，静态模式(single－static、multi－static、或multi－static／dynamic)的情况下，用户反应分析部103，计算相关性，以使得显著区域内的眼跳的发生次数越多相关性就越高。
据此，用户反应分析部103，在显著模式是静态模式的情况下，能够根据显著区域内的眼跳的发生次数，计算相关性。显著区域内的眼跳是，用于从显著区域获得信息的视线运动。因此，用户反应分析部103，计算显著区域与视线方向之间的相关性，以使得该显著区域内的眼跳的发生次数越多相关性就越高，从而能够更高精度地估计兴趣度。
进而，在显著模式为静态模式的情况下，用户反应分析部103，计算显著区域与视线方向之间的相关性，以使得显著区域内的由眼跳的视线方向的变化量(眼跳的行程长度)越大相关性就越高。在此情况下，优选的是，用户反应分析部103，利用显著区域的大小(例如面积等)，将视线方向的变化量归一化。
据此，为了从显著区域内的宽区域获得信息而进行视线运动时计算的相关性变高。因此，兴趣度估计装置100，能够更高精度地估计兴趣度。
在PA中，对于用户能够与对象哪些程度同步并跟随的指标，对3)对象流与视线运动之间的速度差进行评价。也就是说，在显著模式为动态模式(single－dynamic、multi－dynamic、或multi－static／dynamic)的情况下，用户反应分析部103，计算相关性，以使得显著区域的画面上的移动速度与根据视线方向而确定的画面上的注视位置的移动速度之间的速度差越小相关性就越高。在此情况下，优选的是，用户反应分析部103，利用显著区域的移动速度，将速度差归一化。
据此，为了跟随显著区域的变动从显著区域获得信息而进行视线运动时计算的相关性变高。因此，兴趣度估计装置100，能够更高精度地估计兴趣度。
针对多个流存在的显著模式，NS的发生频度加到评价基准中。也就是说，在显著模式为复数模式(multi－static、multi－dynamic、或multi－static／dynamic)的情况下，用户反应分析部103，计算相关性，以使注视位置从某一个显著区域向其他的一个显著区域移动的眼跳的发生次数越多相关性就越高。在此情况下，优选的是，用户反应分析部103，利用显著区域的数量，将眼跳的发生次数归一化。
据此，为了从更多的显著区域获得信息而进行视线运动时计算的相关性变高。因此，兴趣度估计装置100，能够更高精度地估计兴趣度。
针对各个显著模式的评价值E的、高兴趣度时(H)的分布和低兴趣度时(L)的分布是，预先学习的。利用该学习结果，用户反应分析部103，能够计算新获得了的评价值E*之后成为高兴趣度时以及低兴趣度时的概率，以作为事后概率P(H|E*)以及P(L|E*)。用户反应分析部103，对如此计算出的事后概率P(H|E*)以及P(L|E*)进行比较，从而估计针对影像的兴趣度。
如上所述，根据本实施例涉及的兴趣度估计装置，从影像获得与容易引起用户的视觉注意的显著区域、以及作为其时间变化模式的显著性变动有关的信息，根据显著性变动与注视反应的相关性，估计针对影像的兴趣度，据此，在画面上显示影像时，能够更高精度地估计针对该影像的兴趣度。
也就是说，根据本实施例涉及的兴趣度估计装置，能够根据影像内的显著区域与用户的视线方向之间的相关性，估计用户对影像的兴趣度。也就是说，由于能够考虑影像的特性来估计兴趣度，因此，与单纯地根据视线方向来估计兴趣度时相比，能够高精度地估计兴趣度。特别是，由于能够利用针对影像的兴趣度高时显著区域与视线方向之间的相关性高这样的情况，因此，能够更高精度地估计兴趣度。
并且，根据本实施例涉及的兴趣度估计装置，不测量用户的皮肤电位等，也能够估计用户对影像的兴趣度。因此，能够容易估计兴趣度，并且，也能够抑制用户的负担增大。
并且，根据本实施例涉及的兴趣度估计装置，能够根据适于显著模式的评价基准，计算显著区域与视线方向之间的相关性。因此，能够更高精度地估计兴趣度。
而且，在所述实施例中，将针对影像的“兴趣 ”定义为，对影像“加以注意 ”的意思，但是，能够将在本发明中的“兴趣” 置换为“集中” 这术语。也就是说，本发明，也可以说是估计用户对影像的集中度的发明。
并且，在所述实施例中，兴趣度估计装置100，估计兴趣度，但是，能够将“估计 ”这术语置换为“计算” 。也就是说，也可以将估计兴趣度的兴趣度估计装置置换为，计算兴趣度的兴趣度计算装置。
而且，由所述兴趣度估计装置100估计的兴趣度是，例如，为了适当地显示要提示给用户的信息而利用的。例如，在兴趣度低的情况下，显示装置，将要提示给用户的信息显示在画面的中央部。据此，显示装置能够抑制用户看漏被显示的信息。另一方面，在兴趣度高的情况下，显示装置，将要提示给用户的信息显示在画面的端部，或不显示。据此，显示装置能够抑制给用户带来不舒服。
并且，也可以根据由所述兴趣度估计装置100估计的兴趣度对显示装置的亮度进行调整。例如，也可以将显示装置的亮度显示，以使兴趣度低时的亮度，比兴趣度高时的亮度低。在此情况下，能够减少显示装置的耗电量，能够贡献于节能化。
以上，根据实施例以及其变形例说明了本发明的实施方案之一涉及的兴趣度估计装置，但是，本发明不仅限于此实施例以及其变形例。只要不脱离本发明的宗旨，对本实施例或其变形例施行本领域的技术人员想到的各种变形的形态、或组合不同的实施例或其变形例中的构成要素而构成的形态，也包含在本发明的范围内。
例如，在所述实施例中，用户反应分析部103，利用显著模式计算显著区域与视线方向之间的相关性，但是，并不一定需要利用显著模式。例如，用户反应分析部103也可以，与显著模式无关，而根据显著区域内的眼跳的发生次数，计算显著区域与视线方向之间的相关性。即使在此情况下，兴趣度估计装置100，也能够考虑影像的特性来估计兴趣度，因此，与单纯地根据视线方向来估计兴趣度时相比，能够高精度地估计兴趣度。
并且，在所述实施例中，多个显著模式，根据显著区域的数量以及变动的双方而被分类，但是，也可以仅根据显著区域的数量以及变动的一方而被分类。也就是说，多个显著模式，根据显著区域的数量以及变动之中的至少一方而被分类即可。
进而，对于本发明，也可以如下进行变形。
(1)所述的兴趣度估计装置是，具体而言，由微处理器、ROM(ReadOnlyMemory)、RAM(RandamAccessMemory)、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。所述ROM或所述硬盘单元，存储有计算机程序。所述微处理器根据由所述RAM展开的所述计算机程序进行工作，据此，兴趣度估计装置实现其功能。在此，计算机程序是，为了实现规定的功能，示出对计算机的指令的命令码组合多个而构成的。而且，兴趣度估计装置，不仅限于包含微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等全部的计算机系统，也可以是由它们的一部分构成的计算机系统。
(2)构成所述的兴趣度估计装置的构成要素的一部分或全部也可以，由一个系统LSI(LargeScaleIntegration：大规模集成电路)构成。系统LSI是，在一个芯片上集成多个构成部而制造的超多功能LSI，具体而言，是包含微处理器、ROM、RAM等而构成的计算机系统。所述ROM存储有计算机程序。所述微处理器根据由所述RAM展开的所述计算机程序进行工作，据此，系统LSI实现其功能。
而且，在此，被称为系统LSI，但是，根据集成度不同，会有被称为IC、LSI、超LSI、特大LSI的情况。并且，对于集成电路化的方法，不仅限于LSI，也可以以专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(FieldProgrammableGateArray∶现场可编程门阵列)、以及可重构LSI内部的电路单元的连接以及设定的可重构处理器。
进而，当然，若因半导体技术的进步或导出的其它的技术而出现代替LSI的集成电路化的技术，则可以利用其技术对功能框进行集成化。存在生物技术的应用等的可能性。
(3)构成所述的兴趣度估计装置的构成要素的一部分或全部也可以，由与兴趣度估计装置可装卸的IC卡或单体的模块构成。所述IC卡或所述模块是，由微处理器、ROM、RAM等构成的计算机系统。所述IC卡或所述模块也可以，包含所述的超多功能LSI。微处理器根据计算机程序进行工作，据此，所述IC卡或所述模块实现其功能。该IC卡或该模块也可以，具有防篡改性。
(4)本发明，也可以是将所示的兴趣度估计装置具备的特征结构部的工作作为步骤的方法。并且，可以是由计算机实现这样的方法的计算机程序，也可以是由所述计算机程序而成的数字信号。
并且，本发明也可以，将所述计算机程序或所述数字信号记录到计算机可读取的非暂时的记录介质，例如，软盘、硬盘、CD－ROM、MO、DVD、DVD－ROM、DVD－RAM、BD(Blu－rayDisc(注册商标))、半导体存储器等。并且，也可以是这样的记录介质所记录的所述计算机程序或所述数字信号。
并且，本发明也可以，将所述计算机程序或所述数字信号，经由电通信线路、无线或有线通信线路、以互联网为代表的网络、数据广播等传输。
并且，本发明也可以是，具备微处理器和存储器的计算机系统，所述存储器存储有所述计算机程序，所述微处理器根据所述计算机程序进行工作。
并且，也可以是，将所述程序或所述数字信号记录到所述记录介质来转送，或者，将所述程序或所述数字信号经由所述网络等转送，从而由独立的其他的计算机系统实施。
(5)也可以将所述实施例以及所述变形例分别组合。
本发明，有用于估计用户对被显示的影像的兴趣度的兴趣度估计装置，例如，能够适用于用户接口装置或者影像显示装置。
符号说明
100兴趣度估计装置
101视线检测部
102显著性信息获得部
103用户反应分析部

Claims (18)

1.一种兴趣度估计装置，估计用户对被显示在画面上的影像的兴趣度，该兴趣度估计装置具备：
视线检测部，检测所述用户的视线方向；
显著性信息获得部，获得与显著区域有关的显著性信息，该显著区域是所述影像中的诱目性显著的区域；以及
用户反应分析部，计算根据获得的所述显著性信息而确定的显著区域与检测出的所述视线方向的相关性，估计所述用户对所述影像的兴趣度，以使得计算出的所述相关性越高兴趣度就越高，
在根据显著区域的数量以及变动之中至少一方而分类的多个显著模式的每一个显著模式中，预先对应有用于评价相关性高的程度的至少一个评价基准，
所述用户反应分析部，按照与根据所述显著性信息而确定的显著模式对应的评价基准来计算所述相关性。
2.如权利要求1所述的兴趣度估计装置，
所述多个显著模式包含，示出显著区域的位置不变化的状态的静态模式，
在所述静态模式中，对应有作为所述至少一个评价基准的、显著区域内的眼跳的发生次数，
所述用户反应分析部，在根据所述显著性信息而确定的显著模式为静态模式的情况下，计算所述相关性，以使得根据检测出的所述视线方向而确定的、所述显著区域内的眼跳的发生次数越多所述相关性就越高。
3.如权利要求1所述的兴趣度估计装置，
所述显著性信息获得部，根据赋予给示出所述影像的信号的标签来获得所述显著性信息。
4.如权利要求1所述的兴趣度估计装置，
所述显著性信息获得部，通过根据图像的物理特征来解析所述影像，从而获得所述显著性信息。
5.如权利要求1所述的兴趣度估计装置，
所述显著区域是与附随于所述影像的声音信息有关的对象的区域。
6.如权利要求5所述的兴趣度估计装置，
所述对象是说话者的脸或嘴。
7.如权利要求5所述的兴趣度估计装置，
所述显著区域是显示与所述声音信息对应的文本的区域。
8.如权利要求1所述的兴趣度估计装置，
所述显著区域是移动的对象的区域。
9.如权利要求8所述的兴趣度估计装置，
所述对象是人。
10.如权利要求8所述的兴趣度估计装置，
所述对象是动物。
11.如权利要求1所述的兴趣度估计装置，
所述相关性是时间上的同步度。
12.如权利要求1所述的兴趣度估计装置，
所述相关性是空间上的类似度。
13.如权利要求1所述的兴趣度估计装置，
所述用户反应分析部，计算所述显著区域的出现定时、与针对所述显著区域的视线的眼跳的发生定时之间的时间差，以作为表示所述相关性低的程度的值，
所述用户反应分析部，估计所述兴趣度，以使得所述时间差越小兴趣度就越高。
14.如权利要求1所述的兴趣度估计装置，
所述用户反应分析部，
计算所述显著区域在所述画面上移动的速度成为规定的速度以上的定时、与针对所述显著区域的视线的眼跳的发生定时之间的时间差，以作为表示所述相关性低的程度的值，
估计所述兴趣度，以使得所述时间差越小兴趣度就越高。
15.如权利要求1所述的兴趣度估计装置，
所述用户反应分析部，计算所述显著区域的所述画面上的移动速度、与根据所述视线方向而确定的所述画面上的注视位置的移动速度之间的速度差，以作为表示所述相关性低的程度的值，
所述用户反应分析部，估计所述兴趣度，以使得所述速度差越小兴趣度就越高。
16.如权利要求1所述的兴趣度估计装置，
所述用户反应分析部，根据所述影像内的显著区域的数量、各个显著区域的面积、以及视线的眼跳的发生次数，计算所述相关性。
17.如权利要求1至16的任一项所述的兴趣度估计装置，
所述兴趣度估计装置被构成为集成电路。
18.一种兴趣度估计方法，估计用户对被显示在画面上的影像的兴趣度，该兴趣度估计方法包括：
视线检测步骤，检测所述用户的视线方向；
显著性信息获得步骤，获得与显著区域有关的显著性信息，该显著区域是所述影像中的诱目性显著的区域；
相关性计算步骤，计算根据获得的所述显著性信息而确定的显著区域与检测出的所述视线方向的相关性；以及
兴趣度估计步骤，估计所述用户对所述影像的兴趣度，以使得计算出的所述相关性越高兴趣度就越高，
在根据显著区域的数量以及变动之中至少一方而分类的多个显著模式的每一个显著模式中，预先对应有用于评价相关性高的程度的至少一个评价基准，
在所述相关性计算步骤中，按照与根据所述显著性信息而确定的显著模式对应的评价基准来计算所述相关性。
CN201280001532.6A 2011-02-04 2012-01-26 兴趣度估计装置以及兴趣度估计方法 Active CN102934458B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011023271 2011-02-04
JP2011-023271 2011-02-04
PCT/JP2012/000508 WO2012105196A1 (ja) 2011-02-04 2012-01-26 関心度推定装置および関心度推定方法

Publications (2)

Publication Number Publication Date
CN102934458A CN102934458A (zh) 2013-02-13
CN102934458B true CN102934458B (zh) 2016-06-29

Family

ID=46602422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280001532.6A Active CN102934458B (zh) 2011-02-04 2012-01-26 兴趣度估计装置以及兴趣度估计方法

Country Status (4)

Country Link
US (1) US9538219B2 (zh)
JP (1) JP5841538B2 (zh)
CN (1) CN102934458B (zh)
WO (1) WO2012105196A1 (zh)

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
US11232458B2 (en) 2010-02-17 2022-01-25 JBF Interlude 2009 LTD System and method for data mining within interactive multimedia
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
JP5841538B2 (ja) * 2011-02-04 2016-01-13 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 関心度推定装置および関心度推定方法
JP6044234B2 (ja) * 2012-09-28 2016-12-14 沖電気工業株式会社 画像処理装置及び画像処理方法
US11558672B1 (en) * 2012-11-19 2023-01-17 Cox Communications, Inc. System for providing new content related to content currently being accessed
KR101354248B1 (ko) * 2012-12-14 2014-01-23 현대자동차주식회사 광고제품 정보 제공 시스템 및 방법
WO2014138352A1 (en) * 2013-03-06 2014-09-12 Zito Arthur J Jr Multi-media presentation system
US9881058B1 (en) 2013-03-14 2018-01-30 Google Inc. Methods, systems, and media for displaying information related to displayed content upon detection of user attention
CA3187490A1 (en) * 2013-03-15 2014-09-18 Interaxon Inc. Wearable computing apparatus and method
JP6548203B2 (ja) * 2013-03-18 2019-07-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、パノラマ動画表示方法
EP3025525B1 (en) 2013-07-25 2018-12-12 Convida Wireless, LLC End-to-end m2m service layer sessions
CN103455580A (zh) * 2013-08-26 2013-12-18 华为技术有限公司 一种推荐信息的方法和装置
US20160210276A1 (en) * 2013-10-24 2016-07-21 Sony Corporation Information processing device, information processing method, and program
US9958939B2 (en) * 2013-10-31 2018-05-01 Sync-Think, Inc. System and method for dynamic content delivery based on gaze analytics
US10165176B2 (en) * 2013-10-31 2018-12-25 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems
US9653115B2 (en) 2014-04-10 2017-05-16 JBF Interlude 2009 LTD Systems and methods for creating linear video from branched video
US9736503B1 (en) * 2014-09-12 2017-08-15 Google Inc. Optimizing timing of display of a mid-roll video advertisement based on viewer retention data
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US11412276B2 (en) 2014-10-10 2022-08-09 JBF Interlude 2009 LTD Systems and methods for parallel track transitions
WO2016118848A1 (en) * 2015-01-22 2016-07-28 Clearstream. Tv, Inc. Video advertising system
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN104834896A (zh) * 2015-04-03 2015-08-12 惠州Tcl移动通信有限公司 一种信息采集方法及其终端
US9916861B2 (en) 2015-06-17 2018-03-13 International Business Machines Corporation Editing media on a mobile device before transmission
JP6583996B2 (ja) * 2015-07-17 2019-10-02 日本放送協会 映像評価装置、及びプログラム
US10460765B2 (en) 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US11336928B1 (en) * 2015-09-24 2022-05-17 Amazon Technologies, Inc. Predictive caching of identical starting sequences in content
CN112333524B (zh) * 2015-12-16 2024-02-02 六科股份有限公司 动态视频覆盖
US11164548B2 (en) 2015-12-22 2021-11-02 JBF Interlude 2009 LTD Intelligent buffering of large-scale video
WO2017119604A1 (ko) * 2016-01-08 2017-07-13 주식회사 아이플래테아 시청률 산출 서버, 시청률 산출 방법, 및 시청률 산출 리모트 장치
JP6560137B2 (ja) * 2016-02-08 2019-08-14 Kddi株式会社 集中度の推定装置
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
WO2017196670A1 (en) 2016-05-13 2017-11-16 Vid Scale, Inc. Bit depth remapping based on viewing parameters
CN106101376B (zh) * 2016-05-26 2021-01-05 努比亚技术有限公司 一种消息推送装置、方法及移动终端
US11138741B2 (en) 2016-05-27 2021-10-05 Rochester Institute Of Technology System and method for eye tracking
KR20170141453A (ko) 2016-06-15 2017-12-26 에스케이플래닛 주식회사 스크롤 패턴을 이용한 관심 정보 분석 방법 및 이를 이용한 장치
US11503314B2 (en) 2016-07-08 2022-11-15 Interdigital Madison Patent Holdings, Sas Systems and methods for region-of-interest tone remapping
CN106203372A (zh) * 2016-07-19 2016-12-07 奇酷互联网络科技（深圳）有限公司 基于眼睛的活体检测方法、装置和终端设备
WO2018017936A1 (en) * 2016-07-22 2018-01-25 Vid Scale, Inc. Systems and methods for integrating and delivering objects of interest in video
US20180310066A1 (en) * 2016-08-09 2018-10-25 Paronym Inc. Moving image reproduction device, moving image reproduction method, moving image distribution system, storage medium with moving image reproduction program stored therein
WO2018035133A1 (en) 2016-08-17 2018-02-22 Vid Scale, Inc. Secondary content insertion in 360-degree video
WO2018079166A1 (ja) * 2016-10-26 2018-05-03 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
CN115632686A (zh) 2016-11-03 2023-01-20 康维达无线有限责任公司 Nr中的帧结构
CN108124167A (zh) * 2016-11-30 2018-06-05 阿里巴巴集团控股有限公司 一种播放处理方法、装置和设备
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
US10070154B2 (en) * 2017-02-07 2018-09-04 Fyusion, Inc. Client-server communication for live filtering in a camera view
US11765406B2 (en) 2017-02-17 2023-09-19 Interdigital Madison Patent Holdings, Sas Systems and methods for selective object-of-interest zooming in streaming video
EP3593536A1 (en) 2017-03-07 2020-01-15 PCMS Holdings, Inc. Tailored video streaming for multi-device presentations
US9832372B1 (en) * 2017-03-18 2017-11-28 Jerry L. Conway, Sr. Dynamic vediotelphony systems and methods of using the same
JP2019017800A (ja) 2017-07-19 2019-02-07 富士通株式会社 コンピュータプログラム、情報処理装置及び情報処理方法
WO2019016890A1 (ja) * 2017-07-19 2019-01-24 三菱電機株式会社 行動可視化装置および行動可視化方法
CN109276228B (zh) * 2017-07-21 2020-12-25 成都集思鸣智科技有限公司 一种检测大脑功能的系统及其装置
US10496162B2 (en) * 2017-07-26 2019-12-03 Microsoft Technology Licensing, Llc Controlling a computer using eyegaze and dwell
JP6420876B1 (ja) * 2017-07-26 2018-11-07 楽天株式会社 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
CN107285148A (zh) * 2017-08-07 2017-10-24 浙江新再灵科技股份有限公司 基于电梯场景的兴趣区域判断系统及方法
TWI642030B (zh) * 2017-08-09 2018-11-21 宏碁股份有限公司 視覺效用分析方法及相關眼球追蹤裝置與系統
US10904615B2 (en) * 2017-09-07 2021-01-26 International Business Machines Corporation Accessing and analyzing data to select an optimal line-of-sight and determine how media content is distributed and displayed
CN107613289B (zh) * 2017-10-19 2019-02-05 何翔 一种基于眨眼检测的视频内容分析方法及装置
CN111316313A (zh) * 2017-11-06 2020-06-19 松下知识产权经营株式会社 整理辅助系统、整理辅助方法以及程序
DE102018127756A1 (de) * 2017-11-15 2019-05-16 Omron Corporation Fahrerüberwachungsvorrichtung, verfahren und programm
JP6463826B1 (ja) * 2017-11-27 2019-02-06 株式会社ドワンゴ 動画配信サーバ、動画配信方法及び動画配信プログラム
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
US20190253751A1 (en) * 2018-02-13 2019-08-15 Perfect Corp. Systems and Methods for Providing Product Information During a Live Broadcast
US10382829B1 (en) * 2018-03-23 2019-08-13 Rovi Guides, Inc. Systems and methods for prompting a user to view an important event in a media asset when the user is using another application
US10440440B1 (en) 2018-03-23 2019-10-08 Rovi Guides, Inc. Systems and methods for prompting a user to view an important event in a media asset presented on a first device when the user is viewing another media asset presented on a second device
CN108563778B (zh) * 2018-04-24 2022-11-04 北京市商汤科技开发有限公司 一种关注信息的处理方法及装置、存储介质、电子设备
US10965985B2 (en) 2018-05-21 2021-03-30 Hisense Visual Technology Co., Ltd. Display apparatus with intelligent user interface
US11507619B2 (en) 2018-05-21 2022-11-22 Hisense Visual Technology Co., Ltd. Display apparatus with intelligent user interface
US11601721B2 (en) * 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
CN108737872A (zh) * 2018-06-08 2018-11-02 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
WO2020068251A1 (en) 2018-09-27 2020-04-02 Convida Wireless, Llc Sub-band operations in unlicensed spectrums of new radio
US11416964B2 (en) * 2018-10-26 2022-08-16 Samsung Electronics Co., Ltd. Method and device for adjusting resolution of HMD apparatus
JP7263734B2 (ja) 2018-10-29 2023-04-25 株式会社アイシン 視認対象判定装置
CN111259702B (zh) * 2018-12-03 2023-05-26 株式会社理光 一种用户兴趣的估计方法及装置
US20200288204A1 (en) * 2019-03-05 2020-09-10 Adobe Inc. Generating and providing personalized digital content in real time based on live user context
CN117590582A (zh) * 2019-04-11 2024-02-23 三星电子株式会社 头戴式显示设备及其操作方法
CN110248241B (zh) * 2019-06-11 2021-06-04 Oppo广东移动通信有限公司 视频处理方法及相关装置
US11490047B2 (en) 2019-10-02 2022-11-01 JBF Interlude 2009 LTD Systems and methods for dynamically adjusting video aspect ratios
JP6721169B1 (ja) * 2019-11-14 2020-07-08 株式会社スワローインキュベート 画像処理方法、画像処理装置、及び画像処理プログラム
US10997625B1 (en) * 2019-12-11 2021-05-04 Cloudinary Ltd. System, device, and method for determining predicted annoyance level of multimedia content
JP7316664B2 (ja) * 2020-02-03 2023-07-28 マルコムホールディングス株式会社 対話ユーザの感情情報の提供装置
US11245961B2 (en) 2020-02-18 2022-02-08 JBF Interlude 2009 LTD System and methods for detecting anomalous activities for interactive videos
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
US12002128B2 (en) 2021-07-19 2024-06-04 Advanced Micro Devices, Inc. Content feedback based on region of view
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites
US20230156300A1 (en) * 2021-11-15 2023-05-18 Comcast Cable Communications, Llc Methods and systems for modifying content
CN114298921B (zh) * 2021-12-10 2024-06-21 苏州创捷传媒展览股份有限公司 一种基于客观内容驱动的评估观众视觉注意效果的方法
JP7481398B2 (ja) 2022-07-04 2024-05-10 ソフトバンク株式会社 判定装置、プログラム、及び判定方法
US11949967B1 (en) * 2022-09-28 2024-04-02 International Business Machines Corporation Automatic connotation for audio and visual content using IOT sensors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7120880B1 (en) * 1999-02-25 2006-10-10 International Business Machines Corporation Method and system for real-time determination of a subject's interest level to media content
CN101946274A (zh) * 2008-12-16 2011-01-12 松下电器产业株式会社 信息显示装置以及信息显示方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4789235A (en) * 1986-04-04 1988-12-06 Applied Science Group, Inc. Method and system for generating a description of the distribution of looking time as people watch television commercials
FR2683648B1 (fr) * 1991-11-12 1996-12-13 Apple Computer Procede de choix d'objets dans une sequence d'images mobiles et piste d'essai de reussite correspondante.
US5886683A (en) * 1996-06-25 1999-03-23 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven information retrieval
JP4040302B2 (ja) * 2000-02-01 2008-01-30 スイスコム モービル アーゲー 画像オブジェクトを配信するシステムおよび方法
US6873314B1 (en) * 2000-08-29 2005-03-29 International Business Machines Corporation Method and system for the recognition of reading skimming and scanning from eye-gaze patterns
GB2378340A (en) * 2001-07-31 2003-02-05 Hewlett Packard Co Generation of an image bounded by a frame or of overlapping images
US7274741B2 (en) * 2002-11-01 2007-09-25 Microsoft Corporation Systems and methods for generating a comprehensive user attention model
US7233684B2 (en) * 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
JP2006020131A (ja) 2004-07-02 2006-01-19 Nippon Telegr & Teleph Corp <Ntt> 関心度測定装置および関心度測定方法
KR100763900B1 (ko) * 2004-08-28 2007-10-05 삼성전자주식회사 사용자 시선정보에 기반한 텔레비전 프로그램 녹화/재생방법 및 그 장치
US7690011B2 (en) * 2005-05-02 2010-03-30 Technology, Patents & Licensing, Inc. Video stream modification to defeat detection
US7595809B2 (en) * 2005-05-11 2009-09-29 Hewlett-Packard Development Company, L.P. Method and system for determining an occlusion cost for concurrently presenting one or more images in a shared viewing region
US7773813B2 (en) * 2005-10-31 2010-08-10 Microsoft Corporation Capture-intention detection for video content analysis
WO2007056373A2 (en) * 2005-11-04 2007-05-18 Eyetracking, Inc. Characterizing dynamic regions of digital media data
US20070157260A1 (en) * 2005-12-29 2007-07-05 United Video Properties, Inc. Interactive media guidance system having multiple devices
US8446509B2 (en) * 2006-08-09 2013-05-21 Tenebraex Corporation Methods of creating a virtual window
US8295683B2 (en) * 2007-04-23 2012-10-23 Hewlett-Packard Development Company, L.P. Temporal occlusion costing applied to video editing
US20090003712A1 (en) * 2007-06-28 2009-01-01 Microsoft Corporation Video Collage Presentation
JP5089470B2 (ja) 2008-04-09 2012-12-05 本田技研工業株式会社 関心度推定装置および方法
US8079054B1 (en) * 2008-04-14 2011-12-13 Adobe Systems Incorporated Location for secondary content based on data differential
CA2651464C (en) * 2008-04-30 2017-10-24 Crim (Centre De Recherche Informatique De Montreal) Method and apparatus for caption production
JP5413002B2 (ja) * 2008-09-08 2014-02-12 ソニー株式会社 撮像装置および方法、並びにプログラム
JP5224149B2 (ja) * 2008-09-08 2013-07-03 ソニー株式会社 画像処理装置および方法、撮像装置、並びにプログラム
KR101644421B1 (ko) * 2008-12-23 2016-08-03 삼성전자주식회사 사용자의 관심 정도에 기반한 컨텐츠 제공장치 및 방법
JP4775671B2 (ja) * 2008-12-26 2011-09-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8808195B2 (en) * 2009-01-15 2014-08-19 Po-He Tseng Eye-tracking method and system for screening human diseases
US8464288B2 (en) * 2009-01-21 2013-06-11 The Nielsen Company (Us), Llc Methods and apparatus for providing personalized media in video
US8539359B2 (en) * 2009-02-11 2013-09-17 Jeffrey A. Rapaport Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic
US8175376B2 (en) * 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
US8332255B2 (en) * 2009-11-09 2012-12-11 Palo Alto Research Center Incorporated Sensor-integrated mirror for determining consumer shopping behavior
WO2011074198A1 (ja) * 2009-12-14 2011-06-23 パナソニック株式会社 ユーザインタフェース装置および入力方法
US8487959B1 (en) * 2010-08-06 2013-07-16 Google Inc. Generating simulated eye movement traces for visual displays
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
JP5841538B2 (ja) * 2011-02-04 2016-01-13 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 関心度推定装置および関心度推定方法
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US9442565B2 (en) * 2011-08-24 2016-09-13 The United States Of America, As Represented By The Secretary Of The Navy System and method for determining distracting features in a visual display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7120880B1 (en) * 1999-02-25 2006-10-10 International Business Machines Corporation Method and system for real-time determination of a subject's interest level to media content
CN101946274A (zh) * 2008-12-16 2011-01-12 松下电器产业株式会社 信息显示装置以及信息显示方法

Also Published As

Publication number Publication date
US9538219B2 (en) 2017-01-03
CN102934458A (zh) 2013-02-13
JPWO2012105196A1 (ja) 2014-07-03
US20130091515A1 (en) 2013-04-11
JP5841538B2 (ja) 2016-01-13
WO2012105196A1 (ja) 2012-08-09

Similar Documents

Publication Publication Date Title
CN102934458B (zh) 兴趣度估计装置以及兴趣度估计方法
JP7492951B2 (ja) ユーザ相互作用の高速且つ正確な追跡を使用する人間／コンピュータインターフェース
Coutrot et al. Face exploration dynamics differentiate men and women
CN102301316B (zh) 用户界面装置以及输入方法
US7809160B2 (en) Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
US20190235624A1 (en) Systems and methods for predictive visual rendering
JP7070605B2 (ja) 注目範囲推定装置、その方法およびプログラム
JP2022078168A (ja) バイオメトリック情報を交換するように構成された頭部搭載型ディスプレイシステム
CN104254281A (zh) 测量注意力的方法
EP4076136A1 (en) Ocular system for deception detection
WO2016001796A1 (en) Eye condition determination system
AU2014234955B2 (en) Automatic detection of task transition
Zhu et al. Eyeqoe: A novel qoe assessment model for 360-degree videos using ocular behaviors
CN112183160A (zh) 视线估计方法及装置
KR101955293B1 (ko) 시각 피로도 분석 장치 및 그 방법
KR101929124B1 (ko) 소비자의 관심영역을 이용한 주의집중 분석 장치 및 분석 방법
Hammoud et al. Introduction to eye monitoring
Madhusanka et al. Concentrated gaze base interaction for decision making using human-machine interface
Skowronek et al. Eye Tracking Using a Smartphone Camera and Deep Learning
Guo et al. Using face and object detection to quantify looks during social interactions
EP4213105A1 (en) Gaze estimation system and method thereof
VLADIĆ et al. USING EYE TRACKING TECHNOLOGY IN PRODUCT DESIGN EVALUATION
Selimis Eye-tracking technology in vehicles: application and design
Afanaseva et al. On high-precision chessboard detection on static scene videos from mobile eye-tracking devices
Ullmann Extracting Information about Currently Watched Videos from the Pupil Diameter/submitted by Hans Peter Ullmann

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141009

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141009

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Seaman Avenue Torrance in the United States of California No. 20000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM:

C14 Grant of patent or utility model
GR01 Patent grant