CN109388232A - 视觉效用分析方法及相关眼球追踪装置与系统 - Google Patents
视觉效用分析方法及相关眼球追踪装置与系统 Download PDFInfo
- Publication number
- CN109388232A CN109388232A CN201710944727.9A CN201710944727A CN109388232A CN 109388232 A CN109388232 A CN 109388232A CN 201710944727 A CN201710944727 A CN 201710944727A CN 109388232 A CN109388232 A CN 109388232A
- Authority
- CN
- China
- Prior art keywords
- segment
- eyeball
- judge
- effectiveness
- displaying target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000005252 bulbus oculi Anatomy 0.000 title claims abstract description 102
- 238000004458 analytical method Methods 0.000 title claims abstract description 28
- 230000000007 visual effect Effects 0.000 title abstract description 4
- 238000000034 method Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 18
- 230000002123 temporal effect Effects 0.000 claims description 14
- 230000035807 sensation Effects 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种视觉效用分析方法，用于一眼球追踪系统，包含有将多个片段的每一者分割为至少一显示区域，其中该多个片段的每一者对应至少一显示目标，且该至少一显示目标分别对应该至少一显示区域中的一者；判断该眼球追踪系统的一眼球侦测装置产生的多个眼球侦测结果分别对应的注视区域；以及比较该至少一显示目标于该多个片段中对应的该显示区域与该多个眼球侦测结果分别对应的该注视区域，以判断该至少一显示目标于该多个片段的该多个视觉效用。
Description
技术领域
本发明涉及一种视觉效用分析方法及相关眼球追踪装置与系统，尤其涉及一种可直接由观影者的反应来评价显示目标的视觉效用分析方法及相关眼球追踪装置与系统。
背景技术
眼球追踪(Eye tacking)技术可用来侦测观影者眼球运动(例如，注视时间、注视点的顺序、瞳孔大小等)，以追踪观影者的注视目标。在实际应用中，眼球追踪装置可应用在视觉效用的检测，用来记录观影者观看网页、广告或影片时的注视资料，据以审查网页、广告或影片中最常被观众注视的显示目标，进而审查视觉效用(例如，显示目标的吸睛度、受欢迎程度)。
举例来说，电影片商可根据演员在电影中的注视程度来判断受欢迎程度，以决定演员片酬；或是根据观影者的观赏习惯来做摄影构图分析。广告赞助商可根据广告产品在电影中的注视程度来判断置入性营销的效果，以决定赞助金额；或是根据观影者的观赏习惯来决定广告产品在电影画面中的位置。此外，视觉效用分析可用来筛选影片中的关键片段(或剧情桥段)，以作为影片剪辑的衡量依据，例如剪辑者可保留电影毛片中的关键片段(或剧情桥段)并删减非关键片段，以确保影片整体吸睛度。
因此，如何提供一种视觉效用分析方法及相关眼球追踪系统，用来分析显示目标(例如，演员、广告产品)在影片中的视觉效用，实乃本领域的新兴课题。
发明内容
因此，本发明的主要目的即在于提供一种视觉效用分析方法及相关眼球追踪装置与系统，用来分析显示目标在影片中的视觉效用。
本发明公开一种视觉效用分析方法，用于一眼球追踪系统，其中该系统包含一屏幕以及一眼球侦测装置，该方法包含有将多个片段的每一者分割为至少一显示区域，其中该多个片段的每一者对应至少一注视目标，且该至少一注视目标分别对应该至少一显示区域中的一者；根据该眼球追踪系统的一眼球侦测装置产生的多个眼球侦测结果，判断该多个眼球侦测结果分别对应的注视区域；以及比较该至少一注视目标于该多个片段中对应的该显示区域与该多个眼球侦测结果分别对应的该注视区域，以判断该至少一注视目标于该多个片段的多个视觉效用。
本发明还公开一种眼球追踪系统，用来进行视觉效用分析，包含有一屏幕、一眼球侦测装置以及一处理装置。该屏幕用来播放多个片段，其中该多个片段的每一者对应至少一显示目标，且该至少一显示目标分别对应该屏幕的至少一显示区域中的一者。该眼球侦测装置用来在该屏幕播放该多个片段时，对应产生多个眼球侦测结果。该处理装置耦接于该屏幕及该眼球侦测装置，用来根据该多个片段以及该多个眼球侦测结果，进行一视觉效用分析流程，以判断多个视觉效用。该流程包含将多个片段的每一者分割为至少一显示区域，其中该多个片段的每一者对应至少一注视目标，且该至少一注视目标分别对应该至少一显示区域中的一者；根据该眼球追踪系统的一眼球侦测装置产生的多个眼球侦测结果，判断该多个眼球侦测结果分别对应的注视区域；以及比较该至少一注视目标于该多个片段中对应的该显示区域与该多个眼球侦测结果分别对应的该注视区域，以判断该至少一注视目标于该多个片段的多个视觉效用。
本发明还公开一种电子装置，用于一眼球追踪系统，用来进行视觉效用分析，其中该眼球追踪系统包含一屏幕以及一眼球追踪装置，该电子装置包含有一处理器；以及一内存，耦接于该处理器，用来储存一程序代码，其中该程序代码指示该处理器根据该屏幕播放的多个片段以及该眼球追踪装置产生的多个眼球侦测结果，进行一视觉效用分析流程，以判断多个视觉效用。该流程包含将多个片段的每一者分割为至少一显示区域，其中该多个片段的每一者对应至少一注视目标，且该至少一注视目标分别对应该至少一显示区域中的一者；根据该眼球追踪系统的一眼球侦测装置产生的多个眼球侦测结果，判断该多个眼球侦测结果分别对应的注视区域；以及比较该至少一注视目标于该多个片段中对应的该显示区域与该多个眼球侦测结果分别对应的该注视区域，以判断该至少一注视目标于该多个片段的多个视觉效用。
本发明的眼球追踪系统可比较注视目标的显示区域与观影者的注视区域是否相同，直接由观影者的反应来评价显示目标(演员、广告产品、剧情桥段)在影片中的视觉效用，以作为片商及广告商衡量显示目标的受欢迎程度及贡献程度的参考依据。
附图说明
图1为本发明实施例一眼球追踪系统的示意图。
图2为本发明实施例图1的眼球追踪系统的操作情境图。
图3为本发明实施例图1的眼球追踪系统的操作情境图。
图4为本发明实施例一视觉效用分析流程的流程图。
其中，附图标记说明如下：
1 眼球追踪系统
10 屏幕
12 眼球侦测装置
14 处理装置
F1～FN 片段
E1～EN 眼球侦测结果
U1～UN 视觉效用
TX 显示目标
WX 注视坐标
A1、A2、A3、A4 显示区域
40 流程
400、401、402、403、404 步骤
具体实施方式
图1为本发明实施例一眼球追踪系统1的示意图。眼球追踪系统1包含一屏幕10、一眼球侦测装置12以及一处理装置14。眼球追踪系统1可用于电影院、视听室等场所，用来搜集观影者在影片中各个片段的注视数据，并结合显示目标(例如，演员、广告产品等)在各个片段的位置，分析显示目标在影片中的注视程度及视觉效用。
如图1所示，以电影院为例，眼球侦测装置12可设置于观影者的座位与屏幕10之间，用来追踪该位观影者的眼球运动(例如，眼球的注视时间、移动位置及瞳孔大小等)。屏幕10可以是一显示设备(例如电视，投影机与投影屏幕等)，用来显示一影片，影片包含多个片段F1～FN，其中多个片段F1～FN的每一者含有至少一显示目标TX。
眼球侦测装置12用来在屏幕10播放多个片段F1～FN时，分别产生多个眼球侦测结果E1～EN，其中多个眼球侦测结果E1～EN分别对应多个注视坐标W1～WN。
处理装置14耦接于屏幕10及眼球侦测装置12，用来根据多个片段F1～FN及数个眼球侦测结果E1～EN，判断至少一显示目标TX在片段F1～FN中的多个视觉效用U1～UN。详细来说，以片段FX及其对应的眼球侦测结果EX为例，处理装置14可根据片段FX的显示目标TX在屏幕10的显示坐标，判断显示目标TX对应的显示区域，并根据眼球侦测结果FX对应的注视坐标WX，判断注视坐标WX对应的注视区域。处理装置14可比较显示目标TX对应的显示区域与注视坐标WX对应的注视区域，判断显示目标TX的视觉效用UX。例如，当显示目标TX对应的显示区域与注视坐标WX对应的注视区域相同时，则显示目标TX的视觉效用UX为有效；反之，当显示目标TX对应的显示区域与注视坐标WX对应的注视区域不同时，则显示目标TX的视觉效用UX为无效。藉由统计视觉效用U1～UN的有效率及无效率，可得知显示目标TX在片段F1～FN中的总注视率。
因此，眼球追踪系统1可根据观影者的实际反应来分析显示目标的视觉效用，以作为电影片商衡量演员的受欢迎程度及贡献程度的参考依据。
于一实施例中，由于人类双眼可注视一视觉范围，因此多个眼球侦测结果E1～EN可分别对应多个注视坐标范围。于一实施例中，处理装置14可以是独立的电子装置，也可与屏幕10或眼球侦测装置12整合为一电子装置。
图2及图3为本发明实施例眼球追踪系统1进行视觉效用分析的情境图。于本实施例中，在正式播放影片前，处理装置14可通过执行深度学习算法(例如，通过建立类神经网络模型，执行深度学习人脸辨识)，对影片进行分析，例如判断影片中含有显示目标的片段F1～FN，并辨识显示目标的相关信息，例如辨识片段中分别有几个演员、演员姓名以及演员出现在屏幕10的坐标及区域等信息。
于一实施例中，处理装置14可将片段F1～FN的画面(例如，屏幕10的显示范围)分别分割为至少一显示区域，其中片段F1～FN的每一者分别对应至少一显示目标，且至少一显示目标分别对应至少一显示区域中的一者。
一般而言，视觉构图常将显示目标安置于整个画面的三分之一分割线附近(又称，三分法或井字构图法)，因此显示目标常出现在三分之一割线的四个交点处。据此，于本实施例中，可将屏幕10的显示范围分割为四个显示区域A1、A2、A3及A4。
如图2所示，在播放影片前，处理装置14可判断演员出现在屏幕10的左上角显示区域A1。当屏幕10播放片段FX时，眼球侦测装置12可实时产生眼球侦测结果EX至处理装置14，让处理装置14据以判断注视坐标WX对应的注视区域为屏幕10的右上角显示区域A2。于本实施例中，处理装置14判断显示目标TX对应的显示区域A1与判断注视坐标WX对应的注视区域A2不同，因此判断显示目标TX的视觉效用UX为无效(即，观影者观看片段FX时没有注视该演员)。值得注意的是，将屏幕10的显示范围分割为至少一显示区域的做法，可避免眼球侦测结果的注视坐标与显示目标的显示坐标间的映像(Mapping)误差所导致的视觉效用误判。
如图3所示，当影片播放完毕，处理装置14可根据视觉效用U1～UN，判断显示目标的总注视率及非独角注视率(non-solo watched rate)中的至少一者。总注视率等于总注视时间与总出现时间的比值，而非独角注视率等于非独角注视时间与非独角出现时间的比值，其中总出现时间包含独角及非独角出现时间。
详细来说，处理装置14可根据视觉效用U1～UN中的有效视觉效用，统计演员被注视的总注视时间(即，单人片段加上多人片段的总注视时间)，藉由计算总注视时间与总出现时间(即，所有片段F1～FN的总播放时间)的比值，可得知该演员的总注视率。详细来说，当片段F1～FN的片段FX含有一显示目标时，则片段FX为一独角片段，独角出现时间等于片段F1～FN中所有独角片段FX的时间总和，且独角注视时间等于片段F1～FN中所有对应有效视觉效用的独角片段的时间总和。
此外，处理装置14可根据视觉效用U1～UN中的有效注视结果，统计该演员与另一演员同时演出时，该演员被注视的所有片段的非独角出现时间(即，多人片段的总播放时间)，藉由计算非独角注视时间与非独角出现时间的比值，可得知该演员的非独角注视率。详细来说，当片段F1～FN的一片段FX含有多个显示目标时，则片段FX为一非独角片段，非独角出现时间等于片段F1～FN中所有非独角片段的时间总和，且非独角注视时间等于片段F1～FN中所有对应有效视觉效用的非独角片段的时间总和。
举例来说，如下表格1为一视觉效用分析范例，比较演员A与B的视觉效用分析结果可知，演员A与演员B的总注视率相等，但演员A的非独角注视率大于演员B的非独角注视率，故当演员A与B同时出现在画面中，较多观影者会注视演员A，因此演员A视觉效用(吸睛度)较高。此外，演员C的总注视率及非独角注视率皆最低，因此演员C的视觉效用最低。
因此，眼球追踪系统1可根据观影者的实际反应来分析显示目标的视觉效用，以作为电影片商衡量演员的受欢迎程度及贡献程度的参考依据。
上述关于眼球追踪系统1的操作方式可归纳为一流程40，如图4所示，流程40可储存到一记忆装置，用来指示处理装置14执行视觉效用分析程序。流程40包含以下步骤。
步骤400：开始。
步骤401：将多个片段的画面分别分割为至少一显示区域，其中该多个片段的每一者对应至少一显示目标，且该至少一显示目标分别对应该至少一显示区域中的一者。
步骤402：判断该多个眼球侦测结果分别对应的注视区域。
步骤403：比较该至少一显示目标对应的该显示区域与该多个注视坐标分别对应的注视区域，以判断该至少一显示目标于该多个片段的视觉效用。
步骤404：结束。
关于流程40的详细操作方式可参考第1～3图的相关说明，于此不赘述。
综上所述，本发明的眼球追踪系统可比较注视目标的显示区域与观影者的注视区域是否相同，直接由观影者的反应来评价显示目标(演员、广告产品、剧情桥段)在影片中的视觉效用，以作为片商及广告商衡量显示目标的受欢迎程度及贡献程度的参考依据。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (21)
1.一种视觉效用分析方法，用于一眼球追踪系统，其中该系统包含一屏幕以及一眼球侦测装置，该方法包含有：
将多个片段的每一者分割为至少一显示区域，其中该多个片段的每一者对应至少一注视目标，且该至少一注视目标分别对应该至少一显示区域中的一者；
根据该眼球追踪系统的一眼球侦测装置产生的多个眼球侦测结果，判断该多个眼球侦测结果分别对应的注视区域；以及
比较该至少一注视目标于该多个片段中对应的该显示区域与该多个眼球侦测结果分别对应的该注视区域，以判断该至少一注视目标于该多个片段的多个视觉效用。
2.如权利要求1所述的方法，其特征在于，该方法还包含：
根据该多个片段的该至少一显示目标对应该屏幕的多个显示坐标，判断该至少一显示目标对应的该显示区域。
3.如权利要求1所述的方法，其特征在于，比较该至少一显示目标于该多个片段对应的该显示区域与该多个注视坐标分别对应的该注视区域，以判断该至少一显示目标于该多个片段的多个视觉效用的步骤包含：
当该至少一显示目标于该多个片段的一者对应的该显示区域与该多个注视坐标的一者对应的该注视区域相同时，判断该至少一显示目标的该多个视觉效用的一者为有效视觉效用；以及
当该至少一显示目标于该多个片段的一者对应的该显示区域与该多个注视坐标的一者对应的该注视区域不同时，判断该至少一显示目标的该多个视觉效用的一者为无效视觉效用。
4.如权利要求1所述的方法，其特征在于，该方法还包含：
根据该多个视觉效用，判断该至少一显示目标的一总注视率及一非独角注视率中的至少一者，其中该总注视率等于一总注视时间与一总出现时间的比值，而该非独角注视率等于一非独角注视时间与一非独角出现时间的比值，其中该总出现时间包含该至少一显示目标的一独角出现时间及一非独角出现时间。
5.如权利要求4所述的方法，其特征在于，当该多个片段的一片段含有一显示目标时，该片段为一独角片段，该独角出现时间等于该多个片段中所有该独角片段的时间总和，且该独角注视时间等于该多个片段中所有对应有效视觉效用的该独角片段的时间总和。
6.如权利要求4所述的方法，其特征在于，当该多个片段的一片段含有多个显示目标时，该片段为一非独角片段，该非独角出现时间等于该多个片段中所有该非独角片段的时间总和，且该非独角注视时间等于该多个片段中所有对应有效视觉效用的该非独角片段的时间总和。
7.如权利要求1所述的方法，其特征在于，该方法还包含：
对一影片进行深度学习算法，以判断该影片中含有该至少一显示目标的该多个片段。
8.一种眼球追踪系统，用来进行视觉效用分析，包含有：
一屏幕，用来播放多个片段，其中该多个片段的每一者对应至少一显示目标，且该至少一显示目标分别对应该屏幕的至少一显示区域中的一者；
一眼球侦测装置，用来在该屏幕播放该多个片段时，对应产生多个眼球侦测结果；以及
一处理装置，耦接于该屏幕及该眼球侦测装置，用来根据该多个片段以及该多个眼球侦测结果，进行一视觉效用分析流程，以判断多个视觉效用，其中该流程包含：
将多个片段的每一者分割为至少一显示区域，其中该多个片段的每一者对应至少一注视目标，且该至少一注视目标分别对应该至少一显示区域中的一者；
根据该眼球追踪系统的一眼球侦测装置产生的多个眼球侦测结果，判断该多个眼球侦测结果分别对应的注视区域；以及
比较该至少一注视目标于该多个片段中对应的该显示区域与该多个眼球侦测结果分别对应的该注视区域，以判断该至少一注视目标于该多个片段的多个视觉效用。
9.如权利要求8所述的系统，其特征在于，该流程还包含：
根据该多个片段的该至少一显示目标对应该屏幕的多个显示坐标，判断该至少一显示目标对应的该显示区域。
10.如权利要求8所述的系统，其特征在于，比较该至少一显示目标于该多个片段对应的该显示区域与该多个注视坐标分别对应的该注视区域，以判断该至少一显示目标于该多个片段的多个视觉效用的步骤包含：
当该至少一显示目标于该多个片段的一者对应的该显示区域与该多个注视坐标的一者对应的该注视区域相同时，判断该至少一显示目标的该多个视觉效用的一者为有效视觉效用；以及
当该至少一显示目标于该多个片段的一者对应的该显示区域与该多个注视坐标的一者对应的该注视区域不同时，判断该至少一显示目标的该多个视觉效用的一者为无效视觉效用。
11.如权利要求8所述的系统，其特征在于，该流程还包含：
根据该多个视觉效用，判断该至少一显示目标的一总注视率及一非独角注视率中的至少一者，其中该总注视率等于一总注视时间与一总出现时间的比值，而该非独角注视率等于一非独角注视时间与一非独角出现时间的比值，其中该总出现时间包含该至少一显示目标的一独角出现时间及一非独角出现时间。
12.如权利要求11所述的系统，其特征在于，当该多个片段的一片段含有一显示目标时，该片段为一独角片段，该独角出现时间等于该多个片段中所有该独角片段的时间总和，且该独角注视时间等于该多个片段中所有对应有效视觉效用的该独角片段的时间总和。
13.如权利要求11所述的系统，其特征在于，当该多个片段的一片段含有多个显示目标时，该片段为一非独角片段，该非独角出现时间等于该多个片段中所有该非独角片段的时间总和，且该非独角注视时间等于该多个片段中所有对应有效视觉效用的该非独角片段的时间总和。
14.如权利要求8所述的系统，其特征在于，该处理装置还用来对一影片进行深度学习算法，以判断该影片中含有该至少一显示目标的该多个片段。
15.如权利要求8所述的系统，其特征在于，该处理装置整合于该屏幕或该眼球侦测装置。
16.一种电子装置，用于一眼球追踪系统，用来进行视觉效用分析，其中该眼球追踪系统包含一屏幕以及一眼球追踪装置，该电子装置包含有：
一处理器；以及
一内存，耦接于该处理器，用来储存一程序代码，其中该程序代码指示该处理器根据该屏幕播放的多个片段以及该眼球追踪装置产生的多个眼球侦测结果，进行一视觉效用分析流程，以判断多个视觉效用，其中该流程包含：
将多个片段的每一者分割为至少一显示区域，其中该多个片段的每一者对应至少一注视目标，且该至少一注视目标分别对应该至少一显示区域中的一者；
根据该眼球追踪系统的一眼球侦测装置产生的多个眼球侦测结果，
判断该多个眼球侦测结果分别对应的注视区域；以及
比较该至少一注视目标于该多个片段中对应的该显示区域与该多个眼球侦测结果分别对应的该注视区域，以判断该至少一注视目标于该多个片段的多个视觉效用。
17.如权利要求16所述的电子装置，其特征在于，该流程还包含：
根据该多个片段的该至少一显示目标对应该屏幕的多个显示坐标，判断该至少一显示目标对应的该显示区域。
18.如权利要求16所述的电子装置，其特征在于，比较该至少一显示目标于该多个片段对应的该显示区域与该多个注视坐标分别对应的该注视区域，以判断该至少一显示目标于该多个片段的多个视觉效用的步骤包含：
当该至少一显示目标于该多个片段的一者对应的该显示区域与该多个注视坐标的一者对应的该注视区域相同时，判断该至少一显示目标的该多个视觉效用的一者为有效视觉效用；以及
当该至少一显示目标于该多个片段的一者对应的该显示区域与该多个注视坐标的一者对应的该注视区域不同时，判断该至少一显示目标的该多个视觉效用的一者为无效视觉效用。
19.如权利要求16所述的电子装置，其特征在于，该流程还包含：
根据该多个视觉效用，判断该至少一显示目标的一总注视率及一非独角注视率中的至少一者，其中该总注视率等于一总注视时间与一总出现时间的比值，而该非独角注视率等于一非独角注视时间与一非独角出现时间的比值，其中该总出现时间包含该至少一显示目标的一独角出现时间及一非独角出现时间。
20.如权利要求19所述的电子装置，其特征在于，当该多个片段的一片段含有一显示目标时，该片段为一独角片段，该独角出现时间等于该多个片
段中所有该独角片段的时间总和，且该独角注视时间等于该多个片段中所有对应有效视觉效用的该独角片段的时间总和。
21.如权利要求19所述的电子装置，其特征在于，当该多个片段的一片段含有多个显示目标时，该片段为一非独角片段，该非独角出现时间等于该多个片段中所有该非独角片段的时间总和，且该非独角注视时间等于该多个片段中所有对应有效视觉效用的该非独角片段的时间总和。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW106126864 | 2017-08-09 | ||
| TW106126864A TWI642030B (zh) | 2017-08-09 | 2017-08-09 | 視覺效用分析方法及相關眼球追蹤裝置與系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109388232A true CN109388232A (zh) | 2019-02-26 |
| CN109388232B CN109388232B (zh) | 2021-11-30 |
Family
ID=62217723
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710944727.9A Active CN109388232B (zh) | 2017-08-09 | 2017-10-12 | 视觉效用分析方法及相关眼球追踪装置与系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10506284B2 (zh) |
| EP (1) | EP3441850A1 (zh) |
| CN (1) | CN109388232B (zh) |
| TW (1) | TWI642030B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110248241A (zh) * | 2019-06-11 | 2019-09-17 | Oppo广东移动通信有限公司 | 视频处理方法及相关装置 |
| CN112130320A (zh) * | 2019-06-24 | 2020-12-25 | 宏碁股份有限公司 | 头戴型显示装置及其调整方法 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11076202B2 (en) * | 2018-04-05 | 2021-07-27 | International Business Machines Corporation | Customizing digital content based on consumer context data |
| CN110337032A (zh) * | 2019-06-11 | 2019-10-15 | 福建天泉教育科技有限公司 | 基于关注度的视频播放方法、存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120146891A1 (en) * | 2010-12-08 | 2012-06-14 | Sony Computer Entertainment Inc. | Adaptive displays using gaze tracking |
| US20130091515A1 (en) * | 2011-02-04 | 2013-04-11 | Kotaro Sakata | Degree of interest estimating device and degree of interest estimating method |
| CN103645806A (zh) * | 2013-12-24 | 2014-03-19 | 惠州Tcl移动通信有限公司 | 一种基于眼球追踪的商品浏览方法及系统 |
| US20140168056A1 (en) * | 2012-12-19 | 2014-06-19 | Qualcomm Incorporated | Enabling augmented reality using eye gaze tracking |
| US20150130705A1 (en) * | 2013-11-12 | 2015-05-14 | Samsung Electronics Co., Ltd. | Method for determining location of content and an electronic device |
| US20150227735A1 (en) * | 2014-02-13 | 2015-08-13 | Robert Chappell | System and method for eye tracking authentication |
| US20150338915A1 (en) * | 2014-05-09 | 2015-11-26 | Eyefluence, Inc. | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| CN105426399A (zh) * | 2015-10-29 | 2016-03-23 | 天津大学 | 一种基于眼动的提取图像兴趣区域的交互式图像检索方法 |
| CN106132284A (zh) * | 2013-11-09 | 2016-11-16 | 深圳市汇顶科技股份有限公司 | 光学眼动追踪 |
| US20170214951A1 (en) * | 2016-01-26 | 2017-07-27 | Adobe Systems Incorporated | Determining Textual Content that is Responsible for Causing a Viewing Spike Within a Video in a Digital Medium Environment |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7577916B2 (en) * | 2001-02-21 | 2009-08-18 | Fuji Xerox Co., Ltd. | Method and apparatus for management and representation of dynamic context |
| US6712468B1 (en) * | 2001-12-12 | 2004-03-30 | Gregory T. Edwards | Techniques for facilitating use of eye tracking data |
| EP2334226A4 (en) * | 2008-10-14 | 2012-01-18 | Univ Ohio | COGNITION AND LINGUISTIC TESTING BY EYE TRIAL |
| JP5602155B2 (ja) * | 2009-12-14 | 2014-10-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | ユーザインタフェース装置および入力方法 |
| US8371693B2 (en) * | 2010-03-30 | 2013-02-12 | National University Corporation Shizuoka University | Autism diagnosis support apparatus |
| US9158432B2 (en) | 2010-06-03 | 2015-10-13 | Nec Corporation | Region recommendation device, region recommendation method and recording medium |
| US20120317594A1 (en) * | 2011-04-21 | 2012-12-13 | Sony Mobile Communications Ab | Method and system for providing an improved audio experience for viewers of video |
| USH2282H1 (en) * | 2011-11-23 | 2013-09-03 | The United States Of America, As Represented By The Secretary Of The Navy | Automatic eye tracking control |
| US20130205311A1 (en) * | 2012-02-07 | 2013-08-08 | Arun Ramaswamy | Methods and apparatus to control a state of data collection devices |
| US20140007148A1 (en) * | 2012-06-28 | 2014-01-02 | Joshua J. Ratliff | System and method for adaptive data processing |
| US20150245103A1 (en) * | 2014-02-24 | 2015-08-27 | HotdotTV, Inc. | Systems and methods for identifying, interacting with, and purchasing items of interest in a video |
| US9530450B2 (en) * | 2014-03-18 | 2016-12-27 | Vixs Systems, Inc. | Video system with fovea tracking and methods for use therewith |
| US10380657B2 (en) * | 2015-03-04 | 2019-08-13 | International Business Machines Corporation | Rapid cognitive mobile application review |
| TWI547906B (zh) * | 2015-04-08 | 2016-09-01 | 神雲科技股份有限公司 | 自動販賣機 |
| TWM518370U (zh) * | 2015-09-09 | 2016-03-01 | Heran Co Ltd | 互動式行動裝置導購系統 |
| US9898665B2 (en) * | 2015-10-29 | 2018-02-20 | International Business Machines Corporation | Computerized video file analysis tool and method |
| CN106920129B (zh) * | 2017-03-09 | 2020-05-05 | 山东师范大学 | 一种基于眼动追踪的网络广告效果测评系统及其方法 |
| US10691392B2 (en) * | 2017-04-17 | 2020-06-23 | Intel Corporation | Regional adjustment of render rate |
-
2017
- 2017-08-09 TW TW106126864A patent/TWI642030B/zh active
- 2017-10-12 CN CN201710944727.9A patent/CN109388232B/zh active Active
-
2018
- 2018-03-25 US US15/935,048 patent/US10506284B2/en active Active
- 2018-05-03 EP EP18170492.5A patent/EP3441850A1/en not_active Ceased
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120146891A1 (en) * | 2010-12-08 | 2012-06-14 | Sony Computer Entertainment Inc. | Adaptive displays using gaze tracking |
| US20130091515A1 (en) * | 2011-02-04 | 2013-04-11 | Kotaro Sakata | Degree of interest estimating device and degree of interest estimating method |
| US20140168056A1 (en) * | 2012-12-19 | 2014-06-19 | Qualcomm Incorporated | Enabling augmented reality using eye gaze tracking |
| CN106132284A (zh) * | 2013-11-09 | 2016-11-16 | 深圳市汇顶科技股份有限公司 | 光学眼动追踪 |
| US20150130705A1 (en) * | 2013-11-12 | 2015-05-14 | Samsung Electronics Co., Ltd. | Method for determining location of content and an electronic device |
| CN103645806A (zh) * | 2013-12-24 | 2014-03-19 | 惠州Tcl移动通信有限公司 | 一种基于眼球追踪的商品浏览方法及系统 |
| US20150227735A1 (en) * | 2014-02-13 | 2015-08-13 | Robert Chappell | System and method for eye tracking authentication |
| US20150338915A1 (en) * | 2014-05-09 | 2015-11-26 | Eyefluence, Inc. | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| CN105426399A (zh) * | 2015-10-29 | 2016-03-23 | 天津大学 | 一种基于眼动的提取图像兴趣区域的交互式图像检索方法 |
| US20170214951A1 (en) * | 2016-01-26 | 2017-07-27 | Adobe Systems Incorporated | Determining Textual Content that is Responsible for Causing a Viewing Spike Within a Video in a Digital Medium Environment |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110248241A (zh) * | 2019-06-11 | 2019-09-17 | Oppo广东移动通信有限公司 | 视频处理方法及相关装置 |
| CN110248241B (zh) * | 2019-06-11 | 2021-06-04 | Oppo广东移动通信有限公司 | 视频处理方法及相关装置 |
| CN112130320A (zh) * | 2019-06-24 | 2020-12-25 | 宏碁股份有限公司 | 头戴型显示装置及其调整方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3441850A1 (en) | 2019-02-13 |
| TWI642030B (zh) | 2018-11-21 |
| US10506284B2 (en) | 2019-12-10 |
| TW201911234A (zh) | 2019-03-16 |
| US20190052933A1 (en) | 2019-02-14 |
| CN109388232B (zh) | 2021-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| MacQuarrie et al. | Cinematic virtual reality: Evaluating the effect of display type on the viewing experience for panoramic video | |
| CN109388232A (zh) | 视觉效用分析方法及相关眼球追踪装置与系统 | |
| ES2556601T3 (es) | Sistemas y métodos para la producción autónoma de vídeos a partir de múltiples datos detectados | |
| KR102025334B1 (ko) | 검출된 물리적 표시를 통한 사용자 관심 결정 | |
| JP4794453B2 (ja) | インタラクティブ・ビデオ・ディスプレイ・システムを管理する方法及びシステム | |
| US8667519B2 (en) | Automatic passive and anonymous feedback system | |
| US20160232561A1 (en) | Visual object efficacy measuring device | |
| JP2008305379A (ja) | 広告を選択する方法及び消費者が広告ディスプレイを見ている時間量を求めるシステム | |
| US20110158603A1 (en) | Flick intel annotation methods and systems | |
| JP2008112401A (ja) | 広告効果測定装置 | |
| JP6651536B2 (ja) | 視認者情感判定装置及び視認者の情感を判定するプログラム | |
| CN107851324A (zh) | 信息处理系统、信息处理方法和记录介质 | |
| US20200311392A1 (en) | Determination of audience attention | |
| US20150010206A1 (en) | Gaze position estimation system, control method for gaze position estimation system, gaze position estimation device, control method for gaze position estimation device, program, and information storage medium | |
| JP2014164620A (ja) | 広告効果計測装置、広告効果計測方法及びプログラム | |
| Akahori et al. | Region-of-interest-based subtitle placement using eye-tracking data of multiple viewers | |
| JP2010204823A (ja) | 視線認識装置 | |
| US20200380554A1 (en) | Advertising information processing system, advertising display region evaluation method, and advertising information processing program | |
| JP7479735B2 (ja) | 情報出力装置、設計支援システム、情報出力方法及び情報出力プログラム | |
| Bala et al. | Dynamic field of view restriction in 360 video: Aligning optical flow and visual slam to mitigate vims | |
| CN108810626B (zh) | 影院监控方法、介质和计算设备 | |
| JP2008046802A (ja) | インタラクション情報出力装置、インタラクション情報出力方法、及びプログラム | |
| Cho et al. | RealityReplay: Detecting and Replaying Temporal Changes In Situ Using Mixed Reality | |
| Egorova et al. | Methodology of Researching Perception Identity of Regions of Users' Interests While Viewing Streaming Video Containing Various Content and Compression Artefacts | |
| Orduna et al. | EVENT-CLASS: Dataset of events in the classroom |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |