CN110166839A - 一种验证视频是否被观看的方法与系统 - Google Patents
一种验证视频是否被观看的方法与系统 Download PDFInfo
- Publication number
- CN110166839A CN110166839A CN201910518767.6A CN201910518767A CN110166839A CN 110166839 A CN110166839 A CN 110166839A CN 201910518767 A CN201910518767 A CN 201910518767A CN 110166839 A CN110166839 A CN 110166839A
- Authority
- CN
- China
- Prior art keywords
- video
- eye movement
- user
- time
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于眼动轨迹的视频被观看验证方法与系统。获取用户眼动数据;将视频播放时间与眼动数据进行对齐;根据眼动轨迹进行聚类;获得聚类人数小于预设比重的类,选为目标用户;本发明能够对视频是否被查看的状态进行分析,识别是否有用户没有完成公司或学校布置的视频观看任务,识别精确度高、效率高。
Description
技术领域
本发明涉及计算机应用技术与数据处理领域,尤其涉及一种验证视频是否被观看的方法与系统。
背景技术
随着视频技术的流行,目前很多情况下都需要验证当前的视频有没有被用户认真观看过,例如,公司向员工步骤视频培训任务,老师向学习步骤视频观看的学习任务,或者产品经理需要了解用户查看视频的行为,或来改进产品,甚至在广告监测中,广告媒体的认知测量,广告媒体的记忆测量,视向心理测量和意见测量等等都需要在播放视频之后,了解到用户是否有认真看完了一段视频。
在这里只举其中一个例子,例如因为时空或者忙碌程度不一样等原因,公司里或者老师偶尔需要通过布置视频作业,让员工或者学生带回家观看。但是却有人会因为偷懒或者其他原因。在打开视频网站后,并不会认真的观看视频,碍于必须完成公司或老师任务,往往通过跳看或者是把视频放到电脑后台运行,电脑直接用于看自己感兴趣的其他电影或网页,但是并不关闭视频。或者把视频窗口拖放到屏幕一边,另一边用于玩自己的游戏等。这样往往让公司或老师要传达的重要信息或培训课程无法被真正接受。最终导致培训或学习任务看似完成,实际并没有完成,对公司利益是一种损害。
发明内容
本发明提供了一种验证视频是否被观看的方法与系统,用于验证视频是否被用户认真观看。
本发明提供了一种验证视频是否被观看的方法,主要包括以下步骤:
获取用户眼动数据;所述眼动数据是指记录了用户在观看视频过程中,眼睛在视频上的视觉焦点的数据。视频播放过程中的每一帧或者每一秒,用户对它进行观看的视觉焦点也同时在发生变化;
根据视频播放的时间变化与用户视觉焦点变化,构建矩阵;主要包括,将视频播放时间与所述眼动数据互相对应起来,获取单位视频时间内的用户视觉焦点的变动矩阵。
根据所述单位视频时间内的用户视觉焦点的变动矩阵,进行聚类;
获得聚类人数小于预设比重的类,获取至少一个类别,包含于所述类别中的用户,即为没有认真观看视频的用户。
进一步可选地,如上所述的方法中,其中,所述获取用户眼动数据主要包括:
采用眼动仪获取用户观看视频的眼动数据;
或,通过采用带有摄像头的电脑设备,通过WebGazer.js软件将该摄像头转变成眼动仪,获取用户观看视频的眼动数据。
进一步可选地,如上所述的方法中,所述获取单位视频时间内的用户视觉焦点的变动矩阵,主要包括:
对视频进行时间切割,构建基于视频内时间的眼动位置矩阵;
所述眼动位置矩阵,记录眼睛在不同时间点的移动坐标。
或/和,
对视频进行时间切割,构建基于视频内时间的眼动方向矩阵;
所述眼动方向矩阵,记录眼睛在不同时间点的移动方向。
进一步可选地,如上所述的方法中,所述构建基于视频内时间的眼动方向矩阵,主要包括:
将眼动方向分为,上、下、左、右、左上、左下、右上、右下,不动等九种方向;记录眼睛在不同时间点的移动方向。
进一步可选地,如上所述的方法中,所述获取单位视频时间内的用户视觉焦点的变动矩阵之后,还包括:
对用户的眼动噪音进行去除;去除因为用户被打扰而导致的眼动缺失的数据。
进一步可选地,如上所述的方法中,所述根据单位视频时间内的用户视觉焦点的变动矩阵,进行聚类,主要包括:
根据眼动位置矩阵,进行聚类;
或/和
根据眼动方向矩阵,进行聚类;
进一步可选地,如上所述的方法中,所述获得聚类人数小于预设比重的类,主要包括:
获得聚类结果,获取每个聚类类别的人数,
若某类的聚类人数小于预设的占比阈值,则判定为特殊类,即确定没有认真观看视频的用户。
一种验证视频是否被观看的系统,所述系统包括:
获取模块,用于低成本的获取眼动数据;
视频时间与眼动位置对齐模块,用于获取视频内各个时间点的用户的眼动位置;
眼动噪声去除模块,用于对眼动位置噪声和方向噪声进行去除;
聚类模块,用于根据用户对眼动数据进行聚类,获得聚类后各个类别的聚类人数;
目标用户确认模块,用于获得目标用户,确认这部分人没有认真观看完视频。
本发明实施例提供的技术方案可以包括以下有益效果:
本发明通过分析第一被检查者的眼睛转动规律,结合其他被检查者的眼动相似度情况,来判断该被检查的用户是否有在认真观看视频,达到监管的目的。
本发明能够对视频被查看的状态进行分析,识别是否有用户没有认真观看视频,该方法识别精确度高、效率高。
附图说明
图1为本发明的基于眼动轨迹的视频被观看验证方法实施例的流程图;
图2为本发明的一种验证视频是否被观看的系统实施例的结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
图1为本发明的一种验证视频是否被观看的方法的流程图。如图1所示,本实施例一种验证视频是否被观看的方法,具体可以包括如下步骤:
步骤100,通过眼动仪设备,监视用户在观看视频时的眼动情况。目前很多设备都可以用于制作为眼动仪,包括很普通的摄像头,例如笔记本电脑摄像头及电脑摄像头等。通过软件可以将普通的电脑设备变成眼动仪,例如WebGazer.js软件就可以通过摄像头监控用户的眼动情况。专业的眼动仪需要相应设备,不一定适用与监控用户的眼动情况,但是如果网页上,有眼动监测软件,则更加容易协助对视频是否被查看进行分析。有了眼动设备后,对用户的眼动情况进行记录。
步骤101,根据视频时间,跟踪所有用户的视频观看眼动情况。对眼动规律进行基于时间的方位记录。记录用户的眼动情况,同时计算视频播放时间,使眼动情况与视频的播放时间对齐。通过这个步骤,系统能够对视频在任意时间的用户眼动数据进行统计分析。
步骤102,对视频进行时间切割,构建基于时间的眼动位置矩阵。
对视频时间进行切割,例如每隔一秒钟分一段,然后将眼动位置作为数据构建矩阵,如下表所示:
如表所示,列代表各个用户,表头是随着时间推进的时间轴。表格内部的数值,代表用户的眼动数据变化。其中数值第一项,如300,代表眼睛注视屏幕的横坐标300像素附近,第二项,400,代表眼睛注视屏幕纵坐标,400像素附近。可见,用户3和用户4的眼动轨迹随着时间推进,表现出相似的眼动轨迹。
步骤103,有些用户看视频,眼睛离频幕比较近,有些人比较远。有些人瞳距长,有些人短。因此眼动仪会有一定的技术偏差度,当前的技术还无法做到百分百准确。因此优选的可以将眼动方向因素作为另一个分析的特征。将眼动方向分为,上、下、左、右、左上、左下、右上、右下,不动。等九种分类。因为不同的用户,眼睛动作幅度不一定是一致的,但是相同的视频内容,眼睛移动的方向却会是一致的。因此记录眼睛在不同时间点的移动方向,作为看视频的另一个特征,可以更加准确的获得眼动规律。这样的特征例如,用户1,第2秒至第3秒,眼睛左下移,第3至4秒,眼睛不动。第4至5秒,眼睛右移。用户2,第2秒至第3秒,眼睛左下移,第3至4秒,眼睛上移。第4至5秒,眼睛右移。 以此类推,可以记录大量的用户眼睛移动记录。这些记录的使用方法在下面的步骤中会用到。
步骤104,对用户的某些眼动噪音进行去除,例如当视频有一两个小时,在这个时间内,用户可能因为被杂事稍微打断,如接电话、上厕所等,导致眼动数据获取不到,那么将用户的这段视频时间去除。避免因为噪音数据导致因为缺失的数据,使用户的眼动数据或视频时间有较多差异。
步骤105,根据眼动方位矩阵,进行聚类。聚类方法可以采用scikit-learn工具,因为最开始并不知道这些用户会形成多少类别,所以采用birch聚类方法,避免kmeans算法这种需要设置k值的算法。
获得聚类结果后,通过聚类可以获得眼动规律跟其他人不一样的少数用户的眼动规律。Birch聚类,能设置一定的相似度阈值,聚合出在一定时间段内,相似性较高的群体。同时也识别出,眼动过程不一样的个体或小群体。
相同的道理,对于眼动方向数据也进行聚类,获得眼动方向上具有特殊眼动规律的用户,作为又一个眼动区分特征。
步骤106,对聚类数较少的眼动规律不一样的用户,进行确认。
根据眼动位置矩阵聚类结果为个体或小于一定人数阈值的小群体,确认为没有认真观看视频的用户。同时,根据眼动方向矩阵聚类结果为个体或小于一定人数阈值的小群体,确认为没有认真观看视频的用户。因为大部分的用户的眼动规律都是跟着视频的,如果有些人眼动并没有跟其他人一样,说明他们正在做其他事情,导致了眼睛转动的方向不同。因此可以断定这部分人是没有认真看完视频的。可以跟这部分人进行再次确认,或者重新完成任务。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,上述实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (8)
1.一种验证视频是否被观看的方法与系统,其特征在于,所述方法包括:
获取用户眼动数据;所述眼动数据是指记录了用户在观看视频过程中,眼睛在视频上的视觉焦点的数据,视频播放过程中的每一帧或者每一秒,用户对它进行观看的视觉焦点也同时在发生变化;
根据视频播放的时间变化与用户视觉焦点变化,构建矩阵;主要包括,将视频播放时间与所述眼动数据互相对应起来,获取单位视频时间内的用户视觉焦点的变动矩阵;
根据所述单位视频时间内的用户视觉焦点的变动矩阵,进行聚类;
获得聚类人数小于预设比重的类,获取至少一个类别,包含于所述类别中的用户,即为没有认真观看视频的用户。
2.根据权利要求1所述的方法,其中,所述获取用户眼动数据主要包括:
采用眼动仪获取用户观看视频的眼动数据;
或,采用带有摄像头的电脑设备,通过WebGazer.js软件将该摄像头转变成眼动仪,获取用户观看视频的眼动数据。
3.根据权利要求1所述的方法,其中,所述获取单位视频时间内的用户视觉焦点的变动矩阵,主要包括:
对视频进行时间切割,构建基于视频内时间的眼动位置矩阵;
所述眼动位置矩阵,记录眼睛在不同时间点的移动坐标;
或/和,
对视频进行时间切割,构建基于视频内时间的眼动方向矩阵;
所述眼动方向矩阵,记录眼睛在不同时间点的移动方向。
4.根据权利要求3所述的方法,其中,所述构建基于视频内时间的眼动方向矩阵,主要包括:
将眼动方向分为,上、下、左、右、左上、左下、右上、右下,不动等九种方向;记录眼睛在不同时间点的移动方向。
5.根据权利要求1所述的方法,其中,所述获取单位视频时间内的用户视觉焦点的变动矩阵之后,还包括:
对用户的眼动噪音进行去除;去除因为用户被打扰而导致的眼动缺失的数据。
6.根据权利要求1所述的方法,其中,所述根据单位视频时间内的用户视觉焦点的变动矩阵,进行聚类,主要包括:
根据眼动位置矩阵,进行聚类;
或/和
根据眼动方向矩阵,进行聚类。
7.根据权利要求1所述的方法,其中,所述获得聚类人数小于预设比重的类,主要包括:
获得聚类结果,获取每个聚类类别的人数,
若某类的聚类人数小于预设的占比阈值,则判定为特殊类,即确定没有认真观看视频的用户。
8.一种验证视频是否被观看的系统,其特征在于,所述系统包括:
获取模块,用于低成本的获取眼动数据;
视频时间与眼动位置对齐模块,用于获取视频内各个时间点的用户的眼动位置;
眼动噪声去除模块,用于对眼动位置噪声和方向噪声进行去除;
聚类模块,用于根据用户对眼动数据进行聚类,获得聚类后各个类别的聚类人数;
目标用户确认模块,用于获得目标用户,确认这部分人没有认真观看完视频。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910518767.6A CN110166839A (zh) | 2019-06-15 | 2019-06-15 | 一种验证视频是否被观看的方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910518767.6A CN110166839A (zh) | 2019-06-15 | 2019-06-15 | 一种验证视频是否被观看的方法与系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110166839A true CN110166839A (zh) | 2019-08-23 |
Family
ID=67625213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910518767.6A Pending CN110166839A (zh) | 2019-06-15 | 2019-06-15 | 一种验证视频是否被观看的方法与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110166839A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113259699A (zh) * | 2021-05-13 | 2021-08-13 | 上海哔哩哔哩科技有限公司 | 业务检测方法及装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102045357A (zh) * | 2010-12-29 | 2011-05-04 | 深圳市永达电子股份有限公司 | 一种基于仿射聚类分析的入侵检测方法 |
CN103500011A (zh) * | 2013-10-08 | 2014-01-08 | 百度在线网络技术(北京)有限公司 | 眼动轨迹规律分析方法和装置 |
US20170169715A1 (en) * | 2015-12-09 | 2017-06-15 | Nese Alyuz Civitci | User state model adaptation through machine driven labeling |
WO2017152215A1 (en) * | 2016-03-07 | 2017-09-14 | Darling Matthew Ross | A system for improving engagement |
CN107292271A (zh) * | 2017-06-23 | 2017-10-24 | 北京易真学思教育科技有限公司 | 学习监控方法、装置及电子设备 |
CN105224872B (zh) * | 2015-09-30 | 2018-04-13 | 河南科技大学 | 一种基于神经网络聚类的用户异常行为检测方法 |
CN108492648A (zh) * | 2018-03-16 | 2018-09-04 | 何戴娆 | 一种远程在线教学学生状态确定方法及系统 |
CN109255342A (zh) * | 2018-11-20 | 2019-01-22 | 武汉大学 | 一种基于眼动轨迹数据两步聚类的图像感兴趣区域提取方法和系统 |
CN109472464A (zh) * | 2018-10-22 | 2019-03-15 | 佛山市顺德区中山大学研究院 | 一种基于眼动追踪的在线课程质量的评估方法 |
CN109657553A (zh) * | 2018-11-16 | 2019-04-19 | 江苏科技大学 | 一种学生课堂注意力检测方法 |
-
2019
- 2019-06-15 CN CN201910518767.6A patent/CN110166839A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102045357A (zh) * | 2010-12-29 | 2011-05-04 | 深圳市永达电子股份有限公司 | 一种基于仿射聚类分析的入侵检测方法 |
CN103500011A (zh) * | 2013-10-08 | 2014-01-08 | 百度在线网络技术(北京)有限公司 | 眼动轨迹规律分析方法和装置 |
CN105224872B (zh) * | 2015-09-30 | 2018-04-13 | 河南科技大学 | 一种基于神经网络聚类的用户异常行为检测方法 |
US20170169715A1 (en) * | 2015-12-09 | 2017-06-15 | Nese Alyuz Civitci | User state model adaptation through machine driven labeling |
WO2017152215A1 (en) * | 2016-03-07 | 2017-09-14 | Darling Matthew Ross | A system for improving engagement |
CN107292271A (zh) * | 2017-06-23 | 2017-10-24 | 北京易真学思教育科技有限公司 | 学习监控方法、装置及电子设备 |
CN108492648A (zh) * | 2018-03-16 | 2018-09-04 | 何戴娆 | 一种远程在线教学学生状态确定方法及系统 |
CN109472464A (zh) * | 2018-10-22 | 2019-03-15 | 佛山市顺德区中山大学研究院 | 一种基于眼动追踪的在线课程质量的评估方法 |
CN109657553A (zh) * | 2018-11-16 | 2019-04-19 | 江苏科技大学 | 一种学生课堂注意力检测方法 |
CN109255342A (zh) * | 2018-11-20 | 2019-01-22 | 武汉大学 | 一种基于眼动轨迹数据两步聚类的图像感兴趣区域提取方法和系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113259699A (zh) * | 2021-05-13 | 2021-08-13 | 上海哔哩哔哩科技有限公司 | 业务检测方法及装置 |
CN113259699B (zh) * | 2021-05-13 | 2022-07-08 | 上海哔哩哔哩科技有限公司 | 业务检测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ahuja et al. | EduSense: Practical classroom sensing at Scale | |
US7760910B2 (en) | Evaluation of visual stimuli using existing viewing data | |
CN109543111B (zh) | 推荐信息筛选方法、装置、存储介质及服务器 | |
Bosch et al. | Automatic detection of learning-centered affective states in the wild | |
US20210174308A1 (en) | Behavioral data analysis and scoring system | |
Li et al. | Massive open online proctor: Protecting the credibility of MOOCs certificates | |
Itti | Quantitative modelling of perceptual salience at human eye position | |
US8564660B2 (en) | Characterizing dynamic regions of digital media data | |
CN106028134A (zh) | 针对移动计算设备检测体育视频精彩部分 | |
Li et al. | Towards measuring and inferring user interest from gaze | |
CN106605218A (zh) | 收集和处理与基于网络的内容的交互过程中的计算机用户数据的方法 | |
CN106060572A (zh) | 视频播放方法及装置 | |
RU2673010C1 (ru) | Способ мониторинга поведения пользователя при взаимодействии с контентом и система для его осуществления | |
Jun et al. | Stimulus sampling with 360-videos: Examining head movements, arousal, presence, simulator sickness, and preference on a large sample of participants and videos | |
CN109685007B (zh) | 用眼习惯的预警方法、用户设备、存储介质及装置 | |
WO2017018012A1 (ja) | 情報処理システム、情報処理方法、および記録媒体 | |
DE102016200047A1 (de) | Multimodale Überwachungssysteme für physische Aktivität | |
US20140086553A1 (en) | Apparatus, method, and system for video contents summarization | |
US20120173580A1 (en) | Event Feedback Networking System | |
Zhu et al. | Egoobjects: A large-scale egocentric dataset for fine-grained object understanding | |
CN110166839A (zh) | 一种验证视频是否被观看的方法与系统 | |
Schrammel et al. | Attentional behavior of users on the move towards pervasive advertising media | |
Qin et al. | Teaching video analytics based on student spatial and temporal behavior mining | |
Miniakhmetova et al. | An approach to personalized video summarization based on user preferences analysis | |
Nock et al. | Multimodal processing by finding common cause |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190823 |
|
WD01 | Invention patent application deemed withdrawn after publication |