CN110286753A - 视频关注度判断方法、存储介质 - Google Patents
视频关注度判断方法、存储介质 Download PDFInfo
- Publication number
- CN110286753A CN110286753A CN201910500635.0A CN201910500635A CN110286753A CN 110286753 A CN110286753 A CN 110286753A CN 201910500635 A CN201910500635 A CN 201910500635A CN 110286753 A CN110286753 A CN 110286753A
- Authority
- CN
- China
- Prior art keywords
- white
- sample
- users
- eye
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
Abstract
本发明提供视频关注度判断方法、存储介质,方法包括:分别获取两个以上的样本用户的眼白高度、眼白宽度,以及在逐一观看各个显示边角点和中心点时对应的虹膜中心位置;获取各个样本用户对应的专心观看的屏幕区间范围;计算通用校准公式;获取当前用户的眼白高度和眼白宽度后,依据通用校准公式计算得到对应的专心观看的屏幕区间范围;依据预设时间间隔判断当前用户当前的虹膜中心位置是否自身的专心观看的屏幕区间范围内;若否,则记录对应的视频播放时间点为不专心观看时间点。本发明能够获取用户不专心观看的视频播放点,提供准确的回看切入点,且无需预先校准,优化用户体验。
Description
技术领域
本发明涉及视频播放技术领域,具体涉及视频关注度判断方法、存储介质。
背景技术
目前,通过智能眼镜在观看视频时,如果由于其他事情打断或者用户自己开小差,经常会导致错过一些视频内容,特别是视频学习场景下的重要学习内容。而现有技术还不支持快速地检索/定位出用户未专心看的部分,并提供给用户重新观看。因此,有必要对此提供一种良好的解决方案,以提升用户体验。
发明内容
本发明所要解决的技术问题是:提供基于视频关注度判断方法、存储介质,能够获取用户不专心观看的视频播放点,提供准确的回看切入点,且减少用户操作,优化用户体验。
为了解决上述技术问题,本发明采用的技术方案为:
视频关注度判断方法,包括:
预设屏幕的显示边角点和中心点;
通过智能眼镜的摄像头分别获取两个以上的样本用户的眼白高度、眼白宽度,以及在逐一观看各个显示边角点和中心点时对应的虹膜中心位置;
依据各个样本用户对应的虹膜中心位置获取各个样本用户对应的专心观看的屏幕区间范围;
依据各个样本用户对应的眼白高度、眼白宽度和专心观看的屏幕区间范围,计算得到样本用户专心观看的屏幕区间宽度和样本用户眼白宽度的第一关系系数,以及样本用户专心观看的屏幕区间高度和样本用户眼白高度的第二关系系数;
摄像头获取当前用户的眼白高度和眼白宽度后,依据所述第一关系系数和第二关系系数,计算得到当前用户的专心观看的屏幕区间范围;
依据预设时间间隔判断当前用户当前的虹膜中心位置是否自身的专心观看的屏幕区间范围内;若否,则记录对应的视频播放时间点为不专心观看时间点。
本发明提供的另一个技术方案为:
一种计算机可读存储介质,其上存储有计算机程序,所述程序在被智能眼镜的处理器执行时,能实现上述视频关注度判断方法所包含的步骤。
本发明的有益效果在于:本发明基于专心观看屏幕时虹膜中心位置与显示边角点和中心点之间的位置关系,采集样本用户专心观看的屏幕区间范围;并将其与眼白大小进行对应,获取具备通用性的眼白特性与专心观看的屏幕区间范围之间的校准公式。而后,便可通过当前用户的眼白大小,在无需费时和费力进行校准的情况下,直接基于通用校准公式获取与当前用户眼球特征最接近的屏幕区间范围在其视频观看阶段进行监控,确定不专心观看的时间点。本发明不仅能够为用户回顾不专心观看的视频内容提供精准的切入点,从而提高观看效率;而且能够基于样本数据免去操作反复又费时的校准过程,显著提升用户体验。
附图说明
图1为本发明实施例一种视频关注度判断方法的流程示意图;
图2为本发明实施例一的校准过程中预设的各个显示边角和中心点的示意图;
图3为样本用户观看图2中的显示边角A时其虹膜中心位置与屏幕的位置关系示意图;
图4为样本用户观看图2中的显示边角B时其虹膜中心位置与屏幕的位置关系示意图;
图5为样本用户观看图2中的显示边角C时其虹膜中心位置与屏幕的位置关系示意图;
图6为样本用户观看图2中的显示边角D时其虹膜中心位置与屏幕的位置关系示意图;
图7为样本用户观看图2中的中心点E时其虹膜中心位置与屏幕的位置关系示意图;
图8为依据图3至图7获取的样本用户专心观看的屏幕区间范围与屏幕的位置关系示意图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果,以下结合实施方式并配合附图予以说明。
本发明最关键的构思在于:基于虹膜中心位置采集样本用户专心观看的屏幕区间范围,并通过眼白特征进行对应,获取通用校准公式;依据当前用户的眼白特征,即可基于公式直接获取与其专心观看的屏幕区间范围,而后对其虹膜中心位置进行监控。
请参照图1,本发明提供视频关注度判断方法,包括:
预设屏幕的显示边角点和中心点;
通过智能眼镜的摄像头分别获取两个以上的样本用户的眼白高度、眼白宽度,以及在逐一观看各个显示边角点和中心点时对应的虹膜中心位置;
依据各个样本用户对应的虹膜中心位置获取各个样本用户对应的专心观看的屏幕区间范围;
依据各个样本用户对应的眼白高度、眼白宽度和专心观看的屏幕区间范围,计算得到样本用户专心观看的屏幕区间宽度和样本用户眼白宽度的第一关系系数,以及样本用户专心观看的屏幕区间高度和样本用户眼白高度的第二关系系数;
摄像头获取当前用户的眼白高度和眼白宽度后,依据所述第一关系系数和第二关系系数,计算得到当前用户的专心观看的屏幕区间范围;
依据预设时间间隔判断当前用户当前的虹膜中心位置是否自身的专心观看的屏幕区间范围内;若否,则记录对应的视频播放时间点为不专心观看时间点。
从上述描述可知,本发明的有益效果在于:本发明能够基于通用校准公式在免校对的情况下,快速获取任一用户的专心观看的屏幕区间范围,从而减少用户操作,提升用户体验;而后准确地获取用户未专心观看的各个视频时间点,并基于此为用户回顾不专心观看的视频内容提供精准的切入点,从而提高观看效率和用户体验。
进一步地,还包括:
将所述不专心观看时间点标记在视频播放时间轴上。
由上述描述可知,提供将获取的各个不专心观看时间点直接标注在视频播放轴上的形式,不仅具备预览功能,而且方便用户自主选择切入时间点,从而更具操作灵活性。
进一步地,还包括:
接收到在所述视频播放时间轴上选定一不专心观看时间点的指令后,依据预设的回看时长,播放以所述一不专心观看时间点为起始点的对应时间段的视频内容。
由上述描述可知,支持自定义切入后的回看时长,在选定切入点后自动播放对应时长的视频内容,不仅方便用户依据需求灵活调整适宜的连续播放时间,进一步提高观看效率和用户体验;而且又能保证未专心观看内容播放的连续性。
进一步地,还包括:
若所述判断的结果为是,则记录对应的视频播放时间点为专心观看时间点;
接收到在所述视频播放时间轴上选定一不专心观看时间点的指令后,播放以所述一不专心观看时间点为起始点,其后第一个专心观看时间点为终点所对应时间段的视频内容。
由上述描述可知,提供在选定切入点后,自动播放从未专心观看时间点至再次进入专心观看状态这一时段的完整视频内容,为用户提供更具智能化的回看方式,保证所有未认真观看的视频内容能够完整再现,不仅更符合用户需求,而且有利于用户理解。
进一步地,所述通过智能眼镜的摄像头分别获取两个以上的样本用户的眼白高度、眼白宽度,以及在逐一观看各个显示边角点和中心点时对应的虹膜中心位置,具体为:
通过智能眼镜的摄像头获取一样本用户的眼白宽度和眼白高度;
将屏幕设为一纯色后,逐一设置各个显示边角和中心点为另一纯色;
各个显示边角和中心点为另一纯色时,通过红外摄像头分别获取所述一样本用户的眼睛图像,并计算对应的虹膜中心位置;
获取两个以上的样本用户各自对应的眼白高度、眼白宽度,以及所述虹膜中心位置。
由上述描述可知,通过色差凸显校准点,确保用户在校准过程中能够更专注于校准点,从而提高校准得到的专心观看的屏幕区间范围的准确性。
进一步地,所述依据各个样本用户对应的眼白高度、眼白宽度和专心观看的屏幕区间范围,计算得到样本用户专心观看的屏幕区间宽度和样本用户眼白宽度的第一关系系数,以及样本用户专心观看的屏幕区间高度和样本用户眼白高度的第二关系系数,具体为:
依据所述各个样本用户对应的专心观看的屏幕区间范围获取各个样本用户专心观看的屏幕区间高度H1~Hn和各个样本用户专心观看的屏幕区间宽度W1~Wn;其中,所述n为样本用户的数量,所述n为大于2的自然数;
设样本用户专心观看的屏幕区间宽度和样本用户眼白宽度的第一关系系数为Kw;设样本用户专心观看的屏幕区间高度和样本用户眼白高度的第二关系系数为Kh;
依据线性回归算法,代入所述屏幕区间高度H1~Hn和所述屏幕区间宽度W1~Wn,求出第一关系系数和第二关系系数其中,所述er为预设误差,所述Rmin为任一用户眼白高度,所述Rmax为任一用户眼白宽度,所述Hx为任一用户专心观看的屏幕区间高度,所述Wx为任一用户专心观看的屏幕区间宽度。
由上述描述可知,基于线性回归算法对所获取的样本数据进行计算,获取用户眼球特征与屏幕区间范围之间的对应关系,为后续直接基于当前检测用户的眼球特征快速获取与其对应的准确的屏幕区间范围,而省去费时费力的预先校对过程提供有效的技术支持。
进一步地,所述摄像头获取当前用户的眼白高度和眼白宽度后,依据所述第一关系系数和第二关系系数,计算得到当前用户的专心观看的屏幕区间范围,具体为:
通过摄像头获取当前用户的眼白宽度和眼白高度;
将当前用户的眼白宽度作为Rmax,当前用户的眼白高度作为Rmin,代入第一关系系数Kw和第二关系系数Kh,计算得到当前用户对应的专心观看的屏幕区间宽度Wx和专心观看的屏幕区间高度Hx,获取当前用户的专心观看的屏幕区间范围。
由上述描述可知,实现了只需获取用户的眼球特征,便可快速获取与其对应的准确的专心观看的屏幕区间范围,从而大大缩短视频关注度判断的实现流程,并且提升用户体验。
进一步地,所述显示边角点对应屏幕的最大内接矩形的四个边角。
由上述描述可知,以屏幕的最大内接矩形的四个边角作为校准点,能够适用于任意形状的眼镜,确保校准得到的屏幕区间范围是以最大化屏幕显示区域为基础获取,进而提高专心观看的屏幕区间范围的有效性和准确性。
本发明提供的另一个技术方案为:
一种计算机可读存储介质,其上存储有计算机程序,所述程序在被智能眼镜的处理器执行时,能实现上述视频关注度判断方法所包含的步骤。
从上述描述可知,对应本领域普通技术人员可以理解实现上述技术方案中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来实现的,所述的程序可存储于一计算机可读取的存储介质中,该程序在执行时,可包括如上述各方法的流程。而所述流程的执行,将同样能够获取上述视频关注度判断方法能够实现的有益效果。
其中,所述的存储介质可以是磁盘、光碟、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
实施例一
请参照图1至图8,本实施例提供一种视频关注度判断方法,能够在不用预先校对的情况下,直接获取精准的用户未专心观看时间点,为用户回顾视频提供准确地切入点,从而提高观看效率,同时优化用户体验。
本实施例的方法可以包括以下步骤:
一、通用校准公式的获取
S1:预设屏幕的显示边角点和中心点;
具体而言,针对四边形屏幕,可以直接设置屏幕的四个边角为显示边角点;针对多边形、圆形、椭圆形或其他异形屏幕,可以依据屏幕边框,自定义对应的显示边角点;显示边角的预设标准,为连接所有显示边角后所围成的区域范围能够尽可能的贴近屏幕的最大显示区域范围。连接所有显示边角后所围成的区域范围即校准区域,校准区域越接近屏幕最大显示区域,校准的结果将更为准确。
下述,以通用的椭圆型屏幕为例,直接预设最大内接矩形,即屏幕范围内最大面积的四边形的四个边角为显示边角展开进行详细说明。
如图2所示,为通过该步骤预设的四个显示边角A、B、C和D,以及中心点E。
S2:通过智能眼镜的摄像头分别获取两个以上的样本用户的眼白高度、眼白宽度,以及在逐一观看各个显示边角点和中心点时对应的虹膜中心位置。
其中,样本用户的数量将依据人的眼球特征的多样性进行确定,尽可能选取具有各种各样的眼球特性的用户作为样本用户,使构建得到的样本数据库尽可能囊括所有眼球特征,从而提高视频关注度判断的准确性。
具体而言,所有样本用户将先后或同时佩戴同一个屏幕尺寸的智能眼镜(优选相同型号的智能眼镜),然后通过智能眼镜上的摄像头先获取佩戴者的眼白高度和眼白宽度,再获取佩戴者在逐一观看上述预设的显示边角点和中心点A、B、C、D和E的时候所对应的用户的虹膜中心位置。
在一具体实例中,通过下述步骤获取:
S21:通过样本用户佩戴的智能眼镜上的红外摄像头获取该样本用户的眼睛图像(确保能不受光线遮挡影响),获取下眼皮位置,并记录;
S22:基于上一步骤获取的眼睛图像,获取该样本用户的眼白宽度Rmax(即眼白的最大直径)和眼白高度Rmin(即眼白的最小直径);
S23:将屏幕设为一纯色,如全白;
S24:逐一设置各个显示边角和中心点为另一纯色,如黑色;
通过色差,能使用户眼睛视线更关注校准点(各个显示边角和中心点)。这是因为,在智能眼镜屏幕是透明的情况,用白底能够使得屏幕不透明,才不会有杂色干扰,而校准点设置其他纯色,能凸显校准点。
S25:各个显示边角和中心点逐一被设置为另一纯色时,通过红外摄像头分别获取该样本用户的眼睛图像,并计算对应的虹膜中心位置。
具体而言,即将显示边角A设置为黑色时,通过摄像头获取该样本用户的眼睛图像,而后提取虹膜边界,计算出对应的虹膜中心位置A1;其他校准点对应的虹膜中心位置同理获取。
如图3至图7所示,依次对应该样本用户观看显示边角A、B、C、D和E的时候,对应的虹膜中心位置(图中箭头所指),图中的椭圆形为眼白露出的部分,中间为虹膜位置。
S26:依据上述的步骤S21-S25,获取所有样本用户各自对应的各个虹膜中心位置。
在此,假设一共有n个样本用户,n为大于2的自然数,则在步骤S26,将依次获取第二个样本用户对应的虹膜中心位置(A2,B2,C2,D2,E2),以此类推,得到1到N组虹膜中心位置(An,Bn,Cn,Dn,En)。
S3:依据各个样本用户对应的虹膜中心位置获取各个样本用户对应的专心观看的屏幕区间范围;
具体而言,对应每一个样本用户,都依据其虹膜中心位置(An,Bn,Cn,Dn,En),得到如图8所示的矩形的专心观看的屏幕区间范围(An,Bn,Cn,Dn),以及中心位置En。
S4:依据各个样本用户对应的眼白高度、眼白宽度和专心观看的屏幕区间范围,计算得到样本用户专心观看的屏幕区间宽度和样本用户眼白宽度的第一关系系数,以及样本用户专心观看的屏幕区间高度和样本用户眼白高度的第二关系系数,即通用的校准公式。
具体而言,设样本用户专心观看的屏幕区间宽度和样本用户眼白宽度的第一关系系数为Kw;设样本用户专心观看的屏幕区间高度和样本用户眼白高度的第二关系系数为Kh,则步骤S4可以包括:
S41:依据各个样本用户对应的专心观看的屏幕区间范围(An,Bn,Cn,Dn)获取各个样本用户专心观看的屏幕区间高度H1~Hn和各个样本用户专心观看的屏幕区间宽度W1~Wn;
S42:通过线性回归算法,将屏幕区间高度H1~Hn和屏幕区间宽度W1~Wn代入进行计算,求出第一关系系数
以及第二关系系数
其中,所述er为预设误差,所述Rmin为任一用户眼白高度,所述Rmax为任一用户眼白宽度,所述Hx为任一用户专心观看的屏幕区间高度,所述Wx为任一用户专心观看的屏幕区间宽度。
基于上述通用校准公式,任意一个用户便可在不用校准的情况下,快速获取对应的专心观看的屏幕区间范围,从而显著提高视频关注度判断的效率,且显著提升用户体验。
二、监控过程
下面,以对任意的一个体验用户快速且准确地获取视频关注度结果为例进行详细说明:
S4:摄像头获取当前用户的眼白高度和眼白宽度;
S5:依据通用校准公式(所述第一关系系数和第二关系系数),计算得到当前用户的专心观看的屏幕区间范围;
具体而言,将当前用户的眼白宽度作为Rmax,当前用户的眼白高度作为Rmin,分别代入通用校准公式中的第一关系系数Kw计算公式和第二关系系数Kh计算公式中,计算当前用户对应的专心观看的屏幕区间宽度Wx=Rmax/Kw和专心观看的屏幕区间高度Hx=Rminx/Kh,得到对应的值;然后据此获取当前用户的专心观看的屏幕区间范围(Ax,Bx,Cx,Dx)。
S6:依据预设时间间隔判断用户当前的虹膜中心位置是否位于所述屏幕区间范围(Ax,Bx,Cx,Dx)内;若否,则记录对应的视频播放时间点为不专心观看时间点;若是,则记录对应的视频播放时间点为专心观看时间点。
所述时间间隔支持自定义,范围在一秒以内,因为一般情况下,1秒以内大于视频的一帧时间(10帧每秒就是0.1秒),这样能实现对每一帧视频画面的用户关注度都进行监控,确保不会遗漏掉任何一帧视频画面。比如预设10秒采样一次,可能前9秒都是不专心看,第10秒才看,也被判定为专心观看。实际运用时候,可以根据采样的数据以及设备性能做推测和设定,采样频率越高准确率越高;优选为0.3-0.8s。对于设备性能较弱的智能眼镜,如果0.1s就采样一次就更准确,但是采样次数多会占用过多设备CPU、内存等资源影响视频播放,因此可以设置为0.5S,算是个比较好的平衡点。
即,在用户观看视频时,实时计算用户的虹膜中心位置是否位于校准得到的(Ax,Bx,Cx,Dx)区间范围内,得到监控结果。
具体而言,假设预设时间间隔为0.5s,则该步骤可以通过以下子步骤实现:
S61:每隔0.5s便通过摄像头获取用户的虹膜中心位置W;
S62:判断当前的虹膜中心位置W是否在用户专心观看的屏幕区间范围(Ax,Bx,Cx,Dx)区间中;
若否,则记录S61获取时刻对应的视频播放时间点为不专心观看时间点;若是,则记录对应的视频播放时间点为专心观看时间点。例如,监控到视频播放的00:00:17时刻,为用户不专心观看的时间点。
通过上述,便可获取当前用户在观看过程中所有不专心观看时刻对应视频播放时间轴的时间点。基于本实施例所获取的不专心观看时间点,可以作为分析用户专注度情况的依据;也可以将其标注在视频播放时间轴上,为当前用户回顾提供精准的切入点,提高观看效率;二者都可用于对用户体验进行优化;更为重要的是,基于通用校准公式,能免去用户预先校准的过程,从而大大提升判断效率和用户体验。
实施例二
本实施例对应实施例一,在其基础上做进一步扩展,提供几种基于所获取的不专心观看时间点进行运用的具体实例。
第一个具体实例,在上述实施例一的步骤S6之后,还可以包括:
S7:将所述不专心观看时间点标记在视频播放时间轴上。
所述视频播放时间轴,对应完整视频的播放时间轴。
通过该步骤,能够实现直观地为用户提供当前监控到的所有不专心观看的时间点,用户可以在时间轴上通过点击不专心观看时间点标记,实现精确切入到任意一个不专心观看的时间点进行回看,而跳过专心观看过的部分;同时,也能实现快速切换,随性选择,从而更具自主性和操作便捷性。
第二个具体实例在上述第一个具体实例的基础上,做进一步扩展,还可以包括:
S8:接收到用户触发的在视频播放时间轴上选定一不专心观看时间点的指令后,依据预设的回看时长,播放以所述一不专心观看时间点为起始点的对应时间段的视频内容。
其中,所述的回看时长,指从选定的不专心观看时间点开始往后顺延预设的一段时间。优选地,所述回看时长的范围在3s到10分钟之间。
对应预设时间间隔(即监控周期)采集得到的各个不专心观看时间点在时间轴上并非连续,即使连续两次都记录为不专心观看时间点,它们之间也相差了0.5s;如果设置为自动连续播放各个不专心观看时间点,将导致观看效果不佳。而通过用户自定义回看时长,并据此自动播放对应时长的视频内容,能够确保回顾时视频播放的连续性。
例如,预设回看时长,也可以理解为最小连续时间为10秒。如果第一个不专心看时间点为00:00:01,则自动播放00:00:01到00:00:11的内容。
第三个具体实例在上述第一个具体实例的基础上,做进一步扩展,还可以包括:
S9:接收到在所述视频播放时间轴上选定一不专心观看时间点的指令后,播放以所述一不专心观看时间点为起始点,其后第一个专心观看时间点为终点所对应时间段的视频内容。
也就是说,切入一个不专心观看时间点后,将由此开始自动播放,直至其后第一个被判定为专心观看时间点。此种自动播放的方式更具智能化,同时更具针对性,也更有利于用户在逻辑上与认真观看的内容进行衔接。
需要特别说明的是,上述S8和S9步骤,均可以在用户观看完视频所有内容后执行,即视频播放结束后再回顾。对应此种方式,上述S7步骤在监控得到所有不专心观看时间点后再执行,统一进行标记。当然,上述S8和S9步骤也可以是在用户观看过程中(未播完),即时性的触发执行,即不专心观看后回神,播放时间轴上已经及时监控并标记“不专心观看”的时间点,而用户可以立即通过点击回看,确保思路的连续性,而不用在观看完视频所有内容后再回看,也更符合用户需求。对应此种方式,上述S7步骤将在每监控到一个不专心观看时间点以后即进行标注。
实施例三
本实施例对应上述实施例一和实施二,提供一具体运用场景:
用户在观看一段教学视频,整段视频时长30秒钟。
假设样本用户的数量为3个,则分别对各个样本用户的虹膜中心位置和观看屏幕的位置进行校准,得出观看视频的四个定点位置ABCD和中心点E的位置对应的虹膜在眼睛的相对位置。
第一个样本用户为A1,B1,C1,D1;将A1,B1,C1,D1通过坐标表示(0,0),(10,0),(0,5),(10,5),则H1=5,W1=10;而眼白高度R1min为50,宽度R1max为100。
类似的,第二个样本用户为A2,B2,C2,D2;表示为(0,0),(15,0),(0,7.5),(15,7.5),则H2=7.5,W2=15;而眼白高度R2min为75,宽度R2max为150;
第三个样本用户为A3,B3,C3,D3;表示为(0,0),(20,0),(0,10),(20,10),则H3=10,W3=20;而眼白高度R3min为100,宽度R3max为200;
依据上述数据,可以计算出Rxmin=10*Hx;Rxmax=10*Wx;即kh=10,kw=10。
后续第4个用户以后的任意一个数据,便可直接基于其眼白高度为R4min为150,宽度R4max为250,计算出H4=R4min/10=15,W4=R4max/10=25,其对应的虹膜中心位置A4,B4,C4,D4对应的专心观看区间表示为(0,0),(25,0),(0,15),(25,15)。
在视频播放00:00:00,00:00:00.5,00:00:01…的时间点,即每隔0.5秒,通过摄像头获取上述第4个用户的虹膜中心位置W。时间点00:00:00获取到W是(5,5),说明在专心观看的范围内;到时间点00:00:00.5获取到W是(3,3),说明在专心观看的范围内;时间点00:00:01获取到W坐标为(-1,10),则在A1,B1,C1,D1范围外,说明是不专心观看视频。假设剩下的29秒视频的W都在范围内。
播放时,因为预设的回看时长(最小连续时间)为10秒,则从第一个不专心看视频的时间点00:00:01开始播放十秒到00:00:11播放结束。
本实施例的有益效果在于:
1.能够更准确的获取到未专心观看的视频时间点;
2.能够避免观看已经专心看过的视频部分,提高观看效率;
3.可以通过具体人的眼白大小,预测计算出他专心观看的区间,从而避免每次都进行预先的校对,提升的用户体验。
实施例四
本实施例对应上述实施例一至实施例三,提供一种计算机可读存储介质,其上存储有计算机程序,所述程序在被智能眼镜的处理器执行时,能实现上述实施例一至实施例三任意一个实施例所述的视频关注度判断方法所包含的步骤。具体的步骤内容在此不进行复述,详细请参阅实施例一至实施例三的记载。
综上所述,本发明提供的视频关注度判断方法、存储介质,能基于样本数据获取准确性高的通用校准公式,从而省去用户校准程序,大大提升判断效率和用户体验;能对用户对视频的关注度进行监控,为视频测评提供数据支持;能基于监控得到的不专心观看时间点,提供精准的回看切入点,优化用户体验的同时,提高观看效率;同时提供多种回看方式,方便用户选择,更具智能化和个性化,进一步优化用户体验。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等同变换,或直接或间接运用在相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (9)
1.视频关注度判断方法,其特征在于,包括:
预设屏幕的显示边角点和中心点;
通过智能眼镜的摄像头分别获取两个以上的样本用户的眼白高度、眼白宽度,以及在逐一观看各个显示边角点和中心点时对应的虹膜中心位置;
依据各个样本用户对应的虹膜中心位置获取各个样本用户对应的专心观看的屏幕区间范围;
依据各个样本用户对应的眼白高度、眼白宽度和专心观看的屏幕区间范围,计算得到样本用户专心观看的屏幕区间宽度和样本用户眼白宽度的第一关系系数,以及样本用户专心观看的屏幕区间高度和样本用户眼白高度的第二关系系数;
摄像头获取当前用户的眼白高度和眼白宽度后,依据所述第一关系系数和第二关系系数,计算得到当前用户的专心观看的屏幕区间范围;
依据预设时间间隔判断当前用户当前的虹膜中心位置是否自身的专心观看的屏幕区间范围内;若否,则记录对应的视频播放时间点为不专心观看时间点。
2.如权利要求1所述的视频关注度判断方法,其特征在于,还包括:
将所述不专心观看时间点标记在视频播放时间轴上。
3.如权利要求2所述的视频关注度判断方法,其特征在于,还包括:
接收到在所述视频播放时间轴上选定一不专心观看时间点的指令后,依据预设的回看时长,播放以所述一不专心观看时间点为起始点的对应时间段的视频内容。
4.如权利要求2所述的视频关注度判断方法,其特征在于,还包括:
若所述判断的结果为是,则记录对应的视频播放时间点为专心观看时间点;
接收到在所述视频播放时间轴上选定一不专心观看时间点的指令后,播放以所述一不专心观看时间点为起始点,其后第一个专心观看时间点为终点所对应时间段的视频内容。
5.如权利要求1所述的视频关注度判断方法,其特征在于,所述通过智能眼镜的摄像头分别获取两个以上的样本用户的眼白高度、眼白宽度,以及在逐一观看各个显示边角点和中心点时对应的虹膜中心位置,具体为:
通过智能眼镜的摄像头获取一样本用户的眼白宽度和眼白高度;
将屏幕设为一纯色后,逐一设置各个显示边角和中心点为另一纯色;
各个显示边角和中心点为另一纯色时,通过红外摄像头分别获取所述一样本用户的眼睛图像,并计算对应的虹膜中心位置;
获取两个以上的样本用户各自对应的眼白高度、眼白宽度,以及所述虹膜中心位置。
6.如权利要求1所述的视频关注度判断方法,其特征在于,所述依据各个样本用户对应的眼白高度、眼白宽度和专心观看的屏幕区间范围,计算得到样本用户专心观看的屏幕区间宽度和样本用户眼白宽度的第一关系系数,以及样本用户专心观看的屏幕区间高度和样本用户眼白高度的第二关系系数,具体为:
依据所述各个样本用户对应的专心观看的屏幕区间范围获取各个样本用户专心观看的屏幕区间高度H1~Hn和各个样本用户专心观看的屏幕区间宽度W1~Wn;其中,所述n为样本用户的数量,所述n为大于2的自然数;
设样本用户专心观看的屏幕区间宽度和样本用户眼白宽度的第一关系系数为Kw;设样本用户专心观看的屏幕区间高度和样本用户眼白高度的第二关系系数为Kh;
依据线性回归算法,代入所述屏幕区间高度H1~Hn和所述屏幕区间宽度W1~Wn,求出第一关系系数和第二关系系数其中,所述er为预设误差,所述Rmin为任一用户眼白高度,所述Rmax为任一用户眼白宽度,所述Hx为任一用户专心观看的屏幕区间高度,所述Wx为任一用户专心观看的屏幕区间宽度。
7.如权利要求6所述的视频关注度判断方法,其特征在于,所述摄像头获取当前用户的眼白高度和眼白宽度后,依据所述第一关系系数和第二关系系数,计算得到当前用户的专心观看的屏幕区间范围,具体为:
通过摄像头获取当前用户的眼白宽度和眼白高度;
将当前用户的眼白宽度作为Rmax,当前用户的眼白高度作为Rmin,代入第一关系系数Kw和第二关系系数Kh,计算得到当前用户对应的专心观看的屏幕区间宽度Wx和专心观看的屏幕区间高度Hx,获取当前用户的专心观看的屏幕区间范围。
8.如权利要求1所述的视频关注度判断方法,其特征在于,所述显示边角点对应屏幕的最大内接矩形的四个边角。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序在被智能眼镜的处理器执行时,能实现上述权利要求1-8任意一项所述的视频关注度判断方法所包含的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910500635.0A CN110286753B (zh) | 2019-06-11 | 2019-06-11 | 视频关注度判断方法、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910500635.0A CN110286753B (zh) | 2019-06-11 | 2019-06-11 | 视频关注度判断方法、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110286753A true CN110286753A (zh) | 2019-09-27 |
CN110286753B CN110286753B (zh) | 2022-06-07 |
Family
ID=68003713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910500635.0A Active CN110286753B (zh) | 2019-06-11 | 2019-06-11 | 视频关注度判断方法、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110286753B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101382941A (zh) * | 2008-10-23 | 2009-03-11 | 浙江大学 | 基于眼球跟踪的网络视频个性化搜索方法 |
CN101593352A (zh) * | 2009-06-12 | 2009-12-02 | 浙江大学 | 基于面部朝向和视觉焦点的驾驶安全监测系统 |
CN103440038A (zh) * | 2013-08-28 | 2013-12-11 | 中国人民大学 | 一种基于眼部识别的信息采集系统及其应用 |
CN106557166A (zh) * | 2016-11-23 | 2017-04-05 | 上海擎感智能科技有限公司 | 智能眼镜及其控制方法、控制装置 |
CN106604130A (zh) * | 2016-12-03 | 2017-04-26 | 西安科锐盛创新科技有限公司 | 一种基于视线追踪的视频播放方法 |
CN106708251A (zh) * | 2015-08-12 | 2017-05-24 | 天津电眼科技有限公司 | 一种基于眼球追踪技术的智能眼镜控制方法 |
CN107003744A (zh) * | 2016-12-01 | 2017-08-01 | 深圳前海达闼云端智能科技有限公司 | 视点确定方法、装置、电子设备和计算机程序产品 |
CN107368774A (zh) * | 2016-03-31 | 2017-11-21 | 富士通株式会社 | 注视检测设备和注视检测方法 |
CN107506751A (zh) * | 2017-09-13 | 2017-12-22 | 重庆爱威视科技有限公司 | 基于眼动控制的广告投放方法 |
KR20190056642A (ko) * | 2017-11-17 | 2019-05-27 | 포인드 주식회사 | 눈동자의 이동, 눈과 얼굴가장자리의 간격을 이용한 시선 추적 방법 |
-
2019
- 2019-06-11 CN CN201910500635.0A patent/CN110286753B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101382941A (zh) * | 2008-10-23 | 2009-03-11 | 浙江大学 | 基于眼球跟踪的网络视频个性化搜索方法 |
CN101593352A (zh) * | 2009-06-12 | 2009-12-02 | 浙江大学 | 基于面部朝向和视觉焦点的驾驶安全监测系统 |
CN103440038A (zh) * | 2013-08-28 | 2013-12-11 | 中国人民大学 | 一种基于眼部识别的信息采集系统及其应用 |
CN106708251A (zh) * | 2015-08-12 | 2017-05-24 | 天津电眼科技有限公司 | 一种基于眼球追踪技术的智能眼镜控制方法 |
CN107368774A (zh) * | 2016-03-31 | 2017-11-21 | 富士通株式会社 | 注视检测设备和注视检测方法 |
CN106557166A (zh) * | 2016-11-23 | 2017-04-05 | 上海擎感智能科技有限公司 | 智能眼镜及其控制方法、控制装置 |
CN107003744A (zh) * | 2016-12-01 | 2017-08-01 | 深圳前海达闼云端智能科技有限公司 | 视点确定方法、装置、电子设备和计算机程序产品 |
CN106604130A (zh) * | 2016-12-03 | 2017-04-26 | 西安科锐盛创新科技有限公司 | 一种基于视线追踪的视频播放方法 |
CN107506751A (zh) * | 2017-09-13 | 2017-12-22 | 重庆爱威视科技有限公司 | 基于眼动控制的广告投放方法 |
KR20190056642A (ko) * | 2017-11-17 | 2019-05-27 | 포인드 주식회사 | 눈동자의 이동, 눈과 얼굴가장자리의 간격을 이용한 시선 추적 방법 |
Also Published As
Publication number | Publication date |
---|---|
CN110286753B (zh) | 2022-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106878780A (zh) | 能够智能调节亮度的智能电视机及其控制系统和控制方法 | |
CN103379300B (zh) | 图像显示设备、控制方法 | |
US7248294B2 (en) | Intelligent feature selection and pan zoom control | |
CN110337032A (zh) | 基于关注度的视频播放方法、存储介质 | |
JP6007600B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US8487940B2 (en) | Display device, television receiver, display device control method, programme, and recording medium | |
EP1921844A2 (en) | Imaging apparatus and method | |
CN103369274A (zh) | 一种智能电视调节系统及其电视调节方法 | |
CN105573627B (zh) | 一种通过智能眼镜提示用户进行护眼的方法及装置 | |
CN104808946A (zh) | 图像播放控制方法及装置 | |
CN110113526A (zh) | 处理方法、处理装置和电子设备 | |
CN105700771A (zh) | 一种显示设备及其显示方法 | |
CN113259765A (zh) | 用于自动调整电视装置的显示屏的显示参数的方法及电视装置 | |
CN104885119B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
WO2021047379A1 (zh) | 电视机及其背光控制方法、控制装置和可读存储介质 | |
CN104000555A (zh) | 眼底信息获取装置、方法和程序 | |
CN113055752A (zh) | 一种画质调节方法、装置及智能电视 | |
JP2004213486A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
CN113411561A (zh) | 一种现场演出的立体显示方法、装置、介质及系统 | |
CN110337022B (zh) | 基于关注度的视频变速播放方法、存储介质 | |
CN106782344B (zh) | 亮度调节方法、装置及显示设备 | |
CN111050212A (zh) | 视频播放方法、设备及存储介质 | |
KR20070068236A (ko) | 전자 기기, 표시 방법 및 그 방법을 실현시키는 프로그램을기록한 저장 매체 | |
CN110286753A (zh) | 视频关注度判断方法、存储介质 | |
BR102012004645A2 (pt) | Aparelho, processo e sistema de medição de audiência |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |