CN110324694A - 视频播放方法、存储介质 - Google Patents

Abstract

本发明提供视频播放方法、存储介质，方法包括：通过智能眼镜的摄像头分别获取用户在观看各个显示边角点和中心点时对应的虹膜中心位置；依据所述虹膜中心位置获取专心观看的屏幕区间范围；依据预设时间间隔判断用户当前的虹膜中心位置是否位于所述屏幕区间范围内；若否，则记录对应的视频播放时间点为不专心观看时间点；依据视频播放内容对应的文段，获取需要专心观看的各个必要播放时间段；获取包含至少一个不专心观看时间点的必要播放时间段。本发明能为用户针对性地提供具备有效性的必要播放时间段，提高用户回看的有效性和效率，同时显著优化用户体验。

Description

视频播放方法、存储介质

技术领域

本发明涉及视频播放技术领域，具体涉及视频播放方法、存储介质。

背景技术

目前，通过智能眼镜在观看视频时，如果由于其他事情打断或者用户自己开小差，经常会导致错过一些视频内容，特别是视频学习场景下的重要学习内容。而现有技术还不支持快速地检索/定位出用户未专心看的部分，并提供给用户重新观看。因此，有必要对此提供一种良好的解决方案，以提升用户体验。

发明内容

本发明所要解决的技术问题是：提供视频播放方法、存储介质，能够获取用户需要专心观看而没能实践的视频播放时间段。

为了解决上述技术问题，本发明采用的技术方案为：

视频播放方法，包括：

预设屏幕的显示边角点和中心点；

通过智能眼镜的摄像头分别获取用户在观看各个显示边角点和中心点时对应的虹膜中心位置；

依据所述虹膜中心位置获取专心观看的屏幕区间范围；

依据预设时间间隔判断用户当前的虹膜中心位置是否位于所述屏幕区间范围内；若否，则记录对应的视频播放时间点为不专心观看时间点；

依据视频播放内容对应的文段，获取需要专心观看的各个必要播放时间段；

获取包含至少一个不专心观看时间点的必要播放时间段。

本发明提供的另一个技术方案为：

一种计算机可读存储介质，其上存储有计算机程序，所述程序在被智能眼镜的处理器执行时，能实现上述视频播放方法所包含的步骤。

本发明的有益效果在于：本发明不仅能够筛选出用户各个不专心观看的时间点，而且还能选取包含了上述不专心观看时间点的各个必要播放时间段，即用户需要专心观看，实际却没能专心观看的视频播放时间段。从而实现了为用户提供更为有效、精准的必要回顾时间段，提高用户回看的有效性和效率。

附图说明

图1为本发明实施例一种视频播放方法的流程示意图；

图2为本发明实施例一的校准过程中预设的各个显示边角和中心点的示意图；

图3为样本用户观看图2中的显示边角A时其虹膜中心位置与屏幕的位置关系示意图；

图4为样本用户观看图2中的显示边角B时其虹膜中心位置与屏幕的位置关系示意图；

图5为样本用户观看图2中的显示边角C时其虹膜中心位置与屏幕的位置关系示意图；

图6为样本用户观看图2中的显示边角D时其虹膜中心位置与屏幕的位置关系示意图；

图7为样本用户观看图2中的中心点E时其虹膜中心位置与屏幕的位置关系示意图；

图8为依据图3至图7获取的样本用户专心观看的屏幕区间范围与屏幕的位置关系示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：先筛选出用户各个不专心观看的时间点，再据此获取包含了不专心观看时间点的各个必要播放时间段，为用户提供更为有效、精准的必要回顾时间段。

请参照图1，本发明提供视频播放方法，包括：

预设屏幕的显示边角点和中心点；

通过智能眼镜的摄像头分别获取用户在观看各个显示边角点和中心点时对应的虹膜中心位置；

依据所述虹膜中心位置获取专心观看的屏幕区间范围；

依据预设时间间隔判断用户当前的虹膜中心位置是否位于所述屏幕区间范围内；若否，则记录对应的视频播放时间点为不专心观看时间点；

依据视频播放内容对应的文段，获取需要专心观看的各个必要播放时间段；

获取包含至少一个不专心观看时间点的必要播放时间段。

从上述描述可知，本发明的有益效果在于：本发明基于专心观看屏幕时虹膜中心位置与显示器边角点和中心点之间的位置关系，确定专心观看的屏幕区间范围；而后，基于该屏幕区间范围对虹膜中心位置进行跟踪，确定准确性高的不专心观看的时间点；之后依据转换为文段的视频内容，获取各个需要专心观看的必要播放时间段，再从中选取包含了不专心观看时间点的必要播放时间段。不仅能更准确的获取未专心观看的时间点；而且还能为用户针对性的提供具备有效性的必要播放时间段，提高回顾效率。

进一步地，所述依据视频播放内容对应的文段，获取各个必要播放时间段，具体为：

识别视频播放内容对应的音频，获取对应的文段；

获取所述文段中每个句子的起始播放时间点和结束播放时间点；

合并连续的句子的起始播放时间点和结束播放时间点，获取各个必要播放时间段。

由上述描述可知，通过对文段版本的视频内容进行上述处理，能够有效提取各个必要播放时间段，而过滤掉视频内容中无内容的播放时间。

进一步地，所述获取包含不专心观看时间点的必要播放时间段，具体为：

过滤无法识别到文字且视频画面无变动的不专心观看时间点；

获取包含至少一个过滤后的不专心观看时间点的必要播放时间段。

由上述描述可知，能有效地过滤掉非必要的不专心观看时间点，并据此获取必要播放时间段，确保所获取的必要播放时间段为用户真实有必要进行回顾的时段。

进一步地，还包括：

将包含至少一个不专心观看时间点的必要播放时间段标记在视频播放时间轴上。

由上述描述可知，提供将获取的各个必要播放时间段直接标注在视频播放轴上的形式，不仅具备预览功能，而且方便用户自主选择切入时间点，从而更具操作灵活性。

进一步地，还包括：

顺序播放所述包含至少一个过滤后的不专心观看时间点的必要播放时间段。

由上述描述可知，能够自动地顺序播放各个必要播放时间段，不仅能保证不遗漏任何一个必要播放时间段，而且还免去用户操作步骤，更具智能化，为用户提供更好的回顾体验。

进一步地，所述通过智能眼镜的摄像头分别获取用户在观看各个显示边角点和中心点时对应的虹膜中心位置，具体为：

将屏幕设为一纯色后，逐一设置各个显示边角和中心点为另一纯色；

各个显示边角和中心点为另一纯色时，通过红外摄像头分别获取用户的眼睛图像，并计算对应的虹膜中心位置。

由上述描述可知，通过色差凸显校准点，确保用户在校准过程中能够更专注于校准点，从而提高校准得到的专心观看的屏幕区间范围的准确性。

进一步地，所述显示边角点对应屏幕的最大内接矩形的四个边角。

由上述描述可知，以屏幕的最大内接矩形的四个边角作为校准点，能够适用于任意形状的眼镜，确保校准得到的屏幕区间范围是以最大化屏幕显示区域为基础获取，进而提高专心观看的屏幕区间范围的有效性和准确性。

本发明提供的另一个技术方案为：

一种计算机可读存储介质，其上存储有计算机程序，所述程序在被智能眼镜的处理器执行时，能实现上述视频播放方法所包含的步骤。

从上述描述可知，对应本领域普通技术人员可以理解实现上述技术方案中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来实现的，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时，可包括如上述各方法的流程。而所述流程的执行，将同样能够获取上述视频播放方法能够实现的有益效果。

其中，所述的存储介质可以是磁盘、光碟、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

实施例一

请参照图1至图8，本实施例提供一种视频播放方法，能够先后获取更为精准的用户未专心观看时间点，以及包含了为专心观看时间点的必要播放时间段；从而是用户能够准确地回顾确实必要进行复看的时间段，从而提高回看效率，同时优化用户体验。

本实施例的方法可以包括以下步骤：

一、校准过程

S1：预设屏幕的显示边角点和中心点；

具体而言，针对四边形屏幕，可以直接设置屏幕的四个边角为显示边角点；针对多边形、圆形、椭圆形或其他异形屏幕，可以依据屏幕边框，自定义对应的显示边角点；显示边角的预设标准，为连接所有显示边角后所围成的区域范围能够尽可能的贴近屏幕的最大显示区域范围。连接所有显示边角后所围成的区域范围即校准区域，校准区域越接近屏幕最大显示区域，校准的结果将更为准确。

下述，以通用的椭圆型屏幕为例，直接预设最大内接矩形，即屏幕范围内最大面积的四边形的四个边角为显示边角展开进行详细说明。

如图2所示，为通过该步骤预设的四个显示边角A、B、C和D，以及中心点E。

S2：通过智能眼镜的摄像头分别获取用户在观看各个显示边角点和中心点时对应的虹膜中心位置。

即通过用户佩戴的智能眼镜上的摄像头分别获取用户在逐一观看上述预设的显示边角点和中心点A、B、C、D和E的时候所对应的用户的虹膜中心位置A1、B1、C1和D1，以及E1。

在一具体实例中，通过下述方式获取：

S21：通过用户佩戴的智能眼镜上的红外摄像头获取用户眼睛图像(确保能不受光线遮挡影响)，获取下眼皮位置，并记录；

S22：将屏幕设为一纯色，如全白；

S23：逐一设置各个显示边角和中心点为另一纯色，如黑色；

通过色差，能使用户眼睛视线更关注校准点(各个显示边角和中心点)。这是因为，在智能眼镜屏幕是透明的情况，用白底能够使得屏幕不透明，才不会有杂色干扰，而校准点设置其他纯色，能凸显校准点。

S24：各个显示边角和中心点逐一被设置为另一纯色时，通过红外摄像头分别获取用户的眼睛图像，并计算对应的虹膜中心位置。

具体而言，即将显示边角A设置为黑色时，通过摄像头获取用户的眼睛图像，而后提取虹膜边界，计算出对应的虹膜中心位置A1；其他校准点对应的虹膜中心位置同理获取。

如图3至图7所示，依次对应用户观看显示边角A、B、C、D和E的时候，对应的虹膜中心位置(图中箭头所指)，图中的椭圆形为眼白露出的部分，中间为虹膜位置。

S3：依据所述虹膜中心位置获取专心观看的屏幕区间范围；

具体而言，依据各个边角位置A、B、C、D和中心点E对应的虹膜中心位置A1、B1、C1、D1和E1，得到如图8所示的，对应该用户的专心观看的屏幕区间范围A1B1C1D1，以及中心位置E1。

二、监控过程

基于上述校准的结果，便可通过对该用户在视频观看过程的虹膜中心位置进行监控，获取不专心观看的各个时间点。

S4：依据预设时间间隔判断用户当前的虹膜中心位置是否位于所述屏幕区间范围内；若否，则记录对应的视频播放时间点为不专心观看时间点；若是，则记录对应的视频播放时间点为专心观看时间点。

所述时间间隔支持自定义，范围在一秒以内，因为一般情况下，1秒以内大于视频的一帧时间(10帧每秒就是0.1秒)，这样能实现对每一帧视频画面的用户关注度都进行监控，确保不会遗漏掉任何一帧视频画面。比如预设10秒采样一次，可能前9秒都是不专心看，第10秒才看，也被判定为专心观看。实际运用时候，可以根据采样的数据以及设备性能做推测和设定，采样频率越高准确率越高；优选为0.3-0.8s。对于设备性能较弱的智能眼镜，如果0.1s就采样一次就更准确，但是采样次数多会占用过多设备CPU、内存等资源影响视频播放，因此可以设置为0.5S，算是个比较好的平衡点。

即，在用户观看视频时，实时计算用户的虹膜中心位置是否位于校准得到的A1B1C1D1区间范围内，得到监控结果。

具体而言，假设预设时间间隔为0.5s，则该步骤可以通过以下子步骤实现：

S41：每隔0.5s便通过摄像头获取用户的虹膜中心位置W；

S42：判断当前的虹膜中心位置W是否在用户专心观看的屏幕区间范围A1B1C1D1区间中；

若否，则记录S41获取时刻对应的视频播放时间点为不专心观看时间点；若是，则记录对应的视频播放时间点为专心观看时间点。例如，监控到视频播放的00:00:17时刻，为用户不专心观看的时间点。

通过上述，便可获取用户在观看过程中所有不专心观看时刻对应视频播放时间轴的时间点。基于本实施例所获取的不专心观看时间点，可以作为分析用户专注度情况的依据；也可以将其标注在视频播放时间轴上，为用户回顾提供精准的切入点，提高观看效率；二者都可用于对用户体验进行优化。而在本实施例中，更为重要的是依据所获取的不专心观看时间点，筛选出用户不可忽略的且又没能专心观看的时间段。具体在下一阶段体现。

三、获取必要播放时间段

S5：依据视频播放内容对应的文段，获取需要专心观看的各个必要播放时间段。

一般而言，具有“语音”的视频内容才是不可错过的必要观看时间段。

具体而言，该步骤可以通过以下步骤实现：

S51：识别视频播放内容对应的音频，获取对应的文段；

具体的，识别得到的每个文字，都将记录其对应的视频播放时间点；依据文字与播放时间点，通过合并在时间点上连续的文字，识别出每一个句子；同时，还将记录每一个句子的起始时间点(即第一个文字对应的播放时间点)和结束时间带你(最后一个文字对应的播放时间点)；优选的，还将同时记录句子之间的空白片段的起始时间点和结束时间点。

可选的，可以在视频播放的过程中，即时采集音频，并识别出对应的文字，所有的文字组成文段；要可以预先对完整视频播放内容进行处理，识别得到对应的文段，从而提升效率。

S52：获取所述文段中每个句子的起始播放时间点和结束播放时间点；

即，依据上一步骤的记录，在该步骤筛选出每一个句子的始末时间点。

S53：合并连续的句子的起始播放时间点和结束播放时间点，获取各个必要播放时间段。

具体的，连续的句子之间，间隔的时间极短，如30ms-1s，这是可以预测的。因此，可以通过预设间隔时间，来合并相邻句子之间的时间间隔符合该预设时间间隔的句子，将它们视为“连续的”句子，从而构成一个完整的段落，获取该段落对应的播放时间段，作为必要播放时间段。

所述必要播放时间段，对应的是具有音频内容的视频内容，视为用户有必要进行专心观看的时间段。可以理解为有音频的内容，具备指示性，用户更有必要专心听取，从中获取一些必要的信息，以确保所获知的视频信息能在逻辑上和内容上具备连贯性，不至于错过重要信息。针对教学视频或影视视频而言，具有普适性，能够最大程度的获取用户不容错过的视频内容。

S6：获取包含至少一个不专心观看时间点的必要播放时间段。

在已经获取了所有必要播放时间段和所有不专心观看时间点的情况下，可以通过该步骤，筛选出用户曾经“分神”了的必要播放时间段，而过滤掉专心观看过的必要播放时间段。能够实现针对性地为用户提供其确实有必要进行回顾，且又是准确，不包含任何非必要时间的关键视频内容，从而大大提高用户回看的效率和观看的有效性。

在一具体实例中，可以对该步骤做进一步的扩展，增加对步骤S4获取的不专心观看时间点进行过滤的步骤，从而提升其有效性，进一步精简最后获取的必要播放时间段的数量。

对应该具体实例，所述S6步骤具体包括：

S61：过滤无法识别到文字且视频画面无变动的不专心观看时间点；

基于上述步骤S51记录的各个文字对应的时间点过滤掉没有对应文字的不专心观看时间点A。

所述视频画面无变动的不专心观看时间点，具体通过记录各个不专心观看时间点对应的播放画面，及其前后时间点的画面；而后逐个判断不专心观看时间点对应的播放画面与其前后时间点的画面是否存在像素差异，且差异像素大于预设值，如1％，若判断结果为否，则将其记录为视频画面无变动的不专心观看时间点B。

通过该步骤，将删除不专心观看时间点中即属于不专心观看时间点A，又属于不专心观看时间点B的不专心观看时间点。

S62：获取包含至少一个过滤后的不专心观看时间点的必要播放时间段。

即，只要包含有一个经过上述步骤S61过滤后得到的不专心观看时间点的必要播放时间段，都将被获取出来。

例如，通过S53步骤获取有100个片段，则逐一判断每个片段是否包含过滤后的不专心看时间点，如果有，则顺序播放有的片段。

通过该步骤，可以过滤掉必要播放时间段中，无效(没有太大必要花费时间进行复看)的时间段，从而提高最后筛选出的必要播放时间段的准确性和有效性；也使用户的复看更具针对性，更有复看的意义，提高复看效率，优化用户体验。

实施例二

本实施例对应实施例一，在其基础上做进一步扩展，提供几种基于所获取的不专心观看时间点进行运用的具体实例。

第一个具体实例，在上述实施例一的步骤S6之后，还可以包括：

S7：将上述步骤S6得到的必要播放时间段标记在视频播放时间轴上。

所述视频播放时间轴，对应完整视频的播放时间轴。

通过该步骤，能够实现直观地为用户提供筛选出的有必要进行复看的时间段，用户可以在时间轴上通过点击操作，实现精确切入到任意一个必要播放时间段进行回看，而跳过专心观看过或没必要进行复看的非专心观看部分；同时，也能实现快速切换，随性选择，从而更具自主性和操作便捷性。

第二个具体实例，在上述实施例一的步骤S6之后，还可以包括：

SS7：顺序播放所述包含至少一个过滤后的不专心观看时间点的必要播放时间段。

通过该具体实例，提供自动地、顺序地播放各个最后获取的必要播放时间段，更具智能化；不仅能保证所有的必要播放时间段都得到温习，提高复看的有效性；而且还能免去用户操作步骤；从而大大提升用户体验。

需要特别说明的是，上述S7和SS7步骤，均可以在用户观看完视频所有内容后执行，即视频播放结束后再回顾。对应此种方式，上述S6步骤获取到所有必要播放时间段后再执行，统一进行标记。当然，上述S7和SS7步骤也可以是在用户观看过程中(未播完)，即时性的触发执行，即不专心观看后回神，播放时间轴上已经及时监控并标记对应本次失神对应的必要播放时间段，而用户可以立即通过点击回看，确保思路的连续性，而不用在观看完视频所有内容后再回看，也更符合用户需求。

实施例三

本实施例对应上述实施例一和实施二，提供一具体运用场景：

小张在观看一段教学视频，整段视频时长30秒钟。

先对用户虹膜的位置和观看屏幕的位置进行校准，得出观看视频的四个定点位置ABCD和中心点位置E对应的虹膜在眼睛的相对位置A1,B1,C1,D1；将A1,B1,C1,D1通过坐标表示(0,0),(10,0),(10,0),(10,10)；通过这些坐标，框定一个用户专心观看的区间范围。

在视频播放过程，每隔0.5秒(即000:00:00，00:00:00.5，00:00:01…)通过摄像头获取用户虹膜中心位置W；对应00:00:00时间点，获取到W是(5，5)，说明在专心观看的区间范围内；对应00:00:00.5时间点，获取到W是(3，3)，说明在专心观看的区间范围内；对应00:00:01时间点，获取到W坐标为(-1,10)，在专心观看的区间范围外，说明是这个时间点不专心观看视频。假设剩下的29秒视频的W都在专心观看的区间范围内。

播放时，提取整段视频的音频，将音频转为文字。如“大家好，今天给大家讲解中心极限定理。”第一句的时间范围是00:00:00～00:00:10，其中，00:00:10.5、00:00:11、00:00:11.5为空白时间，但画面在00:00:11有变化。“中心极限定理，是指概率论中讨论随机变量序列部分和分布渐近于正态分布的一类定理。”第二句是00:00:12～00:00:30。

则00:00:10.5和00:00:11.5为非必要时间；由于00:00:01是不专心看视频，则其在第一句00:00:00～00:00:10的范围内，所以只播放00:00:00～00:00:10。

实施例四

本实施例对应上述实施例一至实施例三，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序在被智能眼镜的处理器执行时，能实现上述实施例一至实施例三任意一个实施例所述的视频播放方法所包含的步骤。具体的步骤内容在此不进行复述，详细请参阅实施例一至实施例三的记载。

综上所述，本发明提供的视频播放方法、存储介质，能对用户的视频关注度进行监控，为视频测评或兴趣群体采集提供数据支持；能为用户针对性地提供具备有效性的必要播放时间段，提高用户回看的有效性和效率；能自动顺序播放各个必要播放时间段，而不会发生遗漏，保证回看的完整性。本发明的视频播放方式更个性化、更智能，大大优化用户体验。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.视频播放方法，其特征在于，包括：

预设屏幕的显示边角点和中心点；

通过智能眼镜的摄像头分别获取用户在观看各个显示边角点和中心点时对应的虹膜中心位置；

依据所述虹膜中心位置获取专心观看的屏幕区间范围；

依据预设时间间隔判断用户当前的虹膜中心位置是否位于所述屏幕区间范围内；若否，则记录对应的视频播放时间点为不专心观看时间点；

依据视频播放内容对应的文段，获取需要专心观看的各个必要播放时间段；

获取包含至少一个不专心观看时间点的必要播放时间段。

2.如权利要求1所述的视频播放方法，其特征在于，所述依据视频播放内容对应的文段，获取各个必要播放时间段，具体为：

识别视频播放内容对应的音频，获取对应的文段；

获取所述文段中每个句子的起始播放时间点和结束播放时间点；

合并连续的句子的起始播放时间点和结束播放时间点，获取各个必要播放时间段。

3.如权利要求1所述的视频播放方法，其特征在于，所述获取包含不专心观看时间点的必要播放时间段，具体为：

过滤无法识别到文字且视频画面无变动的不专心观看时间点；

获取包含至少一个过滤后的不专心观看时间点的必要播放时间段。

4.如权利要求1所述的视频播放方法，其特征在于，还包括：

将包含至少一个不专心观看时间点的必要播放时间段标记在视频播放时间轴上。

5.如权利要求1所述的视频播放方法，其特征在于，还包括：

顺序播放所述包含至少一个过滤后的不专心观看时间点的必要播放时间段。

6.如权利要求1所述的视频播放方法，其特征在于，所述通过智能眼镜的摄像头分别获取用户在观看各个显示边角点和中心点时对应的虹膜中心位置，具体为：

将屏幕设为一纯色后，逐一设置各个显示边角和中心点为另一纯色；

各个显示边角和中心点为另一纯色时，通过红外摄像头分别获取用户的眼睛图像，并计算对应的虹膜中心位置。

7.如权利要求1所述的视频播放方法，其特征在于，所述显示边角点对应屏幕的最大内接矩形的四个边角。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序在被智能眼镜的处理器执行时，能实现上述权利要求1-7任意一项所述的视频播放方法所包含的步骤。