CN112689196A

CN112689196A - 一种可交互视频播放方法、播放器、设备及存储介质

Info

Publication number: CN112689196A
Application number: CN202110255730.6A
Authority: CN
Inventors: 王群
Original assignee: Beijing Century TAL Education Technology Co Ltd
Current assignee: Beijing Century TAL Education Technology Co Ltd
Priority date: 2021-03-09
Filing date: 2021-03-09
Publication date: 2021-04-20
Anticipated expiration: 2041-03-09
Also published as: CN112689196B

Abstract

本发明提供了一种可交互视频播放方法、播放器、设备及存储介质。播放方法包括，对原视频逐帧实时分割，获取原视频当前帧图像的背景内容和前景内容；将前景内容投影到前景画布中；加载与背景内容对应的内容资源，并将内容资源的内容图像投影到后景画布中，作为后景内容；将前景画布和后景画布同步叠加，获得重组画面；基于用户对前景内容或后景内容操作指令，前景内容或后景内容响应预设功能。本发明的播放方法，解决播放课件课程视频时，后景内容被前景内容遮挡等问题，能够通过交互实现非主体内容避让，使得学生在学习视频课程中可以更加高清无障碍地获取相应遮挡部分的图像内容，满足主体视频要素内容不被其他内容永久遮挡的需求。

Description

一种可交互视频播放方法、播放器、设备及存储介质

技术领域

本发明涉及视频播放技术，尤其涉及一种可交互视频播放方法、播放器、设备及存储介质。

背景技术

随着互联网视频技术的发展，由于在线视频直播和录播课程的特点，需要高清课件展示，与以往普通网络视频不同的是，直播课程或者录播课程的课件或教学黑板等内容应该是对于用户友好清晰的，现有的视频播放技术，由于视频中前景部分的人或物等，可能遮挡后景的课件等内容，导致用户无法观看到被遮挡的内容，降低学习效果。

发明内容

为了解决上述技术问题的至少一个，本发明提供了一种可交互视频播放方法、播放器、设备及存储介质。

本发明的技术方案是这样实现的：

一种可交互视频播放方法，包括：

对原视频逐帧实时分割，获取所述原视频当前帧图像的背景内容和前景内容；将所述前景内容投影到前景画布中；

加载与所述背景内容对应的内容资源，并将所述内容资源的内容图像投影到后景画布中，作为后景内容；将所述前景画布和所述后景画布同步叠加，获得重组画面；

基于用户对所述前景内容的第一操作指令，所述前景内容响应预设的第一功能；和/或

基于用户对所述后景内容的第二操作指令，所述后景内容响应预设的第二功能。

进一步地，所述第一操作指令包括：点击、滑动、拖动；所述第一功能包括隐藏前景内容、显示前景内容、移动前景内容；

进一步地，所述第二操作指令包括：放大、缩小的手势，或点击放大、缩小的按钮；所述第二功能包括放大后景内容、缩小后景内容。

进一步地，加载与所述背景内容对应的内容资源，并将所述内容资源的内容图像投影到后景画布中，包括：

在加载所述内容资源之后，为所述内容资源的每个内容图像分别建立索引；

为原视频逐帧匹配对应的所述内容图像，并确定所述原视频当前帧图像对应的所述索引；

基于确定的所述索引，将对应的所述内容图像，投影至后景画布。

进一步地，为原视频逐帧匹配对应的所述内容图像，包括：

将所述原视频当前帧图像与所述内容资源的所有内容图像分别对比，获取每个所述内容图像与所述当前帧图像的相似度；

选取相似度最高的内容图像，作为所述原视频当前帧图像对应的内容图像。

进一步地，所述前景内容包括主体人物图像；所述获取所述原视频当前帧图像的背景内容和前景内容，包括：

获取所述当前帧图像的图像格式化数据；

基于所述图像格式化数据和预设的人像分割模型，从所述当前帧图像中分割获得所述主体人物图像。

进一步地，基于所述图像格式化数据和预设的人像分割模型，从所述当前帧图像中分割获得所述主体人物图像，包括：

将所述图像格式化数据输入到端智能在线推理执行器；

所述端智能在线推理执行器加载所述人像分割模型；

基于所述人像分割模型，所述端智能在线推理执行器对所述图像格式化数据进行分割，输出分割后的人像主体图像数据。

进一步地，所述内容资源包括课件。

一种视频播放器，包括：

图像分离器，用于对原视频逐帧实时分割；

分割处理器，用于接收所述图像分离器分割的当前帧图像，并对所述当前帧图像进行背景和前景分割，获取所述当前帧图像的背景内容和前景内容；

展现画布，用于展现内容；包括前景画布和后景画布；

图像前景投影器，用于将所述分割处理器分割的前景内容投影到前景画布中；

内容资源控制器，用于对内容资源的每个内容图像分别建立索引；

进度同步控制器，用于使所述重组画面与所述原视频同步；

后景同步投影器，用于将所述内容资源的内容图像投影到后景画布中；

交互控制器，用于根据用户对所述前景内容的第一操作指令，控制所述前景内容响应预设的第一功能；和/或

根据用户对所述后景内容的第二操作指令，控制所述后景内容响应预设的第二功能。

一种视频播放设备，包括处理器和存储器，所述存储器中存储程序，所述存储器中存储有适于所述处理器执行的计算机程序指令，所述计算机程序指令被所述处理器运行时执行前述的可交互视频播放方法中的步骤。

一种可读存储介质，其上具有可执行指令，当可执行指令被执行时，使得计算机执行前述的可交互视频播放方法中的步骤。

附图说明

附图示出了本发明的示例性实施方式，并与其说明一起用于解释本发明的原理，其中包括了这些附图以提供对本发明的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。

图1是本发明实施例一的播放方法流程示意图；

图2是端智能在线推理执行器的原理示意图；

图3是本发明的视频播放器的原理示意图；

图4是本发明的展现画布的结构示意图;

图中，展现画布1；前景画布2；后景画布3。

具体实施方式

下面结合附图和实施方式对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分。

需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本发明。

需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。本实施例提供的方法可以由相关的服务器执行，且下文均以服务器或计算机等电子设备作为执行主体为例进行说明。

实施例一

参照图1，本实施例提供一种可交互视频播放方法，包括：

对原视频逐帧实时分割，获取原视频当前帧图像的背景内容和前景内容；将前景内容投影到前景画布中；

加载与背景内容对应的内容资源，并将内容资源的内容图像投影到后景画布中，作为后景内容；将前景画布和后景画布同步叠加，获得重组画面。

基于本实施例的上述方法，本发明根据视频播放的时间序列和进度对原视频逐帧实时分割，并同步加载相对应的内容资源，以替代原视频的当前帧图像的部分背景内容，通过画布同步叠加显示，获得重组画面，达到视频分层的效果。其中，当前帧为：根据视频播放进度，在当前显示的图像。

作为本实施例的优选实施方式，加载与背景内容对应的内容资源，并将内容资源的内容图像投影到后景画布中，包括：

在加载内容资源之后，为内容资源的每个内容图像分别建立索引；为原视频图像逐帧匹配对应的内容图像，并确定原视频当前帧图像对应的索引；基于确定的索引，将对应的内容图像，投影至后景画布。其中，为原视频图像逐帧匹配对应的内容图像，包括：

将原视频当前帧图像与内容资源的所有内容图像分别一一对比，获取每个内容图像与当前帧图像的相似度；选取相似度最高的内容图像，作为原视频当前帧图像对应的内容图像。

作为本实施例的优选实施方式，基于分层后的视频，用户可对前景内容发出第一操作指令，前景内容响应预设的第一功能；用户也可对后景内容发出第二操作指令，后景内容响应预设的第二功能，实现视频播放过程的实时互动。

第一操作指令包括：点击、滑动、拖动；第一功能包括隐藏前景内容、显示前景内容、移动前景内容；第二操作指令包括：放大、缩小的手势，或点击放大、缩小的按钮；第二功能包括放大后景内容、缩小后景内容。

用户通过在视频播放过程中点击或滑动或拖动前景遮挡主体等操作可以达到出发前景主题隐藏、显示、移动等目的，将后景内容直接呈现出来；用户通过对后景内容双指放大、缩小或按钮点击等操作，可以实现后景内容的放大的仔细阅读效果。

以教学课程视频为例：

内容资源为与视频相对应的高清课件，前景内容包括讲师，后景内容包括课件图片；在通常情况下，讲师不可避免的会对课件内容有一定的遮挡，此时，用户无法直接看到高清课件内容，基于本实施例的播放方法，通过对原视频的讲师和背景课件内容进行分割，利用高清课程的相应图片替代原视频的当前帧图像的课件内容；在观看课程视频时，用户可通过第一操作指令将讲师隐藏、显示或移动到不遮挡课件的位置等，以避免重要知识点被遮挡，无法看到的问题；也可以通过第二操作指令对高清课件进行局部放大，以弥补因屏幕显示过小，导致看不清楚等缺陷，提高教学效果。

当前景内容包括讲师等主体人物图像时；获取原视频当前帧图像的背景内容和前景内容，包括：

获取当前帧图像的图像格式化数据；

基于图像格式化数据和预设的人像分割模型，从当前帧图像中分割获得主体人物图像。该步骤可以通过端智能在线推理执行器的形式实现：

参照图2，将图像格式化数据输入到端智能在线推理执行器；端智能在线推理执行器加载人像分割模型；基于人像分割模型，端智能在线推理执行器对图像格式化数据进行分割，输出分割后的人像主体图像数据。人像分割模型为预训练好的分割模型，能够提高人像主体图像数据分割的准确度和效率。

通常情况下，做模型推理，常用方案就是将模型部署在云端或者服务器上，然后对外提供推理服务API（Application Programming Interface）给APP（Application）端。本实施例中，端智能在线推理执行器是直接把推理服务以SDK（Software Development Kit）的形式放到APP端，供APP端直接调用。

应当理解的是，本实施例以前景内容为人物图像为例进行说明，但前景内容并不限于人物图像，也可包括其他物体图像；内容资源也不仅限于高清课件，也包括其他媒体视频、图片、图表等内容。

本发明的播放方法，能够解决播放课件课程视频时，后景内容被前景内容遮挡的问题，能够通过交互实现非主体内容避让，使得学生在学习视频课程中可以更加高清无障碍地获取相应遮挡部分的图像内容，满足主体视频要素内容不被其他内容永久遮挡的需求。

实施例二

参见图3，本实施例提供一种视频播放器，包括：

图像分离器，用于对原视频逐帧实时分割；可通过Canvas投影技术将当前Video图像内容DrawImage获取原视频逐帧图像内容，将当前帧图像交给分割处理器做分割处理。

分割处理器，用于接收图像分离器提供的当前帧图像，并对当前帧图像进行背景和前景分割，获取当前帧图像的背景内容和前景内容；当分离瞬间完成后，将前景内容交付图像前景投影器。

展现画布，用于提供一个播放器展现内容的容器，参见图4，展现画布1包括前景画布2和后景画布3。

图像前景投影器，用于将分割处理器分割的前景内容投影到前景画布中；使得在展现画布的最顶层展现出前景内容。

进度同步控制器，主要作用是同步原视频时间线中，背景内容与加载的内容资源，使得背景内容和内容资源重组画面与原视频保持同步，进度同步控制器通过对比原视频中当前帧图像内容与加载的内容资源的图像内容的相似度，将相似度高的内容资源的内容图像的索引提交给后景同步投影器。

后景同步投影器，基于进度同步控制器提交的索引，将内容资源的内容图像投影到后景画布中；作为与前景画布叠加的底层展现。

交互控制器，用于根据用户对前景内容的第一操作指令，控制前景内容响应预设的第一功能；和/或根据用户对后景内容的第二操作指令，控制后景内容响应预设的第二功能。实现，当用户使用点击/滑动/拖动前景避免主体遮挡课件内容时，做出隐藏/显示前景的响应。当用户通过双指放大缩小/按钮点击等手段途径可以实现高清课件局部放大的目的时将放大后的课件内容投影到前景画布并且在相应撤销后还原展现效果。

本实施例的原理和效果与实施例一中的一致，本实施例不再重复描述。

实施例三

本发明还提供一种视频播放设备，包括处理器和存储器，所述存储器中存储程序，所述存储器中存储有适于所述处理器执行的计算机程序指令，所述计算机程序指令被所述处理器运行时，执行上述任一种实施方式中的方法的步骤。该视频播放设备可依托现有的计算机、手机、平板等电子设备，通过载入可实现上述任一种实施方式中的方法的程序实现。

实施例四

本发明还提供一种可读存储介质，其上具有可执行指令，当可执行指令被执行时，使得计算机执行上述任一种实施方式中的方法的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

应理解的是，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。

本发明的流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。

本发明在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

本发明术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本发明，而并非是对本发明的范围进行限定。对于所属领域的技术人员而言，在上述发明的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本发明的范围内。

Claims

1.一种可交互视频播放方法，其特征在于，包括：

对原视频逐帧实时分割，获取所述原视频当前帧图像的背景内容和前景内容；

将所述前景内容投影到前景画布中；

加载与所述背景内容对应的内容资源，并将所述内容资源的内容图像投影到后景画布中，作为后景内容；

将所述前景画布和所述后景画布同步叠加，获得重组画面；

2.如权利要求1所述的方法，其特征在于，

所述第一功能包括隐藏前景内容、显示前景内容、移动前景内容。

3.如权利要求1所述的方法，其特征在于，

所述第二功能包括放大后景内容、缩小后景内容。

4.如权利要求1所述的方法，其特征在于，

加载与所述背景内容对应的内容资源，并将所述内容资源的内容图像投影到后景画布中，包括：

基于确定的所述索引，将对应的所述内容图像投影至后景画布。

5.如权利要求4所述的方法，其特征在于，

为原视频逐帧匹配对应的所述内容图像，包括：

6.如权利要求1所述的方法，其特征在于，

所述前景内容包括主体人物图像；所述获取所述原视频当前帧图像的背景内容和前景内容，包括：

获取所述当前帧图像的图像格式化数据；

7.如权利要求1-6任一项所述的方法，其特征在于，

所述内容资源包括课件。

8.一种用于实现如权利要求1-7任一项所述方法的视频播放器，其特征在于，包括：

图像分离器，用于对原视频逐帧实时分割；

展现画布，用于展现内容；包括前景画布和后景画布；

进度同步控制器，用于使所述重组画面与所述原视频同步；

9.一种视频播放设备，其特征在于，包括处理器和存储器，所述存储器中存储程序，所述存储器中存储有适于所述处理器执行的计算机程序指令，所述计算机程序指令被所述处理器运行时执行如权利要求1-7任一项所述的可交互视频播放方法中的步骤。

10.一种可读存储介质，其特征在于，其上具有可执行指令，当可执行指令被执行时，使得计算机执行如权利要求1-7任一项所述的可交互视频播放方法中的步骤。